Robust and Real-Time Bangladeshi Currency Recognition: A Dual-Stream MobileNet and EfficientNet Approach

この論文は、視覚障害者向けの支援技術として、バングラデシュの紙幣を認識するための堅牢かつリアルタイムなハイブリッド深層学習モデルを提案した研究です。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記述します。

1. 問題定義 (Problem)

視覚障害者は、現金取引において紙幣の額面を特定するために他者の助けを借りる必要があり、これにより詐欺や搾取のリスクにさらされています。

• 既存の課題:
  • 触覚識別の限界: バングラデシュ紙幣には突起がありますが、経年劣化により信頼性が低下し、異なる額面のサイズや質感が類似しているため、完全な識別手段とはなり得ません。
  • 既存の AI モデルの限界: 従来の深層学習モデルは、制御された環境では高い精度を示しますが、複雑な背景、照明の変化、紙幣の破損や折り目、部分的な隠蔽（オクルージョン）など、実世界（リアルワールド）の条件では一般化能力が不足しています。
  • 解釈性の欠如: 多くのモデルは「ブラックボックス」であり、なぜその判定を下したのかを説明できないため、ユーザーの信頼やシステムのデバッグが困難です。
  • リソース制約: 高性能なモデルは計算コストが高く、リソースが限られたモバイルデバイスや組み込みシステムでのリアルタイム実行が困難です。

2. 手法 (Methodology)

本研究は、特徴抽出と分類の段階を最適化したハイブリッド CNN アーキテクチャと、段階的に複雑さを増すデータセットの構築を提案しています。

• データセットの構築:

  • 制御された環境から実世界の複雑な環境までを網羅する5 つのデータセットを構築しました（総計 8,100 枚、9 額面：2 円〜1000 円）。
  • Custom Dataset-1: 制御された背景（白背景）。
  • Primary Dataset-1: シンプルな背景。
  • Custom Dataset-2: 複数のデータセットの組み合わせ。
  • Primary Dataset-2: 複雑な背景、多様な照明、オクルージョンを含む実世界シナリオ。
  • Custom Dataset-3: 上記すべてを統合し、データ拡張を施した最大多様性データセット。

• ハイブリッドモデルアーキテクチャ:

  • 特徴抽出（Dual-Stream）: 2 つの事前学習済み CNN モデルを並列で使用します。
    • MobileNetV3-Large: 低リソースデバイス向けに最適化された効率的なエッジやテクスチャの抽出。
    • EfficientNetB0: コンパウンドスケーリングを用いた多スケール表現の抽出。
  • 特徴融合: 両モデルから得られた特徴ベクトル（各 1280 次元）を結合（2560 次元）し、L2 正規化と PCA（主成分分析）で次元削減（約 200-400 次元）を行います。
  • 分類器: 削減された特徴ベクトルを、Dropout とバッチ正規化を備えた軽量な**MLP（多層パーセプトロン）**で分類します。
  • 総パラメータ数: 約 32.7 万（ResNet50 などの従来モデルに比べて大幅に軽量）。

• 評価と解釈性:

  • 最適化: Adam, AdamW, RMSProp, SGD の 4 つのオプティマイザと 4 つの学習率を比較検討。
  • 検証: 5 回交差検証（5-fold Cross-Validation）を実施。
  • 評価指標: 精度（Accuracy）、適合率（Precision）、再現率（Recall）、F1 スコア、Cohen's Kappa、MCC、AUC の 7 つの指標を使用。
  • XAI（説明可能な AI）: 意思決定の透明性を高めるため、LIME（局所的解釈）とSHAP（大域的特徴重要度）を導入し、モデルが紙幣のどの部分（文字、色、紋様など）に基づいて判断しているかを可視化しました。

3. 主要な貢献 (Key Contributions)

1. 新しいハイブリッドモデルの提案: MobileNetV3-Large と EfficientNetB0 を組み合わせ、MLP で分類する新しいアーキテクチャを設計。
2. 多段階のデータセット構築: 制御環境から複雑な実環境までを網羅する 5 つのデータセットをキュレーションし、モデルの堅牢性を段階的に評価可能にした。
3. 包括的な最適化分析: 4 つのオプティマイザと 4 つの学習率の組み合わせを 5 つのデータセット全体で評価し、最適な学習戦略を導出した。
4. 厳密な評価フレームワーク: 5 回交差検証と 7 つの指標、さらに LIME/SHAP による解釈性分析を組み合わせた包括的な評価を実施。
5. 実用的なシステム実装: 音声起動機能付きのリアルタイム Web アプリケーションを開発し、視覚障害者向けに音声・テキスト両方の出力を実現。

4. 結果 (Results)

実験結果は、提案モデルが既存の単一アーキテクチャモデルを凌駕する性能を示しました。

• 精度:
  • 制御されたデータセット（Custom Dataset-1）: 99.75%
  • 複雑な背景（Primary Dataset-2）: 92.84%
  • 全データセット統合（Custom Dataset-3）: 94.98%
• 比較性能:
  • 既存のモデル（MobileNetV2, ResNet50V2, EfficientNetB0 など）と比較して、特に複雑な環境で顕著な改善が見られました。
  • 例：Primary Dataset-2 において、EfficientNetB0（78.69%）に対し、提案モデルは 92.84% の精度を達成（約 14 ポイントの改善）。
• 堅牢性と一般化:
  • 5 回交差検証において、すべてのデータセットで高い一致率（Cohen's Kappa > 0.91）と AUC（0.99 以上）を維持し、過学習ではなく堅牢な一般化能力を持つことを示しました。
• リソース効率:
  • 学習時間は 1 エポックあたり約 10 秒（Tesla T4 GPU）、パラメータ数は約 520 万（特徴抽出部分を含む全体）で、モバイルデバイスでのリアルタイム実行が可能であることを実証しました。
• 解釈性:
  • LIME と SHAP による分析により、モデルが背景ノイズではなく、紙幣の額面特有のテクスチャや文字に焦点を当てて判断していることが確認されました。

5. 意義と結論 (Significance)

この研究は、視覚障害者の金融的自立を支援する実用的なソリューションを提供します。

• 社会的インパクト: 低コストでアクセス可能なシステムにより、視覚障害者が紙幣を安全に識別し、詐欺リスクを低減できます。
• 技術的貢献: 単一モデルの限界を克服するハイブリッドアプローチと、実世界での複雑な条件（照明、オクルージョン、破損）に対する高い耐性を実証しました。
• 将来展望: 新紙幣や硬貨への対応、偽造紙幣検出機能（OCR 等）の統合、さらにモバイル/エッジデバイスへの最適化が今後の課題として挙げられています。

総じて、この論文は、計算効率、高精度、解釈性を兼ね備えた、視覚障害者支援のための新しい基準となる紙幣認識システムを提案した点で意義深いものです。