Robust and Real-Time Bangladeshi Currency Recognition: A Dual-Stream MobileNet and EfficientNet Approach

논문 요약: 견고하고 실시간인 방글라데시 화폐 인식: 듀얼 스트림 MobileNet 과 EfficientNet 접근법

1. 문제 정의 (Problem Statement)

• 시각 장애인의 금융 독립성 위협: 전 세계 약 22 억 명, 방글라데시 약 65 만 명의 시각 장애인이 일상적인 금융 거래에서 화폐 인식을 위해 타인의 도움을 의존하고 있습니다. 이는 사기 및 착취의 위험을 높입니다.
• 기존 방법의 한계:
  • 촉각적 인식: 방글라데시 지폐의 점자 (Raised dots) 는 시간이 지남에 따라 마모되어 신뢰성이 떨어지며, 다양한 지폐의 크기와 질감이 유사하여 구분이 어렵습니다.
  • 기존 딥러닝 모델: 단일 아키텍처 (Single-architecture) 기반 모델들은 제어된 환경에서는 높은 정확도를 보이지만, 복잡한 배경, 다양한 조명, 부분 가림 (Occlusion), 구겨진 지폐 등 실제 배포 환경 (Real-world scenarios) 에서는 일반화 성능이 떨어집니다.
  • 해석 가능성 부족: 딥러닝 모델의 '블랙박스' 특성으로 인해 시각 장애인을 위한 보조 기술로서 사용자의 신뢰를 얻기 어렵고, 시스템 디버깅이 어렵습니다.
  • 데이터 부족: 기존 방글라데시 화폐 데이터셋은 제어된 배경에 국한되어 있으며, 2020 년에 출시된 200 타카 지폐가 누락된 경우가 많습니다.

2. 제안된 방법론 (Methodology)

이 연구는 실시간으로 작동하며 자원 제약이 있는 장치 (모바일, 엣지 디바이스) 에서 실행 가능한 하이브리드 CNN 아키텍처를 제안합니다.

• A. 데이터 구축 (Dataset Construction):

  • 총 5 개의 데이터셋을 구성하여 점진적인 복잡도를 평가했습니다.
    1. Custom Dataset-1: 제어된 배경의 공개 벤치마크 데이터 (2,700 장).
    2. Primary Dataset-1: 간단한 배경의 스마트폰 촬영 데이터 (2,250 장).
    3. Custom Dataset-2: 위 두 데이터셋의 혼합 (4,950 장).
    4. Primary Dataset-2: 복잡한 배경, 다양한 조명, 가림 현상이 포함된 실제 환경 데이터 (2,700 장).
    5. Custom Dataset-3: 모든 데이터셋을 통합한 최대 다양성 데이터 (8,100 장).
  • 총 9 종의 지폐 (2, 5, 10, 20, 50, 100, 200, 500, 1000 타카) 를 포함합니다.

• B. 하이브리드 모델 아키텍처 (Dual-Stream Hybrid Architecture):

  • 특징 추출 (Feature Extraction): 두 개의 사전 학습된 CNN 을 병렬로 사용하여 상호 보완적인 특징을 추출합니다.
    • MobileNetV3-Large: 저자원 장치에 최적화된 효율적인 엣지 및 질감 패턴 추출.
    • EfficientNetB0: 복합 스케일링 (Compound Scaling) 을 통한 다중 스케일 표현력 강화.
  • 특징 융합 (Feature Fusion): 두 모델의 특징 벡터를 연결 (Concatenation) 하고, L2 정규화 및 PCA(주성분 분석) 를 통해 차원을 축소하여 노이즈를 제거하고 계산 비용을 절감합니다.
  • 분류기 (Classifier): 경량화된 다층 퍼셉트론 (MLP) 을 사용하여 분류 수행. Dropout 과 Batch Normalization 을 적용하여 과적합을 방지합니다.

• C. 실험 설정 및 최적화:

  • 교차 검증: 5 폴드 (5-fold) 교차 검증을 적용하여 모델의 일반화 능력을 엄격하게 평가.
  • 옵티마이저 비교: Adam, AdamW, RMSProp, SGD 4 가지 옵티마이저와 4 가지 학습률 (0.0001~0.1) 을 비교 분석.
  • 평가 지표: 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1-Score, Cohen's Kappa, MCC, AUC 등 7 가지 지표를 사용.

• D. 설명 가능한 AI (XAI) 통합:

  • 모델의 의사결정 과정을 투명하게 하기 위해 LIME (개별 예측 설명) 과 SHAP (전역 특징 중요도) 를 도입하여 모델이 어떤 시각적 특징 (텍스트, 색상, 워터마크 등) 을 기반으로 판단하는지 시각화했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 하이브리드 모델 제안: MobileNetV3-Large 와 EfficientNetB0 를 결합한 듀얼 스트림 아키텍처와 MLP 분류기를 통해 높은 정확도와 낮은 계산 비용의 균형을 달성.
2. 점진적 복잡도 데이터셋 구축: 제어된 환경부터 복잡한 실제 환경까지 5 단계의 데이터셋을 구축하여 모델의 견고성을 체계적으로 평가.
3. 광범위한 최적화 분석: 4 가지 옵티마이저와 다양한 학습률에 대한 체계적인 비교 분석을 통해 최적의 학습 전략 제시.
4. XAI 통합: LIME 과 SHAP 을 통해 모델의 투명성과 신뢰성을 확보.
5. 실시간 웹 애플리케이션 개발: 음성 명령으로 작동하고 텍스트/음성 출력을 제공하는 웹 기반 시스템을 구현하여 시각 장애인의 접근성을 입증.

4. 실험 결과 (Results)

• 성능:
  • 제어된 환경 (Custom Dataset-1): 99.75% 정확도.
  • 복잡한 배경 (Primary Dataset-2): 92.84% 정확도 (기존 단일 모델 대비 성능이 월등히 우수).
  • 통합 데이터셋 (Custom Dataset-3): 94.98% 정확도.
  • 비교 모델: MobileNetV2, EfficientNetB0, ResNet50/152, InceptionV3 등 6 가지 기존 모델보다 모든 데이터셋에서 일관되게 높은 성능을 기록 (예: Primary Dataset-2 에서 EfficientNetB0 대비 정확도 14.15%p 향상).
• 강건성: 5 폴드 교차 검증에서 높은 일관성을 보였으며, MCC 와 Cohen's Kappa 지표를 통해 불균형 데이터에서도 안정적인 성능을 입증.
• XAI 분석: LIME 과 SHAP 결과를 통해 모델이 배경 노이즈가 아닌 지폐의 핵심 특징 (숫자, 색상 패턴, 워터마크) 에 집중하여 판단함을 확인.
• 실시간 성능: Tesla T4 GPU 기준 에포크당 10 초의 빠른 학습 시간과 약 520 만 개의 파라미터 (ResNet50 의 약 1/4 수준) 로 실시간 배포 가능.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 이 연구는 시각 장애인이 금융 거래에서 독립성을 회복할 수 있도록 돕는 비용 효율적이고 접근성이 높은 솔루션을 제공합니다.
• 기술적 혁신: 단일 모델의 한계를 극복하기 위해 하이브리드 아키텍처를 도입하고, 복잡한 실제 환경에서의 일반화 문제를 해결했습니다. 또한, XAI 를 도입하여 보조 기술로서의 신뢰성을 높였습니다.
• 미래 전망: 향후 새로 발행된 지폐와 동전 데이터 추가, 위조 지폐 탐지 (OCR 통합) 기능 강화, 모바일 및 엣지 디바이스 최적화를 통해 시스템을 고도화할 계획입니다.

이 논문은 방글라데시 화폐 인식 분야에서 가장 포괄적인 데이터셋과 엄격한 평가 프로토콜을 통해, 시각 장애인을 위한 보조 기술의 새로운 기준을 제시했다는 점에서 의의가 큽니다.