Multi-Head Attention based interaction-aware architecture for Bangla Handwritten Character Recognition: Introducing a Primary Dataset

논문 기술 요약: 상호작용 인식 기반 멀티헤드 어텐션 아키텍처를 활용한 벵골어 손글씨 문자 인식

1. 문제 정의 (Problem Statement)

• 배경: 광학 문자 인식 (OCR) 시스템의 핵심인 손글씨 문자 인식 (HCR) 은 문서 디지털화, 언어 처리 등에 필수적입니다. 그러나 벵골어 (Bangla) 손글씨 인식은 영어 등 다른 언어에 비해 상대적으로 덜 발전되어 있습니다.
• 주요 난제:
  • 구조적 복잡성: 벵골어는 모음, 자음, 숫자, 그리고 자음이 결합된 복합 문자 (Juktobarno) 로 구성되어 있으며, 작은 획 (stroke) 이나 마트라 (matra, 모음 부호) 의 차이로 인해 클래스 간 유사도가 매우 높습니다.
  • 데이터의 한계: 기존 데이터셋은 작성자의 연령대, 사회경제적 배경, 손잡이 (좌우) 등 다양성이 부족하며, 클래스 불균형과 데이터 수집 방법의 불명확성으로 인해 모델의 일반화 성능이 제한되었습니다.
  • 모델의 한계: 기존 CNN 기반 모델은 국소적 특징에는 강점이 있으나 장기적 구조적 의존성을 포착하는 데 한계가 있으며, 하이브리드 모델의 경우 단순한 특징 연결 (concatenation) 에 그쳐 이질적인 특징 간의 상호작용을 효과적으로 학습하지 못했습니다.

2. 제안된 방법론 (Methodology)

이 연구는 균형 잡힌 대규모 벵골어 손글씨 데이터셋과 상호작용 인식 (Interaction-aware) 하이브리드 딥러닝 아키텍처를 제안합니다.

가. 새로운 데이터셋 구축 (Primary Dataset)

• 규모 및 구성: 총 50,700 개의 손글씨 샘플로 구성되며, 78 개의 클래스 (기본 문자 50 개, 숫자 10 개, 복합 문자 18 개) 를 포함합니다.
• 다양성: 초등학교부터 고등학생, 대학생, 전문가, 노인 등 다양한 연령대 (10 대~60 대 이상) 와 사회경제적 배경의 1,700 명의 참여자 (남성 820 명, 여성 880 명) 로부터 수집되었습니다.
• 편의성: 우세손 (오른손 1,510 명, 왼손 190 명) 을 모두 포함하여 실제 세계의 다양한 필체 변이를 반영합니다.
• 전처리: 노이즈 제거 (가우시안 필터), 기울기 보정 (Hough Transform), 팽창 (Dilation), 리사이징 (128x128), 정규화 등을 적용하여 일관된 입력 데이터를 생성했습니다.

나. 제안된 아키텍처 (MHCAF-Net)
세 가지 병렬 브랜치를 통해 특징을 추출하고, **멀티헤드 크로스-어텐션 (Multi-Head Cross-Attention)**을 통해 상호작용을 융합하는 하이브리드 구조입니다.

1. EfficientNetB3 + CBAM (국소 특징 추출):
   • EfficientNetB3 를 백본으로 사용하여 곡선, 교차점, 마트라 등 미세한 획 수준의 국소적 특징을 추출합니다.
   • CBAM (Convolutional Block Attention Module) 을 적용하여 채널 및 공간적 어텐션을 통해 관련 없는 배경을 억제하고 중요한 획 영역을 강조합니다.
2. Vision Transformer (ViT) (전역 구조 의존성):
   • 이미지를 패치 (Patch) 단위로 분할하여 토큰화하고, 자기 어텐션 (Self-Attention) 메커니즘을 통해 문자 전체의 전역적 구조적 관계를 학습합니다.
3. Conformer (하이브리드 특징 모델링):
   • 자기 어텐션과 합성곱을 결합한 Macaron 스타일 구조를 사용하여 국소적 패턴과 전역적 맥락을 동시에 모델링합니다.
4. 멀티헤드 크로스-어텐션 퓨전 (핵심 혁신):
   • 단순한 특징 연결 (Concatenation) 대신, 세 가지 브랜치 (EfficientNet, ViT, Conformer) 간의 특징 벡터가 서로 Query, Key, Value 로 상호작용하도록 설계되었습니다.
   • 이를 통해 국소적 획 정보와 전역적 구조 정보가 상호 보완적으로 정제 (Refine) 되어, 구조적으로 유사한 벵골어 문자를 구별하는 능력을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 균형 데이터셋 공개: 78 클래스, 50,700 샘플의 방대한 데이터셋을 공개하여 기존 데이터셋의 다양성 부족 문제를 해결했습니다.
2. 상호작용 인식 하이브리드 아키텍처: EfficientNetB3, ViT, Conformer 를 병렬로 결합하고, 멀티헤드 크로스-어텐션 퓨전 메커니즘을 도입하여 이질적인 특징 간의 상호작용을 명시적으로 모델링했습니다.
3. 성능 검증: 5 폴드 교차 검증, 외부 데이터셋 (CHBCR) 테스트, 클래스별 분석, Grad-CAM 시각화 등을 통해 모델의 강건성과 설명 가능성을 입증했습니다.

4. 실험 결과 (Results)

• 주요 데이터셋 성능: 제안된 모델은 자체 구축 데이터셋에서 **98.84%**의 테스트 정확도를 달성했습니다. 이는 기존 단일 백본 모델 (97% 대) 이나 단순 하이브리드 모델보다 우수한 성능입니다.
• 외부 데이터셋 일반화: 외부 벤치마크인 CHBCR 데이터셋에서도 **96.49%**의 높은 정확도를 보여 모델의 일반화 능력을 입증했습니다.
• 정밀도 및 재현율: 정밀도 (Precision), 재현율 (Recall), F1-Score, MCC, Kappa 계수 등 모든 지표에서 98% 이상의 높은 수치를 기록했습니다.
• 오류 분석: Grad-CAM 시각화를 통해 모델이 획의 곡선, 마트라 위치, 교차점 등 중요한 구조적 특징에 집중하고 있음을 확인했습니다. 오인식 사례는 주로 필기자의 획이 불명확하거나 마트라가 생략된 경우로, 아키텍처의 한계보다는 데이터의 가변성에서 기인함이 확인되었습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: 벵골어 손글씨 인식 분야에서 데이터의 다양성과 모델의 특징 융합 방식을 동시에 개선한 선구적인 연구입니다. 특히, 서로 다른 아키텍처 간의 특징이 어떻게 상호작용하며 성능을 향상시키는지를 보여주는 '상호작용 인식 (Interaction-aware)' 설계는 향후 OCR 연구에 중요한 시사점을 제공합니다.
• 실용적 가치: 제안된 데이터셋과 모델은 문서 디지털화, 자동화된 시험 채점, 은행 문서 처리 등 다양한 벵골어 기반 OCR 응용 프로그램의 기반이 될 수 있습니다.
• 향후 과제: 현재는 분리된 문자 (Isolated characters) 인식에 집중되었으나, 향후 단어 및 문장 인식, 다국어 손글씨 분석, 경량화 실시간 시스템으로의 확장을 계획하고 있습니다.

이 연구는 고품질 데이터셋 구축과 혁신적인 딥러닝 아키텍처의 결합을 통해 벵골어 손글씨 인식의 정확도와 실용성을 크게 향상시켰다는 점에서 의의가 큽니다.