Confidence-Guided Diffusion Augmentation for Enhanced Bangla Compound Character Recognition

기술 요약: 향상된 벵골어 복합 문자 인식을 위한 신뢰도 기반 확산 증강

문제 제기
손글씨 벵골어 복합 문자 인식은 문자의 복잡한 구조적 리거처, 다양한 필체 간 높은 클래스 내 변이, 그리고 고품질 주석 데이터의 부족으로 인해 상당한 장애물에 직면해 있습니다. 기존 시스템은 특히 정교한 복합 문자를 다룰 때 일반화에 어려움을 겪으며, 많은 시스템이 리소스가 제한된 환경에서의 배포를 제한하는 고해상도 입력에 의존하는 계산 비용이 큰 방식을 사용합니다. GAN 과 같은 생성 모델이 탐구되어 왔으나, 종종 불안정성과 모드 붕괴로 고통받습니다. 또한, 저자원 인도어 문자, 특히 복합 문자 합성을 위한 확산 모델의 적용은 아직 충분히 탐구되지 않았습니다.

방법론
저자들은 제한된 훈련 데이터를 증강하기 위해 고품질 손글씨 샘플을 합성하도록 설계된 신뢰도 기반 확산 증강 프레임워크를 제안합니다. 워크플로우는 네 가지 주요 단계로 구성됩니다:

1. 확산 모델 아키텍처: 핵심 생성 모델은 특징 표현을 개선하기 위해 스퀴즈 앤 엑시테이션 (SE) 잔차 블록이 강화된 U-Net 백본을 활용합니다. 아키텍처는 시간 임베딩, 학습된 클래스 임베딩, 그리고 멀티헤드 어텐션 메커니즘을 포함합니다. 이 모델은 각 확산 시간 단계에서 주입된 노이즈를 예측하도록 훈련됩니다.
2. 분류기 가이드: 생성된 이미지가 특정 목표 클래스와 정렬되도록 하기 위해, 이 프레임워크는 보조 분류기에 의해 안내되는 클래스 조건부 확산 모델을 사용합니다. 이 분류기는 노이즈가 있는 이미지로 훈련되며, 샘플링 과정에서 원하는 클래스 방향으로 생성을 유도하기 위해 그래디언트를 제공합니다.
3. 신뢰도 기반 필터링: 이 프레임워크의 핵심 구성 요소는 품질 관리 메커니즘입니다. 사전 훈련된 분류기들은 생성된 합성 이미지를 필터링하는 '품질 게이트' 역할을 합니다. 의도된 클래스에 대한 신뢰도 점수가 0.90 이상인 샘플만 유지됩니다. 이 단계는 저품질이나 모호한 합성 샘플이 하류 분류기의 성능을 저하시키는 것을 방지하도록 설계되었습니다.
4. 데이터 융합 및 재훈련: 필터링된 합성 이미지는 원래의 실제 세계 훈련 데이터와 융합됩니다. 이렇게 증강된 데이터셋은 ResNet50, DenseNet121, VGG16, 그리고 비전 트랜스포머 (ViT) 를 포함한 여러 분류 아키텍처를 재훈련하는 데 사용됩니다.

전체 파이프라인은 저해상도 32×32 그레이스케일 이미지에서 작동하며, 실제 문서 분석에 적합한 상태를 유지하면서 계산 효율성을 목표로 합니다.

주요 기여
이 논문은 다섯 가지 구체적인 기여를 제시합니다:

• 벵골어 복합 문자 인식을 위한 신뢰도 기반 확산 증강 프레임워크 제안.
• 합성 이미지 품질을 향상시키기 위해 확산 U-Net 백본 내에 SE 강화 잔차 블록 통합.
• 재훈련 전에 저품질 합성 샘플을 엄격하게 제거하기 위한 분류기 신뢰도 기반 필터링 전략 개발.
• AIBangla 벤치마크에서 다양한 분류기 아키텍처 (CNN 및 트랜스포머) 에 걸쳐 일관된 성능 향상을 입증.
• AIBangla 복합 문자 인식 작업에 대한 새로운 벤치마크 성능 기록 수립.

결과
실험은 171 개 클래스에 걸쳐 249,911 개의 손글씨 복합 문자 이미지를 포함하는 AIBangla 데이터셋에서 수행되었습니다.

• 합성 품질: 확산 모델은 프레이체트 인셉션 거리 (FID) 24.63을 달성했습니다. 신뢰도 기반 필터링의 적용은 모든 필터링 아키텍처에서 FID 점수를 추가로 개선시켰습니다 (예: ViT 필터링은 FID 를 24.04 로 감소시킴). 이는 유지된 합성 샘플이 더 높은 분포 품질을 가졌음을 나타냅니다.
• 분류 성능: 증강된 데이터셋으로 재훈련한 결과 모든 테스트된 모델에서 일관된 개선이 나타났습니다.
  • VGG16이 가장 우수한 성능을 보이는 모델로 부상하여, 88.2% 의 기준선에서 89.2% 정확도를 달성했으며, 정밀도는 0.8470, 재현율은 0.8441 이었습니다.
  • ResNet50은 78.7% 에서 **80.6%**로 개선되었습니다.
  • DenseNet121은 78.8% 에서 **79.7%**로 개선되었습니다.
  • ViT는 67.0% 에서 **69.6%**로 소폭 개선되었습니다.
• 가장 우수한 성능을 보인 모델 (증강이 적용된 VGG16) 은 이전에 발표된 AIBangla 벤치마크를 상당한 차이로 능가했습니다.

의의 및 주장
저자들은 그들의 작업이 저자원 손글씨 인식 작업을 위한 품질 인식 생성 증강의 유효성을 입증한다고 주장합니다. 클래스 조건부 확산 합성과 엄격한 신뢰도 기반 필터링을 결합함으로써, 이 프레임워크는 고해상도 입력을 요구하지 않고도 데이터 부족과 클래스 불균형 문제를 효과적으로 해결합니다. 결과는 이 접근 방식이 주석 데이터가 제한된 경우를 특히 포함하여 인도어 문자 도메인의 문서 분석을 개선하기 위한 유망한 방향을 제시한다고 시사합니다. 논문은 프레임워크가 입력 해상도 측면에서 계산적으로 효율적이지만, 확산 샘플링은 여전히 비용이 많이 들며, 현재 범위는 전체 단어 인식이 아닌 분리된 복합 문자로 제한된다고 겸손하게 언급합니다.