DeepNeutroBiLSTM: A Hybrid Neutrosophic and CNN-BiLSTM Framework with Sobel-Based Indeterminacy for Arabic Handwritten Character Recognition

기술 요약: 아랍어 필기 문자 인식을 위한 DeepNeutroBiLSTM

문제 정의
아랍어 필기 문자 인식(AHCR)은 스크립트의 곡선적 특성, 높은 필체 변동성, 디아크리틱(diacritics)의 존재, 그리고 문자 간의 구조적 유사성으로 인해 여전히 중요한 과제로 남아 있습니다. 또한, 인식 시스템은 스캐닝, 잉크 확산 및 이미지 열화로 인해 발생하는 노이즈를 처리하는 데 어려움을 겪는 경우가 많습니다. CNN(Convolutional Neural Networks) 및 RNN(Recurrent Neural Networks)과 같은 전통적인 딥러닝 접근 방식은 일반적으로 모든 입력 픽셀이 동일하게 신뢰할 수 있다고 가정합니다. 이러한 결정론적 가정은 모호한 영역의 불확실성을 고려하지 못하며, 이는 저하되거나 가변적인 필기를 처리할 때 견고성을 감소시키는 결과를 초래합니다. 뉴트로소픽 집합론(Neutrosophic set theory)은 진릿값(Truth), 부정확성(Indeterminacy), 거짓(Falsity) 성분을 통해 불확실성을 모델링하는 수학적 프레임워크를 제공하지만, 이 분야의 기존 응용 방식은 부정확성을 계산하기 위해 수동으로 설계된 고정 규칙(예: 엔트로피 또는 그래디언트 휴리스틱)에 의존합니다. 이러한 정적 방법은 데이터로부터 직접 불확실성 표현을 학습하는 유연성이 부족하며, 인식 목적과 결합하여 최적화될 수 없습니다.

방법론
본 논문은 뉴트로소픽 불확실성 모델링을 CNN-BiLSTM 아키텍처와 통합한 하이브리드 딥러닝 프레임워크인 DeepNeutroBiLSTM을 제안합니다. 이 프레임워크는 전처리, 뉴트로소픽 표현, 특징 추출, 분류, 후처리의 다섯 가지 주요 단계로 작동합니다.

1. 학습 가능한 뉴트로소픽 표현 (LNL): 핵심 혁신은 정규화된 그레이스케일 입력 이미지 $X$를 뉴트로소픽 삼중항 $[T, I, F]$ (진릿값, 부정확성, 거짓)로 변환하는 학습 가능한 뉴트로소픽 레이어입니다.

   • 진릿값 ($T$): 입력 이미지에서 직접 유도됩니다 ($T = X$).
   • 부정확성 ($I$): 본 논문은 고정된 휴리스틱 대신 두 가지 접근 방식을 탐구합니다. 주요 기여는 학습 가능한 컨볼루션 매핑과 시그모이드 활성화 함수를 통해 계산되는 학습 가능한 부정확성 성분입니다: $I = \sigma(W_I * X + b_I)$. 이를 통해 네트워크는 데이터로부터 직접 불확실성이 존재하는 위치를 학습할 수 있습니다.
   • 거짓 ($F$): $F = \text{clip}(1 - T - I, 0, 1)$로 계산됩니다.
   • Sobel 기반 부정확성: 비교 평가를 위해, 본 논문은 시각적으로 유사한 아랍어 문자를 구별하는 데 중요한 에지 그래디언트를 포착하기 위해 Sobel 연산자를 사용하는 고정 부정확성 표현도 구현합니다.

2. 하이브리드 아키텍처:

   • CNN 백본: 뉴트로소픽 표현은 공간적 스트로크 패턴과 구조적 특징을 추출하기 위해 계층적 CNN(채널 깊이가 증가하는 세 개의 컨볼루션 블록: 64, 128, 256)으로 전달됩니다.
   • BiLSTM 순차 모델링: 공간 특징 맵은 시퀀스로 재구성되어 양방향 LSTM(Bidirectional Long Short-Term Memory, BiLSTM) 네트워크에 의해 처리됩니다. 이는 순방향 및 역방향 모두에서 문맥적 의존성을 포착하여, 주변 문맥을 바탕으로 유사한 모양을 가진 문자를 식별하는 데 도움을 줍니다.
   • 분류: 출력은 완전 연결 계층(fully connected layers)과 Softmax 분류기를 통과합니다.

3. 훈련 전략: 모델은 Categorical Cross-Entropy 손실 함수와 Adam 옵티마이저를 사용하여 엔드 투 엔드(end-to-end) 방식으로 훈련됩니다. 프레임워크는 두 가지 공개 데이터셋인 AHCD (28개 문자)와 HIJJA (29개 문자)에서 평가되었으며, 일반화 성능을 높이기 위해 데이터 증강(회전, 이동, 줌, 전단)이 적용되었습니다.

주요 기여

• 학습 가능한 뉴트로소픽 레이어 (LNL): 본 논문은 정적인 수동 정의 규칙에서 벗어나, 학습 가능한 컨볼루션 필터를 사용하여 이미지로부터 직접 부정확성 성분을 학습하는 메커니즘을 도입했습니다.
• Sobel 기반 부정확성 통합: Sobel 기반 그래디언트 정보를 뉴트로소픽 표현에 통합하는 것이 모호한 영역에서 스트로크 경계를 구별하는 모델의 능력을 크게 향상시킨다는 것을 입증했습니다.
• 통합 하이브리드 프레임워크: 불확실성 모델링(Neutrosophic), 공간 특징 추출(CNN), 순차적 문맥 학습(BiLSTM)을 공동으로 최적화하는 통합 아키텍처를 검증했습니다.
• 포괄적인 절제 연구 (Ablation Study): 저자들은 불확실성 모델링과 순차 학습의 영향을 격리하기 위해 베이스라인 CNN, CNN-BiLSTM, 고정 뉴트로소픽 모델, 그리고 제안된 하이브리드 모델을 체계적으로 비교했습니다.

결과
프레임워크는 정확도(Accuracy), F1-score, AUC, 문자 정확도율(CAR), 기대 교정 오차(Expected Calibration Error, ECE)를 사용하여 AHCD 및 HIJJA 데이터셋에 대해 평가되었습니다.

• AHCD 데이터셋: 제안된 **DeepNeutroBiLSTM (Sobel)**은 98.39%의 정확도, 0.9821의 F1-score, 0.9997의 AUC로 최고 성능을 달성했습니다. 이는 베이스라인 CNN 대비 +1.96% 향상된 결과이며, 베이스라인 대비 교정 오차를 약 50% 감소시킨 것입니다.
• HIJJA 데이터셋: 변동성과 구조적 모호성이 더 높은 이 데이터셋에서, 제안된 모델은 92.92%의 정확도와 0.9322의 F1-score를 달성했습니다. 이는 베이스라인 CNN(87.96%)보다 약 5.0% 향상된 유의미한 결과입니다.
• 비교 분석: 결과는 BiLSTM 단독으로는 구조화된 AHCD 데이터셋에서 미미한 이득만을 제공했지만, 뉴트로소픽 불확실성 모델링과 순차 학습의 결 조합은 두 데이터셋 모두에서 일관된 개선을 제공했음을 나타냅니다. Sobel 기반 부정확성 표현은 최종 하이브리드 구성에서 엔트로피 기반 또는 학습 전용 부정확성 접근 방식보다 우수한 성능을 보였습니다.
• 교정 (Calibration): 제안된 모델은 낮은 ECE 값(AHCD의 경우 0.0119, HIJJA의 경우 0.0456)을 보이며 잘 교정된 확률 분포를 입증했습니다.

의의 및 주장
본 논문은 DeepNeutroBiLSTM 프레임워크가 시각적 데이터에 내재된 불확실성을 명시적으로 다룸으로써 아랍어 필기 문자 인식에 대한 우수한 솔루션을 제공한다고 주장합니다. 부정확성의 정의를 수동적인 고정 방식에서 데이터 기반의 학습 가능한 방식으로 전환함으로써, 모델은 특정 필체 스타일과 노이즈 수준에 적응할 수 있습니다. 저자들은 Sobel 기반 부정확성 통합이 특히 효과적이라고 단언하는데, 이는 스트로크 경계와 국부적 그래디언트 변화를 강조하여 시각적으로 유사한 아랍어 문자를 구별하는 데 핵심적이기 때문입니다. 본 연구는 이러한 하이브리드 접근 방식이 필체의 가변성과 이미지 노이즈를 효과적으로 처리하며, 최첨단 CNN 및 CNN-BiLSTM 베이스라인을 능가한다는 결론을 내립니다. 저자들은 향후 연구가 이 프레임워크를 아랍어 필기 단어 및 텍스트 인식으로 확장하는 데 집중할 것이라고 언급했습니다.