기술 요약: Spike-HTR: 필기체 텍스트 인식을 위한 스파이킹 신경 트랜스포머 (Spiking Neural Transformer for Handwritten Text Recognition)

1. 문제 정의

필기체 텍스트 인식(HTR)은 근본적인 계산 불균형 문제에 직면해 있습니다:

1. 공간적 중복성 (Spatial Redundancy): 필기 이미지의 대부분의 픽셀은 배경이지만, 표준 인식기(CNN, Transformer)는 밀집된 연산을 통해 전체 캔버스를 처리합니다.
2. 순차적 중복성 (Sequential Redundancy): 2D 특징을 너비 축을 따라 1D 시퀀스로 압축할 때, 많은 위치가 빈 공간(blank)이나 여백에 해당합니다. CTC(Connectionist Temporal Classification) 프레임워크에서 이러한 위치는 흔히 blank 레이블이 할당되지만, 표준 딥 시퀀스 믹서(sequence mixer)는 이 blank가 지배적인 구간에도 동일한 계산 예산을 할당합니다.

이는 **스파이킹 신경망(SNN)**에 특정한 미스매치를 발생시킵니다. SNN은 시간의 흐름에 따라 전개되는 이벤트 기반의 희소(sparse) 연산에 의존합니다. 그러나 오프라인 HTR 입력은 정적인 이미지입니다. 일반적인 해결책인 이미지 반복(repetition)이나 확률적 포아송 샘플링(stochastic Poisson sampling)은 정보가 중복되거나, 얇은 획(stroke)을 방해하는 노이즈를 유입시켜 단기 호흡의 스파이킹 추론을 효과적으로 만들기 어렵습니다.

2. 방법론: Spike-HTR

저자들은 필기 증거의 희소한 특성에 맞추기 위해 두 가지 계산 예산을 명시적으로 관리하는 하이브리드 스파이킹 인식기인 Spike-HTR을 제안합니다:

• 시간 예산 ($T$): 스파이킹 타임스텝(timesteps)의 수.
• 시퀀스 예산 ($\ell_b$): 길이 축 축소 후 딥 1D 믹서에 의해 처리되는 너비 축 위치의 수.

2.1. InkCoder: 결정론적 조-세(Coarse-to-Fine) 시간 진입 방식

정적-투-템포럴(static-to-temporal) 병목 현상을 해결하기 위해, 본 논문은 단일 정적 이미지를 짧은 공간 게이트(spatial gates) $\{g_t\}_{t=1}^T$의 시퀀스로 변환하는 결정론적 입력 모듈인 InkCoder를 도입합니다.

• 메커니즘: InkCoder는 흑백 이미지로부터 두 개의 상호 보완적인 증거 스트림을 구축합니다:
  1. 강도 스트림 (Intensity Stream): 조명 및 두께 변화에 강건하며 안정적인 획의 질량(stroke mass)을 추정합니다.
  2. 에지 스트림 (Edge Stream): 교차 모달 일관성(에지가 강도가 잉크를 나타내는 곳에서만 신뢰됨)과 공간적 일관성(고립된 텍스처 노이즈 억제)에 의해 필터링된 얇은 획과 접합 토폴로지를 복원합니다.
• 시간적 융합 (Temporal Fusion): 이 스트림들은 단계별 볼록 결합(step-dependent convex combination)을 통해 융합됩니다. 초기 타임스텝($t=1$)은 넓은 획 영역을 포착하기 위해 안정적인 강도 스트림을 강조합니다. 이후 타임스텝은 경계 세부 사항을 날카롭게 하기 위해 에지 스트림의 가중치를 점진적으로 높입니다.
• 게이팅 (Gating): 융합된 증거는 밀도 기반 스펙클 억제(density-based speckle suppression)를 통해 안정화되며, 스케줄링된 소프트 임계값 처리(soft-thresholding)를 통해 공간 게이트로 변환됩니다. 이 게이트들은 스파이킹 인코더에 주입되는 드라이브를 조절하여, 타임스텝이 중복된 재생이 아닌 구조화된 정교화에 사용되도록 보장합니다.

2.2. 스파이킹 인코더 (Spiking Encoder)

백본은 공유된 공간 특징 맵을 추출하기 위해 경량 비스파이킹 스템(non-spiking stem)을 사용하며, 이는 이후 다단계 스파이킹 2D 인코더에 의해 처리됩니다.

• 구조: stride-2 전이를 가진 3단계 계층 구조입니다.
• 보존 메커니즘: 스파이킹 뉴런의 저역 통과 적분(low-pass integration) 현상을 방지하기 위해, 모델은 다음을 채택합니다:
  • 막 숏컷 (Membrane Shortcuts): 미세한 획의 토폴로지를 보존하기 위해 아날로그 사전 활성화(pre-activations)를 스파이킹 출력에 더합니다.
  • 이중 해상도 융합 (Dual-Resolution Fusion): 스테이지 2의 고해상도 세부 사항이 콘텐츠 조건부 게이트를 통해 스테이지 3로 주입됩니다.
• 풀링 (Pooling): 최종 2D 맵은 높이 풀링을 통해 1D 토큰 시퀀스로 붕괴되며, 결과적인 길이는 $L_0 \approx W/4$입니다.

2.3. CTC 가이드 길이 축소기 (CTC-Guided Length Reducer)

딥 1D 믹서 이전에, CTC 가이드 길이 축소기가 시퀀스를 $L_0$에서 $\ell_b$로 압축합니다.

• 프리뷰 메커니즘: 융합된 스파이킹 특징에 대한 공유 CTC 헤드를 사용하여 스톱-그레이디언트(stop-gradient) 프리뷰를 계산합니다. 이는 각 위치에 대한 blank 사후 확률($p_{blank}$)과 불확실성($u$)을 추정합니다.
• 유지 및 병합 전략 (Keep-and-Merge Strategy):
  • 유지 (Keep): 낮은 blank 확률(문자일 가능성이 높음) 또는 높은 불확실성을 가진 위치를 유지합니다.
  • 병합 (Merge): likely blank 위치의 긴 구간을 blank 인지 가중 풀링(blank-aware weighted pooling)을 통해 짧은 구간(최대 크기 $k$)으로 압축합니다.
  • 제약 조건: 반복되는 문자를 구분할 수 있는 실행 가능성을 보장하기 위해 최소 유지 비율($\gamma$)이 강제됩니다.
• 범위: 이 구성 요소는 SNN에 무관(SNN-agnostic)하며 ANN-CTC 인식기에도 적용될 수 있습니다.

2.4. 1D 시퀀스 믹서 및 시간적 융합

단축된 시퀀스는 선형 어텐션, QK 스타일 믹싱, 대형 커널 스파이킹 컨볼루션을 포함하는 하이브리드 1D 믹서 스택에 의해 처리됩니다. 마지막으로, $T$개의 스파이킹 스텝은 학습된 볼록 결합을 통해 융합되어 최종 CTC 로짓(logits)을 생성합니다.

3. 주요 기여

1. 두 가지 예산 공식화: 본 논문은 정적 이미지 스파이킹 HTR을 희소한 증거에 대한 제한된 시간($T$) 및 시퀀스($\ell_b$) 예산 할당 문제로 규정합니다.
2. InkCoder: 정적 필기를 의미 있고 짧은 조-세(coarse-to-fine) 시간 스트림으로 변환하여, 확률적 노이즈나 중복 없이 효과적인 저-타임스텝($T=2$) 스파이킹 추론을 가능하게 하는 새로운 입력 모듈입니다.
3. CTC 가이드 축소기: 핵심적인 문자와 불확실한 위치는 유지하면서 blank가 지배적인 시퀀스를 압축하여 딥 믹서의 계산 부하를 줄이는 순서 보존형 길이 축소 메커니즘입니다.
4. Spike-HTR 모델: 외부 언어 모델이나 합성 데이터 없이 처음부터 훈련되어 경쟁력 있는 정확도를 달리는 스파이킹 트랜스포머입니다.

4. 실험 결과

모델은 IAM (영어), LAM (이탈리아어), READ2016 (독일어)의 세 가지 벤치마크에서 평가되었습니다. 모든 모델은 외부 언어 모델이나 사전(lexicon) 없이 그리디(greedy) CTC 디코딩을 사용하여 처음부터 훈련되었습니다.

• 정확도: $T=2$일 때, Spike-HTR은 다음과 같은 문자 에러율(CER)을 달성했습니다:
  • IAM: 5.4% (Test)
  • LAM: 2.5% (Test)
  • READ2016: 3.9% (Test)
• 시간적 스케일링 (Temporal Scaling): $T$를 2 이상으로 늘려도 수익 체감(diminishing returns)이 나타났습니다. CER은 $T=2$에서 포화되었지만, WER(단어 에러율)은 $T=4$까지 약간 개선되었는데, 이는 추가 타임스텝이 문자 치환보다는 단어 경계를 정교화함을 시사합니다.
• 어블레이션 연구 (Ablation Studies):
  • InkCoder: InkCoder를 반복(repetition), 포아송 코딩(Poisson coding), 또는 TTFS로 대체했을 때 상당한 성능 저하가 발생했습니다 (예: IAM CER이 반복 사용 시 3.5%에서 4.3%로 상승).
  • Reducer: 유지 및 병합 전략은 정확도 손실을 거의 없이 믹싱 시퀀스 길이를 약 32% 줄였습니다.
  • ANN 대조군: 동형 ANN(스파이킹 뉴런을 GELU로 교체)은 IAM 검증 데이터셋에서 3.558% vs 3.489% CER을 기록하며 약간 더 낮은 성능을 보였는데, 이는 엄격한 예산 제약 하에서 스파이킹 역학의 작은 이점을 시사합니다.
• 활동 진단 (Activity Diagnostics): 모델은 전역적으로 희소한 활동을 보였습니다. 1D 믹서가 더 높은 발화율(firing rates)을 가졌으나, 2D 인코더가 더 큰 활성화 맵 때문에 전체 스파이크 볼륨을 지배했습니다.

5. 의의 및 주장

본 논문은 Spike-HTR이 오프라인 HTR이 단순히 백본 설계의 문제가 아니라 예산 할당 문제임을 입증한다고 주장합니다.

• 효율성: $T$와 $\ell_b$를 제어함으로써, 모델은 계산을 실제 획(stroke) 증거의 밀도에 정렬합니다. 길이 축소기는 CTC 기반 인식기를 위한 일반적인 메커니즘을 제공하며, InkCoder는 특히 SNN을 위한 정적-투-템포럴 진입 문제를 해결합니다. 현재의 밀집 가속기(dense accelerators)에서 주된 즉각적 이점은 딥 믹서의 시퀀스 길이를 줄이는 것이지만, 모델의 희소한 발화 프로파일은 향-뉴로모픽 배포(데이터 이동과 활동이 주요 에너지 제약인 환경)에 필요한 이벤트 기반 희소성을 보존하고 있음을 나타냅니다.
• 겸손함: 저자들은 하이브리드 성격의 초기 시각 경로(밀집 스템 + 아날로그 숏컷)가 "스파이킹 네이티브" 실행을 제한한다는 점과, 극단적인 열화나 비라틴 문자에 취약할 수 있는 특정 사전 지식(강도/에지 일관성)에 대한 의존성 등 한계를 인정합니다. 그들은 보고된 효율성 이득이 현재는 즉각적인 워크클락 속도 향상보다는 알고리즘적 진단으로 보는 것이 적절하다고 강조합니다.