기술 요약: MRT – 재사용 가능한 트랜스포머를 결합한 Mamba 기반의 장면 텍스트 인식 프레임워크

1. 문제 정의

장면 텍스트 인식(Scene Text Recognition, STR)은 모델이 두 가지 상충하는 과제를 동시에 해결하도록 요구합니다: 미세한 국소적 세부 사항(글자 획 구조 및 경계)을 보존하는 것과, 왜곡되거나 가려진 텍스트를 판별하기 위해 장거리 전역적 의미 의존성을 포착하는 것입니다.

합성곱 신경망(CNN)은 국소적 특징 추출에는 뛰어나지만, 수용 영역(receptive field)의 한계로 인해 장거리 의존성을 포착하는 데 어려움을 겪습니다. 반대로, 비전 트랜스포머(ViT)는 셀프 어텐션을 통해 전역적 문맥을 포착하지만, 이차 복잡도(quadratic complexity) 문제로 인해 메모리 소비와 추론 지연 시간이 높습니다. 최근 상태 공간 모델(SSM), 특히 Mamba가 선형 시간 복잡도를 가진 효율적인 대안으로 부상했습니다. 그러나 저자들은 일반적인 Mamba를 STR에 적용할 때 발생하는 결정적인 구조적 불일치를 식별했습니다:

1. 인과적 스캐닝(Causal Scanning): Mamba의 순차적, 인과적 스캐닝은 단방향이어서, 언어의 양방향성과 시각적 텍스트 특징의 2D 공간적 국소성을 포착하지 못합니다.
2. 공간적 국소성 결여: 원래의 공식은 시퀀스 중심이며, 미세한 글자 형태(glyph)를 인식하는 데 필수적인 2D 공간적 국소성을 명시적으로 인코딩하지 않습니다.

이러한 한계는 효과적인 국소 특징 추출과 최적의 전역 문맥 모델링을 방해하여, 효율성 이득과 인식 정확도 사이의 괴리를 발생시킵니다.

2. 방법론

저자들은 Mamba의 효율성과 STR의 특정 요구 사항을 조화시키기 위해 설계된 계층적 아키텍처인 **MRT (Mamba-based framework with Reusable Transformer)**를 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다.

A. NA-Mamba (Neighborhood Attention Mamba)

일반적인 Mamba의 구조적 불일치를 해결하기 위해, 저자들은 NA-Mamba를 도입하여 SSM 경로를 두 가지 방식으로 수정합니다:

• 인과성 제거: 기존의 인과적 1D 컨볼루션을 표준(비인과적) 1D 컨볼루션으로 교체합니다. 이를 통해 현재 토큰이 이전 및 이후의 로컬 문맥 모두에 접근할 수 있게 하여, 글자의 모호성을 해결하는 데 중요한 양방향 로컬 상호작용을 가능하게 합니다.
• 병렬 근접 어텐션(NA) 브랜치: SSM 경로와 병렬로 브랜치를 추가합니다. 이 브랜치는 글로벌 어텐션 대신 로컬 이웃 윈도우($\Omega(i)$) 내에서 콘텐츠 적응형 집계(content-adaptive aggregation)를 수행합니다. 이는 전역 셀프 어텐션보다 낮은 계산 비용으로 미세한 텍스트 구조 모델링을 명시적으로 강화하며, 이는 불규칙한 레이아웃이나 원근 왜곡에 특히 유익합니다.
• 융합: SSM과 NA 브랜치의 출력을 동일한 차원으로 투영하고, 요소별 덧셈(element-wise addition)을 통해 융합한 후 잔차 연결(residual connection)을 통과시킵로 합니다.

B. 재사용 가능한 트랜스포머 (Reusable Transformer)

Mamba의 부족한 양방향 전역 문맥을 보완하기 위해, 저자들은 재사용 가능한 트랜스포머 모듈을 포함합니다.

• 배치: 이 모듈은 특징 추출 계층의 두 번째 및 세 번째 단계 이후에 적용됩니다.
• 파라미터 공유: 하나의 트랜스포머 인코더($\theta$로 매개변수화됨)를 여러 단계에서 재사용합니다. 각 단계마다 독립적인 트랜스포머 블록을 사용하는 대신, 서로 다른 단계의 특징에 동일한 가중치를 적용합니다.
• 아키텍처: 트랜스포머는 표준 인코더 패러다임을 따르되, 셀프 어텐션 이후의 표준 잔차 연결을 채널별 특징 재보정(channel-wise feature recalibration)을 위한 Squeeze-and-Excitation (SE) 블록으로 대체합니다.
• 이점: 이 설계는 파라미터 오버헤드를 획기적으로 줄이는 동시에 전역 특징 상호작용의 일관성을 강제하고 학습 수렴을 가속화합니다.

C. 전체 아키텍처

MRT는 3단계 계층 구조를 채택합니다:

1. 패치 임베딩(Patch Embedding): 입력 이미지를 공간적으로 정렬된 시각적 토큰으로 변환합니다.
2. 특징 추출: 다운샘플링 모듈(MBConv)과 다수의 NA-Mamba 레이어를 포함하는 3개의 단계로 구성됩니다.
3. 정제(Refinement): 단계 2와 3 이후에 재사용 가능한 트랜스포머 블록을 삽입합니다.
4. 디코딩: 정제된 특징은 압축되어 듀얼 스트림 어텐션이 있는 사전 정규화된 트랜스포머 디코더로 전달되어 예측 시퀀스를 생성합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. STR을 위한 맞춤형 Mamba 적응: 인과적 스캐닝과 국소 특징 추출의 결핍을 해결하기 위해 표준 컨볼루션과 병렬 근접 어텐션 브랜치를 통합한 NA-Mamba를 제안했습니다.
2. 재사용 가능한 트랜스포머 설계: 단일 트랜스포머 인코더를 여러 단계에서 재사용하는 파라미터 공유 전략을 도입했습니다. 이는 전역 의존성 모델링을 강화하는 동시에 파라미터 수를 크게 줄이고 수렴을 가속화합니다.
3. MRT 프레임워크: 재사용 가능한 모듈과 정렬된 특징 스케일을 보존하기 위해 점진적 다운샘플링 패러다임에서 벗어난 완전한 백본을 제공합니다. 이는 ViT 및 CNN의 유효한 대안으로서, 훨씬 적은 파라미터로 경쟁력 있는 성능을 달달성합니다.

4. 실험 결과

저자들은 6개의 표준 벤치마크(IIIT5K, SVT, IC13, IC15, SVTP, CUTE80)와 대규모 Union-14M 벤치마크에서 MRT를 평가했습니다.

• 성능 대비 효율성:
  • MRT-B (Base): 표준 벤치마크에서 **96.96%**의 평균 정확도를 달성하였으며, 유사하거나 더 큰 규모의 모델(예: SVTRv2, SMRT)보다 우수한 성능을 보이면서도 유사하거나 더 작은 파라미터 규모(23.48M)를 유지했습니다.
  • MRT-T (Tiny): 단 4.72M개의 파라미터만을 가진 경량 버전으로 **95.06%**의 평균 정확도를 달성하여, 훨씬 더 큰 용량을 가진 최근의 여러 방법론들을 능가하거나 대등한 성능을 보였습니다.
• Union-14M 벤치마크: MRT-B는 **84.76%**의 평균 정확도를 기록하며, 특히 예술적(Artistic), 돌출된(Salient), 다방향(Multi-Oriented) 텍스트와 같은 까다로운 하위 집합에서 ABINet 및 LISTER와 같은 더 큰 모델들과 대등하거나 이를 능가하는 성능을 보였습니다.
• 절제 연구(Ablation Studies):
  • NA-Mamba: 인과적 컨볼루션을 교체하고 NA 브랜치를 추가했을 때 평균 정확도가 0.5% 향상되었으며, 특히 불규칙한 텍스트 데이터셋(예: SVTP)에서 최대 **1.7%**의 유의미한 이득을 보였습니다.
  • 재사용 가능한 트랜스포머: 트랜스포머를 도입하면 베이스라인 대비 정확도가 약 2% 향상되었습니다. 파라미터 공유(Reuse) 방식은 공유되지 않은 트랜스포머와 거의 동일한 정확도(차이 0.22%)를 달성하면서도 모델 크기를 17.8% 감소시켰습니다.
  • 수렴: Reuse 설정은 비공유(non-shared) 구성에 비해 초기 학습 단계에서 더 빠른 손실 감소와 빠른 수렴을 보여주었습니다.

5. 의의 및 주장

본 논문은 MRT가 적절한 태스크 특화 공간 모델링과 경량 전역 정제를 갖추었을 때, Mamba 기반 아키텍처가 STR을 위한 경쟁력 있고 효율적인 백본 역할을 할 수 있음을 입증한다고 주장합니다.

• 균형 잡기: 이 프레임워크는 국소적 정밀도와 전체적 문맥 추론 사이의 본질적인 긴장 관계를 성공적으로 해결하여, 강력한 정확도-효율성 트레이드오프를 달성했습니다.
• 효율성: 재사용 가능한 트랜스포머를 통해 과잉 매개변수화를 피하고 NA-Mamba를 통해 국소 모델링을 최적화함으로써, MRT는 더 효율적인 최적화를 촉진하며 자원이 제한된 환경에 적합합니다.
• 향ers 방향: 저자들은 MRT가 순차적 스캐닝의 한계를 개선했지만, 향후 연구에서는 시각적 텍스트 처리에 대한 한계를 더욱 극복하기 위해 본질적으로 공간적인 상태 공간 모델(spatial state-space models)을 탐구하는 것을 목표로 한다고 언급했습니다.

이 연구는 기존의 모든 STR 방법을 대체하려는 것이 아니라, 현저히 적은 파라미터 수로 최첨단 성능에 필적하는 매우 효율적인 대안으로서 자리매김하고 있습니다.