기술 요약: TICLS (Tightly Coupled Language Text Spotter)

문제 정의

장면 텍스트 스포팅(Scene text spotting)은 실제 이미지 내에서 텍스트를 탐지하고 인식하는 것을 목표로 합니다. 이 작업은 텍스트 인스턴스가 짧거나, 파편화되어 있거나, 시각적으로 모호하거나, 열악한 상태(흐림, 노이즈, 가려짐 등)인 경우가 많기 때문에 매우 까다롭습니다. 기존의 엔드투엔드(end-to-end) 방식들은 시각적 단서에 크게 의존하며 로컬 캐릭터 의존성을 암묵적으로 포착하지만, 외부 언어 지식의 이점은 간과하는 경우가 많습니다.

언어 모델을 통합하려는 이전의 시도들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 제한된 문맥(Limited Context): LM-TextSpotter와 같은 방법들은 장면 텍스트 데이터셋에 존재하는 텍스트만을 대상으로 언어 모델링 목적 함수를 학습합니다. 결과적으로, 풍부한 라벨 없는 텍스트 데이터를 활용하지 못하며 제한된 코퍼스로부터만 문맥적 패턴을 학습하게 됩니다.
2. 입도 불일치(Granularity Mismatch): 기존의 사전 학습된 언어 모델(PLM)은 일반적으로 서브워드(sub-word) 토큰을 사용하여 대규모의 잘 구조화된 문장(예: 뉴스, 도서)으로 학습됩니다. 이를 장면 텍스트에 직접 적용할 경우, 일관된 문법 구조가 결여된 짧고 공간적으로 국소화된 단어나 구절로 구성된 장면 텍스트의 워드 레벨(word-level) 의미론과 문장 레벨의 언어 모델링 사이에서 불일치가 발생합니다.

방법론

저자들은 장면 텍스트에 특화된 캐릭터 레벨(character-level) 사전 학습 언어 모델(PLM)로부터 외부 언어 지식을 명시적으로 통합하는 엔드투엔드 프레임워크인 TICLS(Tightly Coupled Language Text Spot서)를 제안합니다.

아키텍처

TICLS는 세 가지 구성 요소로 이루어져 있습니다 (그림 1):

1. 시각적 특징 추출기 및 디코더(Visual Feature Extractor and Decoder): DeepSolo 아키텍처(DETR 기반의 엔드투엔드 텍스트 스포터)를 기반으로 합니다. ViTAEv2 백본과 시각적 인코더를 활용하여 텍스트 영역 제안(Bezier 곡선으로 표현됨)을 생성합니다. 시각적 디코더는 이러한 제안을 정교화하고 시각적 특징을 추출합니다.
2. 시각-언어 투영(Visual-to-Language Projection): 시각적 디코더의 공간($D_V$)에서 언어적 디코더의 공간($D_L$)으로 시각적 임베딩을 매핑하는 모듈입니다.
3. 언어적 디코더(Linguistic Decoder): 커스텀 PLM의 가중치로 초기화된 트랜스포머 기반 디코더입니다. 이 디코더는 투영된 시각적 특징과 언어적 사전 지식을 융합하여 텍스트 인식을 수행합니다.

커스텀 사전 학습 언어 모델 (PLM)

표준 PLM과 장면 텍스트 사이의 격차를 해결하기 위해, 저자들은 BART에서 영감을 얻었으나 세 가지 핵심적인 수정을 거친 새로운 PLM 아키텍처를 설계했습니다 (그림 2):

• 토큰 입도(Token Granularity): 서브워드 토큰 대신 캐릭터 레벨 토큰을 사용합니다. 이는 장면 텍스트의 짧고 파편화된 특성에 더 잘 부합합니다.
• 입력 시퀀스(Input Sequences): 모델은 전체 문장이 아닌, 장면 텍스트의 특성을 반영하여 최대 3개의 단어로 구성된 시퀀스 상에서 사전 학습됩니다.
• 교차 주의 집중 소스(Cross-Attention Source): 사전 학습 중에 디코더는 인코더의 오염된 텍스트 상태에 어텐션을 수행합니다. TICLS 학습 및 추론 과정 중에는 디코더의 교차 주의 집중 소스가 시각적 디코더로부터 온 투영된 시각적 특징으로 전환됩니다.

PLM은 연속적인 알파벳 구간의 20-40%를 마스킹하는 디노이징 시퀀스-투-시퀀스(denoising sequence-to-sequence) 목적 함수(텍스트 인필링)를 사용하여 사전 학습됩니다. 디코더는 원래의 시퀀스를 자기회귀(autoregressively) 방식으로 재구성하도록 학습됩니다.

학습 및 추론

• 초기화: TICLS의 언어적 디코더는 사전 학습된 PLM의 가중치로 초기화됩니다.
• 미세 조정(Fine-tuning): 모델은 장면 텍스트 데이터셋에서 미세 조정됩니다. 교차 주의 집중 메커니즘은 인코더 상태 대신 시각적 특징($Z_{vl}$)을 참조하도록 수정됩니다.
• 손실 함수(Loss Function): 전체 손실은 시각적 인코더 손실, 시각적 디코더 손실, 그리고 언어적 디코더 손실(토큰 레벨의 음의 로그 가능도)의 결합으로 계산됩니다.
• 추론(Inference): 모델은 자기회귀 디코딩을 수행하며, 종료(end-of-sequence) 토큰이 생성되거나 최대 길이에 도달할 때까지 순차적으로 토큰을 생성합니다.

주요 기여

1. TICLS 프레임워크: 기존의 시각 전용 또는 자기 지도 학습 기반 언어 모델에서 발견되는 암묵적 의존성 포착을 넘어, PLM으로부터 외부 언어 지식을 명시적으로 통합하는 새로운 엔드투엔드 텍스트 스포터입니다.
2. 장면 텍스트를 위한 캐릭터 레벨 PLM: 장면 텍스트의 고유한 특성을 처리하기 위해 캐릭터 레벨 입도를 사용하여 짧고 파편화된 텍스트 시퀀스로 사전 학습된 특화된 PLM을 개발했습니다.
3. 긴밀한 결합 통합(Tightly Coupled Integration): 커스텀 PLM으로 초기화된 언어적 디코더를 도입하여 언어적 정보와 시각적 정보의 긴밀한 융합을 가능하게 했습니다. 이 접근 방식은 보완적인 언어적 단서를 활용함으로써 모호하거나 시각적으로 열악한 텍스트의 인식을 향상시킵니다.

실험 결과

저자들은 세 가지 표준 벤치마크인 ICDAR 2015, Total-Text, CTW1500에서 TICLS를 평가했습니다.

• 성능: TICLS는 모든 데이터셋과 평가 설정(Strong, Weak, Generic, Lexicon-free)에서 최첨단(state-of-the-art) 성능을 달성했습니다.
  • ICDAR 2015에서 TICLS는 이전 최고 모델(SwinTextSpotter v2)보다 Strong 설정에서 0.5%, Weak 설정에서 1.3% 향상되었으며, Lexicon-free Hmean 79.1%를 달성했습니다 (DeepSolo 대비 5.3% 향상).
  • Total-Text 및 CTW1500에서도 TICLS는 기존 방법들을 능가했으며, 특히 Lexicon-free 설정에서 눈에 띄는 이득을 보였습니다.
• 절제 연구(Ablation Studies):
  • 토큰 입도: 캐릭터 레벨 PLM 초기화는 표준 BART 초기화(서브워드 토큰)보다 성능이 현저히 높았으며, 이는 서브워드 표현이 짧고 불규칙한 장면 텍스트 처리에 어려움이 있음을 입증합니다.
  • 어휘량(Vocabulary): 언어적 디코더 없이 어휘량만 확장하는 것은 전체 TICLS 아키텍처만큼의 성능 향상을 가져오지 못했습니다.
  • 사전 학습 데이터: PLM 사전 학습 시 장면 텍스트 데이터와 외부 NLP 코퍼스(뉴스, POI 이름)를 결합했을 때 가장 좋은 결과를 얻었으며, 특히 미등록 단어(OOV)에 대해 효과적이었습니다.
• 정성적 분석: 시각적 비교 결과, TICLS는 시각적 모호성(예: 'L'과 'T'를 혼동하거나 회전된 텍스트 처리)으로 인해 DeepSolo가 실패한 경우에도 텍스트를 정확하게 인식함을 보여주었습니다.

의의 및 한계

본 논문은 TICLS가 장면 텍스트 스포팅을 위한 PLM 가이드 언어 통합의 유효성을 검증한다고 주장합니다. 문장 레벨의 언어 모델링과 워드 레벨의 장면 텍스트 사이의 간극을 메움으로써, 외부 언어 지식이 모호한 시각적 입력에 대한 강력한 보완 정보로 작-용할 수 있음을 보여줍니다.

한계 및 향 향후 과제:

• 효율성: 추가된 언어적 디코더로 인해 모델의 파라미터 수가 더 많고(DeepSolo의 36.0M 대비 98.5M), 추론 시간이 더 느립니다(DeepSolo의 0.87s 대비 1.35s).
• 향후 방향: 저자들은 언어적 사전 학습을 시각적 디코더에 직접 통합하여 중복성을 줄이고, 계산 비용이 증가하더라도 긴 시퀀스에 대한 정확도를 높이기 위해 빔 서치(beam search) 디코딩을 탐색할 것을 제안합니다.