Q-Mask: Query-driven Causal Masks for Text Anchoring in OCR-Oriented Vision-Language Models

Q-Mask: 질의 기반 인과적 마스크를 활용한 OCR 중심 비전 - 언어 모델의 텍스트 앵커링

1. 문제 정의 (Problem)

현대 비전 - 언어 모델 (VLM) 은 광학 문자 인식 (OCR) 을 통해 이미지 내 텍스트를 읽을 수 있을 뿐만 아니라, 복잡한 시각적 장면에서 추론을 수행하는 기초 능력으로 자리 잡았습니다. 그러나 실제 응용 (예: 스마트 글래스, 상호작용형 VQA) 에서는 단순히 텍스트를 인식하는 것을 넘어, **질문된 텍스트가 이미지 내 어디에 위치하는지 정확하게 '앵커링 (Grounding)'**하는 것이 필수적입니다.

기존 연구들은 다음과 같은 한계를 보입니다:

• 불완전한 앵커링 능력: 범용 VLM 과 OCR 특화 VLM 모두 텍스트를 인식할 수는 있지만, 해당 텍스트의 공간적 영역 (Region) 을 정확하게 매핑하는 데 어려움을 겪습니다.
• 학습 패러다임의 결함: 기존 모델은 이미지 - 텍스트 쌍을 엔드 - 투 - 엔드 (End-to-End) 로 학습하여 텍스트 인식은 잘하지만, 텍스트와 공간적 위치 간의 명시적인 연결 고리를 형성하지 못합니다.
• 인과성 (Causality) 부재: 기존 마스크 기반 방법론들은 종종 전체 질문 - 답변 시퀀스 (Answer tokens) 를 기반으로 마스크를 예측합니다. 이는 autoregressive(자기회귀) 추론 과정에서 답변이 생성되기 전에 공간적 단서가 먼저 확보되어야 한다는 인과적 요구사항과 모순됩니다.

2. 제안 방법론 (Methodology)

저자들은 Q-Mask라는 새로운 프레임워크를 제안하며, 이는 **인과적 질의 기반 마스크 디코더 (Causal Query-Driven Mask Decoder, CQMD)**를 핵심으로 합니다.

• 시각적 CoT (Chain-of-Thought) 패러다임:

  • 모델이 "무엇 (What)"을 읽기 전에 "어디 (Where)"에 있는지 먼저 파악하는 구조화된 추론 과정을 도입합니다.
  • 텍스트의 위치 (Spatial) 와 내용 (Content) 을 분리하여, 공간적 증거를 확보한 후 텍스트 인식을 수행하도록 강제합니다.

• Causal Query-Driven Mask Decoder (CQMD):

  • 원리: 마스크 예측을 이미지 토큰과 질문 (Query) 토큰에만 의존하게 설계합니다. 아직 생성되지 않은 답변 (Answer) 토큰에 의존하지 않도록 구조적으로 제한합니다.
  • 수식적 표현: $P(A|I, Q) = \int P(A|S, Q) P(S|I, Q) dS$
    • 여기서 $S$는 질문과 이미지만으로부터 예측된 잠재적 공간 지지 (Spatial Support, 예: 마스크) 입니다.
    • 이는 답변 생성 전에 공간적 단서가 확립되어야 함을 의미하며, 추론 단계에서 명시적인 텍스트 앵커를 구성할 수 있게 합니다.
  • 구현: 시각 토큰 ($H_{img}$) 과 질문 토큰 ($H_q$) 의 크로스 어텐션을 통해 질의에 민감한 공간 특징을 추출하고, 이를 업샘플링하여 분할 마스크를 예측합니다.

• TextAnchor-26M 데이터셋:

  • CQMD 학습을 위해 구축한 대규모 데이터셋 (약 2,670 만 개) 입니다.
  • 구성: 무제한 장면 텍스트, 학술 문서, SynthDog 를 이용한 합성 텍스트, 그리고 인과적 마스크가 포함된 VQA 샘플로 구성됩니다.
  • 특징: 텍스트의 스타일 (폰트, 색상 등) 에 민감하지 않도록 스타일 제거된 마스크 (De-stylized mask) 렌더링을 적용하여, 언어 내용과 공간적 지지 간의 모달리티 무관한 정렬을 유도합니다.
  • SPI (Stochastic Prior Injection): 실제 OCR 오류 프로파일을 기반으로 노이즈가 있는 사전 지식 (OCR 출력) 을 주입하거나 제거하는 증강 기법을 도입하여 모델의 견고성을 높였습니다.

• 학습 전략:

  • Stage 1: TextAnchor-26M 을 사용하여 미세한 공간적 사전 지식 (Spatial Priors) 학습. (마스크 손실 + 다음 토큰 예측 손실 동시 최적화)
  • Stage 2: 일반적인 VQA 데이터와 Stage 1 샘플, 그리고 인과적 마스크 VQA 데이터를 혼합하여 지시 튜닝 (Instruction Tuning) 수행.

3. 주요 기여 (Key Contributions)

1. TABench (TextAnchor-Bench) 도입:

   • VLM 의 텍스트 앵커링 능력을 체계적으로 평가하기 위한 벤치마크입니다.
   • R2T (Region-to-Text): 지정된 영역의 텍스트 읽기.
   • T2R (Text-to-Region): 주어진 텍스트에 해당하는 영역 찾기.
   • 기존 모델들이 이 두 방향 모두에서 성능이 부족함을 입증했습니다.

2. Q-Mask 프레임워크 제안:

   • 답변 생성 전에 질의 기반의 공간적 마스크를 생성하는 인과적 디코딩 구조를 통해, 텍스트의 '위치'와 '내용'을 명확히 분리하고 정밀한 앵커링을 가능하게 합니다.

3. 대규모 데이터셋 및 학습 기법:

   • TextAnchor-26M 과 SPI 기법을 통해 VLM 에 강력한 공간적 사전 지식을 주입하고, 다양한 시각 장면에서 안정적인 텍스트 앵커링을 달성했습니다.

4. 실험 결과 (Results)

• TABench 성능: Q-Mask(3B 파라미터) 는 범용 VLM 및 OCR 특화 모델 대비 R2T 및 T2R 성능에서 균형을 이루며 우수한 결과를 보였습니다. 특히 3B 모델이 7B~8B 규모의 다른 오픈소스 모델들을 능가하거나 경쟁하는 성능을 보였습니다.
• 다운스트림 태스크: TextVQA, DocVQA, InfoVQA 등 다양한 문서 이해 및 VQA 벤치마크에서 기존 Qwen3-VL(2B/3B) 베이스라인 대비 상당한 성능 향상 (TextVQA 에서 9.2 포인트 상승 등) 을 기록했습니다.
• Ablation Study:
  • CQMD 제거 시 성능 저하 발생 (공간적 단서의 중요성 입증).
  • SPI 기법 적용 시 R2T 정확도와 T2R 재현율 (Recall) 이 모두 향상되었습니다.
  • Stage 1 학습 데이터의 양이 증가함에 따라 다운스트림 성능이 비선형적으로 개선되는 경향을 보였습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성 및 신뢰성: Q-Mask 는 모델이 답변을 생성하기 전에 "어디를 보고 있는지"를 시각적 히트맵 (Heatmap) 으로 명시적으로 보여줌으로써, VLM 의 추론 과정을 해석 가능하게 (Interpretable) 만듭니다.
• 실용적 가치: 스마트 글래스, 자동화 문서 처리 등 정밀한 상호작용이 필요한 실제 환경에서 텍스트의 위치와 내용을 동시에 정확히 파악할 수 있는 기반을 제공합니다.
• 미래 방향: 텍스트 앵커링 능력을 더 넓은 스크립트와 도메인으로 확장하고, 긴 문서 처리를 위한 토큰 효율적인 공간적 사전 지식 개발이 향후 과제로 제시되었습니다.

이 논문은 OCR 과 VLM 의 결합에서 '텍스트 인식'을 넘어 '공간적 정합성 (Spatial Grounding)'을 해결하기 위한 새로운 패러다임을 제시하며, 향후 grounded reasoning 연구의 중요한 이정표가 될 것으로 기대됩니다.