기술 요약: 프롬프트가 픽셀이 될 때: 멀티모달 추론을 위한 프롬프트-영역 그라운딩 (Prompt-Region Grounding)

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 점점 더 스크린샷이나 문서를 처리하며, 이 과정에서 작업 지침 자체가 이미지 내의 텍스트(픽셀)로 렌더링되기도 합니다. 고해resolution 모델은 이러한 텍스트를 매우 높은 정확도로 읽을 수 있지만, 모델이 이러한 시각적 지침을 텍스트 기반 프롬프트와 동일한 효용성을 가지고 활용하는지는 여전히 불분명합니다.

기존 연구들은 지침이 시각화될 때 성능 저하가 관찰된다고 보고했으나, 이러한 격차는 캔버스 확장, 이미지 리사이징, 렌더러 아티팩트, 그리고 텍스트 토큰에서 픽셀로의 의미론적 변화 등 여러 요인이 혼재되어 있습니다. 결정적으로, 기존 벤치마크들은 모델이 시각적 텍스트를 '읽지 못하는 것'(OCR 실패)과 시각적 텍스트를 '추론 지침으로 활용하지 못하는 것'(의미론적 채널 격차)을 구분하지 못합니다. 본 논문은 작업 수행 텍스트를 읽는 능력과 이를 지침으로 그라운딩(grounding)하는 능력이 서로 다른 능력이라고 가정하며, 현재의 MLLM은 시각적 텍스트가 올바르게 전사(transcription)되더라도 텍스트 기반 프롬프트보다 효과가 떨어지는 체계적인 "의미론적 채널 격차(semantic channel gap)"를 보인다고 주장합니다.

2. 방법론

2.1 시각화된 작업 의미론 (Visualized Task Semantics, VTS)

의미론적 채널 격차를 격리하기 위해, 저자들은 통제된 개입 방식인 **시각화된 작업 의미론(VTS)**을 도입합니다.

• 원본 뷰 (Original View): 질문 $q$가 텍스트 토큰으로 제공되며, 이미지 $x$에는 시각적 증거가 포함됩니다.
• VTS 뷰 (VTS View): 질문 $q$가 이미지 $x$ 상단의 흰색 패널 안에 텍스트 픽셀로 렌더링됩니다. 기존의 텍스트 프롬프트는 고정된 큐(예: "문제를 해결하도록 도와줘")로 대체됩니다.
• 대조군 (Controls): 캔버스 기하학, 프롬프트 중복(질문을 두 채널 모두에 배치), 이미지 전용 입력 등을 사용하여 비의미론적 원인으로 인한 성능 저하를 배제합니다.

2.2 프롬프트-영역 그라운딩 (Prompt-Region Grounding)

이 격차를 메우기 위해, 저자들은 질문 영역의 시각적 표현을 타이핑된 의미론과 명시적으로 정렬하는 훈련 프레임워크인 프롬프트-영역 그라운딩을 제안합니다. 이 방법은 지도 학습 기반 미세 조정(SFT) 및 강화 학습(GSPO) 단계에서 작동하며, 추론 인터페이스를 변경하지 않습니다(테스트 시 OCR이나 영역 메타데이터가 필요하지 않음).

이 프레임워크는 VTS 및 실제 환경의 시각적 프롬프트 예시에 적용되는 두 가지 영역 수준 목적 함수를 도입합니다:

1. 의미론적 그라운딩을 포함한 프롬프트-시각 표현 증류 (Prompt-Visual Representation Distillation with Semantic Grounding, PVRD-SG):

   • 목표: 프롬프트 영역의 시각적 표현을 고정된 타이핑 질문의 의미론적 표현과 정렬합니다.
   • 메커니즘: 모델은 렌더링된 이미지 내 알려진 프롬프트 영역 박스 $b_i$로부터 시각적 토큰을 풀링(pooling)합니다. 이 표현 $z_i^{vis}$는 타이핑된 질문에서 유도된 캐싱된 고정 텍스트 임베딩 $t_i$와의 코사인 유사도를 최대화하도록 최적화됩니다.
   • 제약 조건: 텍스트 타겟은 고정되어 있고 그래디언트가 중단(stop-gradient)되어, 모델이 텍스트를 전사하도록 강요받지 않고 시각적 영역으로부터 작업의 의미론을 복구하도록 학습하게 합니다.

2. 프롬프트-영역 마스크 잠재 예측 (Prompt-Region Masked Latent Prediction, PRMLP):

   • 목표: 렌더링된 텍스트의 일부가 가려지거나 관찰하기 어려운 경우에도 프롬프트 영역의 시각적 표현이 안정적이고 복구 가능하도록 보장합니다.
   • 메커니즘: 합성 이미지의 프롬프트 영역 중 일부를 마스킹합니다. 모델은 마스킹된 입력으로부터 대응하는 깨끗한 크롭(unmasked prompt region)의 표현을 예측해야 합니다.
   • 제약 조건: 이는 픽셀 재구축이 아닌 잠재 일관성(latent consistency) 목적 함수입니다. 이는 모델이 지침 영역에 대한 견고한 내부 표현을 유지하도록 강제합니다.

2.3 훈련 파이프라인

• 균형 잡힌 재생 (Balanced Replay): 모델은 동일한 정답을 공유하는 원본 뷰와 VTS 뷰를 포함하는 쌍 데이터셋으로 학습됩니다.
• 지도 학습 기반 미세 조정 (SFT): 모델은 표준 자기회귀 다음 토큰 손실($L_{sft}$)과 영역 수준 손실($L_{sg}$ 및 $L_{prmlp}$)이 결합된 손실을 최소화합니다.
• 강화 학습 (GSPO): 지도 학습된 체크포인트는 형식의 정확성과 답변 정확성에 대한 보상을 사용하는 그룹 시퀀스 정책 최적화(GSPO)를 통해 더욱 정교화됩니다.

3. 주요 기여

1. 의미론적 채널 격차의 정량화: 본 연구는 질문을 텍스트 토큰에서 이미지 픽셀로 옮기는 것이 6개의 MLLM과 4개의 벤치마크에서 체계적인 정확도 저하를 일으킨다는 것을 입증했습니다. 평균 저하는 17.8 포인트이며, 일부 쌍에서는 최대 28.0 포인트까지 하락했습니다.
2. 읽기와 추론의 분리: 진단 테스트 결과, 모델은 시각적 질문을 정확하게 전사(87.6% exact match)하지만, 이를 효과적으로 활용하는 데는 실패(48.4% 정확도)하는 경우가 많았습니다. 전사된 텍스트를 텍스트 채널에 다시 삽입하면 상당한 정확도가 회복되는데, 이는 격차가 단순한 OCR 실패가 아니라 시각적 텍스트를 지침으로 그라운딩하는 데 실패했음을 증명합니다.
3. 프롬프트-영역 그라운딩 방법: 저자들은 이 격차를 해소하는 훈련 레시피를 도입했습니다. 시각적 프롬프트 영역을 타이핑된 의미론과 정렬하고 잠재 일관성을 강제함으로써, OCR이나 영역 탐지 없이도 VTS 정확도를 크게 향상시킵니다.
4. 일반화: 이 방법은 홀드아웃된 실제 페이지(UI, 워크시트, 양식) 및 독립적인 벤치마크(VISTA-Bench, OCRBench v2)에서 성능을 개선하여, 학습된 그라운딩 능력이 특정 VTS 렌더링을 넘어 전이됨을 시사합니다.

4. 실험 결과

실험은 주로 Qwen3-VL-4B 및 Qwen3-VL-8B를 대상으로 수행되었으며, InternVL3.5-8B에 대한 전이 결과도 포함되었습니다.

• 베이스라인 성능: 4개의 벤치마크(MATH-Vision, MathVista, ChartQA, MMMU) 전체에서 베이스라인(Balanced Replay)의 평균 VTS 정확도는 **61.4%**였으며, 이는 원본 인터페이스의 **69.8%**와 비교했을 때 8.4 포인트의 격차를 보였습니다.
• 제안 방법 성능: 제안된 방법("Ours")은 평균 VTS 정확도를 **66.3%**로 높이는 동시에 원본 정확도를 **70.3%**로 유지했습니다.
  • 이를 통해 의미론적 채널 격차를 8.4 포인트(Balanced Replay)에서 4.0 포인트로 줄였습니다.
  • VTS에서의 구체적인 이득: +7.8 (MATH-Vision), +7.0 (MathVista), +6.2 (ChartQA), +12.4 (MMMU).
• 구성 요소 분석:
  • PVRD-SG가 PRMLP 단독 사용 시보다 가장 큰 단일 구성 요소 이득(+2.6 포인트)을 제공했습니다.
  • PRMLP는 PVRD-SG와 결합했을 때 추가로 +1.8 포인트를 더했습니다.
  • 특히 프롬프트 패널로부터 읽는 것이 전체 이미지 또는 무작위 영역 요약보다 우수한 성능을 보였습니다.
• 실제 환경 일반화: 1,000개의 홀드아웃 실제 페이지에서, 이 방법은 표준 SFT 대비 정확도를 7.9 포인트(58.0%에서 65.8%로) 개선하여 다양한 레이아웃과 폰트에 대한 견고함을 입증했습니다.
• 비용 효율성: 이러한 개선은 표준 SFT와 동일한 훈련 비용(FLOPs)으로 달성되었으며, 이는 이득이 단순히 더 많은 훈련 시간 때문이 아니라 특정 목적 함수에서 기인함을 증명합니다.

5. 의의 및 주장

본 논문은 질문을 전달하는 채널이 MLLM의 추론 능력을 근본적으로 변화시킨다는 점을 주장합니다. 주요 의의는 흔히 동일하게 취급되는 두 가지 능력, 즉 이미지 내의 텍스트를 읽는 것과 그 텍스트를 작업 지침으로 그라운딩하는 것을 구분했다는 데 있습니다.

저자들은 다음과 같이 주장합니다:

1. 격차는 OCR이 아닌 의미론적 문제입니다: 모델은 텍스트를 읽을 수는 있지만, 시각적 픽셀을 권위 있는 지침으로 취급하는 데는 실패합니다.
2. 영역 수준의 감독이 효과적입니다: 시각적 질문 영역을 타이핑된 의미론과 명시적으로 연결함으로써, 모델이 작업의 '깨끗한' 표현을 복구하도록 하여 채널 격차를 메울 수 있습니다.
3. 추론의 단순성: 이 방법은 추론 시 추가 모듈(OCR, 객체 탐지)을 요구하지 않습니다. 모델은 훈련 중에 관련 영역에 암묵적으로 주의를 기울이는 법을 학습합니다.

결론적으로, 질문을 픽셀로 옮기는 것이 새로운 문제는 아니지만, 프롬프트-영역 그라운딩이라는 특정 메커니즘은 시각적 지침을 타이핑된 것만큼 효과적으로 추론할 수 있게 함으로써 의미론적 채널 격차에 대한 확장 가능한 솔루션을 제공합니다. 저자들은 이 방법이 훈련 중에 알려진 작업 영역을 가정하며, 임의의 이미지에 대한 일반적인 작업 영역 탐지기를 표방하는 것은 아님을 밝히며 겸허한 태도를 유지했습니다.