Tinted Frames: Question Framing Blinds Vision-Language Models

1. 문제 정의 (Problem Statement)

비전 - 언어 모델 (VLM) 은 복잡한 다중 모달 추론 작업에서 뛰어난 성능을 보이지만, 최근 연구들은 이러한 모델들이 실제로 이미지를 '이해'하기보다는 강력한 언어 사전 지식 (Language Priors) 에 의존하여 답변을 생성한다는 '시각적 무지 (Visual Blindness)' 현상을 지적해 왔습니다.

이 논문은 기존 연구가 간과했던 새로운 관점을 제시합니다. 즉, VLM 의 시각적 무지는 모델 아키텍처의 고정된 결함이 아니라, 질문의 프레이밍 (Question Framing) 에 따라 선택적으로 발생하는 동적 현상이라는 것입니다.

• 핵심 문제: 동일한 시각적 추론이 필요한 질문이라도, 오픈 엔디드 (Open-ended), 예/아니오 (Yes/No), 객관식 (MCQ) 등 질문의 형식 (프레이밍) 이 달라지면 모델의 시각적 주의를 기울이는 정도와 분포가 극적으로 변화합니다.
• 관찰: 모델은 오픈 엔디드 질문에서는 이미지에 집중하지만, 제약이 있는 프레이밍 (Yes/No, MCQ) 으로 전환되면 시각적 정보를 무시하고 텍스트적 단서나 관련 없는 토큰에 주의를 기울이게 되어 정확도가 떨어집니다.

2. 방법론 (Methodology)

저자들은 이 현상을 분석하고 해결하기 위해 세 단계의 연구 접근법을 사용했습니다.

A. 메커니즘 분석 (Mechanistic Analysis)

1. 크로스 - 프레이밍 불일치 (Cross-Framing Inconsistency) 측정:
   • 동일한 의미의 질문을 오픈 엔디드, Yes/No, MCQ 형식으로 변환하여 모델의 답변 일관성을 평가했습니다.
   • 오픈 엔디드에서는 정답을 맞췄으나, 제약된 형식 (Yes/No, MCQ) 으로 바꿨을 때 틀리는 경우를 '불일치'로 정의하고 이를 정량화했습니다.
2. 주의 맵 (Attention Map) 분석:
   • 단순한 주의 가중치 평균이 아닌, 어텐션 롤아웃 (Attention Rollout) 기법을 사용하여 입력 시각 토큰에서 출력 임베딩까지 정보가 어떻게 전파되는지 추적했습니다.
   • 시각 에너지 (Visual Energy): 이미지에 할당된 전체 주의의 양.
   • 박스 어텐션 (Box Attention): 타겟 객체 (Ground Truth Bounding Box) 에 할당된 주의의 양.
   • 싱크 어텐션 (Sink Attention): 의미 없는 배경 토큰에 할당된 주의.
3. 주의 조향 (Attention Steering) 실험:
   • 제약된 프레이밍 (Yes/No, MCQ) 에서 오픈 엔디드 프레이밍과 유사한 주의 분포를 인위적으로 재현 (Steering) 하여 정확도가 회복되는지 확인했습니다. 이는 프레이밍 변화가 주의 분포를 왜곡시키고, 이것이 정확도 저하의 직접적인 원인임을 입증합니다.

B. 제안된 해결책: 프롬프트 튜닝 (Prompt Tuning)

모델의 가중치를 변경하지 않고, 학습 가능한 소프트 토큰 (Learnable Soft Tokens) 을 추가하는 경량화된 프롬프트 튜닝 방법을 제안합니다.

• 구조: 제약된 프레이밍 (Yes/No, MCQ) 입력 시퀀스의 특정 위치 (주로 질문 토큰 직후) 에 $K$개의 학습 가능한 토큰을 추가합니다.
• 학습 목표:
  1. 표준 교차 엔트로피 손실: 정답 예측 능력을 유지.
  2. 주의 정렬 손실 (Attention Alignment Loss): 제약된 프레이밍의 주의 분포를 오픈 엔디드 프레이밍의 주의 패턴에 맞추도록 유도.
     • 시각 에너지 (Visual Energy) 의 L2 손실.
     • 정규화된 시각 주의 분포의 KL 발산 손실 (공간적 정렬).
• 데이터: LLaVA instruction tuning 데이터셋에서 샘플링하여 학습하며, 모델이 이미 정답을 확신하는 샘플에 높은 가중치를 두어 신뢰할 수 있는 주의 패턴을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 선택적 무지 (Selective Blindness) 의 발견: VLM 의 시각적 무지는 고정된 결함이 아니라, 질문의 형식 (프레이밍) 에 의해 조절되는 동적 행동임을 최초로 규명했습니다.
2. 인과 관계 입증: 프레이밍 변화 $\rightarrow$ 시각 주의 분포 왜곡 $\rightarrow$ 예측 정확도 저하라는 인과 관계를 주의 조향 실험을 통해 메커니즘적으로 입증했습니다.
3. 경량화된 완화 전략: 모델 재학습 없이 소수의 학습 가능한 토큰만 추가하여, 제약된 프레이밍에서도 오픈 엔디드 수준의 시각적 근거 (Visual Grounding) 를 회복시키는 방법을 제시했습니다.

4. 실험 결과 (Results)

• 불일치율: Qwen2.5-VL-7B, Gemma3, GLM4.1V 등 주요 VLM 에서 오픈 엔디드 정답을 Yes/No 또는 MCQ 로 변환했을 때 15~38% 의 높은 불일치율이 관찰되었습니다. 특히 객체 위치 파악 (Grounding) 이 필요한 작업에서 불일치가 가장 심했습니다.
• 주의 분석 결과:
  • 제약된 프레이밍 (Yes/No, MCQ) 은 오픈 엔디드에 비해 시각 에너지가 약 40~50% 감소했습니다.
  • 타겟 객체 (Box) 에 대한 주의는 크게 줄어들고, 의미 없는 '싱크 토큰'이나 배경으로 주의가 이동하는 현상이 확인되었습니다.
  • 주의 조향 실험을 통해 시각 에너지를 복원하거나 공간적 분포를 정렬하면 정확도가 유의미하게 회복됨을 확인했습니다.
• 성능 개선: 제안된 프롬프트 튜닝 방법을 적용한 결과, 다양한 벤치마크 (GQA, SeedBench, V*, HRBench 등) 에서 일관된 성능 향상을 보였습니다.
  • 특히 미세한 시각적 근거가 필요한 작업 (V*, HRBench) 에서 정확도가 크게 상승했습니다.
  • 모델의 가중치는 고정된 채로, 오직 학습 가능한 토큰 (약 60K 파라미터) 만을 학습하여 효율적으로 개선되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLM 의 성능 평가와 개선에 중요한 시사점을 제공합니다.

• 평가의 재고: 기존의 벤치마크 평가가 질문 형식 (프레이밍) 에 따라 모델의 능력을 과대 또는 과소 평가할 수 있음을 경고합니다. 특히 MCQ 나 Yes/No 형식만으로는 모델의 진정한 시각 이해 능력을 측정하기 어렵습니다.
• 동적 행동의 이해: "모델이 볼 수 없다"는 정적인 관점에서 벗어나, "모델이 질문 형식에 따라 보지 않기로 결정한다"는 동적 관점으로 시각적 무지를 재정의했습니다.
• 실용적 해결책: 모델 구조를 변경하지 않고도 프롬프트 수준에서 시각적 주의를 재조정하여 모델의 견고성 (Robustness) 을 높일 수 있음을 보여주었습니다. 이는 향후 VLM 의 신뢰성 있는 배포와 평가에 필수적인 통찰을 제공합니다.