Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow

1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 은 시각 인식, 문서 파싱, 시각적 그라운딩 등 다양한 작업에서 뛰어난 성능을 보여주고 있습니다. 그러나 최근 연구에 따르면, VLM 은 질문과 관련된 이미지 영역을 '보아 (See)'내는 능력은 있으나, 이를 바탕으로 정답을 '인지 (Perceive)'하여 생성하는 데에는 실패하는 경우가 많습니다.

• 핵심 문제: VLM 이 올바른 이미지 영역을 포착함에도 불구하고 정답을 도출하지 못하는 시각과 인식 간의 불일치 (Misalignment) 현상.
• 원인 분석: 이 불일치는 디코딩 과정 중 비최적의 정보 흐름 (Suboptimal Information Flow) 에 기인합니다. 텍스트 토큰이 답변에 필요한 중요한 시각적 토큰뿐만 아니라, 배경이나 무관한 영역의 시각적 토큰에 과도한 어텐션 (Attention) 을 분산시키기 때문입니다. 이로 인해 노이즈가 포함된 시각 정보가 텍스트 디코딩 경로에 유입되어 잘못된 답변을 유도합니다.
• 기존 방법의 한계:
  • 시각 자르기 (Visual Cropping): 미세한 인식을 향상시키지만 추론 시간이 크게 증가하고, 관계 추론이나 카운팅 작업에는 효과가 제한적입니다.
  • 모델 재학습 (Retraining): 이미지와 텍스트 간 상호작용을 강화하지만 막대한 계산 자원과 데이터가 필요합니다.

2. 제안 방법 (Methodology)

저자들은 학습 없이 (Training-free), 추론 시 (Test-time) 적응형 정보 흐름 (Adaptive Information Flow, AIF) 을 조절하여 VLM 의 인식 능력을 향상시키는 방법을 제안합니다.

2.1. 핵심 아이디어

• 텍스트 토큰이 디코딩 단계에서 중요한 시각적 토큰에만 집중하고, 무관한 영역의 시각적 토큰과의 상호작용을 차단해야 합니다.
• 이를 위해 토큰 역학 (Token Dynamics) 을 기반으로 시각적 토큰의 중요도를 판단하고, 인과적 마스크 (Causal Mask) 를 변조하여 불필요한 정보 흐름을 차단합니다.

2.2. 구체적 절차

1. 토큰 역학 (Token Dynamics) 분석:
   • 디코딩 과정에서 각 시각적 토큰이 텍스트 토큰에 얼마나 강하게 어텐션하는지 측정합니다.
   • 중요한 객체 영역의 시각적 토큰은 특정 레이어에서 일관된 높은 활성화 패턴을 보이는 반면, 무관한 영역은 불규칙한 활성화 패턴을 보입니다.
2. 엔트로피 기반 중요도 측정:
   • 시각적 토큰의 역학 데이터 ($D_{v_i}$) 를 바탕으로 엔트로피 (Entropy) 를 계산합니다.
   • 높은 엔트로피는 토큰의 활성화 패턴이 무작위적 (불규칙) 임을 의미하므로, 해당 토큰은 중요도가 낮다고 판단하여 마스킹 (차단) 대상이 됩니다.
3. 적응형 정보 흐름 조절 (Adaptive Information Flow Modulation):
   • 1 단계 추론: 입력 이미지와 프롬프트로 초기 디코딩을 수행하여 토큰 역학 데이터를 수집합니다.
   • 마스킹 결정: 계산된 엔트로피를 기준으로 중요도가 낮은 시각적 토큰을 선택합니다.
   • 인과적 마스크 변조: 선택된 불필요한 시각적 토큰과 텍스트 토큰 간의 연결을 차단하는 변조된 인과적 마스크 (Modulated Causal Mask) 를 생성합니다.
   • 최종 추론: 변조된 마스크를 적용하여 LLM 이 최종 답변을 생성합니다.
   • 주의: 시각적 토큰 간의 상호작용 (Vis-to-Vis) 은 유지하여 이미지 정보의 손실을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 인식 능력 향상: 추론 중 정보 흐름을 조절함으로써 VLM 의 인식 (Perception) 능력을 크게 향상시킬 수 있음을 증명했습니다.
2. 학습 없는 적응형 방법 (Training-free AIF): 추가적인 학습이나 모델 가중치 변경 없이, 토큰 역학 기반의 엔트로피 측정과 인과적 마스크 변조만으로 성능을 개선하는 새로운 방법을 제안했습니다.
3. 광범위한 검증: 시각적 질문 응답 (VQA), 시각적 그라운딩 및 카운팅, OCR, 객체 환각 (Hallucination) 등 다양한 태스크와 모델 (LLaVA-1.5, Qwen2.5-VL) 에서 기존 베이스라인을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 일반적 VQA: RealWorldQA, MMStar, TextVQA 등 다양한 벤치마크에서 LLaVA-1.5 와 Qwen2.5-VL 의 성능을 유의미하게 향상시켰습니다 (예: LLaVA-1.5 의 RealWorldQA 점수 55.6 → 60.5).
• 세밀한 인식 (OCR 및 Grounding): TextVQA 와 같은 OCR 작업과 RefCOCO 와 같은 시각적 그라운딩 작업에서도 정밀도가 개선되었습니다. 특히 Grounding-DINO 와 같은 전문 모델보다 더 나은 결과를 보이기도 했습니다.
• 환각 (Hallucination) 감소: POPE 데이터셋에서 객체 환각 현상을 줄이고 사실적인 답변을 생성하는 능력을 향상시켰습니다.
• 비교 분석:
  • ViCrop (학습 없는 자르기 방법) 및 CCA (재학습 기반 방법) 보다 우수한 성능을 보이며, 특히 재학습 없이 더 높은 효율성을 달성했습니다.
  • 마스킹 전략 검증: 무작위 마스킹이나 낮은 어텐션 토큰 마스킹보다, 제안한 엔트로피 기반 마스킹이 성능 향상에 결정적임을 확인했습니다.
• 계산 비용: 추가적인 디코딩 단계가 하나 필요하지만, 이는 토큰 생성 시간과 유사하여 전체 추론 비용은 거의 증가하지 않습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLM 의 성능 향상을 위해 단순히 더 많은 데이터나 복잡한 아키텍처를 도입하는 것을 넘어, 모델 내부의 정보 흐름 구조 자체를 제어하는 새로운 관점을 제시했습니다.

• 해석 가능성: 시각적 토큰의 역학을 분석함으로써 모델이 '무엇을 보고 있는지'와 '무엇에 집중해야 하는지'를 이해하는 데 기여합니다.
• 실용성: 추가 학습 없이 추론 시에만 적용 가능하므로, 기존 VLM 을 즉시 개선할 수 있는 실용적인 솔루션을 제공합니다.
• 미래 방향: 멀티모달 모델에서 텍스트와 이미지의 상호작용을 조절하는 메커니즘에 대한 새로운 연구 방향을 제시하며, 모델의 '보는 것 (Seeing)'과 '이해하는 것 (Perceiving)' 사이의 간극을 해소하는 데 중요한 통찰을 제공합니다.