1. 연구 배경 및 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 이 복잡한 추론 작업 (예: 시각적 질문 답변, VQA) 을 수행할 때, Interleaved-Modal Chain-of-Thought (I-MCoT) 패러다임이 등장했습니다. 이는 추론 과정에 텍스트뿐만 아니라 이미지에서 선택된 시각적 증거 (visual evidence) 를 삽입하여 모델의 논리를 구체화하는 방식입니다.

그러나 기존 I-MCoT 방법론 (예: ICoT) 은 두 가지 근본적인 한계를 가지고 있었습니다:

1. 무엇을 볼 것인가 (Evidence Selection): 기존 방법은 VLM 의 Attention Map(주의도 맵) 에 의존하여 중요한 이미지 영역을 선택했습니다. 하지만 텍스트 쿼리가 짧고 이미지의 정보가 방대할 때 (Granularity Imbalance), Attention 신호는 신뢰성이 떨어지며, 실제로 중요한 시각적 증거를 놓치거나 배경 노이즈에 집중하는 경향이 있었습니다.
2. 언제 볼 것인가 (Triggering): 기존 방법은 줄바꿈 문자 생성 등 정적 (Static) 인 규칙에 따라 시각 정보를 삽입했습니다. 이는 모델이 추론 과정에서 시각적 정보가 실제로 필요한 '동적인 순간'을 포착하지 못하게 하여 비효율적이었습니다.

2. 제안 방법: AIM-CoT (Methodology)

저자들은 VLM 의 수동적이고 정적인 관측을 능동적이고 동적인 정보 탐색 (Active Information Foraging) 과정으로 전환하는 새로운 프레임워크 AIM-CoT를 제안합니다. 이는 정보 포식 이론 (Information Foraging Theory) 에 기반하여 설계되었으며, 세 가지 핵심 구성 요소로 이루어집니다.

(1) Context-enhanced Attention-map Generation (CAG)

• 목적: 텍스트와 시각 정보 간의 입자 불균형 (Granularity Imbalance) 을 완화하여 Attention 분포를 정제합니다.
• 작동 원리: VQA 작업 시작 전, VLM 에게 입력 이미지와 텍스트 쿼리를 기반으로 상세한 설명 (Description) 을 생성하도록 유도합니다. 이 설명은 원래의 짧은 쿼리에 추가되어 (Enhanced Query), 모델이 이미지의 중요한 세부 사항을 더 잘 파악할 수 있도록 의미적 앵커 (Semantic Anchors) 역할을 합니다.
• 효과: 이를 통해 Attention Map 의 신뢰도를 높이고, 후속 선택 단계 (AVP) 를 위한 더 정확한 후보 영역을 제공합니다.

(2) Active Visual Probing (AVP)

• 목적: "무엇을 볼 것인가" 문제를 해결하기 위해 정보 이득 (Information Gain, IG) 을 기반으로 가장 유익한 시각적 증거를 능동적으로 선택합니다.
• 작동 원리:
  • 후보군 구성: Attention 기반 영역 (Attention-driven Set) 과 무작위/탐색적 영역 (Exploratory Set) 을 결합하여 후보군을 만듭니다.
  • 정보 이득 정량화: 각 후보 영역을 컨텍스트에 삽입했을 때 VLM 의 다음 토큰 예측 불확실성 (Entropy) 이 얼마나 감소하는지 계산합니다.
    • $IG = H(Y|Context) - H(Y|Context + Region)$
  • 순차적 선택: 그레디언트 알고리즘 (Greedy Algorithm) 을 사용하여, 현재 컨텍스트에서 가장 큰 정보 이득을 제공하는 영역을 순차적으로 선택하고 삽입합니다.
• 특징: 단순한 Attention 점수가 아닌, 불확실성 감소를 기준으로 하므로 노이즈가 있는 Attention Map 에도 강건합니다.

(3) Dynamic Attention-shift Trigger (DAT)

• 목적: "언제 볼 것인가" 문제를 해결하기 위해 모델의 주의 전환 (Attention Shift) 을 감지하여 삽입 시점을 동적으로 결정합니다.
• 작동 원리: VLM 이 텍스트 컨텍스트에서 시각 컨텍스트로 주의를 전환할 때 (Text-to-Vision Attention Shift), 그 변화량 ($\Delta A_{vision}$) 이 임계값 ($\delta$) 을 초과하면 AVP 를 활성화하여 시각적 증거를 삽입합니다.
• 효과: 모델이 시각적 근거가 필요하다고 인지하는 정확한 순간에 정보를 제공하여 추론의 흐름을 방해하지 않습니다.

3. 주요 기여 (Key Contributions)

1. 능동적 정보 탐색 프레임워크: VLM 이 수동적으로 주어진 정보를 받아들이는 것이 아니라, 정보 이득을 기반으로 능동적으로 시각적 증거를 탐색하고, 모델의 인지 상태 변화에 맞춰 동적으로 삽입하는 통합 시스템 (CAG, AVP, DAT) 을 제안했습니다.
2. 신뢰성 있는 선택 메커니즘: Attention 신호의 한계를 극복하고, 정보 이론 (Information Gain) 을 기반으로 하여 실제로 의미 있는 시각적 영역을 선택함을 실험적으로 입증했습니다.
3. 배포 친화적 성능: 복잡한 계산에도 불구하고, 배치 처리 (Batch Processing) 와 KV Cache 기법을 통해 추론 시간을 기존 효율적 방법 (ICoT) 의 약 1.36 배 수준으로 유지하면서 뛰어난 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크: M3CoT, ScienceQA, LLaVA-W 등 3 개의 주요 VQA 벤치마크에서 평가되었습니다.
• 백본: Chameleon-7B, Janus-Pro-7B, Qwen2-VL-7B, Qwen2.5-VL-32B 등 4 가지 다양한 아키텍처와 규모의 모델에서 테스트되었습니다.
• 성능: AIM-CoT 는 모든 벤치마크와 백본에서 기존 SOTA 방법 (No-CoT, DDCoT, MMCoT, ICoT 등) 보다 일관되게 우수한 성능을 보였습니다.
  • 특히 M3CoT 와 ScienceQA 에서 정확도 (Accuracy) 가 크게 향상되었으며, LLaVA-W 에서도 ROUGE-L 점수가 크게 개선되었습니다.
• Ablation Study: CAG, AVP, DAT 세 구성 요소 모두 성능 향상에 기여하며, 특히 AVP(무엇을 볼 것인가) 와 DAT(언제 볼 것인가) 의 조합이 가장 큰 영향을 미치는 것으로 확인되었습니다.
• 정성적 분석: GPT-4v 를 활용한 평가에서 AIM-CoT 가 선택한 시각적 영역이 인간의 직관과 더 부합하며, 노이즈가 많은 영역을 필터링하고 핵심 객체를 정확히 포착하는 것으로 나타났습니다.

5. 의의 및 결론 (Significance)

이 논문은 시각 - 언어 추론 분야에서 I-MCoT 패러다임을 한 단계 발전시켰습니다. 기존 연구가 "정해진 규칙"이나 "불완전한 Attention 신호"에 의존했던 것과 달리, AIM-CoT 는 모델의 내부 인지 상태 (Cognitive State) 와 정보 이론을 결합하여 추론 과정을 최적화합니다.

• 이론적 의의: 정보 포식 이론을 VLM 의 시각적 증거 선택 메커니즘에 성공적으로 적용하여, 불확실성 감소가 추론 성능 향상의 핵심임을 입증했습니다.
• 실용적 의의: 복잡한 추론 작업에서 모델이 필요한 시각 정보를 적시에 (Right Time) 그리고 정확하게 (Right Place) 찾을 수 있도록 하여, VLM 의 해석 가능성과 신뢰성을 높였습니다. 또한, 높은 성능 향상 대비 낮은 계산 오버헤드로 실제 배포에 유리함을 보여주었습니다.

결론적으로 AIM-CoT 는 복잡한 시각 - 언어 추론 과제를 해결하기 위해 모델이 능동적으로 정보를 탐색하고 동적으로 반응하는 새로운 기준을 제시합니다.