이 논문은 ICLR 2026에 발표된 "MORE THOUGHT, LESS ACCURACY? ON THE DUAL NATURE OF REASONING IN VISION-LANGUAGE MODELS" (더 많은 사고, 더 낮은 정확도? 비전 - 언어 모델에서 추론의 이중성) 입니다. 이 논문은 대규모 언어 모델 (LLM) 의 추론 능력이 비전 - 언어 모델 (VLM) 에 적용될 때 발생하는 역설적인 현상을 규명하고, 이를 해결하기 위한 새로운 학습 방법론을 제안합니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 문제 정의: 추론의 이중성 (Dual Nature of Reasoning)

기존 연구들은 LLM 에서 강화 학습 (RL, 특히 GRPO) 을 통해 추론 능력을 향상시키면 복잡한 수학이나 코딩 문제 해결 능력이 크게 개선된다고 보고해 왔습니다. 이에 따라 VLM 에도 추론을 도입하는 시도가 활발히 이루어졌습니다.

하지만 저자들은 VLM 에서 추론이 **이중적인 성질 (Dual Nature)**을 가진다는 것을 발견했습니다.

• 긍정적 측면: 추론은 논리적 추론 능력을 강화하여 복잡한 문제 해결을 돕습니다.
• 부정적 측면 (핵심 문제): 추론 길이가 길어질수록 모델의 **지각적 기반 (Perceptual Grounding)**이 약화됩니다. 즉, 모델이 오랫동안 생각할수록 입력된 이미지를 잊어버리게 되어, 단순한 시각적 질문에서도 오답을 내거나 환각 (Hallucination) 을 일으키는 현상이 발생합니다.

저자들은 이를 **"시각적 망각 (Visual Forgetting)"**이라고 명명했습니다. 분석 결과, 추론이 길어질수록 모델의 주시 (Attention) 가 시각 토큰에서 벗어나 모델이 스스로 생성한 텍스트 (과거의 생각) 에만 집중하게 되어, 실제 이미지 정보를 무시하게 된다는 것을 확인했습니다.

2. 방법론: 시각 고정 정책 최적화 (VAPO)

이러한 시각적 망각 문제를 해결하기 위해 저자들은 **VAPO (Vision-Anchored Policy Optimization)**라는 새로운 강화 학습 알고리즘을 제안했습니다. 이는 기존 GRPO 를 기반으로 하되, 추론 과정이 시각적 증거에 기반하도록 명시적으로 유도합니다.

VAPO 의 핵심 구성 요소:

1. 시각적 주장 생성 (Visual Claims Generation):

   • GPT-5 와 같은 강력한 모델을 사용하여 입력 이미지에 대한 사실적인 진술 (Claims) 을 생성합니다.
   • 이 주장들은 정답 (Correct) 과 오답 (Wrong) 이 균형을 이루도록 구성되며, 질문의 맥락과 무관하게 순수하게 이미지만으로 판별 가능해야 합니다.

2. 시각 앵커 (Visual Anchors) 삽입:

   • 모델이 추론을 수행하는 과정 (Rollout) 중간중간에 생성된 시각적 주장들을 '앵커'로 삽입합니다.
   • 모델은 추론 도중 앵커에 도달하면 해당 주장이 참인지 거짓인지 (Yes/No) 를 판단해야 합니다. 이는 모델이 추론의 각 단계에서 여전히 이미지를 올바르게 인지하고 있는지 평가하는 지표가 됩니다.

3. 지각 보상 (Perception Reward):

   • 기존 GRPO 의 정확도 (Accuracy) 및 형식 (Format) 보상에 더해, 지각 보상을 추가합니다.
   • 지각 보상은 모든 앵커에서의 판단 정확도를 기반으로 계산됩니다.
   • 후기 강조 (Late-Emphasis): 추론이 진행될수록 시각적 망각이 심해지는 경향이 있으므로, 추론 후반부에 위치한 앵커에 더 높은 가중치 ($\beta$) 를 부여하여 모델이 마지막까지 시각 정보를 유지하도록 유도합니다.

4. 최종 보상 함수:

   • $R_i = R_{acc} + R_{fmt} + \gamma \cdot \mathbb{1}[R_{acc}=1] \cdot R_{perc}$
   • 여기서 $\gamma$는 지각 보상의 가중치이며, 정확도 조건이 충족될 때만 지각 보상이 적용되도록 하여 (Reward Hacking 방지) 모델이 단순히 짧은 추론을 통해 점수를 따는 것을 막습니다.

3. 주요 기여 (Key Contributions)

1. 이중성 발견 및 시각적 망각 규명: VLM 에서 추론 길이가 증가할수록 논리적 추론은 향상되지만, 시각적 지각 능력은 저하된다는 '이중성'을 체계적으로 증명했습니다. 이는 단순한 성능 저하가 아니라, 추론 과정 중 시각 입력에 대한 주의가 감소하는 '시각적 망각' 현상에서 기인함을 실험적으로 입증했습니다.
2. VAPO 알고리즘 제안: 추론 과정에서 시각적 정보를 지속적으로 재확인하도록 유도하는 '시각 앵커'와 이를 강화하는 '지각 보상'을 도입한 새로운 정책 최적화 방법을 제안했습니다. 이는 추론 시점 (Inference-time) 의 임시 조치 (예: 이미지 재입력) 가 아닌, 모델의 학습 단계에서 근본적인 행동을 교정하는 방법입니다.
3. SOTA 달성: 제안된 방법 (VAPO-Thinker-7B) 을 통해 다양한 벤치마크에서 새로운 State-of-the-Art (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:

  • 수학/논리 벤치마크: MathVerse, LogicVista 등에서 기존 모델 대비 평균 2% 이상의 성능 향상을 보였습니다.
  • 일반 목적/시각 집중 벤치마크: MMStar, HallusionBench 등 시각적 이해가 중요한 벤치마크에서는 기존 최강 모델 (Vision-R1, VLAA-Thinker 등) 을 크게 앞질렀습니다. (평균 3.2% 이상 향상, MMStar 에서 63.0% 달성).
  • 시각적 망각 완화: VAPO 를 적용한 모델은 추론이 길어짐에도 불구하고 시각적 주의 (Visual Attention) 비율이 급격히 떨어지지 않고 일정 수준을 유지하는 것을 확인했습니다.

• 비교 분석:

  • 추론 시점 대응법 (Visual Replay, Focus Prompt) vs VAPO: 추론 중에 이미지를 다시 보여주거나 주의를 환기시키는 임시 방법들보다, VAPO 를 통해 학습된 모델이 훨씬 더 높은 성능을 보였습니다. 이는 시각적 망각이 학습된 모델의 근본적인 결함임을 시사합니다.
  • 추론 길이와 정확도: 기존 모델은 추론이 길어질수록 정확도가 떨어지는 반면, VAPO 모델은 추론이 길어질수록 정확도가 꾸준히 상승하거나 유지되는 경향을 보였습니다.

5. 의의 및 결론

이 논문은 "더 많이 생각하면 (More Thought) 항상 더 좋은가?"라는 질문에 대해 VLM 의 맥락에서는 **"아니오, 오히려 시각 정보를 잃을 수 있다"**는 중요한 통찰을 제공합니다.

• 이론적 의의: VLM 의 추론 능력 향상을 위해 무조건적으로 추론 길이를 늘리는 것이 아니라, 추론 과정이 시각적 근거에 얼마나 잘 고정되어 있는지 (Groundedness) 를 평가하고 강화하는 것이 핵심임을 밝혔습니다.
• 실용적 의의: VAPO 는 복잡한 계산이나 추가적인 추론 모듈 없이, 기존 RL 파이프라인에 간단한 보상 신호 (지각 보상) 만 추가하여 모델의 시각적 의존성을 높일 수 있는 효율적이고 효과적인 방법론을 제시합니다.

결론적으로, VAPO 는 비전 - 언어 모델이 추론을 수행할 때 시각적 정보를 잊지 않고 유지하도록 하여, 복잡한 다중 모달 작업에서 더 신뢰할 수 있고 정확한 성능을 발휘할 수 있게 하는 새로운 기준을 제시합니다.