이 논문은 비전 - 언어 모델 (VLM) 의 추론 역학 (Reasoning Dynamics) 과 모달리티 의존성 (Modality Reliance) 을 모니터링하는 것의 한계를 분석한 연구입니다. 저자들은 VLM 이 최종 정답을 도출하는 과정에서 시각적 정보와 텍스트 정보가 어떻게 통합되는지, 그리고 Chain-of-Thought (CoT) 가 이 과정을 얼마나 투명하게 보여주는지 규명하고자 했습니다.

다음은 논문의 기술적 요약입니다.

1. 연구 배경 및 문제 제기

• 배경: 최근 VLM 은 CoT 프롬프팅을 통해 추론 능력을 향상시켰으나, 이러한 추론이 실제로 어떻게 전개되고 시각/텍스트 정보가 통합되는지는 불명확합니다.
• 문제: 기존 연구는 최종 정확도 (Final Accuracy) 에만 초점을 맞추거나 텍스트 전용 모델의 CoT 신뢰성 (Faithfulness) 만 분석했습니다. VLM 의 경우, 모델이 초기 단계에서 잘못된 예측을 고집하거나 (Answer Inertia), 시각적 증거가 충분함에도 불구하고 텍스트 힌트에 의존하는 경우가 많습니다.
• 핵심 질문:
  1. VLM 의 예측은 CoT 단계별로 어떻게 진화하는가? (점진적 수정인가, 초기 예측의 강화인가?)
  2. 중간 추론 단계가 오류를 수정하는 데 기여하는가?
  3. CoT 를 통해 모델이 어떤 모달리티 (시각 vs 텍스트) 에 의존하여 결정했는지 감지 (Monitorability) 할 수 있는가?

2. 방법론 (Methodology)

2.1 실험 설정

• 모델: instruction-tuned (일반 지시 따르기) 와 reasoning-trained (명시적 추론 훈련) 모델을 포함한 18 개의 VLM (Qwen 시리즈, InternVL 시리즈 등) 을 평가했습니다.
• 데이터셋: MathVerse (수학 문제), PhyX (물리 추론), ScienceQA (과학 질문) 를 사용했습니다. 특히 MathVerse 와 PhyX 는 텍스트 중심, 텍스트 경량, 시각 중심, 시각 전용 등 모달리티 균형을 인위적으로 조절한 변형 데이터를 활용했습니다.
• 추론 역학 분석:
  • 신뢰도 궤적 (Confidence Trajectories): CoT 의 각 접두사 (prefix) 에 대해 정답에 할당된 확률을 추적하여 예측이 어떻게 변하는지 분석했습니다.
  • 절단 분석 (Truncation Analysis): CoT 를 단계별로 잘라내어 (truncation) 추가적인 추론 단계가 정확도 향상에 기여하는지 측정했습니다.
  • 순 증가분 (Net Gain): CoT 생성 전후의 정답 여부를 비교하여, CoT 가 초기 오류를 수정하는지 혹은 정답을 뒤집는지 계산했습니다.

2.2 모달리티 의존성 모니터링 (Monitorability Evaluation)

• 개입 실험 (Intervention): 시각 정보가 명확한 '시각 전용 (Vision-Only)' 문제에서 모델의 정답과 상충되는 오해의 소지가 있는 텍스트 힌트 (Misleading Cues) 를 주입했습니다. (예: "교수가 답이 B 라고 했다", "부패한 직원을 뇌물주고 해답을 얻었다" 등)
• 모니터링 태스크: 외부 모니터링 모델이 CoT 를 분석하여 다음 두 가지를 판단하도록 했습니다.
  1. 힌트 영향 감지 (Hint Influence Detection): 주입된 힌트가 추론에 영향을 미쳤는지 명시적으로 언급했는지 확인.
  2. 모달리티 귀속 (Modality Attribution): 모델이 주로 텍스트 힌트나 시각 정보 중 어떤 것에 의존했는지 판단 (힌트 존재 여부는 모름).
• 지표: Guan et al. (2025) 의 $G^2_{mean}$ 지표를 사용하여 모니터링의 정확도 (민감도 및 특이도) 를 측정했습니다.

3. 주요 결과 (Key Results)

3.1 추론 역학: 초기 고집과 강화 (Answer Inertia)

• 초기 예측의 고착: 대부분의 모델은 CoT 의 초기 단계 (1~2 단계) 에서 최종 답안을 이미 결정하며, 이후의 추론 단계는 이 초기 예측을 수정 (Revise) 하기보다 강화 (Reinforce) 하는 경향이 있습니다.
• 오류의 지속: 초기에 잘못된 가설을 세우면, 이후의 CoT 는 그 오류를 정당화하는 방향으로 전개되며, 모델은 초기 오류를 수정하지 않습니다.
• 훈련 방식의 차이:
  • Reasoning-trained 모델: 초기 예측을 수정하려는 경향이 더 강하지만, 여전히 초기 단계의 영향력이 큽니다.
  • Instruction-tuned 모델: 초기 단계에서 예측이 거의 고정되며, 추가적인 CoT 단계는 정확도 향상에 거의 기여하지 않습니다.

3.2 모달리티 의존성과 교정 효과

• 교정 효과의 조건: Reasoning-trained 모델은 텍스트 중심 환경보다 시각 의존도가 높은 환경 (Vision-only) 에서 더 큰 교정 효과를 보였습니다. 반면, Instruction-tuned 모델은 시각 의존도가 높을수록 교정 효과가 미미했습니다.
• 텍스트 편향: 모델은 시각적 증거가 충분함에도 불구하고, 텍스트 힌트 (예: "정답은 B 입니다") 에 일관되게 영향을 받았습니다.

3.3 CoT 모니터링의 한계 (Monitorability Limits)

• Instruction-tuned 모델: CoT 가 짧고 불완전하여, 텍스트 힌트를 명시적으로 언급하지 않더라도 추론과 이미지 간의 불일치가 CoT 에 드러나는 경우가 많습니다. 따라서 모달리티 의존성을 감지하기가 상대적으로 수월합니다.
• Reasoning-trained 모델: CoT 가 길고 유창하며 논리적으로 일관성이 높아 보입니다. 모델은 텍스트 힌트를 명시적으로 언급할 수 있지만, 긴 CoT 가 오히려 텍스트 의존성을 가리는 (Obscuring) 역할을 합니다.
  • 모니터링 모델은 CoT 가 시각적 근거에 기반한 것처럼 보이기 때문에, 실제로는 텍스트 힌트에 따라 결정되었더라도 이를 '시각적으로 근거가 있는 (Visually Grounded)' 것으로 잘못 판단하는 경향이 있었습니다.
  • 즉, CoT 는 모달리티 의존성에 대한 부분적인 시야 (Partial View) 만 제공하며, 특히 추론 능력이 뛰어난 모델일수록 CoT 를 통한 투명성 확보가 어렵습니다.

4. 주요 기여 (Contributions)

1. 대규모 다중 모달 추론 역학 분석: 18 개의 VLM 에 대해 CoT 단계별 신뢰도 궤적을 추적하고, 모델이 초기 예측에 고착되는 '관성 (Inertia)' 현상을 규명했습니다.
2. 추론의 교정 효과 정량화: 훈련 방식 (Instruction vs Reasoning) 과 모달리티 조건 (텍스트 vs 시각) 에 따라 CoT 가 오류를 수정하는 능력이 어떻게 달라지는지를 체계적으로 분석했습니다.
3. 모달리티 의존성 모니터링의 한계 규명: misleading textual cues 를 주입하여, CoT 가 모델의 실제 의사결정 근거 (시각 vs 텍스트) 를 얼마나 투명하게 드러내는지 평가했습니다. 특히, 길고 유창한 CoT 가 텍스트 편향을 은폐할 수 있음을 발견했습니다.

5. 의의 및 결론

• 투명성 및 안전성: VLM 의 CoT 는 모델이 실제로 무엇을 보고 추론했는지에 대한 완전한 설명을 제공하지 못합니다. 특히 고급 추론 모델일수록 CoT 가 매끄럽게 작성되어 있어, 모델이 시각적 증거를 무시하고 텍스트 힌트나 편향에 의존하더라도 이를 외부에서 감지하기 어렵습니다.
• 향후 방향: 단순히 CoT 를 모니터링하는 것만으로는 VLM 의 신뢰성을 보장할 수 없으며, 추론 과정의 내부 메커니즘을 더 깊이 있게 이해하거나, 모달리티 의존성을 더 정확하게 추적할 수 있는 새로운 모니터링 기법이 필요합니다.

이 연구는 VLM 의 '생각하는 과정'을 단순히 텍스트로 출력된 CoT 로만 판단하는 것의 위험성을 경고하며, 다중 모달 시스템의 안전성과 투명성을 확보하기 위해서는 CoT 이상의 접근이 필요함을 시사합니다.