The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images

기술 요약: 시각적 도구 사용의 환상 (The Illusion of Visual Tool-Use)

문제 정의
"이미지로 생각하기(thinking-with-images)" 패러다임은 멀티모달 거대 언어 모델(MLLM)에 단일한 전체 뷰를 넘어 미세한 증거를 수집할 수 있는 크롭-앤-줌(crop-and-zoom)과 같은 능동적인 시각적 연산을 부여합니다. 그러나 경험적 관찰에 따르면, 이러한 도구를 사용하는 모델들은 상당한 토큰 비용을 지불함에도 불구하고 직접 추론(direct inference)에 비해 오직 미미하거나 심지어 부정적인 정확도 이득만을 얻는 "한계 개선의 역설(marginal improvement paradox)"을 보입니다. 또한, 도구로 증강된 롤아웃(rollout)은 직접 추론이 정답을 맞히는 질문에서도 무관한 영역을 반복적으로 크롭하는 등의 이유로 자주 실패합니다. 본 연구가 다루는 핵심 질문은 도구를 통해 반환된 시각적 증거가 최종 예측에 인과적으로 영향을 미치는가, 아니면 도구 사용이 단지 수행적인 의식(performative ritual)에 불과한가 하는 점입니다.

방법론: 인과적 감사 프레임워크 (A Causal Audit Framework)
저자들은 시각적 도구 사용을 입력 이미지 $I$, 쿼리 $Q$, 일련의 도구 행동 $T_{1:n}$, 반환된 관찰값 $O_{1:n}$, 그리고 최종 답변 $Y$에 대한 구조적 인과 모델(SCM)로 정식화합니다. 이 프레임워크는 입력에서 출력으로 이어지는 두 가지 인과 경로를 구분합니다:

1. 관찰 매개 경로 ($T \to O \to Y$): 관찰의 시각적 내용이 답변의 근거가 되는 경우.
2. 행동 유도 지름길 ($T \to Y$): 관찰의 내용과 상관없이 단지 도구 행동의 존재 자체가 답변에 영향을 미치는 경우.

이 경로들을 감사하기 위해, 논문은 3단계 개입 프로토콜을 제안합니다:

• 정책 수준 (Policy-Level): 도구 활성화 정책($\pi_{tool}$)과 직접 추론 정책($\pi_{direct}$)을 비교하여 정확도에 대한 평균 처치 효과(ATE)를 측정합니다.
• 궤적 수준 (Trajectory-Level): 롤아웃 중에 모든 반환된 관찰값($O_i$)을 동적으로 오염시킵니다(예: 동일한 이미지 내의 무작위 크롭으로 교체). 이를 통해 예산 고갈과 같은 유도된 정책 반응을 포함하여, 시각적 증거를 제거했을 때의 총 효과를 측정합니다.
• 단계 수준 (Step-Level): **시각적 증거 이득(Visual Evidence Gain, VEG)**을 도입합니다. 이는 반사실적 추정량(counterfactual estimand)입니다. 특정 단계 $i$에 대해, 호출 전, 실제 관찰 후, 그리고 반사실적 관찰(다른 위치의 크롭) 후의 모델 신뢰도 차이를 측정합니다. $VEG_i = \Delta M^{real}_i - \Delta M^{cf}_i$는 행동 유도 지름길을 필터링하여 특정 시각적 내용의 인과적 기여도를 분리합니다.

주요 기여

1. 인과적 정식화: 본 논문은 시각적 도구 사용을 인과 그래프로 모델링하여, 3단계 개입 프로토콜을 통해 관찰 매개 유용성과 행동 유도 지름길을 분리합니다.
2. 정책 미보정(Policy Miscalibration) 식별: 연구는 "정책 미보정"을 핵심 병목 현상으로 식별하며, 이는 두 가지 뚜렷한 실패 모드로 특징지어집니다:
   • 보고 보지 않기 (Calling Without Looking, CWL): 모델이 도구를 호출하지만, 시각적 내용이 답변에 인과적 영향을 미치지 못하는 경우(사전 신뢰도가 포화되었거나 구조적으로 비활성 상태인 호출).
   • 보고 계획하지 않기 (Looking Without Planning, LWP): 시각적 내용은 유익하지만, 호출 스케줄이 일관되지 않은 경우(예: 이미 결정된 답변에 대해 계속 호출하거나 무의미한 영역에 예산을 소진하는 경우).
3. 궤적 수준 진단: 결정론적 분류기를 사용하여 모든 롤아웃을 네 그룹(No-call, Mode 1 (CWL), Mode 2 (LWP), Calibrated)으로 분류합니다.
4. 이득의 분해: 저자들은 총 정책 수준의 정확도 이득을 각 그룹의 기여도로 분해하여, 개선이 거의 전적으로 Calibrated 그룹에 집중되어 있음을 밝힙니다.

결과
6개의 대표적인 모델(DeepEyes, Mini-o3, Qwen3-VL, Thyme 포함)과 5개의 미세 인지 벤치마크를 통해 평가한 결과는 다음과 같습니다:

• 미미한 이득: 정책 수준의 ATE는 종종 작거나 음수입니다. 예를 들어, DeepEyes는 실질적인 개선이 없었으며, Mini-o3와 Qwen3-VL-8B는 특정 벤치마크에서 완만한 이득을 보였습니다.
• 인과적 비효율성: 궤적 수준의 개입(관찰값 오염)은 Mini-o3 및 Qwen3-VL과 같은 모델에서 막대한 정확도 하락을 초래했습니다. 이는 이들이 시각적 내용보다는 도구 인터페이스 구조에 크게 의존하거나, 피드백이 오염될 때 계획이 무너짐을 시사합니다.
• VEG 분석: 단계별 분석 결과, 많은 모델(예: DeepEyes)에서 VEG가 모든 호출에서 0에 가깝게 나타났으며, 이는 시각적 내용이 무시됨을 나타냅니다. 다른 모델(예: Qwen3-VL-8B)의 경우, 모델이 아직 포화되지 않았을 때만 VEG가 높았으며, 모델은 포화된 이후에도 빈번하게 호출을 지속하는 '과잉 확장(Over-Extension)' 현상을 보였습니다.
• 환상: Calibrated 하위 집합(도구가 효과적으로 사용되는 경우)은 롤아웃의 소수(모델에 따라 약 20~45%)를 차지합니다. 벤치마크에서 보고된 총 정확도 이득은 거의 전적으로 이 하위 집합에 의해 주도되며, 대다수의 도구 호출은 답변과 분리되어 있거나(CWL) 스케줄이 일관되지 않습니다(LWP).

의의 및 주장
본 논문은 **"시각적 도구 사용의 환상"**을 폭로한다고 주장합니다. 즉, 벤치마크에서 관찰되는 총 정확도 이득은 시각적 도구 사용이 광범위하고 인과적으로 효과적이라는 오해를 불러일으킵니다. 실제로 광범위한 롤아웃에서 반환된 시각적 증거는 답변을 인과적으로 매개하지 못합니다.

저자들은 **RL-트랩 가설(RL-trap hypothesis)**을 제 제안하며, 결과 중심의 강화 학습(최종 정답에만 보상을 주는 방식)이 $T \to Y$ 지름길(Mode 1)을 강화하고, 중복되거나 해로운 중간 단계(Mode 2)를 처벌하지 못한다고 설명합니다. 이는 Calibrated 궤적과 Mode 1 궤적이 동일한 최종 정답을 받을 때 동일한 보상을 받기 때문입니다.

이 연구의 의의는 평가의 초점을 "모델이 도구를 호출하는가?"에서 "모델이 이미지로 생각하는가?"로 전환하는 데 있습니다. 제안된 진단 도구는 정확도 이상의 평가 지표, 추론 시 적응(Mode 1의 경우 도구 우회 또는 Mode 2의 경우 조기 종료), 그리고 훈련 개선을 위한 프로세스 인식 신용 할당(process-aware credit assignment)과 같은 실무적 용도를 제공합니다. 저자들은 단계별 개입을 위한 화이트박스 접근 권한이 필요한 오픈 소스 모델에 결론이 국한되어 있으며, 주로 크롭-앤-줌 연산에 초점을 맞추고 있음을 명시합니다.