🤖 AI

See2Think: Do Multimodal Models Really Use Intermediate Visual States?

이 논문은 1,200개의 샘플로 구성된 벤치마크와 시각적 사고 과정(Visual Action-of-Thought) 프로토콜을 포함하는 통합 평가 프레임워크인 See2Think를 소개하며, 멀티모달 모델이 중간 시각적 상태에 대한 행동 의존성을 보이지만, 이들의 추론 정확도는 렌더링 충실도에 의해 크게 제한되며 모델과 환경에 따라 현저하게 차이가 난다는 점을 밝힌다.

원저자: Siyu Yan, Zhuoran Yan, Haiying Xu, Panhao Zhou, Jingyu Chen, Chenhao Ji, Shuo Cao, Yongheng Zhang, Haoze Liu, Siyu Zhang, Xiwen Gu, Yihao Liu, Alex Jinpeng Wang

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Siyu Yan, Zhuoran Yan, Haiying Xu, Panhao Zhou, Jingyu Chen, Chenhao Ji, Shuo Cao, Yongheng Zhang, Haoze Liu, Siyu Zhang, Xiwen Gu, Yihao Liu, Alex Jinpeng Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 까다로운 퍼즐을 풀려고 노력 중이라고 상상해 보세요. 하지만 단순히 그림을 보는 것에 그치지 않고, 연필을 들어 선을 긋고, 단서를 동그라미 치고, 종이 위에 자신의 생각을 스케치할 수 있는 권한이 주어집니다. 이것이 바로 **멀티모달 거대 언해 모델(Multimodal Large Language Models)**의 세계입니다. 이들은 텍 án를 읽을 수 있을 뿐만 아니라 이미지를 "볼" 수도 있는 매우 똑똑한 컴퓨터 프로그램입니다. 한동안 이 모델들은 **연쇄 사고(Chain-of-Thought)**라고 불리는 기술을 통해 자신의 단계를 글로 써 내려가며 "소리 내어 생각하는" 능력을 발전시켜 왔습니다. 하지만 3D 공간이나 복잡한 기하학을 포함한 많은 퍼즐은 글자만으로는 해결하기 어렵습니다. 인간은 사고를 돕기 위해 자연스럽게 도표를 그리는데, 이에 과학자들은 의문을 품었습니다. 이 AI 모델들이 실제로 중간 단계의 그림이나 스케치를 사용하여 문제를 해결할 수 있는 것일까, 아니면 그저 흉내만 내는 것일까?

이것이 연구자들이 던지는 핵심 질문입니다. 만약 AI가 "여기에 선을 그려서 이 문제를 풀어야겠다"라고 말한다면, 실제로 그 새로운 그림을 사용하여 답을 찾아낼까요? 아니면 그 그림을 무시하고 그냥 답을 추측해 버릴까요? 이는 마치 학생이 수학 문제를 풀 때 실제로 연습장에 풀이 과정을 적고 있는지, 아니면 그저 낙서를 휘갈기며 최종 답이 마법처럼 나오기를 바라고 있는지를 묻는 것과 같습니다. 모델이 스스로 만든 시각적 도구를 실제로 사용하지 않는다면, 우리는 그들을 더 똑똑하게 만들기 위해 기능을 구축하는 데 시간을 낭비하고 있는 것일지도 모릅잡니다.

여기 AI의 추론 과정을 탐정처럼 조사하는 새로운 연구인 See2Think가 등장했습니다. 연구진은 2D 기하학, 화학 구조식부터 3D 로봇 장면, 현실 세계의 물리 문제에 이르기까지 1,200개의 다양한 퍼즐을 포함하는 거대한 테스트 환경인 See2ThinkBench를 구축했습니다. 그들은 모델에게 단순히 정답을 요구하는 대신, **시각적 사고 행동(Visual Action-of-Thought, VAoT)**이라는 특별한 프로토콜을 설정했습니다. 이것은 AI가 차례를 지켜 게임을 하는 것과 같습니다. 먼저 생각하고, 무엇을 "그릴지"(예: 특정 각도를 강조하거나 이미지의 일부를 크롭하는 것) 결정하면, 별도의 도구가 실제로 그것을 그리고, 그 후 AI는 그 새로운 그림을 보고 추론을 이어가야 합니다.

연구팀은 이 게임을 어떻게 다루는지 확인하기 위해 네 가지 강력한 AI 모델을 테스트했습니다. 그 결과, "하나의 정답(one size fits all)"은 없다는 사실을 발견했습니다. 때로는 (그림 없이) 말로만 생각하는 것이 가장 효과적이었고, 어떤 경우에는 실제로 그림을 보는 것이 도움이 되기도 했습니다. 하지만 반전이 있었습니다. 모델들은 무엇을 그릴지 결정하는 것(적절한 단서를 선택하는 것)에는 놀라울 정도로 뛰어났지만, 그 그림을 올바르게 사용하는 데는 자주 실패했습니다. 실제로 연구 결과, 가장 큰 병목 현상은 적절한 행동을 선택하는 것이 아니라, 그 그림 자체가 얼마나 "충실한가(faithfulness)"—즉, 도구가 AI가 요청한 대로 실제로 그렸는가—에 있었습니다.

가장 흥ся로운 발견은 연구진이 모델에게 부린 "속임수"에서 나왔습니다. 그들은 의도적으로 모델에게 "오염된" 그림들—AI가 요청한 것과 비슷해 보이지만 실제로는 틀렸거나 오해의 소지가 있는 그림들—을 주었습니다. 이런 상황이 발생했을 때, 특히 3D 장면에서 정확도가 10퍼센트 포인트 이상 떨어지며 모델의 성능이 크게 하락했습니다. 이는 모델들이 비록 망가졌을지라도, 자신이 보는 시각적 상태에 진심으로 의존하고 있었다는 것을 증명합니다. 그러나 이 연구는 모델이 그림에 의존한다고 해서 그 그림이 반드시 정답을 찾는 데 도움이 된다는 뜻은 아니라는 점도 시사합니다. 때때로 모델들은 시각적 피드백에 너무 의존한 나머지, 나쁜 그림 때문에 혼란을 느껴 실패하기도 했습니다. 이는 "사용하는 것"과 "이득을 얻는 것"이 매우 다른 문제임을 보여줍니다.

요약하자면, 이 논문은 AI 모델들이 시각적 추론이라는 개념에는 익숙해지고 있지만, 여전히 자신의 스케치를 실행하고 신뢰하는 복잡한 현실 앞에서는 고군분투하고 있음을 밝혀냈습니다. 그들은 어떤 부분의 도표를 봐야 할지는 정확히 알지만, 막상 직접 만든 새 스케치를 읽으려고 하면 길을 잃는 학생들과 같습니다. 연구진은 결론적으로 우리가 단순히 최종 결과만을 볼 것이 아니라, 과정 전체를 진단해야 한다고 주장합니다. 즉, 그림이 관련이 있는지, 올바르게 그려졌는지, 그리고 모델이 그것을 사용하여 실제로 생각했는지를 확인해야 한다는 것입니다. 이러한 병목 현상을 해결하지 못한다면, "이미지를 통한 사고"는 여전히 진정한 초능력이 아닌 일종의 퍼포먼스에 불과할 것입니다.

기술 요약: See2Think: 멀티모달 모델은 정말로 중간 시각적 상태를 사용하는가?

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 추론을 돕기 위해 스케치, 주석, 도구 호출, 중간 이미지 생성과 같은 "시각적 사고(visual thinking)" 전략을 점점 더 많이 채택하고 있습니다. 그러나 이러한 모델이 실제로 이러한 중간 시각적 상태에 의존하는지, 아니면 단순히 장식적인 것에 불과한지는 여전히 불분명합니다. 기존의 벤치마크는 두 가지 주요 한계점을 가집니다:

데이터의 한계: 태스크 컬렉션이 시각적 다양성이 부족하거나, 텍스트 기반의 지름길(예: 언어적 사전 지식이나 상세한 캡션)을 통해 해결 가능한 샘플들을 포함하고 있어, 시각적 증거의 필요성을 고립시켜 검증하지 못합니다.
평가의 한계: 표준 평가는 최종 답변의 정확도나 집계된 프로세스 품질에 초점을 맞춥니다. 이들은 중간 시각적 상태가 어떻게 생성되고, 렌더링되며, 활용되는지를 진단하는 데 거의 주목하지 않습니다. 구체적으로, 스스로 생성한 시각적 행동이 태스크와 관련이 있는지, 렌더링된 상태가 해당 행동을 충실히 구현하는지, 그리고 후속 추론이 반환된 시각적 증거에 행동적으로 의존하는지를 공동으로 결정하지 못합니다.

2. 방법론: See2Think 프레임워크

저자들은 시각적 상태의 유용성과 행동적 의존성을 분리하기 위해 설계된 통합 평가 프레임워크인 See2Think를 소개합니다. 이는 두 가지 핵심 구성 요소로 이루어져 있습니다:

2.1 See2ThinkBench (데이터 구성 요소)

12개의 태스크 카테고리에 걸쳐 3가지 시각적 추론 수준으로 조직된 1,200개의 개방형, 시각 의존적 추론 문제를 포함하는 벤치마크입니다.

2D 구조적 추론: 기하학, 공간 퍼즐, 물리학, 화학, 과학 QA, 추상적 패턴.
3D 장면 추론: 객체 속성 및 구성적 3D.
실세계 시각적 추론: 로봇 조작, 로봇 상태 변화, 시각적 상식, 직관적 물리학.

구성 원칙:

캡션 전용 해결 가능성 필터링: 텍스트 중심의 지름길을 제거하기 위해, 강력한 멀티모달 모델이 원본 이미지 없이 상세한 이미지 캡션만을 사용하여 질문에 답할 수 있는지 테스트하여 샘플을 필터링합니다. $\ge$ 3회의 시도에서 해결 가능한 샘플은 폐기됩니다.
답변 형식 정규화: 옵션이 추론 문제의 본질적인 부분인 소수의 사례(127개 샘플)를 제외하고, 자유 형식 생성을 강제하기 위해 객관식 옵션을 제거했습니다.
품질 관리: 자동 및 수동 점검을 통해 답변의 유일성, 이미지-질문 일관성, 비사소한(non-trivial) 시각적 추론의 필요성을 보장합니다.

2.2 Visual Action-of-Thought (VAoT) (프로토콜 구성 요소)

VAoT는 텍스트적 사고, 구조화된 시각적 행동, 렌더링된 시각적 상태가 인터리빙(interleaved)된 시퀀스를 기록하는 추론 시 진단 프로토콜입니다.

상호작용 루프: 이미지 $I$ 와 질문 $q$ 가 주어지면, 모델은 텍스트적 사고 $T_t$ 와 구조화된 행동 $A_t$ (예: 강조, 크롭, 선 그리기)를 생성합니다. 외부 렌더러는 현재 상태에 $A_t$ 를 실행하고 업데이트된 시각적 상태 $R_t$ 를 반환합니다. 모델은 그 후 $H_t = \{T_i, A_i, R_i\}$ 를 바탕으로 추론합니다.
제어된 추론 설정: 특정 실패 모드를 격리하기 위해 네 가지 조건 하에서 모델을 평가합니다:
1. CoT: 원본 이미지에 대한 텍스트 추론만 수행.
2. VAoT-NoRender: 모델이 시각적 행동을 계획하지만, 실행되거나 렌더링되지는 않음.
3. VAoT (Standard): 행동이 실행되고, 충실하게 렌더링된 상태가 반환됨.
4. VAoT-WrongRender: 행동이 실행되지만, 렌더러가 태스크 관련 오류가 있는 상태(예: 잘못된 강조 표시 또는 왜곡된 크롭)를 반환하여 행동적 의존성을 조사함.

2.3 평가 지표

프레임워크는 각 궤적의 핵심 시각적 단계에 대해 세 가지 차원에서 프로세스를 진단합니다:

행동 관련성 (Action Relevance): 요청된 연산이 태스크 관련 증거를 대상으로 하는가?
렌더링 충실도 (Render Faithfulness): 렌더링된 상태가 요청된 행동을 올바르게 구현하는가?
피드백 수용 (Feedback Uptake): 후속 추론이 실제로 렌더링된 상태에 존재하는 정보를 사용하는가?

3. 주요 기여

시각적 상태 사용의 공식화: 논문은 "진정한 시각적 상태 사용"을 제어된 진단 문제로 정의하며, 상태의 유용성과 모델의 행동적 의존성을 구분합니다.
See2ThinkBench: 텍스트 전용 지름길에 대한 엄격한 필터링을 거친 1.2K 샘플의 큐레이션된 벤치마크로, 12개 태스크 카테고리와 3가지 시각적 추론 환경을 다룹니다.
VAoT 프로토콜: 행동 선택, 시각적 실행, 다운스트림 상태 사용을 단계별로 진단할 수 있게 해주는 관찰 가능하고 개입 가능한 프로토콜입니다.
포괄적 진단: 모델이 관련 연산을 선택하고, 이를 충실히 렌더링하며, 결과적인 증거를 실제로 사용하는지 평가하는 통합된 방법을 제공합니다.

4. 실험 결과

저자들은 네 가지 대표적인 모델(GPT-5.5, GPT-o3, Gemini 3.5 Flash, Qwen3-VL-32B-Instruct)을 모든 설정에 대해 평가했습니다.

4.1 결과 수준의 발견

보편적 전략의 부재: 모든 태스크에 대해 지배적인 단일 추론 설정은 존재하지 않습니다.
- GPT-5.5와 Qwen3-VL은 표준 CoT에서 가장 좋은 성능을 보였습니다.
- GPT-o3는 VAoT(폐쇄 루프)를 약간 선호하는 경향을 보였습니다.
- Gemini 3.5 Flash는 VAoT-NoRender(렌더링 없는 계획)에서 가장 좋은 성능을 보였습니다.
태스크 의존성:
- 2D 구조적 추론: 직접적인 추론(CoT)이 시각적 개입보다 우수한 경우가 많습니다.
- 3D 장면: 행동 계획(VAoT-NoRender)이 원시 인지(raw perception)보다 추론을 더 잘 조직하는 경우가 많습니다.
- 실세계: 단일 전략이 명확한 종합적 우위를 보여주지 못합니다.
로봇 조작: 모든 모델에서 일관되게 낮은 정확도를 보였으며, 이는 그라운딩(grounding) 오류가 시각적 행동으로 보완되기 어려움을 시사합니다.

4.2 프로세스 수준 진단

행동 관련성: 모델은 일관되게 관련 있는 시각적 연산을 선택합니다 (점수 $\approx$ 0.95–0.99).
렌더링 충실도: 이것이 주요 병목 구간입니다. 모든 모델에서 점수가 현저히 낮으며( $\approx$ 0.56–0.70), 이는 모델이 자신의 시각적 계획을 정확하게 실행하거나 구현하는 데 자주 실패함을 나타냅니다.
피드백 수용: 모델은 일반적으로 반환된 시각적 정보를 사용합니다 (점수 $\approx$ 0.65–0.87). 그러나 높은 수용도가 반드시 정확도 향상을 보장하는 것은 아닙니다.
실패 모드:
- 3D 장면에서는 정답 궤적과 오답 궤적 사이의 격차가 렌더링 충실도에서 가장 크게 나타납니다.
- 실세계 태스크에서는 격차가 행동 관련성에서 가장 크게 나타납니다.
- 2D 태스크에서는 모든 격차가 작으며, 이는 원본 이미지가 이미 필요한 구조를 노출하고 있기 때문입니다.

4.3 행동적 의존성 (오류가 있는 피드백)

유용성 vs 의전성: 올바른 렌더링이 항상 순 이득(net gain)을 가져오는 것은 아닙니다 (예: 2D 태스크). 그러나 피드백을 오염시키는 것은 일관되게 성능을 저하시키며, 이는 행동적 의존성을 입증합니다.
민감도: 피드백이 오염될 때 정확도가 크게 떨어지며, 특히 3D 장면에서 두드가 나타납니다 (높은 피드백 수용도에서도 최대 15.5 퍼센트 포인트 하락).
렌더링의 해악: 불충실한 렌더링(낮은 렌더링 충실도)은 2D 및 3D 태스크에서 "해악"(정답에서 오답으로 전환)을 일으키는 경우가 많은 반면, 충실한 렌더링은 주로 방해를 줄이는 역할을 합니다.

5. 의의 및 주장

이 논문은 See2Think가 "시각적 흔적(visual traces)"과 최종 답변 정확도를 넘어 시각적 추론의 메커니즘을 평가하는 첫 번째 통합 프레임워크임을 주장합니다.

진정한 사용: 연구는 모델이 관련 시각적 행동을 계획할 수는 있지만, "진정한 사용"은 시각적 계획의 실패보다는 그 행동을 충실히 렌더링하는 데 실패함으로써 방해받는 경우가 많음을 보여줍니다.
조건부 능력: 시각적 추론은 보편적인 정확도 향상 도구가 아닙니다. 그 효과는 특정 모델 아키텍처와 시각적 환경(2D vs 3D vs Real-world)에 크게 의존합니다.
구별된 개념: 프레임워크는 시각적 상태의 유용성(상태가 도움이 되는가?)과 행동적 의존성(모델이 상태에 의존하는가?)을 성공적으로 분리합니다. 모델은 올바른 상태로부터 큰 이득을 얻지 못할 수도 있지만, 그 상태가 오염되면 크게 고통받을 수 있으며, 이는 추론의 질을 반드시 개선하지 않더라도 의존성이 존재함을 나타냅니다.

저자들은 현재의 멀티모달 모델들이 "계획-렌더링 간극(planning-rendering gap)"을 보이고 있다고 결론짓습니다. 즉, 시각적 연산을 선택하는 능력은 높지만, 이를 실행하고 통합하는 능력이 제한 요인이라는 것입니다. 이 프레임워크는 이러한 구체적인 실패 단계들을 진단할 수 있는 통제된 환경을 제공합니다.