기술 요약: Look Light, Think Heavy: 멀티모달 연쇄 사고(Chain-of-Thought) 추론의 가능성과 한계

문제 정의

연쇄 사고(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 표준적인 방법이 되었으나, 멀티모달 대규모 언어 모델(MLLM)에서의 효용성은 여전히 모호합니다. 기존 연구는 주로 수학적 추론에 집중되어 있어, 객체 카운팅(object counting), 시각적 접지(visual grounding)와 같은 지각(perception) 작업부터 논리적, 공간적, 다중 이미지와 같은 복잡한 추론 작업에 이르기까지 더 넓은 범위의 멀티모달 작업에서 CoT가 어떻게 작동하는지에 대한 이해에는 공백이 존재합니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: 멀티모달 CoT 추론은 무엇을 할 수 있으며, 어디에서 왜 한계에 부딪히는가?

방법론

저자들은 다음 두 가지 차원으로 분류된 12개의 멀티모달 작업을 포함하는 체계적인 평가를 수행했습니다:

1. 멀티모달 지각(Multimodal Perception): 종합 평가, OCR, 시각적 접지, 환각 탐지, 지식 기반 VQA, 객체 카운팅.
2. 멀티모달 추론(Multimodal Reasoning): 수학, 과학, 논리, 알고리즘, 공간, 다중 이미지 추론.

본 연구는 총 22개의 모델을 평가했습니다:

• 14개의 비추론(일반) 모델: Qwen2.5-VL, Gemma-3, InternVL3, Mistral Small, 그리고 다양한 GPT/Gemini 버전 포함.
• 8개의 추론 모델: QVQ, Skywork-R1V2, VL-Rethinker, MM-Eureka, Kimi-VL, 그리고 Gemini-2.0-Flash-Thinking과 같은 상용 모델 포함.

연구는 **직접 답변(Direct Answering)**과 CoT 추론(표준적인 "step-by-step으로 생각하기" 프롬프트 사용)을 비교했습니다. 또한, 특정 추론 능력을 분리하기 위해 추론 프로브(reasoning probes)(시각적 및 텍스트 하위 작업)를 활용하였으며, CoT 생성 과정 전반에 걸친 내부 어텐션 메커니즘과 성찰 행동(시각적 vs. 언어적)을 분석했습니다.

주요 결과 및 발견

1. 작업 의존적 CoT 효용성

CoT는 보편적인 개선책이 아닙 ("공짜 점심은 없다"). 그 효과는 작업 유형에 따라 크게 달라집니다:

• 지각 작업(Perception Tasks): CoT는 종종 부정적인 부작용을 초래합니다. 연구 결과 시각적 접지(-4.6%), 지식 기반 VQA(-3.3%), 객체 카운팅(-4.8%)에서 성능 저하가 관찰되었습니다. 저자들은 이를 직접적인 지각을 요구하는 작업에 불필요하거나 방해가 되는 추론 단계를 도입했기 때문이라고 분석했습니다.
• 추론 작업(Reasoning Tasks): CoT는 수학(+6.1%), 과학(+2.9%), **다중 이미지 추론(+4.9%)**에서 효과적임을 입증했습니다. 이러한 작업들은 단계별 분해 과정을 통해 이득을 얻습니다.
• 모델 규모 의존성: 논리 및 알고리즘 추론의 경우, CoT는 더 큰 모델에는 도움이 되지만 작은 모델의 성능은 오히려 저하시키는 경우가 많습니다.

2. 현재 오픈 소스 추론 모델의 한계

비추론 베이스 모델과 검증된 보상을 통한 강화 학습(RLVR)으로 훈련된 추론 강화 모델을 비교했을 때:

• 오픈 소스 모델: 다양한 작업에서 미미한 전체적 개선만을 보여주었습니다. 이는 훈련 데이터가 수학 문제에 과도하게 치우쳐 있어, 광범위한 추론 능력 대신 수학에 과도하게 집중하게 되었기 때문으로 분석됩니다.
• 상용 모델: Gemini-2.0-Flash-Thinking과 같은 모델은 다양한 추론 작업(예: 알고리즘 추론에서 +24.7%)에서 상당하고 일관된 이득을 보여주며, 이는 우수한 훈련 패러다임을 시사합니다.

3. "Look Light, Think Heavy" 현상

본 연구는 현재 멀티모달 CoT의 핵심 병목 현상인 **얕은 시각적 성찰(shallow visual reflection)**을 식별했습니다.

• 성찰 패턴(Reflection Patterns): CoT 시퀀스 분석 결과, 성찰 행동의 차이가 드러났습니다. 언어적 성찰(추론 단계에 대한 내성)은 중간 지점에서 정점을 찍는 상승 및 하락 궤적을 따릅니다. 반면, 시각적 성찰(시각적 입력 재평가)은 시간이 지남에 따라 지속적으로 감소합니다.
• 어텐션 편향(Attention Bias): 내부 어텐션 분석에 따르면, CoT 생성이 진행됨에 따라 모델은 추론 토큰에 불균형적으로 많은 어텐션을 할당하는 반면, 시각적 토큰은 점진적으로 소홀히 합니다.
• 결과: 모델은 깊은 시각적 내성을 유지하는 데 어려움을 겪습니다. 결정적인 시각 정보가 누락된 경우(예: 가려진 이미지), 모델은 언어적 성찰은 수행하지만 답변을 유보하지 못하는데, 이는 진정한 시각적 인식이 결여되어 있음을 나타냅니다.

주요 기여

1. 체계적인 벤치마킹: 12개의 뚜렷한 멀티모달 작업에 걸친 포괄적인 CoT 평가를 통해, CoT가 추론에는 유익하지만 특정 지각 작업에는 해로울 수 있음을 밝혀냈습니다.
2. 시각적 병목 현상 식별: 시각적 프로브와 텍스트 추론 프로브 사이의 20% 성능 격차와, 시각적 프로브 정확도와 전체 작업 성공 간의 강한 상관관계를 통해 시각적 추론이 MLLM의 주요 제한 요소임을 실증적으로 입증했습니다.
3. 메커니즘 분석: 모델이 언어적 추론은 심화하는 반면 시각적 내성은 포기하는 "Look Light, Think Heavy" 패턴을 발견하고, 추론 토큰에 대한 어텐션 편향을 근본 원인으로 규명했습니다.
4. 추론 모델 평가: 현재의 오픈 소스 멀티모달 추론 모델이 훈련 데이터 편향으로 인해 상용 모델에 비해 뒤처져 있음을 보여주는 비교 분석을 수행했습니다.

의의 및 향 향후 방향

본 논문은 멀티모달 CoT가 언어적 성찰은 잘 처리하지만, 현재 깊은 시각적 내성을 유지하는 능력은 부족하다고 결론짓습니다. 저자들은 향-후 발전 방향으로 다음을 제안합니다:

• 시각적 성찰을 동반한 추론: 시각적 모호성을 인식하고 시각적 입력이 불충분할 때 답변을 유보하도록 모델을 훈련시키는 것(사례 연구에서 OpenAI의 o3가 보여준 방식).
• 외부 도구를 활용한 추론: 순수하게 텍스트 기반의 CoT를 넘어, 시각적 이해를 높이기 위해 외부 도구(예: 크롭, 줌, 코드 기반 분석)를 통합하는 것.

본 연구는 단순히 CoT를 확장하거나 수학에 집중된 RLVR을 적용하는 것만으로는 불충분하며, 미래의 MLLM은 시각적 도구를 활용하고 추론 과정 전반에 걸쳐 깊은 시각적 어텐션을 유지할 수 있는 메커니즘을 갖추어야 한다고 강조합니다.