💬 NLP

From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models

본 논문은 시각-언어 모델의 후속 훈련을 시각 지각, 시각 추론, 텍스트 추론을 위한 별도의 단계로 분해하고, 특히 강화 학습을 통한 지각 최적화에 우선순위를 두는 것이 과도한 추론 흔적의 필요성을 줄이면서 지각 및 추론 정확도 모두를 유의미하게 향상시킨다는 것을 입증합니다.

원저자: Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 수학 문제를 풀려고 하는데, 중요한 숫자가 묻힌 종이 위에 적혀 있다고 상상해 보세요.

만약 여러분이 수학에 대해 더 열심히 '생각'하려고 한다면, 더 확신에 차 있지만 완전히 틀린 답을 얻게 될 것입니다. 여러분은 답이 50 이어야 한다고 설명하는 길고 상세한 에세이를 쓸지도 모릅니다. 하지만 실제로 묻힌 숫자는 답이 5 여야 함을 의미했을 뿐입니다.

이것은 바로 이미지 를 보고 이에 대해 추론하려는 현재의 AI 모델 (시각 - 언어 모델) 에 대해 논문 "From Seeing to Thinking"이 주장하는 바와 정확히 일치합니다.

다음은 그들의 발견과 해결책을 간단한 비유를 사용하여 정리한 것입니다:

문제: "확신에 차 있지만 틀린" AI

이 논문은 이러한 AI 모델이 시각 작업 (기하학이나 차트 읽기 등) 에서 실패할 때, 그것은 그들이 수학이나 논리를 할 수 없어서가 아니라 처음부터 제대로 '보지' 못하기 때문이라고 발견했습니다.

비유: 범죄를 해결하려는 형사를 상상해 보세요. 만약 형사가 용의자의 신발 크기를 잘못 식별한다면 (지각 오류), 아무리 뛰어난 형사 업무 (추론) 를 하더라도 사건을 해결할 수 없습니다. 오히려 형사가 잘못된 신발 크기에 대해 더 많이 '생각'할수록, 잘못된 결론으로 이어지는 길고 혼란스러운 보고서를 작성하게 됩니다.
발견: 저자들은 수많은 실패한 AI 시도를 분석한 결과, 오류의 87% 가 숫자를 잘못 읽거나 모양을 혼동하는 것과 같은 단순한 시각적 실수로 시작되었다고 발견했습니다. AI 가 그 실수를 한 후에는 '더 오래 생각'하는 것이 문제를 해결하지 못했습니다. 오히려 AI 가 그 오류를 더욱 고집하게 만들 뿐이었습니다.

해결책: 3 단계 훈련 캠프

현재 대부분의 AI 훈련은 모든 것을 섞어서 진행합니다. 즉, 모델에게 보기, 읽기, 그리고 생각하기를 동시에 가르칩니다. 저자들은 이는 한 수업에서 자동차 운전하기, 엔진 수리하기, 그리고 지도 읽기를 동시에 가르치려는 것과 같다고 말합니다. 너무 지저분합니다.

대신, 그들은 학습 과정을 세 가지 명확한 단계로 나누는 "단계적 훈련 (Staged Training)" 접근법을 제안합니다:

1 단계: 눈 (시각 지각)
- 목표: 아직 문제를 풀려고 시도하지 않고, 그림에 무엇이 있는지 정확하게 설명하도록 AI 에게 가르칩니다.
- 방법: 그들은 RL(강화 학습) 이라는 특수한 훈련 방식을 사용했습니다. 이는 AI 가 세부 사항 (예: "가로등이 7 개 있다") 을 정확하게 식별할 때만 엄지손가락을 치켜세우고, 추측하거나 환각을 보일 때는 엄지손가락을 내리치는 엄격한 코치와 같습니다. 그들은 세부 사항에 대한 테스트 없이 AI 에게 그림과 캡션만 보여주는 기존 방법 (SFT) 보다 훨씬 더 효과적임을 발견했습니다.
2 단계: 뇌 (텍스트 추론)
- 목표: 이미지 없이 단어만 사용하여 AI 가 논리적으로 생각하는 방법을 가르칩니다.
- 비유: 이는 학생에게 다이어그램을 주기 전에 화이트보드에서 수학 문제를 가르치는 것과 같습니다.
3 단계: 통합 (시각 추론)
- 목표: 이제 AI 가 '좋은 눈'과 '훈련된 뇌'를 갖게 되었으니, 이를 결합하여 시각 퍼즐을 해결하도록 가르칩니다.

이 순서가 중요한 이유

이 논문은 훈련의 순서가 결정적임을 발견했습니다.

올바른 방법: 먼저 눈을 만들고, 그다음 뇌를 만든 후, 이를 결합합니다.
잘못된 방법: AI 가 선명하게 보는 법을 배우기 전에 복잡한 시각 퍼즐을 해결하도록 가르치려고 하면 혼란에 빠집니다. 이는 아이들이 말뚝의 움직임을 배우기 전에 체스를 가르치려는 것과 같습니다. 논문은 이 순서를 거꾸로 하면 AI 가 보기와 생각 모두에서 오히려 더 나빠진다는 것을 보여주었습니다.

결과: 더 똑똑하고 더 빠름

저자들이 이 새로운 "단계적" 방법을 사용하여 모델을 훈련시켰을 때, 결과는 인상적이었습니다:

더 나은 정확도: 모델들은 시각 수학 및 실제 세계 지각 테스트에서 훨씬 더 나아졌습니다.
짧은 사고: 이것이 가장 놀라운 부분입니다. 모델들이 '좋은 눈'을 갖게 되었기 때문에, 올바른 답을 얻기 위해 '생각'할 필요가 줄어든 것입니다.
- 비유: 눈이 나쁜 모델은 문제를 다시 읽고, 이미지를 확인하고, 생각이 확실하지 않기 때문에 생각을 다시 씁니다. 반면, 눈이 좋은 모델은 답을 즉시 보고 짧고 명확한 해결책을 씁니다.
- 데이터: 그들의 모델은 기존에 혼합된 방식으로 훈련된 모델에 비해 1.5% 더 높은 정확도를 달성하면서도 20% 적은 "사고 시간"(짧은 텍스트 응답) 을 사용했습니다.

큰 그림: 새로운 학습 방식

저자들은 또한 "능력 커리큘럼 (Capability Curriculum)" 이라는 새로운 개념을 소개합니다.

구식 방법: 쉬운 문제, 그다음 중간, 그리고 어려운 문제 순서로 AI 를 훈련시킵니다 (난이도 기반).
새로운 방법: AI 를 특정 기술을 특정 순서로 훈련시킵니다 (지각 $\to$ 논리 $\to$ 추론).
마법: 이 두 가지 방법을 결합할 때 가장 잘 작동한다는 것을 발견했습니다. 이는 과목별로 (수학, 그다음 과학) 수업을 조직하고, 동시에 해당 과목 내에서 수업을 쉬운 것에서 어려운 것으로 배열하는 학교와 같습니다. 둘 다 수행했을 때 AI 가 가장 좋은 결과를 얻었습니다.

요약하자면: AI 가 이미지 에 대해 "생각"하는 능력을 향상시키려면, 먼저 AI 가 실제로 그것들을 올바르게 "볼" 수 있도록 해야 합니다. 이러한 기술을 분리하고 올바른 순서로 훈련함으로써, 우리는 단순히 더 똑똑할 뿐만 아니라 더 효율적인 모델을 얻을 수 있으며, 단순한 시각적 실수에 대해 과도하게 생각하는 함정을 피할 수 있습니다.

기술 요약: 보기에서 사고로: 지각과 추론의 분리가 비전 - 언어 모델의 사후 훈련을 개선하다

1. 문제 제기

최근 비전 - 언어 모델 (VLM) 의 발전은 강화 학습 (RL) 기법에 주로 주도되는 긴 사고 연쇄 (CoT) 추론을 강조해 왔습니다. 그러나 본 연구는 중요한 병목 현상을 식별합니다: 복잡한 시각적 작업 (예: 시각 수학, 기하학, 다이어그램 이해) 에 대한 성능은 종종 추론 능력에 의해 제한되는 것이 아니라 시각적 지각에 의해 제한됩니다.

저자들은 VLM 이 시각적 세부 사항 (예: 기하학적 각도나 객체 수의 오인식) 을 지각하는 초기 오류를 범할 때, 후속 추론 단계가 이 실수를 거의 수정하지 못한다는 것을 관찰했습니다. 대신 모델은 잘못된 지각적 가정을 바탕으로 오류를 증폭시켜, 올바른 결론에 도달하지 못하는 길고 복잡한 추론 흔적을 남깁니다. 반대로, 지각이 정확할 때 추론은 간결해지고 빠르게 수렴하는 경향이 있습니다. 이 논문은 지각과 추론 데이터를 병합하거나 추론을 우선시하는 현재의 사후 훈련 패러다임이 이러한 근본적인 결함을 해결하지 못한다고 주장합니다.

2. 방법론

제안된 솔루션은 VLM 능력을 세 가지 distinct 한 순차적 단계로 분리하는 단계별 사후 훈련 프레임워크이며, 각 단계는 전문화된 데이터셋과 훈련 전략을 활용합니다:

2.1. 능력 분해

훈련 파이프라인은 세 단계로 나뉩니다:

시각적 지각: 다단계 추론이 필요 없이 세밀한 시각적 세부 사항과 공간적 관계를 인식하는 데 중점을 둡니다.
텍스트 추론: 텍스트 전용 입력을 사용하여 논리적 추론에 중점을 둡니다.
시각적 추론: 정확한 지각과 다단계 추론이 모두 필요한 복잡한 멀티모달 작업에 중점을 둡니다.

2.2. 데이터 합성 및 큐레이션

지각 데이터 ( $D_{perc}$ ): 세밀한 이미지 캡션인 DOCCI 데이터셋에서 합성되었습니다. LLM 이 캡션을 기반으로 지각 중심의 질문을 생성합니다. 필터링 메커니즘은 이미지만으로는 정답을 못 내지만 캡션을 제공받으면 성공하는 경우만 샘플을 유지하여, 한계가 순수하게 지각에 있는 경우를 분리합니다.
텍스트 추론 데이터 ( $D_{text}$ ): 시각적 입력 없이 해결 가능한 도전적인 수학 문제를 포함하는 ORZ-Math-13k 에서 출처를 얻었습니다.
시각적 추론 데이터 ( $D_{vis}$ ): 정확한 지각과 추론이 모두 필요한 CLEVR-Math, GeoQA170K, Math PUMA 등 여러 오픈 소스 출처에서 큐레이션되었습니다.

2.3. 훈련 전략

단계별 훈련: 모델은 그룹 상대적 정책 최적화 (GRPO) 를 사용하여 순차적으로 ( $D_{perc} \rightarrow D_{text} \rightarrow D_{vis}$ $D_{p er c} \to D_{t e x t} \to D_{v i s}$ ) 훈련됩니다.
- 1 단계 (지각): 저자들은 감독 미세 조정 (SFT) 과 검증 가능한 보상을 통한 강화 학습 (RLVR) 을 비교합니다. RLVR 이 토큰 수준 SFT 보다 환각된 해석을 더 강력하게 처벌하므로 지각에 훨씬 더 효과적임을 발견했습니다.
- 2 단계 및 3 단계: 추론 능력을 정제하기 위해 GRPO 를 활용합니다.
비전 인코더 처리: 지각 단계에서는 비전 인코더가 활성화됩니다. 후속 단계에서는 전략이 다양합니다 (예: 텍스트 추론 단계에서 인코더 고정). 그러나 성공의 주요 동인은 단계별 데이터 순서입니다.
커리큘럼 통합: 저자들은 능력 기반 단계화가 전통적인 난이도 기반 커리큘럼과 직교함을 입증했습니다. 둘을 결합 (각 능력 단계 내에서 난이도에 따라 데이터 순서 지정) 하면 가산적 이득을 얻습니다.

3. 주요 기여

지각과 추론의 분리: 이 논문은 시각적 지각이 시각적 추론을 정제하기 전에 확고히 해야 하는 별개의 근본적 능력임을 확립합니다. 이를 병합된 작업으로 취급하면 최적이지 않은 성능으로 이어집니다.
단계별 훈련 패러다임: 저자들은 병합된 훈련보다 일관되게 우수한 특정 훈련 순서 (지각 $\rightarrow$ 텍스트 추론 $\rightarrow$ 시각적 추론) 를 제안합니다. 이 순서를 반전 (지각 전에 추론 훈련) 하면 성능이 저하됩니다.
지각을 위한 RLVR: 이 연구는 캡션 기반 SFT 보다 RLVR 이 시각적 지각 훈련에 우월하며 환각을 줄이는 더 강력한 훈련 신호를 제공함을 입증합니다.
효율성 향상: 이 접근법으로 훈련된 모델은 훨씬 더 짧은 추론 흔적 (20.8% 단축) 으로 더 높은 정확도를 달성하여, 정확한 지각이 초기 오류를 수정하기 위한 과도한 "사고" 필요성을 줄임을 나타냅니다.
새로운 커리큘럼 차원: 이 논문은 난이도 기반 커리큘럼에 대한 보완적 접근법으로 "능력 차원 커리큘럼 학습"을 도입하여, 두 차원을 결합하면 추가적인 개선이 있음을 보여줍니다.

4. 실험 결과

실험은 Qwen2.5-VL-7B 및 Qwen3-VL-8B 백본에서 수행되었으며, 단계별 훈련을 병합 훈련 및 다양한 오픈 가중치 베이스라인 (예: OneThinker, GThinker) 과 비교했습니다.

성능 향상:
- 시각 수학: 단계별 훈련은 병합 훈련 대비 WeMath 정확도를 Qwen2.5-VL-7B 에서 5.2%, Qwen3-VL-8B 에서 1.5% 향상시켰습니다. MathVista 에서 단계별 Qwen3-VL-8B 는 **75.9%**를 달성했습니다.
- 지각: 이 접근법은 Qwen3-VL-8B 에서 RealWorldQA 정확도를 3.7% 향상시켰으며, A-OKVQA 와 POPE 에서 높은 성능을 유지하여 추론 전용 훈련에서 종종 보이는 "지각 과세"를 피했습니다.
- 전체: 단계별 Qwen3-VL-8B 는 기본 모델 및 추론 특화 OneThinker-8B 를 능가하는 기록적인 전체 평균 **65.8%**를 달성했습니다.
효율성: 단계별 모델은 더 높은 정확도를 달성하면서 병합 모델보다 20.8% 짧은 추론 흔적을 생성했습니다.
오류 분석: 외부 판정자 (Claude-Haiku-4.5) 를 사용하여 저자들은 병합 훈련 대비 단계별 훈련이 추론 흔적 내 지각 오류율을 3044 개 샘플 중 857 에서 781 로 감소시켰음을 발견했습니다.
일반화: 단계별 훈련의 이점은 InternVL3-8B 및 InternVL3.5-8B 를 포함한 다양한 아키텍처에서 확인되었습니다.

5. 중요성 및 주장

이 논문은 현재 VLM 의 시각적 추론에 대한 지배적인 제한 요인이 추론 능력 자체가 아니라 시각적 지각이라고 주장합니다. 따라서 "더 긴 사고"는 잘못된 지각을 보상할 수 없습니다.

이 연구의 중요성은 다음과 같습니다:

패러다임 전환: 병합된 훈련에서 능력 분리 및 단계별 접근법으로의 이동.
방법론적 통찰: 훈련 순서가 중요함을 입증; 지각이 추론의 발판이 되어야 함.
훈련 효율성: 더 나은 지각이 더 효율적인 추론 (짧은 흔적) 으로 이어져 계산 비용을 줄임을 입증.
커리큘럼 설계: 가산적 이득을 위해 결합할 수 있는 난이도 기반 커리큘럼에 대한 새로운 직교 차원으로서 능력 기반 단계화 확립.

저자들은 정교한 지각 데이터와 단계별 훈련 패러다임을 통합하는 것이 복잡한 시각적 작업을 신뢰성 있게 해결할 수 있는 고급 범용 VLM 개발에 필수적이라고 결론지었습니다.