💬 NLP

From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models

Este artigo demonstra que a desconexão do pós-treinamento de modelos visão-linguagem em etapas distintas para percepção visual, raciocínio visual e raciocínio textual — especificamente priorizando a otimização da percepção por meio de aprendizado por reforço — melhora significativamente tanto a precisão da percepção quanto a do raciocínio, ao mesmo tempo em que reduz a necessidade de traços de raciocínio excessivos.

Autores originais: Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um problema matemático complexo, mas o problema está escrito em um pedaço de papel com uma mancha sobre um número crucial.

Se você tentar "pensar" mais intensamente sobre a matemática, obterá apenas uma resposta mais confiante, mas completamente errada. Você pode escrever um ensaio longo e detalhado explicando por que a resposta é 50, quando o número manchado na verdade significava que a resposta deveria ser 5.

Isso é exatamente o que o artigo "From Seeing to Thinking" argumenta que está acontecendo com os modelos de IA atuais que olham para imagens e tentam raciocinar sobre elas (Modelos Visão-Linguagem).

Aqui está a análise de sua descoberta e solução, usando analogias simples:

O Problema: A IA "Confiantemente Errada"

O artigo descobre que, quando esses modelos de IA falham em tarefas visuais (como geometria ou leitura de um gráfico), raramente é porque não conseguem fazer a matemática ou a lógica. É porque eles não conseguem "ver" corretamente, em primeiro lugar.

A Analogia: Imagine um detetive tentando resolver um crime. Se o detetive identificar incorretamente o tamanho do sapato do suspeito (Erro de Percepção), nenhuma quantidade de trabalho de detetive brilhante (Raciocínio) resolverá o caso. Na verdade, quanto mais o detetive "pensa" sobre o tamanho do sapato errado, mais ele escreverá um relatório longo e confuso que levará a uma conclusão errada.
A Descoberta: Os autores analisaram muitas tentativas falhas de IA e descobriram que 87% dos erros começaram com um simples erro visual (como ler mal um número ou confundir uma forma). Uma vez que a IA cometeu esse erro, "pensar mais" não o corrigiu; apenas fez a IA insistir no erro.

A Solução: Um Campo de Treinamento em Três Etapas

Atualmente, a maioria dos treinamentos de IA mistura tudo junto: ensina o modelo a ver, ler e pensar tudo ao mesmo tempo. Os autores dizem que isso é como tentar ensinar alguém a dirigir um carro, consertar o motor e navegar em um mapa tudo na mesma lição. É muito bagunçado.

Em vez disso, eles propõem uma abordagem de "Treinamento em Etapas", dividindo o processo de aprendizado em três fases distintas:

Etapa 1: Os Olhos (Percepção Visual)
- Objetivo: Ensinar a IA a descrever com precisão o que está na imagem sem tentar resolver um problema ainda.
- O Método: Eles usaram um tipo especial de treinamento chamado RL (Aprendizado por Reforço). Pense nisso como um treinador rigoroso que dá um "joinha" para a IA apenas se ela identificar corretamente um detalhe (como "há 7 postes de luz") e um "não" se ela chutar ou alucinar. Eles descobriram que isso era muito melhor do que o antigo método de apenas mostrar imagens à IA com legendas (SFT), que é como ler um livro de histórias sem ser testado sobre os detalhes.
Etapa 2: O Cérebro (Raciocínio Textual)
- Objetivo: Ensinar a IA a pensar logicamente usando palavras, mas sem nenhuma imagem.
- A Analogia: Isso é como ensinar a um aluno problemas de matemática em um quadro branco antes de dar a ele um diagrama.
Etapa 3: A Integração (Raciocínio Visual)
- Objetivo: Agora que a IA tem "bons olhos" e um "cérebro treinado", ensine-a a combiná-los para resolver quebra-cabeças visuais.

Por Que Essa Ordem Importa

O artigo descobriu que a ordem do treinamento é crítica.

O Jeito Certo: Construa os olhos primeiro, depois o cérebro, depois combine-os.
O Jeito Errado: Se você tentar ensinar a IA a resolver quebra-cabeças visuais complexos antes de ela aprender a ver claramente, ela fica confusa. É como tentar ensinar uma criança a jogar xadrez antes que ela saiba como as peças se movem. O artigo mostrou que inverter essa ordem na verdade tornou a IA pior tanto em ver quanto em pensar.

Os Resultados: Mais Inteligente e Mais Rápido

Quando os autores treinaram seus modelos usando esse novo método "Em Etapas", os resultados foram impressionantes:

Melhor Precisão: Os modelos ficaram significativamente melhores em testes de matemática visual e percepção do mundo real.
Pensamento Mais Curto: Esta é a parte mais surpreendente. Como os modelos tinham "bons olhos", eles não precisavam "pensar" tanto para obter a resposta correta.
- A Analogia: Um modelo com olhos ruins continua relendo o problema, verificando a imagem e reescrevendo seus pensamentos porque está inseguro. Um modelo com bons olhos vê a resposta imediatamente e escreve uma solução curta e clara.
- Os Dados: Seus modelos alcançaram 1,5% de precisão a mais enquanto usavam 20% menos "tempo de pensamento" (respostas de texto mais curtas) em comparação com modelos treinados da maneira antiga e mista.

A Grande Imagem: Uma Nova Maneira de Aprender

Os autores também introduzem um novo conceito chamado "Currículo de Capacidades".

Jeito Antigo: Treinar a IA em problemas fáceis, depois médios, depois difíceis (Baseado em Dificuldade).
Jeito Novo: Treinar a IA em habilidades específicas em uma ordem específica (Percepção $\to$ Lógica $\to$ Raciocínio).
A Magia: Eles descobriram que esses dois métodos funcionam melhor quando combinados. É como uma escola que organiza as aulas por matéria (Matemática, depois Ciências) e organiza as lições do fácil ao difícil dentro dessas matérias. Fazer ambos deu à IA os melhores resultados de todos.

Em resumo: Para tornar a IA melhor em "pensar" sobre imagens, primeiro precisamos garantir que ela possa realmente "vê-las" corretamente. Ao separar essas habilidades e treiná-las na ordem certa, obtemos modelos que não são apenas mais inteligentes, mas também mais eficientes, evitando a armadilha de pensar demais em erros visuais simples.

Resumo Técnico: De Ver a Pensar: Desacoplar Percepção e Raciocínio Melhora o Pós-Treinamento de Modelos Visão-Linguagem

1. Declaração do Problema

Avanços recentes em Modelos Visão-Linguagem (VLMs) enfatizaram fortemente o raciocínio de cadeia de pensamento (CoT) longo, frequentemente impulsionado por técnicas de aprendizado por reforço (RL). No entanto, este trabalho identifica um gargalo crítico: o desempenho em tarefas visuais complexas (por exemplo, matemática visual, geometria, compreensão de diagramas) é frequentemente limitado não pelas capacidades de raciocínio, mas pela percepção visual.

Os autores observam que, quando um VLM comete um erro inicial na percepção de detalhes visuais (por exemplo, identificar incorretamente um ângulo geométrico ou a contagem de objetos), as etapas subsequentes de raciocínio raramente corrigem esse erro. Em vez disso, o modelo compõe o erro com base em suposições perceptivas incorretas, levando a traços de raciocínio longos e convolutos que falham em chegar à conclusão correta. Por outro lado, quando a percepção é precisa, o raciocínio tende a ser conciso e converge rapidamente. O artigo argumenta que os paradigmas atuais de pós-treinamento, que frequentemente mesclam dados de percepção e raciocínio ou priorizam o raciocínio, falham em abordar essa deficiência fundamental.

2. Metodologia

A solução proposta é um framework de pós-treinamento em estágios que desacopla as capacidades do VLM em três estágios distintos e sequenciais, cada um utilizando conjuntos de dados especializados e estratégias de treinamento:

2.1. Decomposição de Capacidades

O pipeline de treinamento é dividido em três estágios:

Percepção Visual: Foca no reconhecimento de detalhes visuais de alta granularidade e relações espaciais sem exigir raciocínio de múltiplos passos.
Raciocínio Textual: Foca na inferência lógica usando apenas entradas de texto.
Raciocínio Visual: Foca em tarefas multimodais complexas que exigem tanto percepção precisa quanto raciocínio de múltiplos passos.

2.2. Síntese e Curadoria de Dados

Dados de Percepção ( $D_{perc}$ ): Sintetizados a partir do conjunto de dados DOCCI (legendas de imagens de alta granularidade). Um LLM gera perguntas focadas em percepção com base nas legendas. Um mecanismo de filtragem retém apenas amostras onde o VLM base falha em responder corretamente usando apenas a imagem, mas tem sucesso quando fornecida a legenda. Isso isola amostras onde a limitação é puramente perceptiva.
Dados de Raciocínio Textual ( $D_{text}$ ): Obtidos do ORZ-Math-13k, contendo problemas matemáticos desafiadores solucionáveis sem entradas visuais.
Dados de Raciocínio Visual ( $D_{vis}$ ): Curados a partir de múltiplas fontes de código aberto (CLEVR-Math, GeoQA170K, Math PUMA, etc.), exigindo tanto percepção quanto raciocínio.

2.3. Estratégias de Treinamento

Treinamento em Estágios: O modelo é treinado sequencialmente ( $D_{perc} \rightarrow D_{text} \rightarrow D_{vis}$ $D_{p er c} \to D_{t e x t} \to D_{v i s}$ ) usando Otimização de Política Relativa em Grupo (GRPO).
- Estágio 1 (Percepção): Os autores comparam o Ajuste Fino Supervisionado (SFT) com Aprendizado por Reforço com Recompensas Verificáveis (RLVR). Eles descobrem que o RLVR é significativamente mais eficaz para percepção, pois penaliza interpretações alucinadas de forma mais robusta do que o SFT ao nível de token.
- Estágios 2 e 3: Utilizam GRPO para refinar as capacidades de raciocínio.
Tratamento do Codificador de Visão: No estágio de percepção, o codificador de visão está ativo. Nos estágios subsequentes, as estratégias variam (por exemplo, congelando o codificador nos estágios de raciocínio textual), mas o principal motor do sucesso é a ordem sequencial dos dados.
Integração de Currículo: Os autores demonstram que esse estágio baseado em capacidades é ortogonal aos currículos tradicionais baseados em dificuldade. Combinar ambos (ordenando os dados por dificuldade dentro de cada estágio de capacidade) produz ganhos aditivos.

3. Contribuições Principais

Desacoplamento de Percepção e Raciocínio: O artigo estabelece que a percepção visual é uma capacidade distinta e fundamental que deve ser solidificada antes de refinar o raciocínio visual. Tratá-las como uma tarefa mesclada leva a desempenho subótimo.
Paradigma de Treinamento em Estágios: Os autores propõem uma ordem de treinamento específica (Percepção $\rightarrow$ Raciocínio Textual $\rightarrow$ Raciocínio Visual) que consistentemente supera o treinamento mesclado. Reverter essa ordem (treinar raciocínio antes da percepção) degrada o desempenho.
RLVR para Percepção: O trabalho demonstra que o RLVR é superior ao SFT baseado em legendas para treinar percepção visual, fornecendo um sinal de treinamento mais forte que reduz alucinações.
Ganhos de Eficiência: Modelos treinados com essa abordagem alcançam maior precisão com traços de raciocínio significativamente mais curtos (20,8% mais curtos), indicando que a percepção precisa reduz a necessidade de "pensamento" excessivo para corrigir erros iniciais.
Nova Dimensão de Currículo: O artigo introduz "aprendizado de currículo baseado em dimensão de capacidade" como uma abordagem complementar aos currículos baseados em dificuldade, mostrando que combinar ambas as dimensões produz melhorias adicionais.

4. Resultados Experimentais

Os experimentos foram conduzidos nos backbones Qwen2.5-VL-7B e Qwen3-VL-8B, comparando o treinamento em estágios contra o treinamento mesclado e várias bases de referência de pesos abertos (por exemplo, OneThinker, GThinker).

Ganhos de Desempenho:
- Matemática Visual: O treinamento em estágios melhorou a precisão do WeMath em 5,2% (Qwen2.5-VL-7B) e 1,5% (Qwen3-VL-8B) sobre o treinamento mesclado. No MathVista, o Qwen3-VL-8B em estágios alcançou 75,9%.
- Percepção: A abordagem melhorou a precisão do RealWorldQA em 3,7% (Qwen3-VL-8B) e manteve alto desempenho no A-OKVQA e POPE, evitando o "imposto perceptual" frequentemente visto no treinamento focado apenas em raciocínio.
- Geral: O Qwen3-VL-8B em estágios alcançou uma média geral recorde de 65,8%, superando o modelo base e o OneThinker-8B especializado em raciocínio.
Eficiência: Modelos em estágios produziram traços de raciocínio 20,8% mais curtos do que modelos mesclados, enquanto alcançavam maior precisão.
Análise de Erros: Usando um juiz externo (Claude-Haiku-4.5), os autores descobriram que o treinamento em estágios reduziu a taxa de erros de percepção nos traços de raciocínio de 857 para 781 (de 3044 amostras) em comparação com o treinamento mesclado.
Generalização: Os benefícios do treinamento em estágios foram confirmados em diferentes arquiteturas, incluindo InternVL3-8B e InternVL3.5-8B.

5. Significado e Alegações

O artigo alega que o fator limitante dominante para o raciocínio visual nos VLMs atuais é a percepção visual, e não a capacidade de raciocínio em si. Consequentemente, "pensar por mais tempo" não pode compensar a percepção incorreta.

O significado deste trabalho reside em:

Mudança de Paradigma: Mover-se do treinamento mesclado para uma abordagem desacoplada por capacidades e em estágios.
Insight Metodológico: Provar que a ordem do treinamento importa; a percepção deve ser a base para o raciocínio.
Eficiência de Treinamento: Demonstrar que uma melhor percepção leva a um raciocínio mais eficiente (traços mais curtos), reduzindo custos computacionais.
Design de Currículo: Estabelecer o estágio baseado em capacidades como uma nova dimensão ortogonal aos currículos baseados em dificuldade, que pode ser combinada para ganhos aditivos.

Os autores concluem que integrar dados especializados de percepção com um paradigma de treinamento em estágios é essencial para desenvolver VLMs avançados e de propósito geral que possam resolver confiavelmente tarefas visuais complexas.