Resumo Técnico: Otimização Assimétrica de Raciocínio e Percepção no Pós-Treinamento de Modelos Visão-Linguagem

1. Declaração do Problema

Técnicas de pós-treinamento, especificamente o Ajuste Fino Supervisionado (SFT) e o Aprendizado por Reforço (RL), aprimoraram significativamente as capacidades de raciocínio dos Modelos Visão-Linguagem (VLMs) de fronteira. No entanto, esses ganhos não se traduziram proporcionalmente nas habilidades de percepção. Estudos recentes indicam que o pós-treinamento pode resultar em melhorias limitadas ou até mesmo degradar o desempenho de percepção, criando um gargalo para o raciocínio visual de ponta a ponta. A questão central abordada por este trabalho é: Por que o pós-treinamento favorece desproporcionalmente o raciocínio em detrimento da percepção e como essa assimetria pode ser mitigada?

Os autores argumentam que erros de percepção limitam severamente a eficácia do raciocínio avançado. Para investigar isso, eles introduzem um framework diagnóstico controlado que desentrelaça a percepção do raciocínio, permitindo a avaliação e otimização independentes de cada componente.

2. Metodologia

2.1 Framework Diagnóstico Controlado

Os autores propõem um framework projetado para separar a percepção ($p$) e o raciocínio ($r$) dentro da saída do modelo.

• Saídas Desentrelaçadas: A sequência de saída é estruturada como $y = [p, r]$, onde $p$ é uma transcrição textual de informações visuais e $r$ é o processo de raciocínio, separados por tokens especiais. Isso impõe uma ordem de "percepção antes do raciocínio".
• Métricas de Avaliação:
  • Precisão de Percepção ($a_p$): Medida comparando a percepção gerada pelo modelo $p$ contra uma representação canônica de verdade fundamental $p^*$.
  • Precisão de Raciocínio Contrafactual ($a_r$): Para isolar a capacidade de raciocínio de erros de percepção, o modelo é condicionado à percepção de verdade fundamental $p^*$ para gerar raciocínio $r'$. A precisão é então medida como $Acc(r' | p^*)$.
  • Precisão de Ponta a Ponta ($a$): A precisão padrão do pipeline completo.
• Tarefas Sintéticas: Para garantir anotações de verdade fundamental e avaliação programática, os autores utilizam duas tarefas sintéticas:
  1. Coloração de Grafos (GC): Imagens de entrada de grafos; $p^*$ é a lista de arestas; a correção requer coloração de nós válida.
  2. Sudoku: Imagens de entrada de grades; $p^*$ é a grade parcialmente preenchida; a correção requer uma solução válida.
     Essas tarefas são renderizadas programaticamente a partir de problemas baseados em texto para manter uma $p^*$ canônica.

2.2 Paradigmas de Treinamento

O estudo avalia dois métodos dominantes de pós-treinamento:

• Ajuste Fino Supervisionado (SFT): Otimiza a perda de entropia cruzada média por token sobre a sequência de saída.
• Aprendizado por Reforço (RL): Utiliza a Otimização de Política Relativa em Grupo (GRPO) com a precisão de ponta a ponta como sinal de recompensa primário.

2.3 Mecanismos Hipotetizados e Intervenções

Os autores investigam dois mecanismos específicos que impulsionam a assimetria:

1. Hipótese 1: Desequilíbrio de Tokens (SFT)

   • Mecanismo: Na supervisão de Cadeia de Pensamento (CoT), os tokens de percepção ocupam uma fração significativamente menor da saída total em comparação com os tokens de raciocínio. Como o SFT usa perda média por token, a percepção recebe um sinal de otimização mais fraco.
   • Intervenção: Reponderação de Perda. A perda do SFT é modificada para $L_{SFT, \lambda} = \lambda \frac{L_p}{|p|} + (1-\lambda) \frac{L_r}{|r|}$, onde $\lambda$ aumenta o peso dos tokens de percepção. Eles também testam o NGDiff, um método de balanceamento dinâmico de múltiplas tarefas baseado em normas de gradiente.

2. Hipótese 2: Acoplamento de Recompensa (RL)

   • Mecanismo: A recompensa de resultado (precisão de ponta a ponta) correlaciona-se mais fortemente com a correção do raciocínio do que com a correção da percepção. A percepção influencia a recompensa apenas se o raciocínio subsequente também estiver correto, levando a uma atribuição de crédito ruidosa ou desalinhada para a percepção.
   • Intervenção: Aumento de Recompensa. A função de recompensa é modificada para $R_\alpha(y|x) = \alpha \cdot a_p + (1-\alpha) \cdot a$, adicionando explicitamente um sinal de percepção. Eles também avaliam recompensas substitutas (similaridade CLIP, auto-recompensa, recompensas baseadas em professor) para cenários onde recompensas de percepção de verdade fundamental não estão disponíveis.

3. Resultados Experimentais

3.1 Configuração Empírica

Os experimentos foram conduzidos em Qwen3-VL-2B e InternVL3.5-2B usando as tarefas GC e Sudoku. Os conjuntos de dados incluíram 2.000 instâncias de treinamento SFT e 16.000 instâncias de treinamento RL por tarefa.

3.2 Achados sobre SFT

• Confirmação de Assimetria: O SFT padrão melhora substancialmente a precisão do raciocínio, enquanto gera ganhos mínimos na precisão da percepção.
• Validação de Desequilíbrio de Tokens: A análise revelou que a percepção representa apenas ~2,5% dos tokens em traços de CoT, contribuindo com apenas 1,3% da perda total e 8,5% da norma de gradiente.
• Eficácia da Intervenção:
  • Aumentar o peso da percepção ($\lambda$) melhora a precisão da percepção, mas cria um trade-off onde o excesso de ponderação prejudica o raciocínio.
  • Equilíbrio Ótimo: A precisão de ponta a ponta atinge o pico com um aumento moderado do peso da percepção.
  • Resultados: A reponderação de perda melhorou a precisão de ponta a ponta em 10,0–13,8 pontos sobre o SFT padrão. O método dinâmico NGDiff melhorou ainda mais isso, alcançando ganhos de até 18,2 pontos sem ajuste manual de hiperparâmetros.

3.3 Achados sobre RL

• Confirmação de Assimetria: O RL também melhora o raciocínio mais do que a percepção.
• Rejeição de Desequilíbrio de Tokens: Diferentemente do SFT, a reponderação das probabilidades de tokens no objetivo de RL não mitigou a assimetria e frequentemente desestabilizou o treinamento. Isso indica que a contagem de tokens não é o principal motor no RL.
• Validação de Acoplamento de Recompensa: A análise de correlação de Pearson mostrou que a recompensa de resultado correlaciona-se fortemente com o raciocínio ($r \approx 0,65\text{--}1,00$), mas fracamente com a percepção ($r \approx 0,34\text{--}0,43$).
• Eficácia da Intervenção:
  • Aumento de Recompensa: Adicionar uma recompensa de percepção ($\alpha > 0$) melhorou a precisão da percepção. Similar ao SFT, existe um trade-off, mas o desempenho de ponta a ponta atinge o pico em um $\alpha$ não nulo.
  • Resultados: O aumento de recompensa melhorou a precisão de ponta a ponta em até 6,0 pontos sobre o RL padrão.
  • Recompensas Substitutas: Quando recompensas de percepção de verdade fundamental não estavam disponíveis, recompensas baseadas em professor (usando um modelo mais forte para gerar $p^*$) forneceram o sinal mais confiável, resultando em 3,2 pontos de melhoria. A similaridade baseada em CLIP forneceu um sinal negligenciável.

4. Contribuições Principais

1. Framework Diagnóstico: Introdução de um framework controlado usando tarefas sintéticas para desentrelaçar e avaliar independentemente a percepção e o raciocínio no pós-treinamento de VLMs.
2. Identificação de Mecanismos: Identificação de uma assimetria consistente percepção-raciocínio através de SFT e RL, rastreando as causas a mecanismos distintos: desequilíbrio de tokens no SFT e acoplamento de recompensa no RL.
3. Intervenções Direcionadas: Demonstração de que intervenções específicas e conscientes do paradigma podem reequilibrar esses componentes:
   • SFT: Reponderação de perda (estática ou dinâmica via NGDiff).
   • RL: Aumento de recompensa consciente da percepção (usando verdade fundamental ou substitutos confiáveis).
   • Essas intervenções melhoraram o desempenho de raciocínio visual de ponta a ponta em até 18,2 pontos (SFT) e 6,0 pontos (RL).

5. Significado e Alegações

O artigo alega que a assimetria observada é uma consequência fundamental dos objetivos padrão de pós-treinamento, e não um artefato específico do modelo. Os autores argumentam que confiar apenas em objetivos padrão de SFT ou RL é insuficiente para um raciocínio visual robusto de ponta a ponta, pois a percepção permanece o gargalo dominante.

O significado do trabalho reside em fornecer estratégias concretas e acionáveis para mitigar esse desequilíbrio. Ao diagnosticar os modos de falha específicos (escassez de tokens no SFT, sinais de recompensa fracos no RL), os autores sugerem que os futuros pipelines de pós-treinamento de VLMs devem incorporar mecanismos explícitos de balanceamento — como reponderação de perda ou recompensas conscientes da percepção — para desbloquear o pleno potencial do raciocínio visual. O estudo enfatiza que essas intervenções são práticas e podem ser integradas em pipelines do mundo real sempre que supervisão de percepção ou sinais proxy estiverem disponíveis.

Limitações: Os autores observam que o estudo depende de tarefas sintéticas (Coloração de Grafos e Sudoku) para isolar variáveis. Embora essa abstração limite a comparação direta em diversidade do mundo real, é necessária para estabelecer mecanismos causais que são obscurecidos em dados complexos e ambíguos do mundo real. Os mecanismos propostos (desequilíbrio de tokens e acoplamento de recompensa) são argumentados como propriedades gerais dos objetivos de pós-treinamento, sugerindo que as intervenções são aplicáveis além do ambiente sintético.