Resumo Técnico: Seja Fiel ao Responder

Declaração do Problema

O Aprendizado por Reforço (RL) emergiu como um paradigma promissor para aprimorar as capacidades de raciocínio de Modelos de Linguagem-Visão (VLMs). No entanto, a aplicação direta de RL em tarefas de raciocínio multimodal frequentemente leva à instabilidade no treinamento e a resultados subótimos. O problema central advém da esparsidade dos sinais de recompensa, que tipicamente avaliam apenas a correção da resposta final. Consequentemente, os modelos tendem a explorar vieses de linguagem, vieses de conjuntos de dados e correlações espúrias para maximizar as recompensas, em vez de se engajarem em um raciocínio genuíno e visualmente fundamentado. Isso resulta em traços de raciocínio "fluentes, mas não fundamentados", onde os modelos geram explicações confiantes que funcionam como racionalizações post-hoc, em vez de derivações fiéis baseadas em evidências visuais. Os autores argumentam que esse fracasso é exacerbado por uma inicialização de política deficiente; iniciar o RL a partir de um VLM instruído via vanilla instruction-tuning coloca a política em uma região subótima do panorama de otimização, caracterizada por um fraco embasamento visual e trajetórias de raciocínio instáveis.

Metodologia: Inicialização Calorosa Fiel (FWS - Faithful Warm-Start)

Para enfrentar esses desafios, o artigo propõe uma estratégia de Inicialização Calorosa Fiel (FWS). A hipótesa central é que o estado inicial da política é uma precondição crítica para um RL de VLM bem-sucedido. O FWS visa direcionar a política para um regime de raciocínio visualmente fiel antes da aplicação das recompensas esparsas de RL. A metodologia consiste em três estágios primários:

1. Construção do Conjunto de Dados FaithfulQA

Os autores curam um conjunto de dados especializado a partir de seis benchmarks gerais de Visual Question Answering (VQA): AI2D, TextbookQA, PlotQA, ScienceQA, ChartQA e Geo3K. O processo de construção envolve um pipeline de raciocínio de quatro estágios para decompor triplas brutas de VQA em unidades de raciocínio explicitamente fundamentadas e causais:

• Fundamentação Visual (VG): Evidência direta observada na imagem.
• Requisito da Pergunta (QR): Conhecimento de senso comum ou de domínio externo necessário.
• Inferência Intermediária: Passos lógicos derivados de fatos e regras.
• Predição Final: A derivação que sustenta a resposta escolhida.

2. Exame de Consistência de Fé (Verificação Causal)

Para garantir que os traços de raciocínio não sejam meras narrações post-hoc, os autores empregam um mecanismo de Intervenção Causal em Nível de Unidade. Para um traço de raciocínio correto contendo $N$ unidades, o sistema realiza $N$ tentativas de intervenção. Em cada tentativa, uma única unidade de raciocínio é removida, e o traço modificado (junto com a imagem e a pergunta) é reintroduzido no VLM.

• Métrica: A métrica primária, num_correct_to_wrong, conta quantas vezes a predição do modelo muda de correta para incorreta após a remoção de uma unidade específica.
• Objetivo: Um valor não nulo confirma que a unidade de raciocínio é funcionalmente necessária para a decisão, fornecendo evidência causal direta de fundamentação visual.

3. Julgamento e Pós-Filtragem

Um juiz baseado em VLM (especificamente o Qwen3VL-8B-Thinking) avalia os traços refinados em quatro dimensões, pontuadas de 0 a 2:

• Pontuação de Fundamentação Visual: Dependência de evidências visuais reais.
• Pontuação de Causalidade de Unidade: Necessidade lógica e causal baseada nos resultados de intervenção.
• Pontuação de Não-Contradição: Consistência lógica interna e alinhamento com a imagem.
• Pontuação de Fidelidade: Avaliação geral de se a cadeia explica fielmente a decisão.

Apenas os traços que alcançam uma pontuação perfeita (2) em todas as dimensões e uma métrica causal estritamente maior que zero são retidos. Este processo gera o conjunto de dados FaithfulQA (60.000 amostras de alta qualidade), que é usado exclusivamente para a fase de warm-start de ajuste fino supervisionado (SFT). Os conjuntos de dados originais são preservados estritamente para inferência e avaliação.

Principais Contribuições

1. Insight sobre Inicialização de Política: O artigo destaca que uma inicialização de política deficiente em RL de visão-linguagem promove o aprendizado de atalhos (shortcut learning) sob recompensas esparsas, argumentando que um warm-start supervisionado fiel é um pré-requisito crucial para uma otimização eficaz.
2. Conjunto de Dados FaithfulQA & Estratégia FWS: Os autores propõem a estratégia FWS, que constrói o conjunto de dados FaithfulQA para permitir que os modelos aprendam padrões de visão-linguagem causalmente fundamentados antes da otimização por RL.
3. Validação Empírica: O estudo demonstra que o FWS melhora a precisão das respostas, estabiliza a dinâmica de treinamento de RL e produz traços de raciocínio que são mais fielmente fundamentados em evidências visuais em tarefas de raciocínio multimodal.

Resultados Experimentais

Experimentos extensos foram conduzidos utilizando o Qwen3-VL-2B-Instruct como backbone e o Qwen3-VL-8B-Thinking como juiz. O estudo comparou modelos treinados com diferentes escalas de dados FWS (20K, 40K, 60K) contra um modelo base e um modelo base passando por RL direto.

• Ganhos de Desempenho: O FWS melhorou consistentemente o desempenho em todos os cinco benchmarks avaliados (AI2D, TQA, PlotQA, SciQA, ChartQA). Mesmo com uma escala pequena de 20K amostras, ganhos claros foram observados. A configuração de 60K-SFT aproximou-se da saturação na maioria dos benchmarks.
• Estabilidade de RL: Modelos inicializados com checkpoints de FWS e posteriormente ajustados com RL superaram consistentemente aqueles inicializados a partir do modelo base.
• Dinâmica de Recompensa: A análise das trajetórias de recompensa revelou diferenças distintas:
  • Base-RL: Mostrou melhorias graduais que eventualmente saturaram em um patamar baixo com flutuações perceptíveis.
  • FWS-RL: Exibiu uma fase de adaptação inicial com recompensas baixas, seguida por uma subida acentuada e convergência rápida para um patamar mais alto e estável. Isso sugere que o FWS codifica priors de raciocínio informativos que o RL pode ativar e refinar eficientemente.

Significância e Alegações

O artigo afirma que a inicialização de warm-start fiel não é meramente uma escolha de formatação, mas um requisito fundamental para um aprendizado por reforço eficaz em VLMs. Ao equipar o modelo com a capacidade de compreender padrões de visão-linguagem causalmente fundamentados antes da otimização de recompensa esparsa, o FWS impede que a política derive para comportamentos de raciocínio degenerados. Os resultados sugerem que esta abordagem mitiga efetivamente o desalinhamento entre a otimização de nível de resposta e o raciocínio multimodal fiel, garantindo que o modelo priorize a verdadeira consistência de raciocínio e a aderência visual em vez de mera maximização de recompensa.