Reward Design for Physical Reasoning in Vision-Language Models

Título: Design de Recompensa para Raciocínio Físico em Modelos Visão-Linguagem

1. Problema e Motivação

O raciocínio físico sobre entradas visuais exige uma integração complexa de percepção visual, conhecimento de domínio e inferência simbólica de múltiplos passos. Embora os Modelos Visão-Linguagem (VLMs) de última geração tenham avançado, eles ainda apresentam desempenho significativamente inferior ao de humanos em benchmarks de física.
O problema central abordado é que, embora algoritmos de pós-treinamento como Supervised Fine-Tuning (SFT) e Group Relative Policy Optimization (GRPO) tenham demonstrado ganhos em raciocínio para modelos de linguagem, a influência do design de recompensa no comportamento de raciocínio físico de VLMs é pouco compreendida. O SFT tradicional tende a recompensar a imitação superficial em vez de um raciocínio robusto, e a aplicação de RL (Reinforcement Learning) em domínios científicos multimodais carece de estudos sistemáticos sobre como diferentes sinais de recompensa moldam o comportamento emergente.

2. Metodologia

Os autores realizaram um estudo sistemático de ablação de recompensas utilizando o framework GRPO (Group Relative Policy Optimization) para treinar o modelo IBM Granite Vision 3.3 (2B).

• Dataset: O treinamento e avaliação foram realizados no PhyX, um benchmark multimodal com 3.000 problemas (para treino) e 1.000 problemas (para teste), cobrindo seis domínios da física (Mecânica, Eletromagnetismo, Termodinâmica, Ondas/Acústica, Óptica, Física Moderna) e seis tipos de raciocínio. Os dados incluem formatos de múltipla escolha (MCQ) e respostas abertas (OE).

• Configurações de Recompensa: Foram comparadas quatro configurações de recompensa com riqueza semântica crescente:

  1. R1 (Formato): Recompensa baseada apenas na conformidade estrutural da saída (presença de tags como <answer>, <unit>, etc.).
  2. R2 (Precisão): Recompensa baseada apenas na correção da resposta final (match exato para MCQ; júri de 3 LLMs para OE).
  3. R3 (Rubrica): Uma recompensa composta que avalia a correção da resposta, a identificação do princípio físico, a consistência das unidades e a qualidade do raciocínio. Para OE, utiliza um LLM-juiz estruturado; para MCQ, usa correspondência baseada em regras.
  4. R4 (Atenção Interna - ASM): Uma recompensa interna novel derivada dos pesos de atenção do modelo sobre os tokens da imagem. Em vez de supervisionar a saída textual sobre a localização, este sinal supervisiona onde o modelo atende durante a geração. Não requer anotações espaciais externas (bounding boxes). A recompensa é a fração da massa de atenção sobre pixels de primeiro plano (não brancos).

• Condições de Treino: Foram testadas sete condições, incluindo uma linha de base SFT e várias combinações de GRPO (apenas formato, formato+precisão, rubrica, atenção, e combinações híbridas).

3. Contribuições Principais

1. Estudo de Ablação Sistemático: A primeira análise controlada de como diferentes sinais de recompensa (de conformidade de formato a fundamentação visual interna) afetam o raciocínio físico em VLMs sob GRPO.
2. Recompensa de Atenção Interna (ASM): Proposição de um novo sinal de recompensa que utiliza os pesos de atenção do próprio modelo para incentivar o "grounding" visual, sem necessidade de anotações manuais de localização.
3. Análise de Comportamento Específico por Domínio: Demonstração de que o design de recompensa não melhora uniformemente o desempenho, mas induz comportamentos de raciocínio específicos para cada domínio e tipo de tarefa.

4. Resultados Chave

• Desempenho Geral:
  • MCQ (Múltipla Escolha): A combinação GRPO (Formato + Precisão + ASM) obteve o melhor desempenho geral (0.462), superando o SFT em 6,7%. A recompensa de precisão pura foi o motor principal dos ganhos.
  • OE (Aberto): O GRPO (Formato + Precisão) foi o mais forte (0.027), mostrando uma melhoria de 100% sobre o SFT. As recompensas mais complexas (Rubrica) tiveram desempenho misto.
• Impacto da Recompensa de Atenção (ASM):
  • Raciocínio Espacial: A ASM causou um salto dramático na precisão de raciocínio de relações espaciais (de 0,27 para 0,50), o maior ganho observado no estudo.
  • Conflito com Domínios Simbólicos: A mesma recompensa degradou o desempenho em domínios que exigem raciocínio simbólico e aplicação de fórmulas (ex: Termodinâmica e Ondas), sugerindo um conflito de recursos representacionais entre a atenção visual focada e a cadeia de raciocínio simbólico.
• Impacto da Recompensa de Rubrica:
  • A rubrica melhorou a qualidade do raciocínio estruturado e a coerência das cadeias de pensamento (medido por LLM-juiz), mas não resultou em ganhos consistentes de precisão final.
  • Em modelos pequenos (2B), a complexidade do sinal de recompensa (múltiplos objetivos simultâneos) parece introduzir variância que desestabiliza a otimização do GRPO, levando o modelo a otimizar objetivos secundários (princípios, unidades) em detrimento da precisão principal.
• Qualidade do Raciocínio: Modelos treinados apenas com precisão (Fmt+Acc) tendem a gerar respostas corretas sem um raciocínio de suporte válido à medida que o treino avança. Modelos com recompensa de rubrica mantêm cadeias de raciocínio coerentes, mesmo com precisão ligeiramente menor.

5. Significado e Conclusões

O trabalho conclui que o design de recompensa é um mecanismo crucial para controlar a natureza do raciocínio em modelos multimodais, não apenas a precisão final.

• Trade-off: Existe um trade-off entre fundamentação visual (melhorada por ASM) e raciocínio simbólico (prejudicado por ASM em modelos pequenos).
• Estabilidade vs. Complexidade: Para modelos de escala menor (2B), recompensas compostas e complexas podem ser instáveis. Recompensas mais simples e diretas (como precisão) tendem a ser mais eficazes para ganhos gerais de acurácia.
• Direção Futura: A supervisão de onde o modelo atende (via pesos de atenção internos) é uma direção promissora para raciocínio físico fundamentado visualmente, eliminando a necessidade de anotações espaciais custosas.
• Recomendação Prática: A escolha do sinal de recompensa deve ser guiada pelo objetivo de implantação: se o foco é acurácia bruta, use precisão; se é raciocínio interpretável, use rubricas; se é fundamentação visual espacial, use sinais de atenção.

Em suma, o estudo demonstra que não existe uma configuração de recompensa "universal" que domine todos os domínios físicos; a eficácia depende intrinsecamente da interação entre o tipo de tarefa (simbólica vs. visual) e a arquitetura/escala do modelo.