Self-Rewarding Vision-Language Model via Reasoning Decomposition

1. Declaração do Problema

Os Modelos de Linguagem e Visão (VLMs) enfrentam atualmente duas limitações críticas em suas capacidades de raciocínio:

• Alucinações Visuais: Geração de descrições ou respostas inconsistentes com a entrada visual.
• Atalhos Linguísticos: Contorno completo da compreensão visual, dependendo de priores de texto (atalhos linguísticos) para adivinhar a resposta correta.

Métodos de pós-treinamento existentes, particularmente abordagens de Aprendizado por Reforço (RL) como modelos no estilo R1, frequentemente exacerbam esses problemas. Eles geralmente dependem do casamento da resposta final como o único sinal de recompensa. Essa supervisão esparsa falha em orientar o processo intermediário de raciocínio visual, fazendo com que os modelos priorizem o raciocínio baseado em texto sobre a percepção visual. Além disso, métodos que tentam adicionar supervisão visual frequentemente dependem de:

• Anotações Humanas: Que são intensivas em mão de obra, custosas e difíceis de escalar.
• Modelos de Recompensa Externos: Que introduzem alta latência, exigem recursos adicionais de GPU e sofrem com deslocamentos distribucionais ou vieses herdados da fonte de destilação.

2. Metodologia: Vision-SR1

Os autores propõem o Vision-SR1, um framework de RL com auto-recompensa em três estágios que melhora o raciocínio visual sem supervisão externa. A inovação central é a decomposição do raciocínio em componentes visuais e linguísticos distintos, verificados pelo próprio modelo.

A. Decomposição do Raciocínio (Formato Ver-Pensar)

O modelo é instruído a gerar uma saída estruturada separando três componentes:

1. Raciocínio Visual ($c$): Uma descrição visual autossuficiente que captura todos os detalhes necessários da imagem para resolver a tarefa.
2. Raciocínio Linguístico ($t$): Raciocínio em Cadeia de Pensamento (CoT) baseado na descrição visual.
3. Resposta ($a$): A resposta final.

B. O Processo de Treinamento em Três Estágios

O treinamento envolve duas passagens de rolagem (rollout) e um objetivo de otimização específico:

1. Primeira Passagem (Rolagem Padrão):

   • Entrada: Imagem ($i$) + Consulta ($q$).
   • Saída: Resposta estruturada ($c, t, a$).
   • Recompensa: Uma Recompensa de Resposta ($r_{ans}$) é computada com base na correção da resposta final em relação à verdade fundamental (ground truth).

2. Segunda Passagem (Rolagem com Auto-Recompensa):

   • Entrada: Consulta ($q$) + Raciocínio Visual Gerado ($c$) apenas. A imagem original é excluída.
   • Processo: O modelo tenta derivar a resposta correta usando apenas a descrição de texto gerada na primeira passagem.
   • Recompensa: Uma Recompensa Visual ($r_{visual}$) é atribuída. Se o modelo puder responder corretamente à pergunta usando apenas a descrição gerada, a descrição é considerada "autossuficiente" e "fiel". Isso atua como uma recompensa intrínseca para a percepção visual precisa.

3. Otimização de Política Multi-Recompensa:

   • Em vez de simplesmente somar recompensas (o que emaranha os sinais), o Vision-SR1 utiliza uma estratégia de Otimização de Política Multi-Recompensa baseada na Otimização de Política Relativa por Grupos (GRPO).
   • Vantagens Desacopladas: A vantagem ($\hat{A}$) e as log-probabilidades são calculadas separadamente para a geração da resposta e para a geração do raciocínio visual.
   • Função de Perda: A perda total combina os gradientes de política para ambas as recompensas ($L_{actor}$) e penalidades separadas de divergência KL ($L_{KL}$) para cada componente. Isso garante uma atribuição clara de gradientes, permitindo que o modelo otimize a percepção visual e o raciocínio linguístico independentemente.

C. Eficiência Computacional

• Sem Modelos Externos: O Vision-SR1 não requer modelos de recompensa externos ou anotadores humanos.
• Sem GPUs Adicionais: O mecanismo de auto-recompensa reutiliza o próprio modelo de política, evitando a sobrecarga de hospedar modelos julgadores separados.
• Sobrecarga: A rolagem em duas etapas adiciona apenas ~10-15% de sobrecarga computacional em comparação com a GRPO de estágio único padrão, tornando-o altamente escalável.

3. Contribuições Principais

1. Framework de Auto-Recompensa: Introduz um método onde o VLM valida sua própria ancoragem visual re-instruindo a si mesmo com a descrição gerada, eliminando a necessidade de supervisão visual externa.
2. Decomposição do Raciocínio: Isola explicitamente a percepção visual do raciocínio linguístico, forçando o modelo a produzir descrições visuais autossuficientes antes de raciocinar.
3. Otimização de Política Multi-Recompensa: Propõe uma função de perda desacoplada que calcula vantagens e penalidades KL separadamente para componentes visuais e linguísticos, prevenindo o emaranhamento de recompensas e permitindo otimização granular.
4. Métrica de Taxa de Atalho Linguístico (LSR): Introduz uma nova métrica para quantificar com que frequência um modelo responde corretamente apesar de ter raciocínio visual incorreto ou não autossuficiente, fornecendo uma maneira de medir a dependência de atalhos linguísticos.

4. Resultados Experimentais

O método foi avaliado em diversos benchmarks usando os backbones Qwen2.5-VL (3B e 7B) e Mimo-VL-7B.

• Ganhos de Desempenho: O Vision-SR1 superou as linhas de base (incluindo Vision-R1 e Perception-R1) em compreensão visual geral (MMMU, RealWorldQA), raciocínio matemático (MathVerse, MATH-Vision) e detecção de alucinações (HallusionBench).
  • Exemplo: No backbone de 7B, o Vision-SR1 alcançou uma pontuação média de 52,2, comparado a 44,5 para o Vision-R1.
• Mitigação de Alucinações: O modelo reduziu significativamente as alucinações visuais e melhorou a robustez contra atalhos linguísticos.
• Redução de LSR: O Vision-SR1 demonstrou uma Taxa de Atalho Linguístico (LSR) mais baixa em comparação com as linhas de base, indicando uma dependência mais forte da percepção visual genuína em vez de priores de texto.
• Estudos de Ablação:
  • A remoção do mecanismo de auto-recompensa levou a uma queda no desempenho, confirmando a necessidade do sinal de recompensa visual.
  • O método melhorou o raciocínio espacial (MMSI-Bench, OmniSpatial) e tarefas de conhecimento geral sem degradar as capacidades apenas de texto tão severamente quanto outros métodos de RL.
• Análise de Atenção: A análise por camadas mostrou que o pós-treinamento aumentou a atenção aos tokens visuais nas camadas iniciais de extração de recursos e nas camadas tardias de integração, confirmando que o modelo aprendeu a processar melhor a informação visual.

5. Significado e Impacto

• Escalabilidade: Ao remover a dependência de modelos de recompensa externos e anotações humanas, o Vision-SR1 oferece um caminho escalável para melhorar VLMs sem os custos proibitivos de rotulagem de dados ou infraestrutura de inferência.
• Abordagem de "Pensar em vez de Ver": O framework contraria diretamente a tendência no treinamento por RL onde os modelos aprendem a "pensar" (raciocinar via linguagem) sem "ver" (perceber a imagem). Ele força o modelo a provar que viu a imagem gerando uma descrição suficiente.
• Eficiência: A abordagem alcança resultados state-of-the-art com sobrecarga computacional mínima, tornando o raciocínio visual avançado acessível para modelos com recursos limitados.
• Direção Futura: O artigo destaca que os ganhos de precisão no RL podem às vezes ser espúrios (explorando atalhos); o Vision-SR1 fornece um mecanismo para desvendar a ancoragem visual verdadeira da aprendizagem de atalhos linguísticos, estabelecendo um novo padrão para avaliar o raciocínio de VLMs.