Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward

Título: Saliency-R1: Impulsionando o Raciocínio Visão-Linguagem Interpretável e Fiel via Recompensa de Alinhamento de Mapas de Saliência

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) alcançaram sucesso notável em diversas tarefas, mas enfrentam desafios críticos relacionados à confiabilidade e interpretabilidade:

• Dependência Excessiva de Texto: Os modelos tendem a confiar mais em pistas textuais do que em evidências visuais, ignorando o conteúdo da imagem.
• Alucinações e Respostas Não Fundamentadas: Os modelos frequentemente geram respostas fabricadas ou detalhes não suportados pela imagem.
• Inconsistência no Raciocínio: Mesmo quando a resposta final está correta, o processo de pensamento (Chain-of-Thought) pode não refletir fielmente como a conclusão foi alcançada. O modelo pode "pensar" sobre regiões irrelevantes da imagem ou ignorá-la completamente, focando apenas no texto.
• Limitações das Técnicas Atuais: Métodos existentes de explicação (como Grad-CAM ou Integrated Gradients) são computacionalmente caros (requerem múltiplas passagens de forward/backward) ou não são otimizados para a previsão sequencial de tokens em modelos de linguagem.

2. Metodologia

O Saliency-R1 é um framework projetado para alinhar o processo de raciocínio do modelo com as regiões visuais relevantes, utilizando uma abordagem de Otimização de Política Relativa em Grupo (GRPO). A metodologia divide-se em três componentes principais:

A. Geração de Mapas de Saliência via Decomposição de Logits

• Inovação: O método propõe uma técnica eficiente para gerar mapas de saliência token a token sem custo computacional adicional (sem necessidade de backpropagation ou múltiplas passagens forward).
• Mecanismo: Baseia-se na arquitetura Transformer. O método decompõe os logits finais em contribuições diretas de cada token de contexto.
• Cálculo: Para um token gerado, a contribuição direta de um token visual é calculada somando as contribuições de todas as camadas e cabeças de atenção. Apenas contribuições positivas (aplicando ReLU) são consideradas para destacar as regiões importantes.
• Eficiência: Utiliza pesos de atenção e chaves/valores (KV cache) já disponíveis durante a inferência, tornando o processo em tempo real.

B. Agregação Holística com Tokens de Pensamento como "Gargalo"

• Para garantir que a resposta final dependa do raciocínio e não apenas de atalhos visuais, o framework rastreia o fluxo de informação:
  1. Tokens Visuais $\to$ Tokens de Pensamento: Como a imagem influencia o raciocínio.
  2. Tokens de Pensamento $\to$ Tokens de Resposta: Como o raciocínio influencia a resposta final.
• Utiliza um mecanismo de attention rollout (rolagem de atenção) para calcular a atenção acumulada dos tokens visuais até os tokens de resposta, usando os tokens de pensamento como um gargalo de visualização. Isso revela quais regiões da imagem realmente impulsionaram a conclusão.

C. Alinhamento via GRPO (Group Relative Policy Optimization)

• Função de Recompensa: O sistema compara o mapa de saliência gerado com caixas delimitadoras (bounding boxes) anotadas manualmente que indicam as regiões críticas da imagem para responder à pergunta.
• Métrica de Recompensa: Calcula-se a taxa de sobreposição entre a "massa de saliência" dentro das caixas anotadas e a massa total de saliência na imagem.
• Treinamento: O modelo é otimizado usando GRPO para maximizar essa recompensa de alinhamento. O objetivo é incentivar o modelo a focar nas regiões relevantes durante o processo de pensamento e geração da resposta.
• Recompensas Compostas: A recompensa total ($R_{overall}$) combina:
  1. $R_{accuracy}$: Precisão da resposta (avaliada por um LLM juiz).
  2. $R_{format}$: Conformidade com o formato de saída (tags <thought>).
  3. $R_{saliency}$: O alinhamento do mapa de saliência com as anotações humanas.

3. Principais Contribuições

1. Técnica de Mapa de Saliência Eficiente: Um novo método baseado em decomposição de logits que destaca regiões importantes por token sem custo computacional extra, superando a ineficiência de métodos baseados em gradiente.
2. Mecanismo de Rollout de Atenção: Uma abordagem para visualizar como a informação visual flui através dos tokens de pensamento até a resposta, identificando "atalhos" ou raciocínios não fiéis.
3. Alinhamento Pós-Treinamento (Post-Training): A primeira aplicação de alinhamento de atenção visual com anotações humanas durante a fase de RL (GRPO) para melhorar a fidelidade do raciocínio, sem necessidade de ferramentas de visualização externas ou zoom explícito.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando modelos base Qwen2.5-VL (3B e 7B) em diversos benchmarks:

• Fidelidade dos Mapas de Saliência:
  • O método alcançou desempenho comparável ou superior a métodos State-of-the-Art (como Grad-CAM, Attention Rollout, TAM) em métricas de Deleção e Inserção (COCO Caption, OpenPSG, GranDf).
  • Demonstrou que as regiões destacadas têm um efeito causal mais forte na resposta do modelo.
• Desempenho em Tarefas VQA (Resposta a Perguntas Visuais):
  • O Saliency-R1 superou significativamente os modelos base e modelos apenas com Supervised Fine-Tuning (SFT) em benchmarks como MMMU-Pro, MMBench, POPE (alucinação de objetos) e ChartQA.
  • No benchmark POPE, o modelo 7B melhorou em 4.2% em relação ao modelo base, reduzindo alucinações.
  • Superou modelos comerciais fechados (como GPT-4o e Claude-3.5 Sonnet) em benchmarks específicos como MME e ScienceQA.
• Interpretabilidade:
  • Avaliações quantitativas (Pontuação de "Pointing Game" e "Energy-PG") mostraram que o Saliency-R1 foca muito mais nas regiões corretas (bounding boxes) do que os modelos base.
  • Estudos qualitativos indicaram que o raciocínio gerado é mais conciso e direto, evitando conteúdo irrelevante e repetitivo comum em modelos apenas com SFT.

5. Significância e Impacto

• Confiabilidade em Cenários de Alto Risco: Ao forçar o modelo a basear seu raciocínio em evidências visuais reais, o Saliency-R1 aumenta a confiança na aplicação de VLMs em áreas críticas como diagnóstico médico, direção autônoma e finanças.
• Eficiência Computacional: A capacidade de gerar mapas de saliência e treinar o modelo sem custos adicionais de inferência torna a técnica escalável e prática para pipelines de treinamento.
• Mudança de Paradigma: O trabalho demonstra que alinhar a atenção interna do modelo com anotações humanas via RL é uma estratégia eficaz para mitigar alucinações e melhorar a "verdade" (faithfulness) do raciocínio, indo além da simples geração de texto coerente.

Em resumo, o Saliency-R1 oferece uma solução robusta para o problema de "caixa preta" nos VLMs, garantindo que o que o modelo "diz" que está pensando corresponda realmente ao que ele está "vendo" na imagem.