Resumo Técnico: EASE (Evidence-Anchored Spatial Attention) para Multimodal RLVR

1. Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma padrão para melhorar Modelos de Linguagem-Visão (VLMs) ao otimizar recompensas de resultado derivadas de respostas finais. No entanto, os autores identificam uma limitação crítica no RL baseado apenas em resultados: ele falha em supervisionar o processo de aquisição de evidência visual.

Quando um VLM responde a uma pergunta corretamente, uma recompensa de resultado não distingue entre uma resposta fundamentada em evidências visuais relevantes e uma derivada de priors linguísticos, vieses de conjunto de dados ou palpites de sorte. Isso cria um "problema de atribuição de crédito de percepção", onde o modelo não é penalizado por ignorar as regiões da imagem que justificam a resposta. Consequentemente, os modelos podem produzir textos plausíveis enquanto permanecem fracamente fundamentados, levando a um aumento nos riscos de alucinação, particularmente em tarefas que exigem percepção refinada, contagem de objetos ou raciocínio multi-região.

2. Metodologia: EASE

Os autores propõem o EASE (Evidence-Anchored Spatial Attention), um framework que aumenta o RLVR multimodal com supervisão de processo baseada em evidência visual. O EASE opera sob o princípio de que trajetórias de alta recompensa não devem apenas gerar respostas corretas, mas também demonstrar atenção alinhada com a evidência visual que sustenta essas respostas.

Mecanismo Central

• Anotação de Evidência: O método utiliza caixas delimitadoras anotadas (regiões de evidência) dos dados de treinamento. Essas anotações são tratadas como rótulos de treinamento privilegiados usados exclusivamente para construir uma distribuição alvo auxiliar; elas não são fornecidas como entrada durante a inferência.
• Distribuição Alvo Suavizada: O EASE converte as caixas de evidência anotadas em uma distribuição alvo suave e suavizada sobre os tokens visuais. Cada caixa é modelada como um componente Gaussiano centrado no ponto médio da caixa, com uma covariância que garante que a maior parte da massa de probabilidade resida dentro da região anotada, tolerando ruído de borda. Para questões com múltiplas evidências, é utilizada uma mistura de pesos iguais dessas Gaussianas, adicionalmente suavizada com uma distribuição de fundo uniforme para evitar a restrição excessiva do contexto.
• Portão Sensível à Recompensa (Reward-Aware Gating): A supervisão da atenção é aplicada apenas a trajetórias que recebem altas recompensas do verificador (ou seja, respostas corretas). Os autores argumentam que respostas de baixa recompensa frequentemente exibem padrões de atenção não confiáveis, e forçar o alinhamento em respostas incorretas poderia introduzir ruído.
• Supervisão de Atenção: Durante a atualização do ator, o EASE extrai a atenção resposta-para-visão de uma camada semântica intermediária do transformer (especificamente a camada $\ell^* = \lfloor 2L/3 \rfloor$). Ele calcula a divergência de Kullback-Leibler (KL) entre a distribuição de atenção do modelo e o alvo ancorado na evidência. Esta perda KL atua como um termo auxiliar adicionado ao objetivo de RL padrão (por exemplo, DAPO ou GRPO).

Treinamento e Inferência

• Treinamento: O modelo é treinado em uma mistura equilibrada de exemplos de evidência única e múltipla. A perda auxiliar guia o modelo para focar em regiões relevantes para trajetórias bem-sucedidas.
• Inferência: O processo de inferência permanece inalterado. O modelo recebe apenas a imagem e a pergunta originais, mantendo a mesma arquitetura e procedimento de decodificação do VLM subjacente sem exigir metadados de evidência.

3. Principais Contribuições

1. Identificação de um Sinal Ausente: O artigo identifica a aquisição de evidência visual como um sinal de processo ausente no RLVR multimodal e introduz o EASE para abordar o problema de atribuição de crédito de percepção sem exigir metadados de evidência na inferência.
2. Supervisão de Processo via Atenção: Os autores propõem um método para mapear regiões de evidência anotadas para uma distribuição alvo suavizada e aplicar essa orientação especificamente a trajetórias de alta recompensa, garantindo que respostas corretas sejam suportadas por um foco visual correto.
3. Validação Empírica: O EASE é validado em múltiplos backbones de VLM (Qwen2.5-VL-7B, Qwen3-VL-4B e Qwen3-VL-8B) e diversos benchmarks. Diagnósticos confirmam que o EASE melhora o alinhamento entre a atenção visual e as regiões de evidência anotadas.

4. Resultados Experimentais

O artigo relata melhorias consistentes sobre as linhas de base de RL baseadas apenas em resultados (GRPO e DAPO) em três escalas de modelos:

• Ganhos de Desempenho: No backbone Qwen2.5-VL-7B, o EASE melhora a pontuação média sobre o DAPO em 2,9 pontos. No Qwen3-VL-4B e Qwen3-VL-8B, as melhorias são de 3,1 e 2,5 pontos, respectivamente.
• Especificidades de Benchmark: Os ganhos são mais pronunciados em benchmarks de raciocínio intensivo em percepção, robustez à alucinação, matemática visual e lógica. Por exemplo, no Qwen2.5-VL-7B, o EASE melhora o desempenho no MathVista em +6,5 pontos e no WeMath em +4,9 pontos em comparação ao DAPO.
• Competitividade: O EASE-7B alcança a melhor pontuação média entre os métodos de raciocínio multimodal de escala 7B comparados em benchmarks compartilhados (ex: MathVista, LogicVista).
• Diagnósticos: Estudos de ablação e métricas diagnósticas (Massa de Atenção, Precisão de Apontamento, Cobertura de Múltiplas Evidências) demonstram que o EASE aumenta com sucesso a quantidade de atenção que cai dentro das regiões de evidência anotadas e melhora a cobertura de múltiplas regiões de suporte.

5. Significância e Alegações

Os autores afirmam que o EASE demonstra que a supervisão da aquisição de evidência visual é um complemento prático e eficaz para as recompensas de resposta final para alcançar um raciocínio multimodal mais fundamentado. Ao encorajar os modelos a "olhar" para as partes corretas da imagem quando estão corretos, o EASE reduz a dependência de atalhos linguísticos e mitiga a alucinação.

O artigo posiciona o EASE como um método que melhora o processo de raciocínio interno (especificamente a atenção espacial) sem alterar a interface de inferência. Os autores observam que, embora o método dependa de anotações de evidência durante o treinamento, ele não as exige na inferência, tornando-o aplicável a cenários padrão de implantação de VLM.

Limitações Reconhecidas

O artigo reconhece modestamente algumas limitações:

• Custo de Construção de Dados: Obter caixas de evidência confiáveis requer esforço adicional de anotação.
• Escopo da Evidência: O método é mais adequado para tarefas onde a evidência pode ser localizada em regiões específicas da imagem. Pode ser menos eficaz para pistas holísticas, estilísticas ou globalmente distribuídas.
• Medida Causal: Os autores esclarecem que os diagnósticos de atenção servem como evidência de melhoria na fundamentação espacial, mas não são uma medida causal completa de dependência visual.

Em resumo, o EASE representa uma mudança do aprendizado por reforço puramente baseado em resultados para uma supervisão consciente do processo, garantindo que o caminho para uma resposta correta envolva a evidência visual correta.