💬 NLP

VisRAG2.0: Mitigating Visual Hallucinations via Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation

O artigo propõe o EVisRAG, um framework guiado por evidências que mitiga alucinações visuais em raciocínio de múltiplas imagens ao coletar explicitamente evidências visuais relevantes para a pergunta e empregar um novo algoritmo RS-GRPO para uma melhor otimização conjunta de localização e raciocínio, alcançando ganhos de desempenho significativos em benchmarks de questionamento visual.

Autores originais: Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

Publicado 2026-07-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando resolver um mistério, mas em vez de uma única pista, recebe uma pilha bagunçada de três jornais, fotos e mapas diferentes. Você tem um detetive superinteligente no seu bolso — um programa de computador chamado Modelo de Linguagem-Visão (VLM) — que consegue ler texto e observar imagens. Este detetive é ótimo para responder perguntas, mas às vezes, quando confrontado com uma enorme pilha de imagens, ele fica confuso. Ele pode começar a inventar detalhes que não viu, como afirmar que uma foto mostra um gato quando, na verdade, é um cachorro, ou misturar fatos de duas páginas diferentes. Isso é chamado de "alucinação visual".

Para ajudar esses detetives, cientistas desenvolveram um sistema chamado Geração Aumentada por Recuperação Visual (VRAG). Pense nisso como dar ao detetive um cartão de biblioteca. Quando você faz uma pergunta, o sistema extrai instantaneamente as páginas mais relevantes da biblioteca e as entrega ao detetive. A ideia é que, se o detetive tiver a evidência certa bem diante dele, ele não precisará adivinhar ou inventar coisas. No entanto, mesmo com as páginas certas, o detetive muitas vezes tem dificuldade em encontrar a frase ou a imagem exata de que precisa em meio ao ruído, ou pode se distrair com detalhes irrelevantes e ainda assim inventar uma resposta. A grande questão é: Como ensinamos o detetive a ser um verdadeiro investigador que examina cuidadosamente cada página, anota apenas os fatos que realmente vê e, então, resolve o mistério sem adivinhar?

Isso é exatamente o que o artigo "VisRAG2.0" (especificamente o framework EVisRAG) se propõe a resolver. Os autores, uma equipe de pesquisadores de universidades da China, propõem uma nova maneira de treinar esses detetives de IA para pararem de alucinar e começarem a raciocinar com evidências reais. Eles descobriram que os métodos anteriores eram como dar ao detetive uma pilha de papéis e dizer: "Apenas entenda!". O que frequentemente levava à confusão. Em vez disso, o EVisRIG força o modelo a agir como um detetive meticuloso que segue um processo rigoroso de três etapas: Observar, Registrar e Raciocinar.

Primeiro, o modelo observa as imagens recuperadas e declara explicitamente o que vê, página por página. Segundo, ele cria um "registro de evidências", escrevendo fatos específicos de cada imagem e, crucialmente, observando quando uma imagem não possui informações úteis. Por fim, ele usa apenas esse registro escrito para resolver o problema. Para garantir que o modelo realmente aprenda esse comportamento, os pesquisadores inventaram um novo método de treinamento chamado RS-GRPO (Otimização de Política de Grupo Relativa com Escopo de Recompensa). Você pode pensar nisso como um treinador muito rigoroso que não dá apenas uma nota para a resposta final. Em vez disso, o treinador dá uma pontuação separada para "Você olhou para a imagem certa?" e outra pontuação para "Você escreveu o fato corretamente?". Isso evita que o modelo obtenha uma boa nota apenas por acertar a resposta por sorte, garantindo que ele aprenda primeiro a encontrar a evidência.

Os resultados desta nova abordagem são bastante impressionantes. Ao serem testados em vários benchmarks de perguntas e respostas visuais (como leitura de gráficos, documentos e slides), o modelo EVisRAG superou consistentemente os modelos "backbone" padrão em uma média de cerca de 19% em precisão. Mais importante ainda, ele reduziu significativamente o número de vezes que o modelo inventa fatos. Em um teste específico, um modelo padrão poderia olhar para um gráfico e afirmar confiantemente que o país errado tem uma população maior porque alucinou um número. O EVisRAG, no entanto, olharia para o gráfico, escreveria os números corretos em seu registro de evidências e, então, deduziria corretamente a resposta.

O artigo também argumenta contra a ideia de que simplesmente fazer o modelo "pensar por mais tempo" ou adicionar agentes mais complexos ao sistema seja a melhor solução. Em vez disso, eles mostram que uma abordagem estruturada, guiada por evidências, combinada com seu método de treinamento específico (RS-GRPO), é mais eficaz. Eles demonstraram que, ao delimitar o escopo das recompensas — dando crédito apenas pelas ações corretas no momento certo — o modelo torna-se muito mais estável e confiável. Embora o artigo não afirme que isso resolve todos os problemas possíveis da IA, os experimentos sugerem que este método é um grande passo à frente para tornar os sistemas de IA visual mais confiáveis, precisos e menos propensos a inventar coisas ao observar múltiplas imagens.

Resumo Técnico: VisRAG2.0 (EVisRAG)

Declaração do Problema

A Geração Aumentada por Recuperação Visual (VRAG) visa equipar Modelos de Linguagem-Visão (VLMs) com evidências visuais externas para responder a perguntas que excedem o conhecimento paramétrico. No entanto, as abordagens de VRAG existentes enfrentam desafios significativos em configurações de múltiplas imagens:

Alucinações Visuais: Os VLMs frequentemente falham em identificar com precisão as evidências relevantes para a pergunta em múltiplas imagens recuperadas, levando a respostas incorretas ou à fabricação de conteúdo visual inexistente.
Falta de Coleta Explícita de Evidências: Os métodos atuais frequentemente transpõem as práticas de RAG baseadas em texto para o domínio visual sem um processo explícito de coleta de evidências entre imagens. Eles dependem de agentes ou ferramentas externas, aumentando a complexidade arquitetônica e o custo computacional.
Instabilidade de Treinamento: A otimização conjunta da percepção visual e do raciocínio usando recompensas mistas frequentemente leva a um treinamento instável. A falta de uma atribuição de crédito clara causa interferência entre os sinais, onde os gradientes de objetivos heterogêneos competem entre tokens irrelevantes.

Metodologia: EVisRAG

Os autores propõem o EVisRAG (Evidence-guided Vision Retrieval-augmented Generation), um framework projetado para permitir que os VLMs realizem percepção visual e raciocínio precisos através de múltiplas imagens.

1. Processo de Raciocínio Guiado por Evidências

O EVisRAG estrutura o processo de geração em quatro estágios distintos, indo além do Chain-of-Thought (CoT) padrão ao separar explicitamente observação, registro de evidências e raciocínio:

Recuperação (Retrieval): Recupera os $k$ snapshots de páginas de documentos mais relevantes para a consulta.
Percepção Visual (Observação): O modelo observa sequencialmente as imagens recuperadas, gerando uma observação grosseira e consciente da página ( $y_o$ ) para estabelecer uma compreensão do conteúdo visual.
Registro de Evidências (Evidence Recording): Condicionado à consulta e às observações, o modelo gera sequências de evidências por imagem ( $y_e$ ). Crucialmente, ele registra explicitamente "nenhuma informação relevante" para imagens que carecem de evidências, evitando que o modelo force detalhes irrelevantes no raciocínio.
Raciocínio de Resposta (Answer Reasoning): O modelo realiza um raciocínio "estilo detetive" ( $y_r$ ) sobre as evidências agregadas ( $y_p = \{y_o, y_e\}$ ), formulando hipóteses, verificando contradições e organizando uma trajetória coerente antes de gerar a resposta final ( $y_a$ ).

2. Otimização de Política de Grupo Relativa com Escopo de Recompensa (RS-GRPO)

Para treinar o EVisRAG de forma eficaz, os autores introduzem o RS-GRPO, uma extensão da Otimização de Política de Grupo Relativa (GRPO) que aborda o problema de atribuição de crédito em raciocínios de múltiplos estágios.

Escopos de Recompensa (Reward Scopes): A sequência de saída é segmentada em quatro escopos: Observação ( $T_o$ ), Registro de Evidências ( $T_e$ ), Raciocínio ( $T_r$ ) e Resposta ( $T_a$ ).
Recompensas Granulares: Três recompensas específicas são aplicadas:
- Recompensa de Formato ( $R_{format}$ ): Impõe a adesão ao fluxo de trabalho estruturado (observar $\to$ registrar $\to$ raciocinar $\to$ responder).
- Recompensa de Percepção ( $R_{perception}$ ): Avalia se as regiões relevantes para a pergunta foram corretamente localizadas e resumidas na fase de registro de evidências.
- Recompensa de Derivação ( $R_{derivation}$ ): Avalia se a resposta final foi corretamente derivada das evidências registradas.
Otimização Escopada (Scoped Optimization): Ao contrário dos métodos tradicionais que transmitem recompensas para toda a sequência, o RS-GRPO restringe cada recompensa ao seu escopo de tokens efetivo (ex: $R_{perception}$ supervisiona apenas $T_o$ e $T_e$ ). Isso reduz a interferência entre estágios, aguçando os sinais de otimização e estabilizando o treinamento.

Principais Contribuições

Framework EVisRAG: Uma nova arquitetura que separa explicitamente a coleta de evidências visuais do raciocínio, permitindo que os VLMs atuem como "detetives", coletando e verificando evidências imagem por imagem antes de concluir.
Algoritmo RS-GRPO: Uma estratégia de treinamento que introduz recompensas específicas de escopo para alinhar os sinais de recompensa com intervalos de tokens específicos. Isso mitiga a interferência entre os objetivos de percepção e raciocínio, levando a uma otimização conjunta mais estável e eficaz.
Avaliação Abrangente: Experimentos extensos em cinco benchmarks diversos de VQA (ChartQA, InfoVQA, DocVQA, SlideVQA, ViDoSeek) demonstrando a eficácia da abordagem.

Resultados Experimentais

Ganhos de Desempenho: O EVisRAG (usando um backbone de 7 bilhões de parâmetros) supera consistentemente o baseline Qwen2.5-VL-7B com uma média de 19% de aumento em acurácia e 27% em F1 score. Ele também supera modelos maiores de 32B e outros métodos de VLRM e VRAG de última geração.
Redução de Alucinação: O framework reduz substancialmente as alucinações visuais. Em cenários de recuperação incorreta, o EVisRAG mostra um aumento controlado na abstenção (recusa em responder) em vez de gerar respostas incorretas, indicando maior fidelidade ao conteúdo recuperado.
Estudos de Ablação:
- Substituir o CoT genérico pelo Raciocínio Guiado por Evidências gera ganhos consistentes, provando o valor da localização estruturada de evidências.
- O RS-GRPO supera o DAPO e o StepGRPO, confirmando que a atribuição de crédito escopada é crítica para o desempenho.
Análise de Atenção: O EVisRAG atinge a maior razão de atenção de evidência visual (concentração em caixas de evidência anotadas por humanos) entre os métodos comparados, correlacionando-se fortemente com uma maior acurácia de raciocínio.
Eficiência: Apesar do raciocínio de múltiplos estágios, o EVisRAG mantém uma latência de inferência competitiva (aprox. 100s) e comprimento de saída, superando baselines como o R1-Router, que incorre em custos computacionais maiores para acurácia semelhante ou inferior.

Significância

O artigo afirma que a coleta explícita de evidências e o design de recompensa escopada são mecanismos eficazes para melhorar o grounding visual e a confiabilidade do raciocínio em configurações de múltiplas imagens. Ao desacoplar a percepção do raciocínio e aplicar supervisão direcionada, o EVisRAG aborda as causas raízes das alucinações visuais no VRAG. O trabalho demonstra que um modelo de 7B equipado com este framework pode exceder o desempenho de modelos significativamente maiores, oferecendo um caminho prático e escalável para sistemas de geração aumentada por recuperação visual mais confiáveis, interpretáveis e resistentes a alucinações.