💬 NLP

FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA

O artigo apresenta o FilterRAG, um framework de geração aumentada por recuperação zero-shot que integra o BLIP-VQA com fontes de conhecimento externas como Wikipedia e DBpedia para reduzir significativamente as alucinações e melhorar a precisão em Visual Question Answering, particularmente para cenários baseados em conhecimento e fora da distribuição (Out-of-Distribution).

Autores originais: Nobin Sarwar

Publicado 2026-01-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nobin Sarwar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma festa e alguém lhe mostra a foto de um cachorro-quente com coberturas estranhas e pergunta: "O que são essas coisas?". Se você nunca viu esse ingredo específico antes, seu cérebro pode tentar adivinhar com base no que você acha que parece. Você pode dizer: "Provavelmente é mostarda", mesmo que seja na verdade relish. No mundo da Inteligência Artificial, esse jogo de adivinhação é chamado de alucinação. A IA está confiante, mas está errada.

Este artigo apresenta um novo sistema chamado FilterRAG para impedir que a IA cometa esses erros confiantes, especialmente quando encontra coisas que não viu em seus dados de treinamento.

Veja como ele funciona, dividido em conceitos simples:

1. O Problema: O "Sabe-Tudo" que Adivinha

Os modelos de IA atuais (como aqueles que podem olhar para uma imagem e responder perguntas) são ótimos em descrever o que veem. Mas, se você fizer uma pergunta que exige conhecimento externo — como "Para qual esporte esta motocicleta é usada?" ou "Que condimento específico é este?" — eles costertam muito.

Sem uma maneira de verificar os fatos, esses modelos dependem de "memórias" de seu treinamento. Se os dados de treinamento forem tendenciosos ou incompletos, a IA adivinha. É como um aluno fazendo uma prova sem ter estudado o capítulo específico; ele tenta dar uma resposta que soe bem, mas que é, na verdade, uma blefe.

2. A Solução: A Abordagem do "Bibliotecário"

Os autores criaram o FilterRAG. Pense neste sistema como um aluno que tem permissão para usar uma biblioteca durante a prova.

O Aluno (BLIP-VQA): Esta é a parte da IA que olha para a imagem e lê a pergunta. É inteligente para ver imagens, mas precisa de ajuda com fatos.
A Biblioteca (Wikipedia & DBpedia): Em vez de adivinhar, o sistema faz uma pausa e corre para uma biblioteca digital. Ele pesquisa fatos do mundo real sobre a imagem e a pergunta.
O Bibliotecário (GPT-Neo): Esta é a parte que lê os fatos que a biblioteca encontrou e escreve a resposta final.

Ao forçar a IA a "checar a biblioteca" antes de responder, o sistema para de adivinhar e começa a usar fatos.

3. Como Funciona Passo a Passo

O artigo descreve um processo específico, que podemos visualizar como o preparo de uma refeição:

Cortando os Ingredientes (A Grade): O sistema pega a imagem e a corta em uma grade 2x2 (quatro quadrados).
- Por quê? Se você cortar uma foto em muitas partes minúsculas (como uma grade 4x4), você perde a visão geral e a IA fica confusa. Se mantiver como um único bloco grande, você perde os detalhes pequenos. A grade 2x2 é o tamanho "Goldilocks" (no ponto ideal) — mantém a imagem coerente, mas detalhada o suficiente.
Olhando para a Imagem: O sistema analisa esses quatro quadrados junto com a pergunta.
A Busca: Ele envia uma consulta para a "biblioteca" (Wikipedia e DBpedia) para encontrar fatos relevantes. Para a pergunta da motocicleta, ele pode encontrar fatos sobre "motocross". Para o cachorro-quente, ele pode encontrar fatos sobre "relish".
A Montagem: O sistema combina a imagem, a pergunta e os novos fatos que acabou de encontrar.
A Resposta: Um modelo de linguagem congelado (GPT-Neo) lê todas essas informações combinadas e escreve a resposta. Porque possui os fatos, ele não precisa adivinhar.

4. Os Resultados: Melhor no "Desconhecido"

Os pesquisadores testaram isso em um conjunto de dados chamado OK-VQA, que é cheio de perguntas complicadas que exigem conhecimento externo.

A Linha de Base (Baseline): Modelos de IA padrão (sem a biblioteca) acertaram cerca de 40% das respostas nessas perguntas difíceis. Eles estavam alucinando muito.
FilterRAG: O novo sistema obteve 36,5% de precisão.
- Espera, não é menor? O artigo observa que, embora o número bruto seja ligeiramente inferior ao de alguns sistemas massivos e supercomplexos que usam computadores gigantes, o FilterRAG é muito mais eficiente. Ele equilibra desempenho com velocidade e custo.
- A Grande Vitória: O sistema foi muito melhor em cenários Fora da Distribuição (OOD - Out-of-Distribution). Isso significa que, quando a IA via algo totalmente novo ou estranho (como uma motocicleta em um contexto que não tinha visto antes), era menos provável que ela alucinasse. Ela permaneceu fundamentada em fatos em vez de inventar coisas.

5. O "Score de Fundamentação" (Grounding Score)

Para provar que a IA não estava apenas adivinhando, os autores usaram um "Score de Fundamentação". Imagine isso como um medidor de verdade.

Se a IA diz "Mostarda", mas a biblioteca diz "Relish", o score cai.
Se a IA diz "Relish" porque a biblioteca disse "Relish", o score permanece alto.
O FilterRAG manteve seu medidor de verdade alto mesmo quando as perguntas eram difíceis, provando que ele estava realmente usando os fatos encontrados, e não apenas inventando histórias.

Resumo

FilterRAG é como dar a uma IA uma folha de cola (um mecanismo de busca) durante uma prova. Em vez de confiar em sua própria memória falha para adivinhar a resposta para uma pergunta difícil sobre um cachorro-quente ou uma motocicleta, ela procura a resposta em um banco de dados confiável. Isso impede que ela diga a coisa errada com confiança, tornando-a mais segura e confiável para o uso no mundo real, onde ela pode encontrar coisas que nunca viu antes.

Resumo Técnico: FilterRAG

Declaração do Problema
Sistemas de Visual Question Answering (VQA) exigem que os modelos integrem a percepção visual com a compreensão textual para gerar respostas precisas. No entanto, os modelos de Visão-Linguagem (VLMs) existentes, como o BLIP e o CLIP, frequentemente sofrem de "alucinações" — produzindo respostas plausíveis, mas incorretas — particularmente quando confrontados com questões intensivas em conhecimento ou entradas Out-of-Distribution (OOD). Esses erros decorrem frequentemente de uma dependência excessiva de vieses aprendidos ou da falta de acesso a conhecimento externo relevante, limitando a robustez dos sistemas de VQA em ambientes reais e dinâmicos, onde conceitos podem não ter sido vistos durante o treinamento.

Metodologia: FilterRAG
Para abordar essas limitações, os autores introduzem o FilterRAG, um framework de recuperação aumentada (retrieval-augmented) projetado para fundamentar as respostas de VQA em fontes de conhecimento externas (especificamente Wikipedia e DBpedia) para mitigar alucinações. O sistema opera através de um processo de múltiplas etapas ilustrado na Figura 2:

Pré-processamento Visual: As imagens de entrada são divididas em uma grade (especificamente uma grade 2x2, determinada como ótima via ablação) para equilibrar detalhe visual e coerência.
Codificação Multimodal: O modelo BLIP-VQA (utilizando sua arquitetura de Mistura de Codificador-Decodificador Multimodal) gera embeddings visuais e textuais a partir da imagem e da questão associada.
Recuperação de Conhecimento: O sistema recupera dinamicamente o contexto relevante de bases de dados externas:
- Wikipedia: Acessada via recuperação baseada em busca e extração baseada em sumarização.
- DBpedia: Acessada via consultas SPARQL.
Aumentação e Geração: O conhecimento recuperado é combinado com o par imagem-pergunta para enriquecer o contexto. Um GPT-Neo 1.3B congelado (apenas decodificador) utiliza então essa informação aumentada para gerar a resposta final.
Aprendizado Zero-Shot: O framework opera em um cenário zero-shot, o que significa que não requer ajuste fino (fine-tuning) específico para a tarefa no dataset alvo. Ele aproveita as capacidades pré-treinadas do BLIP-VQA e do GPT-Neo para generalizar para domínios não vistos.

A metodologia também incorpora um mecanismo de detecção de OOD usando uma função de pontuação $S(I, Q)$ e um limiar $\lambda$ para distinguir entre entradas in-distribution e out-of-distribution. As alucinações são quantificadas adicionalmente por meio de uma "pontuação de fundamentação" (grounding score), calculada via similaridade de cosseno entre o embedding da resposta prevista e os embeddings da verdade fundamental (usando Sentence Transformers), onde uma pontuação abaixo de um limiar $\tau$ indica uma alucinação.

Principais Contribuições
O artigo descreve três contribuições primárias:

Framework FilterRAG: Uma nova abordagem de recuperação aumentada que fundamenta as respostas de VQA em fontes de conhecimento externas para reduzir alucinações.
Aplicação de Aprendizado Zero-Shot: Demonstração de como o aprendizado zero-shot pode melhorar a recuperação e reduzir alucinações especificamente em cenários OOD sem exigir fine-tuning.
Avaliação Abrangente: Uma avaliação rigorosa no dataset OK-VQA, avaliando robustez e confiabilidade em tarefas intensivas em conhecimento, tanto em configurações in-domain quanto OOD.

Resultos Experimentais
Os autores avaliaram o FilterRAG no dataset OK-VQA, um benchmark que exige conhecimento externo além do conteúdo da imagem. As principais descobertas incluem:

Acurácia: O FilterRAG alcançou 36,5% de acurácia no dataset OK-VQA. Em configurações específicas, atingiu 37,0% para dados In-Distribution (ID) e 36,0% para dados Out-of-Distribution (OOD).
Comparação: Embora o framework tenha alcançado uma acurácia absoluta inferior em comparação com alguns métodos de ensemble de estado da arte (ex: KAT com 54,41% ou REVIVE com 58,0%), os autores observam que esses métodos frequentemente dependem de modelos significativamente maiores (ex: Frozen GPT-3 175B) e de maiores recursos computacionais. O FilterRAG visa equilibrar desempenho com eficiência usando modelos menores e congelados (BLIP-VQA e GPT-Neo 1.3B).
Mitigação de Alucinação: As pontuações de fundamentação do FilterRAG foram consistentes entre ID (70,06%), OOD (70,68%) e configurações combinadas (70,37%). Essa consistência sugere que o modelo fundamenta efetivamente as respostas no conhecimento recuperado, reduzindo a probabilidade de alucinações em comparação com modelos de baseline que apresentam quedas significativas nas pontuações de fundamentação ao transitar de VQA geral para VQA baseado em conhecimento.
Estudo de Ablação: Experimentos com diferentes tamanhos de grade de imagem (2x2, 3x3, 4x4) revelaram que a grade 2x2 proporcionou o melhor equilíbrio entre acurácia e pontuação de fundamentação. Grades maiores (3x3, 4x4) levaram a uma fragmentação excessiva, dificultando a capacidade do modelo de extrair características visuais coerentes e alinhá-las com o conhecimento recuperado.

Significância e Alegações
O artigo afirma que o FilterRAG demonstra o potencial de frameworks de recuperação aumentada para melhorar sistemas de VQA para implantação no mundo real, particularmente em cenários envolvendo entradas OOD. Ao integrar fontes de conhecimento externas, o framework aumenta a robustez e a confiabilidade dos sistemas de VQA, garantindo que as respostas sejam fatualmente fundamentadas em vez de depender apenas de vieses aprendidos. Os autores posicionam o FilterRAG como uma solução que melhora a generalização além da base de conhecimento de treinamento, tornando-o adequado para ambientes dinâmicos onde conceitos não vistos são comuns. O trabalho futuro é identificado como focado em melhorar ainda mais a qualidade da recuperação de conhecimento e refinar o alinhamento multimodal para reduzir as alucinações ainda mais.