💬 NLP

FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA

Le document présente FilterRAG, un cadre de génération augmentée par la récupération zero-shot qui intègre BLIP-VQA avec des sources de connaissances externes telles que Wikipedia et DBpedia afin de réduire considérablement les hallucinations et d'améliorer la précision dans le domaine du Visual Question Answering, particulièrement pour les scénarios fondés sur la connaissance et hors distribution.

Auteurs originaux : Nobin Sarwar

Publié 2026-01-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nobin Sarwar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes à une fête, et que quelqu'un vous montre la photo d'un hot-dog avec des garnitures étranges et vous demande : « Qu'est-ce que c'est ? » Si vous n'avez jamais vu cette garniture spécifique auparavant, votre cerveau pourrait essayer de deviner en se basant sur ce que vous pensez qu'elle ressemble. Vous pourriez dire : « C'est probablement de la moutarde », même s'il s'agit en réalité de relish. Dans le monde de l'intelligence artificielle, ce jeu de devinettes est appelé hallucination. L'IA est confiante, mais elle se trompe.

Ce document présente un nouveau système appelé FilterRAG pour empêcher l'IA de commettre ces erreurs confiantes, surtout lorsqu'elle rencontre des choses qu'elle n'a pas vues dans ses données d'entraînement.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le « Monsieur Je-Sais-Tout » qui devine

Les modèles d'IA actuels (comme ceux qui peuvent regarder une image et répondre à des questions) sont excellents pour décrire ce qu'ils voient. Mais si vous leur posez une question qui nécessite des connaissances extérieures — comme « À quel sport cette moto est-elle utilisée ? » ou « Quel est cet assaisonnement spécifique ? » — ils ont souvent du mal.

Sans moyen de vérifier les faits, ces modèles s'appuient sur leurs « souvenirs » de leur entraînement. Si les données d'entraînement sont biaisées ou incomplètes, l'IA devine. C'est comme un étudiant qui passe un examen sans avoir étudié le chapitre spécifique ; il essaie de simper une réponse qui semble bonne, mais qui est en réalité fausse.

2. La Solution : L'approche du « Bibliothécaire »

Les auteurs ont créé FilterRAG. Considérez ce système comme un étudiant qui est autorisé à utiliser une bibliothèque pendant l'examen.

L'Étudiant (BLIP-VQA) : C'est la partie de l'IA qui regarde l'image et lit la question. Elle est intelligente pour voir les images, mais a besoin d'aide pour les faits.
La Bibliothèque (Wikipedia & DBpedia) : Au lieu de deviner, le système fait une pause et court vers une bibliothèque numérique. Il recherche des faits réels sur l'image et la question.
Le Bibliothécaire (GPT-Neo) : C'est la partie qui lit les faits trouvés par la bibliothèque et rédige la réponse finale.

En forçant l'IA à « consulter la bibliothèque » avant de répondre, cela l'empêche de deviner et l'amène à utiliser des faits.

3. Comment cela fonctionne étape par étape

Le document décrit un processus spécifique, que nous pouvons visualiser comme la préparation d'un repas :

Découper les ingrédients (La Grille) : Le système prend l'image et la découpe en une grille 2x2 (quatre carrés).
- Pourquoi ? Si vous coupez une photo en trop de petits morceaux (comme une grille 4x4), vous perdez la vue d'ensemble, et l'IA se confond. Si vous la gardez comme un seul gros bloc, vous manquez les petits détails. La grille 2x2 est la taille « Goldilocks » (juste ce qu'il faut) — elle garde l'image cohérente tout en étant assez détaillée.
Regarder l'image : Le système analyse ces quatre carrés ainsi que la question.
La Recherche : Il envoie une requête à la « bibliothèque » (Wikipedia et DBpedia) pour trouver des faits pertinents. Pour la question sur la moto, il pourrait trouver des faits sur le « motocross ». Pour le hot-dog, il pourrait trouver des faits sur la « relish ».
L'Assemblage : Le système combine l'image, la question et les nouveaux faits qu'il vient de trouver.
La Réponse : Un modèle de langage gelé (GPT-Neo) lit toutes ces informations combinées et rédige la réponse. Parce qu'il possède les faits, il n'a pas besoin de deviner.

4. Les Résultats : Meilleur dans l'« Inconnu »

Les chercheurs ont testé cela sur un ensemble de données appelé OK-VQA, qui regorge de questions difficiles nécessitant des connaissances extérieures.

La Référence (Baseline) : Les modèles d'IA standards (sans la bibliothèque) ont obtenu environ 40 % de bonnes réponses sur ces questions délicates. Ils hallucinaient beaucoup.
FilterRAG : Le nouveau système a obtenu 36,5 % de précision.
- Attendez, est-ce plus bas ? Le document note que bien que le chiffre brut soit légèrement inférieur à celui de certains systèmes massifs et super complexes utilisant de gros ordinateurs, FilterRAG est beaucoup plus efficace. Il équilibre la performance avec la vitesse et le coût.
- La vraie victoire : Le système était bien meilleur dans les scénarios Out-of-Distribution (OOD). Cela signifie que lorsque l'IA voyait quelque chose de totalement nouveau ou de bizarre (comme une moto dans un contexte qu'elle n'avait pas vu auparavant), elle était moins susceptible d'halluciner. Elle restait ancrée dans les faits plutôt que d'inventer des choses.

5. Le « Score d'Ancrage » (Grounding Score)

Pour prouver que l'IA ne faisait pas que deviner, les auteurs ont utilisé un « Score d'Ancrage ». Imaginez que c'est un compteur de vérité.

Si l'IA dit « Moutarde » mais que la bibliothèque dit « Relish », le score chute.
Si l'IA dit « Relish » parce que la bibliothèque a dit « Relish », le score reste élevé.
FilterRAG a maintenu son compteur de vérité élevé même lorsque les questions étaient difficiles, prouvant qu'il utilisait réellement les faits trouvés, et non qu'il inventait des histoires.

Résumé

FilterRAG est comme donner à une IA une fiche de révision (un moteur de recherche) pendant un examen. Au lieu de se fier à sa propre mémoire défaillante pour deviner la réponse à une question complexe sur un hot-dog ou une moto, elle cherche la réponse dans une base de données fiable. Cela l'empêche de dire avec assurance des choses erronées, ce qui la rend plus sûre et plus fiable pour une utilisation dans le monde réel lorsqu'elle peut être confrontée à des choses qu'elle n'a jamais vues auparavant.

Résumé Technique : FilterRAG

Énoncé du Problème
Les systèmes de Questions-Réponses Visuelles (VQA - Visual Question Answering) nécessitent que les modèles intègrent la perception visuelle à la compréhension textuelle pour générer des réponses précises. Cependant, les modèles de langage-vision (VLM) existants, tels que BLIP et CLIP, souffrent fréquemment d'« hallucinations » — produisant des réponses plausibles mais incorrectes — particulièrement lorsqu'ils sont confrontés à des questions exigeant des connaissances approfondies ou à des entrées hors distribution (OOD - Out-of-Distribution). Ces erreurs découlent souvent d'une dépendance excessive aux biais appris ou d'un manque d'accès à des connaissances externes pertinentes, limitant ainsi la robustesse des systèmes VQA dans des environnements réels et dynamiques où les concepts peuvent être absents lors de l'entraînement.

Méthodologie : FilterRAG
Pour remédier à ces limitations, les auteurs introduisent FilterRAG, un cadre de recherche augmentée par la récupération conçu pour ancrer les réponses VQA dans des sources de connaissances externes (spécifiquement Wikipédia et DBpedia) afin d'atténuer les hallucinations. Le système fonctionne via un processus multi-étapes illustré dans la Figure 2 :

Prétraitement Visuel : Les images d'entrée sont divisées en une grille (spécifiquement une grille 2x2, déterminée comme optimale via l'étude d'ablation) pour équilibrer le détail visuel et la cohérence.
Encodage Multimodal : Le modèle BLIP-VQA (utilisant son architecture Multimodal Mixture of Encoder-Decoder) génère des plongements (embeddings) visuels et textuels à partir de l'image et de la question associée.
Récupération de Connaissances : Le système récupère dynamiquement un contexte pertinent à partir de bases de données externes :
- Wikipédia : Accès via une récupération basée sur la recherche et une extraction basée sur la résumé.
- DBpedia : Accès via des requêtes SPARQL.
Augmentation et Génération : La connaissance récupérée est combinée avec la paire image-question pour enrichir le contexte. Un modèle GPT-Neo 1.3B gelé (décodeur uniquement) utilise ensuite cette information augmentée pour générer la réponse finale.
Apprentissage Zero-Shot : Le cadre fonctionne dans un contexte de « zero-shot », ce qui signifie qu'il ne nécessite pas de réglage fin (fine-tuning) spécifique à la tâche sur le jeu de données cible. Il exploite les capacités pré-entraînées de BLIP-VQA et GPT-Neo pour se généraliser à des domaines non vus.

La méthodologie incorpore également un mécanisme de détection OOD utilisant une fonction de score $S(I, Q)$ et un seuil $\lambda$ pour distinguer les entrées de la distribution (ID) de celles hors distribution (OOD). Les hallucinations sont quantifiées davantage par un « score d'ancrage » (grounding score), calculé via la similitude cosinus entre le plongement de la réponse prédite et les plongements de la vérité terrain (en utilisant Sentence Transformers), où un score inférieur à un seuil $\tau$ indique une hallucination.

Contributions Clés
Le document présente trois contributions principales :

Cadre FilterRAG : Une nouvelle approche de recherche augmentée qui ancre les réponses VQA dans des sources de connaissances externes pour réduire les hallucinations.
Application de l'Apprentissage Zero-Shot : Démontrer comment l'apprentissage zero-shot peut améliorer la récupération et réduire les hallucinations spécifiquement dans les scénarios OOD sans nécessiter de réglage fin.
Évaluation Complète : Une évaluation rigoureuse sur le jeu de données OK-VQA, évaluant la robustesse et la fiabilité dans des tâches exigeant des connaissances à travers des contextes tant de type ID que OOD.

Résultats Expérimentaux
Les auteurs ont évalué FilterRAG sur le jeu de données OK-VQA, un benchmark nécessitant des connaissances externes au-delà du contenu de l'image. Les principales conclusions incluent :

Précision : FilterRAG a atteint une précision de 36,5 % sur le jeu de données OK-VQA. Dans des configurations spécifiques, il a atteint 37,0 % pour les données de la distribution (ID) et 36,0 % pour les données hors distribution (OOD).
Comparaison : Bien que le cadre ait obtenu une précision absolue plus faible que certaines méthodes d'ensemble de pointe (par exemple, KAT à 54,41 % ou REVIVE à 58,0 %), les auteurs notent que ces méthodes reposent souvent sur des modèles nettement plus grands (par exemple, GPT-3 175B gelé) et des ressources de calcul plus importantes. FilterRAG vise à équilibrer la performance et l'efficacité en utilisant des modèles gelés plus petits (BLIP-VQA et GPT-Neo 1.3B).
Atténuation des Hallucinations : Les scores d'ancrage de FilterRAG étaient cohérents entre ID (70,06 %), OOD (70,68 %) et les configurations combinées (70,37 %). Cette cohérence suggère que le modèle ancre efficacement les réponses dans la connaissance récupérée, réduisant la probabilité d'hallucinations par rapport aux modèles de base dont les scores d'ancrage chutent considérablement lors du passage d'un VQA général à un VQA basé sur les connaissances.
Étude d'Ablation : Les expériences avec différentes tailles de grille d'image (2x2, 3x3, 4x4) ont révélé que la grille 2x2 offrait le meilleur compromis entre précision et score d'ancrage. Les grilles plus grandes (3x3, 4x4) entraînaient une fragmentation excessive, entravant la capacité du modèle à extraire des caractéristiques visuelles cohérentes et à les aligner avec la connaissance récupérée.

Signification et Revendications
L'article affirme que FilterRAG démontre le potentiel des cadres de recherche augmentée pour améliorer les systèmes VQA pour un déploiement réel, particulièrement dans des scénarios impliquant des entrées OOD. En intégrant des sources de connaissances externes, le cadre améliore la robustesse et la fiabilité des systèmes VQA, garantissant que les réponses sont ancrées dans les faits plutôt que de reposer uniquement sur des biais appris. Les auteurs positionnent FilterRAG comme une solution qui améliore la généralisation au-delà de la base de connaissances d'entraînement, le rendant adapté aux environnements dynamiques où les concepts non vus sont courants. Les travaux futurs sont identifiés comme se concentrant sur l'amélioration de la qualité de la récupération des connaissances et l'affinement de l'alignement multimodal pour réduire encore davantage les hallucinations.