💬 NLP

FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA

Het artikel introduceert FilterRAG, een zero-shot retrieval-augmented generation-framework dat BLIP-VQA integreert met externe kennisbronnen zoals Wikipedia en DBpedia om hallucinaties aanzienlijk te verminderen en de nauwkeurigheid te verbeteren bij Visual Question Answering, met name voor kennisgestuurde en Out-of-Distribution scenario's.

Oorspronkelijke auteurs: Nobin Sarwar

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nobin Sarwar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op een feestje bent en iemand laat je een foto zien van een hotdog met vreemde toppings en vraagt: "Wat zijn dat?" Als je die specifieke topping nog nooit eerder hebt gezien, probeert je brein misschien te raden op basis van wat je denkt dat het is. Je zegt misschien: "Het is waarschijnlijk mosterd," terwijl het eigenlijk relish is. In de wereld van Kunstmatige Intelligentie wordt dit gokspelletje hallucinatie genoemd. De AI is zelfverzekerd, maar heeft het fout.

Dit artikel introduceert een nieuw systeem genaamd FilterRAG om deze zelfverzekerde fouten van AI te stoppen, vooral wanneer het zaken tegenkomt die het niet in zijn trainingsdata heeft gezien.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De "Wetende" die gokt

Huidige AI-modellen (zoals de modellen die een afbeelding kunnen bekijken en vragen kunnen beantwoorden) zijn erg goed in het beschrijven van wat ze zien. Maar als je ze een vraag stelt die buiten kennis vereist — zoals "Voor welke sport wordt deze motorfiets gebruikt?" of "Wat is dit specifieke condiment?" — hebben ze vaak moeite.

Zonder een manier om feiten te controleren, vertrouwen deze modellen op "herinneringen" uit hun training. Als de trainingsdata bevooroordeeld of incompleet is, gaat de AI gokken. Het is als een student die een toets maakt over een hoofdstuk dat hij niet heeft bestudeerd; hij probeert een antwoord te bluffen dat goed klinkt, maar eigenlijk onjuist is.

2. De Oplossing: De "Bibliothecaris"-aanpak

De auteurs hebben FilterRag ontwikkeld. Zie dit systeem als een student die een bibliotheek mag gebruiken tijdens de toets.

De Student (BLIP-VQA): Dit is het deel van de AI dat naar de afbeelding kijkt en de vraag leest. Het is slim in het zien van afbeeldingen, maar heeft hulp nodig bij feiten.
De Bibliotheek (Wikipedia & DBpedia): In plaats van te gokken, pauzeert het systeem en rent naar een digitale bibliotheek. Het zoekt naar echte feiten over de afbeelding en de vraag.
De Bibliothecaris (GPT-Neo): Dit is het deel dat de feiten leest die de bibliotheek heeft gevonden en het uiteindelijke antwoord schrijft.

Door de AI te dwingen om "de bibliotheek te checken" voordat hij antwoordt, stopt het met gokken en begint het feiten te gebruiken.

3. Hoe het werkt, stap voor stap

Het artikel beschrijft een specifiek proces dat we kunnen visualiseren als het bereiden van een maaltijd:

De ingrediënten snijden (Het Raster): Het systeem neemt de afbeelding en snijdt deze in een 2x2 raster (vier vierkantjes).
- Waarom? Als je een foto in te veel kleine stukjes snijt (zoals een 4x4 raster), verlies je het grote plaatje en raakt de AI in de war. Als je het als één groot blok houdt, mis je de kleine details. Het 2x2 raster is de "Goldilocks"-grootte — het houdt de afbeelding samenhangend maar gedetailleerd genoeg.
Naar de foto kijken: Het systeem analyseert deze vier vierkantjes samen met de vraag.
De zoekopdracht: Het stuurt een zoekopdracht naar de "bibliotheek" (Wikipedia en DBpedia) om relevante feiten te vinden. Voor de motorvraag kan het bijvoorbeeld feiten vinden over "motocross". Voor de hotdog kan het feiten vinden over "relish".
De assemblage: Het systeem combineert de afbeelding, de vraag en de nieuwe feiten die het zojuist heeft gevonden.
Het antwoord: Een bevroren taalmodel (GPT-Neo) leest al deze gecombineerde informatie en schrijft het antwoord. Omdat het de feiten heeft, hoeft het niet te gokken.

4. De Resultaten: Beter in het "Onbekende"

De onderzoekers hebben dit getest op een dataset genaamd OK-VQA, die vol zit met lastige vragen die buitenkennis vereisen.

De Baseline: Standaard AI-modellen (zonder de bibliotheek) hadden ongeveer 40% van de antwoorden goed op deze lastige vragen. Ze hallucineerden veel.
FilterRAG: Het nieuwe systeem behaalde een nauwkeurigheid van 36,5%.
- Wacht, is dat lager? Het artikel merkt op dat hoewel het ruwe getal iets lager is dan bij sommige enorme, supercomplexe systemen die enorme computers gebruiken, FilterRAG veel efficiënter is. Het balanceert prestaties met snelheid en kosten.
- De echte winst: Het systeem was veel beter in Out-of-Distribution (OOD) scenario's. Dit betekent dat wanneer de AI iets totaal nieuws of vreemds zag (zoals een motorfiets in een context die het niet kende), het minder snel de neiging had om te hallucineren. Het bleef geworteld in feiten in plaats van dingen te verzinnen.

5. De "Grounding Score"

Om te bewijzen dat de AI niet gewoon aan het gokken was, gebruikten de auteurs een "Grounding Score". Stel je dit voor als een waarheidsmeter.

Als de AI "Mosterd" zegt maar de bibliotheek zegt "Relish", daalt de score.
Als de AI "Relish" zegt omdat de bibliotheek "Relish" zei, blijft de score hoog.
FilterRAG hield zijn waarheidsmeter hoog, zelfs wanneer de vragen moeilijk waren, wat bewees dat het daadwerkelijk de gevonden feiten gebruikte en niet gewoon verhalen verzon.

Samenvatting

FilterRAG is als het geven van een spiekbriefje (een zoekmachine) aan een AI tijdens een toets. In plaats van te vertrouwen op zijn eigen gebrekkige geheugen om het antwoord op een lastige vraag over een hotdog of een motorfiets te raden, zoekt het het antwoord op in een betrouwbare database. Dit voorkomt dat het met zelfvertrouwen het verkeerde zegt, wat het veiliger en betrouwbaarder maakt voor echt wereldgebruik waarbij het zaken kan tegenkomen die het nog nooit eerder heeft gezien.

Technische Samenvatting: FilterRAG

Probleemstelling
Visual Question Answering (VQA)-systemen vereisen dat modellen visuele perceptie integreren met tekstueel begrip om nauwkeurige antwoorden te genereren. Echter, bestaande Vision-Language Models (VLMs), zoals BLIP en CLIP, lijden vaak aan "hallucinaties"—het produceren van plausibele maar onjuiste antwoorden—met name wanneer ze worden geconfronteerd met kennisintensieve vragen of Out-of-Distribution (OOD) inputs. Deze fouten komen vaak voort uit een overmatige afhankelijkheid van geleerde biases of een gebrek aan toegang tot relevante externe kennis, wat de robuustheid van VQA-systemen beperkt in real-world, dynamische omgevingen waar concepten mogelijk niet tijdens de training zijn gezien.

Methodologie: FilterRAG
Om deze beperkingen aan te pakken, introduceren de auteurs FilterRAG, een retrieval-augmented framework dat ontworpen is om VQA-antwoorden te funderen in externe kennisbronnen (specifiek Wikipedia en DBpedia) om hallucinaties te verminderen. Het systeem werkt via een proces met meerdere stappen, geïllustreerd in Figuur 2:

Visuele Preprocessing: Invoerbeelden worden verdeeld in een raster (specifiek een 2x2 raster, bepaald als optimaal via ablatie) om een balans te vinden tussen visueel detail en coherentie.
Multimodale Codering: Het BLIP-VQA-model (dat gebruikmaakt van zijn Multimodal Mixture of Encoder-Decoder architectuur) genereert visuele en tekstuele embeddings van de afbeelding en de bijbehorende vraag.
Kennisretrieval: Het systeem haalt dynamisch relevante context op uit externe databases:
- Wikipedia: Toegankelijk via zoekgebaseerde retrieval en samenvattingsgebaseerde extractie.
- DBpedia: Toegankelijk via SPARQL-queries.
Augmentatie en Generatie: De opgehaalde kennis wordt gecombineerd met het beeld-vraagpaar om de context te verrijken. Een frozen GPT-Neo 1.3B (decoder-only) model gebruikt vervolgens deze uitgebreide informatie om het uiteindelijke antwoord te genereren.
Zero-Shot Learning: Het framework opereert in een zero-shot setting, wat betekent dat het geen taakspecifieke fine-tuning op de doeldataset vereist. Het maakt gebruik van de pre-trained capaciteiten van BLIP-VQA en GPT-Neo om te generaliseren naar ongeziene domeinen.

De methodologie bevat ook een OOD-detectiemechanisme met behulp van een scoringfunctie $S(I, Q)$ en een drempelwaarde $\lambda$ om onderscheid te maken tussen in-distribution en out-of-distribution inputs. Hallucinaties worden verder gekwantificeerd met een "grounding score", berekend via cosinus-gelijkenis tussen de embedding van het voorspelde antwoord en de embeddings van de grondwaarheid (met behulp van Sentence Transformers), waarbij een score onder een drempelwaarde $\tau$ een hallucinatie aangeeft.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

FilterRAG Framework: Een nieuw retrieval-augmented benadering die VQA-antwoorden fundeert in externe kennisbronnen om hallucinaties te verminderen.
Zero-Shot Learning Toepassing: Het demonstreren hoe zero-shot learning de retrieval kan verbeteren en hallucinaties kan verminderen, specifiek in OOD-scenario's zonder fine-tuning te vereisen.
Uitgebreide Evaluatie: Een rigoureuze evaluatie op de OK-VQA dataset, waarbij de robuustheid en betrouwbaarheid in kennisintensieve taken zowel in in-domain als OOD-settings worden beoordeeld.

Experimentele Resultaten
De auteurs hebben FilterRAG geëvalueerd op de OK-VQA dataset, een benchmark die externe kennis vereist die verder gaat dan de beeldinhoud. Belangrijkste bevindingen zijn onder meer:

Nauwkeurigheid: FilterRAG bereikte 36,5% nauwkeurigheid op de OK-VQA dataset. In specifieke settings bereikte het 37,0% voor In-Distribution (ID) en 36,0% voor Out-of-Distribution (OOD) data.
Vergelijking: Hoewel het framework een lagere absolute nauwkeurigheid behaalde vergeleken met sommige state-of-the-art ensemble-methoden (bijv. KAT op 54,41% of REVIVE op 58,0%), merken de auteurs op dat die methoden vaak aanzienlijk grotere modellen (bijv. Frozen GPT-3 175B) en grotere computationele middelen vereisen. FilterRAG streeft ernaar om prestaties te balanceren met efficiëntie door gebruik te maken van frozen, kleinere modellen (BLIP-VQA en GPT-Neo 1.3B).
Mitigatie van Hallucinaties: De grounding scores voor FilterRAG waren consistent over ID (70,06%), OOD (70,68%) en gecombineerde settings (70,37%). Deze consistentie suggereert dat het model antwoorden effectief fundeert in de opgehaalde kennis, waardoor de kans op hallucinaties wordt verminderen in vergelijking met baseline modellen die een significante daling in grounding scores laten zien wanneer ze overgaan van algemene VQA naar kennisgebaseerde VQA.
Ablatie Studie: Experimenten met verschillende beeldrastergroottes (2x2, 3x3, 4x4) toonden aan dat het 2x2 raster de beste afweging bood tussen nauwkeurigheid en grounding score. Grotere rasters (3x3, 4x4) leidden tot excessieve fragmentatie, wat de bekwaamheid van het model om coherente visuele kenmerken te extraheren en deze te aligneren met opgehaalde kennis belemmerde.

Significantie en Claims
Het artikel claimt dat FilterRAG het potentieel aantoont van retrieval-augmented frameworks om VQA-systemen te verbeteren voor real-world deployment, met name in scenario's die betrokken zijn bij OOD-inputs. Door externe kennisbronnen te integreren, verbetert het framework de robuustheid en betrouwbaarheid van VQA-systemen, waardoor wordt gewaarborgd dat reacties feitelijk gefundeerd zijn in plaats van enkel te vertrouwen op geleerde biases. De auteurs positioneren FilterRAG als een oplossing die de generalisatie verbetert buiten de trainingskennisbasis, waardoor het geschikt is voor dynamische omgevingen waar ongeziene concepten gebruikelijk zijn. Toekomstig werk wordt geïdentificeerd als het verder verbeteren van de kwaliteit van de kennisretrieval en het verfijnen van de multimodale alignment om hallucinaties nog verder te verminderen.