Technische Samenvatting: Mitigeren van Visuele Hallucinaties in Multimodale Systemen door Retrieval-Augmented Reliability-Aware Inference

1. Probleemstelling

Multimodale Large Language Models (MLLM's) hebben de visuele taalbegrip geavanceerd, maar lijden aan een kritiek betrouwbaarheidsprobleem: visuele hallucinatie. Deze systemen genereren vaak vloeiende, zelfverzekerde natuurlijke taalreacties, zelfs wanneer het onderliggende visuele bewijs zwak, ambigu of semantisch inconsistent is. Huidige benaderingen richten zich primair op het verbeteren van representatie-alignement of retrieval-augmented generatie, maar missen mechanismen om instance-level voorspellingsbetrouwbaarheid te kwantificeren.

Er bestaat een aanzienlijke kloof in betrouwbare multimodale inferentie: systemen worden vaak gedwongen een antwoord te geven voor elke input, ongeacht de kwaliteit van het bewijs. Standaard betrouwbaarheidsscores (bijv. softmax-waarschijnlijkheden) zijn vaak slecht gekalibreerd en weerspiegelen niet de werkelijke juistheid, wat leidt tot "overconfident" fouten waarbij gebruikers worden misleid door incorrecte maar zelfverzekerde outputs. Het artikel stelt dat een betrouwbaar systeem niet alleen een antwoord moet voorspellen, maar ook moet evalueren of dat antwoord vertrouwd kan worden, waarbij onderscheid wordt gemaakt tussen sterk bewijs en onvoldoende of conflicterende data.

2. Methodologie

De auteurs stellen een Retrieval-Augmented Reliability-Aware Inference Framework voor. Dit is een post-hoc laag die tussen de visuele voorspelling en de uiteindelijke responsgeneratie wordt geplaatst, ontworpen om voorspellingen te valideren met behulp van extern visueel bewijs zonder de onderliggende grote multimodale modellen opnieuw te trainen.

2.1 Framework Architectuur

De pijplijn bestaat uit vier hoofdfasen:

1. Input Encoding & Evidence Retrieval:

   • Inputafbeeldingen worden verwerkt met een vooraf getrainde ResNet-50 feature extractor (waarbij de classificatielaag is verwijderd) om 2048-dimensionale embeddings te genereren.
   • Embeddings worden L2-genormaliseerd om zoekopdrachten op basis van cosinus-gelijkenis te waarborgen.
   • Een referentiedatabase met bewijsmateriaal wordt geconstrueerd uit de ImageNet-100 trainingsset (~130.000 afbeeldingen).
   • Voor een query-afbeelding zoekt het systeem de top-$k$ (waarbij $k=5$) dichtstbijzijnde buren uit de database met behulp van FAISS.

2. Class-Support Estimation:

   • In plaats van te vertrouwen op de enkelvoudige dichtstbijzijnde buur, aggregeert het framework het bewijs over de opgehaalde set.
   • Een similarity-weighted softmax functie wijst gewichten toe aan de opgehaalde buren op basis van hun gelijkenisscores ($s_j$).
   • Class-support scores ($S(c)$) worden berekend door de gewichten van buren die tot een bepaalde klasse behoren op te tellen. De voorspelde klasse is de klasse met de hoogste geaggregeerde ondersteuning.

3. Reliability Signal Computation:
   Het systeem berekent meerdere indicatoren om betrouwbaarheid te schatten:

   • Similarity Strength: Top gelijkenis ($s_{top}$) en gemiddelde gelijkenis ($s_{mean}$) van de opgehaalde set.
   • Class-Support Agreement: Primaire ondersteuning ($E_1$) voor de voorspelde klasse versus secundaire ondersteuning ($E_2$) voor de sterkste concurrerende klasse.
   • Evidence Margin ($M$): Het verschil $E_1 - E_2$, wat de scheiding tussen klassen aangeeft.
   • Entropy ($H$): Meet de onzekerheid in de distributie van het opgehaalde bewijs over de klassen.
   • Aggregate Reliability Score ($R$): Een gewogen combinatie van primaire ondersteuning en genormaliseerde gelijkenissterkte ($R = 0.6E_1 + 0.4Q$).

4. Selective Decision Gating:
   Op basis van de berekende signalen wijst een beslissingspoort (decision gate) de input toe aan een van de drie staten:

   • ACCEPT: Als het bewijs sterk, consistent en laag in onzekerheid is (bijv. $R \ge 0.85$, $H \le 0.30$, $M \ge 0.50$). Het systeem geeft een zelfverzekerde respons.
   • ANSWER WITH CAUTION: Als het bewijs gedeeltelijk ondersteunend maar onzeker is (bijv. $R \ge 0.70$, $M \ge 0.25$). De respons wordt verzacht met voorzichtige taal.
   • ABSTAIN/FALLBACK: Als het bewijs zwak, conflicterend of onder de gelijkenisdrempels ligt ($s_{top} < \tau_{sim}$ of $s_{mean} < \tau_{mean}$). Het systeem vermijdt het doen van een definitieve claim.

2.2 Response Generation

Een multimodale responslaag (met behulp van LLaVA in de experimenten) genereert de uiteindelijke output. Cruciaal is dat de taalgeneratie wordt geconditioneerd op de reliability decision. Als de poort "ABSTAIN" selecteert, legt het systeem uit dat het bewijs onvoldoende is, in plaats van een potentieel hallucinerende label af te dwingen.

3. Belangrijkste Bijdragen

1. Retrieval-Augmented Reliability Framework: Een nieuw inferentie-pipeline dat visuele voorspellingen valideert tegen een externe bewijsmateriaal-database voordat er uiteindelijke responsen worden gegenereerd, waarbij de generatie van de voorspelling en de acceptatie van de voorspelling worden gescheiden.
2. Multi-Signal Reliability Estimation: Een strategie die gelijkenissterkte, class-support consistentie, evidence margin en entropy-gebaseerde onzekerheid combineert om een robuustere betrouwbaarheidsschatting te creëren dan alleen ruwe confidence scores.
3. Selective Decision Mechanism: Implementatie van een driewegs beslissingspoort (Accept, Caution, Abstain) die het systeem in staat stelt om de trade-off tussen dekking (coverage) en betrouwbaarheid te beheren, waardoor overconfident fouten effectief worden verminderen.
4. Post-Hoc Toepasbaarheid: Demonstratie dat deze verbeteringen kunnen worden bereikt zonder de onderliggende grote multimodale modellen opnieuw te trainen, wat dient als een praktische toevoeging aan bestaande systemen.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de ImageNet-100 dataset (130k trainingsafbeeldingen voor de database, 5k validatieafbeeldingen voor testen).

• Verbetering van de Accuratesse: Het baseline retrieval-systeem (dat altijd antwoordt) behaalde een accuratesse van 85,84%. Het voorgestelde reliability-aware framework verbeterde de accepted prediction accuracy naar 88,88% bij een 89,04% coverage.
• Reductie van Hallucinaties: De "hallucinatie-achtige geaccepteerde foutieve antwoord-ratio" (incorrecte voorspellingen die worden geaccepteerd en naar de gebruiker worden teruggestuurd) daalde van 14,16% (baseline) naar 11,12% (voorgesteld), een relatieve reductie van 21,48%.
• Kalibratie: De Expected Calibration Error (ECE) verbeterde van 7,40% naar 5,87%, wat duidt op een betere afstemming tussen voorspelde betrouwbaarheid en werkelijke juistheid.
• Zelfverzekerde Fouten: Het aantal "confident wrong cases" (incorrecte voorspellingen met een betrouwbaarheid $\ge 0.85$) daalde van 263 naar 226.
• Analyse van Bewijskwaliteit: Geaccepteerde monsters vertoonden significant hogere betrouwbaarheidsscores, gelijkenis-marges en lagere entropie vergeleken met de afgehouden (abstained) monsters, wat bevestigt dat de poort effectief ambigue of zwak bewijs filtert.

5. Betekenis en Claims

Het artikel beweert dat het integreren van retrieval-bewijs, betrouwbaarheidsschatting en selectieve beslissingspoorten een praktische post-hoc methode biedt voor het verbeteren van de betrouwbaarheid van multimodale visuele inferentie.

• Mitigatie van Overconfidence: Het framework slaagt erin het risico te verminderen dat systemen zelfverzekerde, incorrecte outputs produceren door gevallen te identificeren waarin visueel bewijs onvoldoende is.
• Geen Her-training Vereist: In tegenstelling tot methoden die architecturale wijzigingen of extra training vereisen, werkt deze aanpak met vooraf getrainde encoders en bestaande MLLM's.
• Interpreteerbaarheid: Door te vertrouwen op opgehaalde dichtstbijzijnde buren, biedt het systeem interpreteerbaar bewijs (visuele voorbeelden) om een voorspelling te ondersteunen of af te wijzen, wat de transparantie vergroot.
• Beheer van Trade-offs: Het systeem beheert expliciet de trade-off tussen dekking (elke vraag beantwoorden) en betrouwbaarheid (alleen antwoorden wanneer men zelfverzekerd is), waarbij de prioriteit ligt bij het vertrouwen van de gebruiker in scenario's met hoge inzet.

De auteurs concluderen dat hoewel de huidige implementatie beperkt is tot gecontroleerde classificatie-instellingen (ImageNet-100) en specifieke encoders (ResNet-50), de aanpak een levensvatbaar pad demonstreert naar veiligere, betrouwbaardere multimodale AI-systemen die kunnen afzien van het geven van een antwoord wanneer het bewijs een definitieve reactie niet rechtvaardigt.