🤖 AI

Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference

Dieses Paper schlägt ein Retrieval-Augmented Reliability-Aware Inference Framework vor, das externe visuelle Evidenz nutzt, um die Vertrauenswürdigkeit von Vorhersagen zu schätzen und eine selektive Entscheidungssteuerung zu implementieren, wodurch die Genauigkeit signifikant verbessert und Halluzinationen in multimodalen großen Sprachmodellen ohne eine Notwendigkeit zum Modell-Retraining reduziert werden.

Ursprüngliche Autoren: Pratheswaran Hariharan, Haiping Xu, Donghui Yan

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Pratheswaran Hariharan, Haiping Xu, Donghui Yan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, selbstbewussten Roboter-Assistenten, der ein Bild betrachten und Ihnen genau sagen kann, was er sieht. Er ist großartig darin, Dinge zu beschreiben, aber manchmal, wenn er sich nicht zu 100 % sicher ist, rät er trotzdem einfach und spricht mit absoluter Zuversicht. Das ist wie ein Schüler, der die Antwort auf eine Matheaufgabe nicht kennt, aber trotzdem die Hand hebt und eine Vermutung herausruft, während er klingt, als wäre er sich sehr sicher. In der Welt der KI wird dies als „visuelle Halluzination“ bezeichnet – das System sieht Dinge, die gar nicht da sind, oder erfindet Fakten, weil es hilfreich sein möchte.

Dieses Paper stellt ein neues „Sicherheitsprüfungs“-System vor, um den Roboter daran zu hindern, zu räthaft zu sein, wenn er es nicht sollte. So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Die überhebliche Vermutung

Aktuelle KI-Modelle sind wie Schüler, die viele Fakten auswendig gelernt haben, aber keine Möglichkeit haben, ihre eigene Arbeit zu überprüfen. Wenn sie ein verschwommenes Bild eines Vogels sehen, sagen sie vielleicht selbstbewusst: „Das ist ein Habicht!“, obwohl es eigentlich ein Drachen ist. Da der Roboter so flüssig und selbstbewusst spricht, glauben Menschen ihm oft, selbst wenn er falsch liegt.

Die Lösung: Der „Evidenz-Bibliothekar“

Die Autoren schlagen vor, einen zweiten Schritt hinzuzufügen, bevor der Roboter seine endgültige Antwort gibt. Stellen Sie sich dieses neue System wie einen Bibliothekar vor, der zwischen dem Gehirn des Roboters und dem Benutzer sitzt.

Die Suche (Retrieval): Wenn der Roboter ein neues Bild sieht, anstatt einfach nur zu raten, sendet er eine Anfrage an den Bibliothekar. Der Bibliothekar verfügt über eine riesige Bibliothek mit Millionen von Referenzfotos (eine Datenbank). Der Bibliothekar findet die 5 Fotos in der Bibliothek, die dem neuen Bild am ähnlichsten sehen.
Der Faktencheck (Reliability Estimation): Der Bibliothekar schaut sich die Fotos nicht nur an; er analysiert sie wie ein Detektiv. Er stellt vier Schlüsselfragen:
- Ähnlichkeit (Similarity): Sehen die Referenzfotos dem neuen Bild wirklich sehr ähnlich?
- Übereinstimmung (Agreement): Sind sich alle Referenzfotos einig darüber, was das Objekt ist? (z. B. Wenn 4 „Hai“ sagen und 1 „Delfin“, ist das ein Konflikt).
- Konfidenzlücke (Confidence Gap): Ist die Antwort „Hai“ deutlich besser als die Antwort „Delfin“, oder ist es ein Kopf-an-Kopf-Rennen?
- Verwirrung (Confusion): Sind die Beweise verstreut und chaotisch oder klar und fokussiert?

Das Entscheidungstor: Die Ampel

Basierend auf diesem Faktencheck setzt der Bibliothekar eine Ampel auf die Antwort des Roboters:

🟢 Grünes Licht (Akzeptieren): Die Beweise sind stark, klar und alle sind sich einig. Der Roboter darf eine selbstbewusste Antwort geben: „Dies ist ein Weißer Hai.“
🟡 Gelbes Licht (Vorsicht): Die Beweise sind okay, aber etwas wackelig oder gemischt. Der Roboter darf antworten, muss aber eine „vorsichtige Sprache“ verwenden. Anstatt „Das ist ein Drachen“ zu sagen, sagt er: „Das könnte ein Drachen sein, aber ich bin mir nicht ganz sicher.“
🔴 Rotes Licht (Abhalten/Fallback): Die Beweise sind schwach, verwirrend oder das Objekt ist gar nicht in der Bibliothek vorhanden. Dem Roboter ist es verboten zu raten. Er muss sagen: „Ich kann dies nicht mit Zuversicht identifizieren“ oder „Ich habe nicht genügend Informationen, um zu antworten.“

Was geschah in den Experimenten?

Die Forscher testeten dieses System mit einem Standard-Datensatz von 100 Arten von Bildern (wie eine Schulprüfung).

Vor der Sicherheitsprüfung: Der Roboter beantwortete jede einzelne Frage. Er lag in 86 % der Fälle richtig, war aber in 14 % der Fälle selbstbewusst falsch.
Nach der Sicherheitsprüfung: Der Roboter hörte bei etwa 11 % der Fragen auf zu antworten (denen, bei denen er sich unsicher war). Für die Fragen, die er tatsächlich beantwortete, lag er zu 89 % richtig.
Das Ergebnis: Die Anzahl der Male, in denen der Roboter selbstbewusst eine falsche Antwort gab, sank signifikant (von 14 % auf 11 %).

Die wichtigste Erkenntnis

Dieses System erfordert kein erneutes Training des riesigen, komplexen Robotergehirns. Es fügt lediglich eine „Realitätsprüfungsschicht“ hinzu, die externe Beweise prüft, bevor sie den Roboter sprechen lässt.

Wenn die Beweise stark sind: Spricht der Roboter selbstbewusst.
Wenn die Beweise schwach sind: Bleibt der Roboter ruhig oder spricht vorsichtig.

Dies macht die KI vertrauenswürdiger, da sie zugibt, wenn sie etwas nicht weiß, anstatt eine selbstbewusste Lüge zu erfinden. Es ist, als hätte man einen Freund, der sagt: „Ich bin mir nicht sicher, lass mich mal nachsehen“, anstatt einfach nur zu raten und zu hoffen, dass man nicht merkt, dass er falsch liegt.

Technisches Resümee: Abschwächung visueller Halluzinationen in multimodalen Systemen durch Retrieval-Augmented Reliability-Aware Inference

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben das visuelle Sprachverständnis vorangebracht, leiden jedoch unter einem kritischen Zuverlässigkeitsproblem: visuellen Halluzinationen. Diese Systeme generieren oft flüssige, selbstbewusste natürliche Sprachantworten, selbst wenn die zugrunde liegende visuelle Evidenz schwach, mehrdeutig oder semantisch inkonsistent ist. Aktuelle Ansätze konzentrieren sich primär auf die Verbesserung der Repräsentationsausrichtung oder die Retrieval-Augmented Generation, lassen jedoch Mechanismen zur Quantifizierung der instanzspezifischen Vorhersagezuverlässigkeit vermissen.

Es besteht eine signifikante Lücke in der vertrauenswürdigen multimodalen Inferenz: Systeme sind oft gezwungen, für jeden Input eine Antwort zu liefern, unabhängig von der Qualität der Evidenz. Standard-Konfidenzscores (z. B. Softmax-Wahrscheinlichkeiten) sind häufig schlecht kalibriert und spiegeln nicht die tatsächliche Korrektheit wider, was zu „übermäßig selbstbewussten“ Fehlern führt, bei denen Nutzer durch falsche, aber sicher erscheinende Ausgaben in die Irre geführt werden. Das Paper postuliert, dass ein zuverlässiges System nicht nur eine Antwort vorhersagen muss, sondern auch bewerten muss, ob diese Antwort vertrauenswürdig ist, indem es zwischen starker Evidenz und unzureichenden oder widersprüchlichen Daten unterscheidet.

2. Methodik

Die Autoren schlagen ein Retrieval-Augmented Reliability-Aware Inference Framework vor. Dies ist eine Post-hoc-Schicht, die zwischen der visuellen Vorhersage und der finalen Antwortgenerierung eingefügt wird und darauf ausgelegt ist, Vorhersagen mittels externer visueller Evidenz zu validieren, ohne die zugrunde liegenden großen multimodalen Modelle neu trainieren zu müssen.

2.1 Framework-Architektur

Die Pipeline besteht aus vier Hauptphasen:

Input-Kodierung & Evidenz-Retrieval:
- Input-Bilder werden mit einem vortrainierten ResNet-50 Feature Extractor (bei dem die Klassifizierungsschicht entfernt wurde) verarbeitet, um 2048-dimensionale Embeddings zu erzeugen.
- Die Embeddings werden L2-normalisiert, um eine Suche basierend auf der Kosinus-Ähnlichkeit zu gewährleisten.
- Eine Referenz-Evidenzdatenbank wird aus dem ImageNet-100 Trainingssatz (~130.000 Bilder) konstruiert.
- Für ein Query-Bild ruft das System die Top- $k$ (wobei $k=5$ ) nächsten Nachbarn aus der Datenbank mittels FAISS ab.
Class-Support-Schätzung:
- Anstatt sich auf den einzelnen nächsten Nachbarn zu verlassen, aggregiert das Framework die Evidenz über die abgerufene Menge hinweg.
- Eine gewichtete Softmax-Funktion weist den abgerufenen Nachbarn basierend auf ihren Ähnlichkeitswerten ( $s_j$ ) Gewichte zu.
- Class-Support-Scores ( $S(c)$ ) werden berechnet, indem die Gewichte der Nachbarn, die zu jeder Klasse gehören, summiert werden. Die vorhergesagte Klasse ist diejenige mit dem höchsten aggregierten Support.
Berechnung des Zuverlässigkeitssignals:
Das System berechnet mehrere Indikatoren, um die Vertrauenswürdigkeit abzuschätzen:
- Ähnlichkeitsstärke: Top-Ähnlichkeit ( $s_{top}$ ) und mittlere Ähnlichkeit ( $s_{mean}$ ) der abgerufenen Menge.
- Class-Support-Übereinstimmung: Primärer Support ( $E_1$ ) für die vorhergesagte Klasse gegenüber dem sekundären Support ( $E_2$ ) für die stärkste konkurrierende Klasse.
- Evidenz-Margin ( $M$ ): Die Differenz $E_1 - E_2$ , welche die Trennung zwischen den Klassen angibt.
- Entropie ( $H$ ): Misst die Unsicherheit in der Verteilung der abgerufenen Evidenz über die Klassen hinweg.
- Aggregierter Zuverlässigkeitswert ( $R$ ): Eine gewichtete Kombination aus primärem Support und normalisierter Ähnlichkeitsstärke ( $R = 0.6E_1 + 0.4Q$ ).
Selektive Entscheidungssteuerung (Decision Gating):
Basierend auf den berechneten Signalen weist ein Decision Gate den Input einem von drei Zuständen zu:
- ACCEPT (Annehmen): Wenn die Evidenz stark, konsistent und gering in der Unsicherheit ist (z. B. $R \ge 0.85$ , $H \le 0.30$ , $M \ge 0.50$ ). Das System liefert eine selbstbewusste Antwort.
- ANSWER WITH CAUTION (Mit Vorsicht antworten): Wenn die Evidenz teilweise unterstützend, aber unsicher ist (z. B. $R \ge 0.70$ , $M \ge 0.25$ ). Die Antwort wird durch vorsichtige Sprache abgeschwächt.
- ABSTAIN/FALLBACK (Enthalten/Fallback): Wenn die Evidenz schwach, widersprüchlich oder unter den Ähnlichkeitsschwellenwerten liegt ( $s_{top} < \tau_{sim}$ oder $s_{mean} < \tau_{mean}$ ). Das System vermeidet es, eine definitive Behauptung aufzustellen.

2.2 Antwortgenerierung

Eine multimodale Antwortschicht (unter Verwendung von LLaVA in den Experimenten) generiert die finale Ausgabe. Entscheidend ist, dass die Sprachgenerierung von der Zuverlässigkeitsentscheidung abhängig gemacht wird. Wenn das Gate „ABSTAIN“ wählt, erklärt das System, dass die Evidenz unzureichend ist, anstatt eine potenziell halluzinierte Bezeichnung zu erzwingen.

3. Zentrale Beiträge

Retrieval-Augmented Reliability Framework: Eine neuartige Inferenz-Pipeline, die visuelle Vorhersagen vor der Generierung der finalen Antworten gegen eine externe Evidenzdatenbank validiert und somit die Generierung der Vorhersage von deren Annahme trennt.
Multi-Signal Reliability Estimation: Eine Strategie, die Ähnlichkeitsstärke, Class-Support-Konsistenz, Evidenz-Margin und Entropie-basierte Unsicherheit kombiniert, um eine robustere Vertrauenseinschätzung als reine Konfidenzscores allein zu erstellen.
Selektiver Entscheidungsmechanismus: Implementierung eines Drei-Wege-Decision-Gates (Accept, Caution, Abstain), das es dem System ermöglicht, die Abdeckung (Coverage) gegen die Zuverlässigkeit (Reliability) abzuwägen und so übermäßig selbstbewusste Fehler effektiv zu reduzieren.
Post-Hoc Anwendbarkeit: Demonstration, dass diese Verbesserungen ohne ein erneutes Training der großen multimodalen Modelle erreicht werden können, was sie zu einer praktischen Erweiterung für bestehende Systeme macht.

4. Experimentelle Ergebnisse

Das Framework wurde auf dem ImageNet-100 Datensatz evaluiert (130k Trainingsbilder für die Datenbank, 5k Validierungsbilder für den Test).

Verbesserung der Genauigkeit: Das Baseline-Retrieval-System (das immer antwortet) erreichte eine Genauigkeit von 85,84%. Das vorgeschlagene Reliability-Aware Framework verbesserte die akzeptierte Vorhersagegenauigkeit auf 88,88% bei einer Abdeckung (Coverage) von 89,04%.
Reduktion von Halluzinationen: Die „halluzinationsähnliche akzeptierte Falschantwort-Rate“ (falsche Vorhersagen, die akzeptiert und an den Nutzer zurückgegeben werden) sank von 14,16% (Baseline) auf 11,12% (Vorschlag), was einer relativen Reduktion von 21,48% entspricht.
Kalibrierung: Der Expected Calibration Error (ECE) verbesserte sich von 7,40% auf 5,87%, was auf eine bessere Abstimmung zwischen vorhergesagter Zuverlässigkeit und tatsächlicher Korrektheit hindeutet.
Selbstbewusste Fehler: Die Anzahl der „selbstbewussten falschen Fälle“ (falsche Vorhersagen mit Zuverlässigkeit $\ge 0.85$ ) sank von 263 auf 226.
Analyse der Evidenzqualität: Akzeptierte Stichproben zeigten signifikant höhere Zuverlässigkeitswerte, Ähnlichkeitsmargen und eine geringere Entropie im Vergleich zu den enthaltsamen (abstained) Stichproben, was bestätigt, dass das Gate ambivalente oder schwache Evidenzfälle effektiv herausfiltert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die Integration von Retrieval-Evidenz, Zuverlässigkeitsschätzung und selektiver Entscheidungssteuerung eine praktische Post-hoc-Methode zur Verbesserung der Vertrauenswürdigkeit der multimodalen visuellen Inferenz bietet.

Minderung von Überkonfidenz: Das Framework reduziert erfolgreich das Risiko, dass Systeme selbstbewusste, falsche Ausgaben produzieren, indem es Fälle identifiziert, in denen die visuelle Evidenz unzureichend ist.
Kein Retraining erforderlich: Im Gegensatz zu Methoden, die architektonische Änderungen oder zusätzliches Training erfordern, funktioniert dieser Ansatz mit vortrainierten Encodern und bestehenden MLLMs.
Interpretierbarkeit: Durch die Nutzung abgerufener nächster Nachbarn liefert das System interpretierbare Evidenz (visuelle Beispiele), um eine Vorhersage zu stützen oder abzulehnen, was die Transparenz erhöht.
Management von Trade-offs: Das System verwaltet explizit den Kompromiss zwischen Abdeckung (jede Frage beantworten) und Zuverlässigkeit (nur antworten, wenn man sicher ist) und priorisiert so das Nutzervertrauen in Hochrisikoanwendungen.

Die Autoren kommen zu dem Schluss, dass die aktuelle Implementierung zwar auf kontrollierte Klassifizierungsszenarien (ImageNet-100) und spezifische Encoder (ResNet-50) beschränkt ist, der Ansatz jedoch einen lebensfähigen Weg zu sichereren, zuverlässigeren multimodalen KI-Systemen aufzeigt, die von einer Antwort absehen können, wenn die Evidenz eine definitive Aussage nicht rechtfertigt.