💻 computer science

Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

Das Papier schlägt AVES-DPO vor, ein selbstkorrigierendes Präferenzlern-Framework, das Halluzinationen in Large Vision-Language-Modellen durch die Generierung von In-Distribution-Präferenzpaaren mittels eines konsensbasierten Verifikationsmechanismus reduziert und damit die durch die Abhängigkeit von proprietären Modellen verursachte Verteilungsabweichung überwindet.

Ursprüngliche Autoren: Byeonggeuk Lim, JungMin Yun, Junehyoung Kwon, Kyeonghyun Kim, YoungBin Kim

Veröffentlicht 2026-04-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Byeonggeuk Lim, JungMin Yun, Junehyoung Kwon, Kyeonghyun Kim, YoungBin Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, künstlerischen Roboter, der Bilder liebt, sie zu beschreiben. Sie zeigen ihm ein Foto einer Küche, und er sagt: „Ich sehe ein braunes Schrankmöbel, einen Holzboden und eine Person, die neben einem Hund steht." Aber warten Sie – auf dem Bild ist kein Hund! Der Roboter hat ihn einfach erfunden. Das nennt man eine Halluzination. Es ist, als würde der Roboter tagträumen, während er das Foto betrachtet.

Lange Zeit versuchten Wissenschaftler, dies zu beheben, indem sie einen „Super-Experten" (wie ein riesiges, teures KI-Modell namens GPT-4V) engagierten, um die Fehler des Roboters zu prüfen und ihm zu sagen: „Nein, dieser Hund ist nicht da. Korrigiere es." Anschließend würden sie den Roboter anhand dieser Korrekturen unterrichten.

Das Problem mit dem alten Weg
Die Autoren dieses Papers erkannten, dass in diesem Plan ein Fehler steckt. Stellen Sie sich vor, Sie unterrichten einen Schüler im Malen, indem Sie ihn eine Meisterarbeit eines völlig anderen Künstlers kopieren lassen. Der Schüler mag zwar den Stil des Meisters lernen, aber er wird nicht zu seiner eigenen natürlichen Art des Malens passen.

In gleicher Weise klingt die Korrektur durch den „Super-Experten" wie der Experte, nicht wie der Roboter. Dies erzeugt eine Diskrepanz. Der Roboter wird verwirrt, weil die „richtige Antwort" für sein eigenes Gehirn fremd klingt, was den Lernprozess ineffizient macht und enorme Datenmengen erfordert.

Die neue Lösung: „AVES-DPO" (Der selbstkorrigierende Künstler)
Die Autoren schlagen eine neue Methode namens AVES-DPO vor. Anstatt einen externen Experten zu engagieren, lernen sie dem Roboter bei, seine eigene Arbeit zu prüfen und zu korrigieren.

So funktioniert ihr „Selbstkorrektur"-Prozess, aufgeschlüsselt in einfache Schritte:

Der erste Entwurf (Der Fehler): Der Roboter betrachtet das Bild und schreibt eine Beschreibung. Dabei erfindet er versehentlich vielleicht einen Hund oder nennt die falsche Farbe der Schränke.
Die Detektivarbeit (Verifizierung): Bevor der Roboter versucht, es zu korrigieren, nutzt ein Team von „Detektiven" (spezialisierte, quelloffene KI-Tools), um die Beschreibung zu scannen.
- Hat der Roboter gesagt, es gäbe einen Hund? Der Detektiv prüft das Foto. „Nein, kein Hund."
- Hat er gesagt, die Schränke seien blau? Der Detektiv prüft. „Nein, sie sind braun."
- Hat er gesagt, die Person hält eine Tasse? Der Detektiv prüft. „Keine Tasse."
- Wenn die Detektive übereinstimmen, wird der Fehler bestätigt. Wenn sie unsicher sind, holen sie eine zweite Meinung ein, um sicherzugehen.
Die Selbstkorrektur (Die Lösung): Nun betrachtet der Roboter die Liste der bestätigten Fehler. Er schreibt seine Geschichte neu.
- Er entfernt den erfundenen Hund.
- Er ändert „blaue Schränke" in „braune Schränke".
- Entscheidend ist, dass er nicht nur die schlechten Teile löscht; er fügt auch mehr echte Details hinzu, die ihm zuvor entgangen waren, wie „der Boden ist glänzend" oder „es gibt ein Fenster".
Die Lektion (Präferenzlernen): Nun hat der Roboter zwei Versionen der Geschichte:
- Version A: Die ursprüngliche, fehlerhafte Geschichte (die „schlechte" Antwort).
- Version B: Die neue, selbstkorrigierte, detaillierte Geschichte (die „gute" Antwort).
- Der Roboter wird darauf trainiert, Version B zu bevorzugen. Da er Version B selbst geschrieben hat, klingt die „gute" Antwort genau wie er. Sie passt perfekt in sein eigenes Gehirn.

Warum dies eine große Sache ist
Das Paper behauptet, diese Methode sei aus drei Gründen ein Wendepunkt:

Sie ist effizient: Da der Roboter aus seiner eigenen „Stimme" lernt, lernt er viel schneller. Sie benötigten nur etwa 5.200 Beispiele, um den Roboter zu unterrichten. Andere Methoden benötigten das 25-fache an Daten (über 120.000 Beispiele), um ähnliche Ergebnisse zu erzielen. Es ist wie das Erlernen einer Sprache, indem man sich selbst im Spiegel anspricht, im Gegensatz zum Versuch, einen fremden Akzent nachzuahmen.
Sie fängt mehr Fehler ein: Alte Methoden fingen hauptsächlich „große" Fehler ein, wie das Erfinden eines ganzen Objekts (eines Hundes). Diese neue Methode fängt auch „kleine" Fehler ein, wie eine falsche Beziehung (zu sagen, der Hund sei links, obwohl er eigentlich rechts ist) oder die falsche Farbe.
Sie ist günstiger: Sie müssen keine teuren „Super-Experten"-KI-Modelle bezahlen, um die Korrektur vorzunehmen. Der Roboter leistet die Schwerstarbeit.

Das Ergebnis
Als sie diese neue Methode testeten, wurde der Roboter viel besser darin, Bilder genau zu beschreiben. Er hörte auf, Objekte zu erfinden, und bekam die Details richtig, und das alles mit einer winzigen Menge an Trainingsdaten.

Ein Hinweis zu Grenzen
Die Autoren sind ehrlich darüber, was ihre Methode noch nicht leistet.

Sie funktioniert am besten, wenn sie ein Objekt nach dem anderen betrachtet. Wenn ein Bild eine chaotische Menge von 50 Menschen zeigt, die auf komplexe Weise interagieren, könnte das System ein wenig verwirrt werden.
Für die größten, leistungsfähigsten Roboter (die Modelle mit 13 Milliarden Parametern) machte die Korrektur der Halluzinationen sie etwas „vorsichtiger". Sie wurden so gut darin, nichts zu erfinden, dass sie manchmal vergaßen, allgemeines Wissen zu erwähnen, das sie zuvor kannten. Es ist ein Trade-off zwischen 100 % Faktizität und 100 % Gesprächigkeit.

Kurz gesagt geht es bei AVES-DPO darum, den Roboter zu seinem eigenen besten Lektor zu machen und sicherzustellen, dass die „Wahrheit", die er lernt, die Art von Wahrheit ist, die natürlich in seinen eigenen Geist passt.

1. Problemstellung

Large Vision-Language Models (LVLMs) leiden häufig unter Halluzinationen und generieren Inhalte, die nicht mit den Eingabebildern übereinstimmen (z. B. nicht existente Objekte, falsche Attribute oder fehlerhafte Beziehungen). Während Direct Preference Optimization (DPO) als Mainstream-Lösung zur Minderung dieses Problems durch die Ausrichtung der Modelle auf menschliche Präferenzen aufgetaucht ist, stoßen bestehende Ansätze auf zwei kritische Grenzen:

Verteilungsbedingte Diskrepanz: Die meisten Methoden verlassen sich auf proprietäre Modelle (z. B. GPT-4V), um „bevorzugte" (faktische) Antworten zu generieren. Dies führt zu einer Verteilungsverschiebung, da die Korrekturmuster des externen Lehrmodells von der intrinsischen Verteilung des Ziel-LVLMs abweichen, was eine effiziente Ausrichtung behindert.
Verzerrung hin zur Objektextistenz: Bestehende Datensätze und Trainingsziele konzentrieren sich primär auf die Objektpräsenz (binäre Existenz) und vernachlässigen feingranulare Halluzinationen, die Attribute (z. B. Farbe, Material) und Beziehungen (z. B. räumliche Positionierung) betreffen.

2. Methodik: AVES-DPO

Die Autoren schlagen AVES-DPO (Alignment via VErified Self-correction DPO) vor, ein Framework, das die Abhängigkeit von externen proprietären Modellen eliminiert, indem es das intrinsische Wissen des Zielmodells nutzt, um verteilungskonforme Präferenzdaten zu generieren. Das Framework besteht aus zwei distincten Phasen:

A. Halluzinationsverifikation

Diese Phase diagnostiziert Fehler in der initialen Antwort des Modells ( $y_{init}$ ) mithilfe eines konsensbasierten Verifikationsmechanismus:

Extraktion von Szenengraphen: Die Antwort wird in einen strukturierten Szenengraphen mit Objekten ( $O$ ), Attributen ( $A$ ) und Beziehungen ( $R$ ) parsen.
Konsensverifikation: Zwei unabhängige Verifikationsmodelle ( $V_1, V_2$ $V_{1}, V_{2}$ ) überprüfen die Faktizität jedes Elements.
- Objektverifikation: Es werden robuste Open-Source-Detektoren (YOLO, Grounding DINO) verwendet. Ambivalente Fälle werden durch eine sekundäre Verifikation mit Qwen3-VL-Modellen geklärt.
- Attribut- und Beziehungsverifikation: Nur verifizierte Objekte werden auf Attribute und Beziehungen mittels Qwen3-VL-Modellen überprüft.
- Konsensregel: Ein Label wird nur finalisiert, wenn beide Modelle übereinstimmen; andernfalls wird es als „Ambivalent" markiert.
Korrekturkandidaten: Wenn ein Element halluziniert ist, sucht das System einen korrekten Ersatz aus einem vorab konstruierten Vokabular (abgeleitet aus GQA und MS-COCO) basierend auf semantischen Subtypen.

B. Selbstkorrektur

Gestützt auf die Verifikationsdiagnosen verfeinert das LVLM seine eigene Ausgabe in zwei Phasen:

Faktische Berichtigung: Das Modell entfernt halluzinierte Elemente oder ersetzt sie durch verifizierte, korrekte Inhalte und erzeugt eine prägnante, faktisch genaue Antwort.
Detaillierte Anreicherung: Um zu verhindern, dass die Antwort zu spärlich wird, fügt das Modell fehlende visuelle Details hinzu, die im Bild verankert sind.
- Iteratives Filtern: Ein zyklischer Pipeline stellt die Qualität sicher. Der angereicherte Text wird zurück in das Verifikationsmodul eingespeist. Werden Halluzinationen erkannt, wird er neu generiert. Diese Schleife läuft bis zu 3 Mal (für 7B-Modelle) oder 5 Mal (für 13B-Modelle).
- Negative Constraints: Das Modell wird explizit angewiesen, Objekte, die zuvor als halluziniert identifiziert wurden, nicht zu erwähnen.

C. Präferenzlernen

Der Prozess generiert einen Präferenzdatensatz $\mathcal{D}_{SC}$ , der aus Paaren $(x, y^+, y^-)$ besteht, wobei:

$y^-$ : Die initiale halluzinierte Antwort.
$y^+$ : Die finale selbstkorrigierte, angereicherte Antwort.
Trainingsziel: Das Modell wird unter Verwendung der Standard-DPO-Verlustfunktion optimiert, um die Wahrscheinlichkeit von $y^+$ gegenüber $y^-$ zu maximieren und das Modell effektiv zu lehren, seine eigenen verifizierten, faktischen Ausgaben zu bevorzugen.

3. Hauptbeiträge

Verteilungskonforme Ausrichtung: AVES-DPO ist das erste Framework, das Präferenzpaare strikt aus dem intrinsischen Wissen des Zielmodells generiert und damit das bei der Verwendung externer „Lehrer"-Modelle inhärente Problem der Verteilungsinkonsistenz löst.
Umfassende Halluzinationsminderung: Im Gegensatz zu früheren Arbeiten, die sich hauptsächlich auf die Objekexistenz konzentrierten, adressiert AVES-DPO ein breites Spektrum an Halluzinationen, einschließlich Attribute und Beziehungen, durch seine granulare Verifikationspipeline.
Hohe Dateneffizienz: Die Methode erzielt State-of-the-Art-Leistung mit nur 5,2k Beispielen (für das 7B-Modell), was etwa 25-mal weniger Daten entspricht als Methoden wie LLaVA-RLHF, ohne dass teure proprietäre API-Aufrufe erforderlich sind.
Robuste Verifikationspipeline: Die Einführung einer zweiphasigen, konsensbasierten Verifikationsstrategie (Kombination aus Detektoren und VLMs) gewährleistet hochwertige, rauschfreie Präferenzdaten.

4. Experimentelle Ergebnisse

Die Autoren bewerteten AVES-DPO an LLaVA-1.5 (7B und 13B) über mehrere Benchmarks hinweg:

Halluzinations-Benchmarks (Object-Hal, AMBER, MMHal-Bench):
- AVES-DPO erreichte SOTA-Leistung bei über 60% der Evaluierungsmetriken für das 7B-Modell.
- Es reduzierte die CHAIR-Werte (Halluzinationsraten) im Vergleich zu Baselines wie POVID, oDPO und SENTINEL signifikant.
- Feingranulare Verbesserungen: Die Methode zeigte erhebliche Fortschritte in den Kategorien Beziehungen und Attribute, in denen andere Methoden oft scheitern. Beispielsweise erzielte sie auf dem AMBER-Benchmark in der Kategorie „Relation" für das 7B-Modell einen Score von 66,6 und übertraf damit Baselines, die in diesem Bereich oft eine Verschlechterung der Leistung zeigten.
Allgemeine multimodale Fähigkeiten (MME-Benchmark):
- Das 7B-Modell zeigte signifikante Verbesserungen bei allgemeinen Wahrnehmungs- und Erkennungsaufgaben, was bestätigt, dass die Minderung von Halluzinationen die allgemeinen Fähigkeiten nicht beeinträchtigte.
- Hinweis: Das 13B-Modell zeigte einen leichten Trade-off bei allgemeinen Benchmarks, was auf die Notwendigkeit skalenbewusster Strategien hindeutet, um faktische Verankerung mit breitem Wissensabruf in Einklang zu bringen.
Ablationsstudien:
- Verteilungsbedingte Diskrepanz: Die Visualisierung der Präferenzmargen zeigte, dass die Selbstkorrektur mit der internen Verteilung des Modells übereinstimmt (Marge nahe null/positiv), wohingegen externe GPT-4V-Überwachung eine negative Verschiebung (Verteilungsinkonsistenz) verursachte.
- Dateneffizienz: Leistungssteigerungen waren bereits mit nur 600 Beispielen signifikant, wobei ab 5,2k Beispielen abnehmende Grenzerträge beobachtet wurden.

5. Bedeutung

Dieses Paper stellt einen Paradigmenwechsel in der Halluzinationsminderung für LVLMs dar. Indem es demonstriert, dass Selbstkorrektur für das Präferenzlernen externer Überwachung überlegen ist, bietet AVES-DPO eine kosteneffektive, skalierbare und dateneffiziente Lösung. Es beseitigt die Abhängigkeit von teuren proprietären APIs (wie GPT-4V) und adressiert gleichzeitig ein breiteres Spektrum an Halluzinationstypen (Objekte, Attribute, Relationen). Das Framework beweist, dass LVLMs effektiv lernen können, sich an ihre eigenen internen Wissensbasen auszurichten, um faktischere und zuverlässigere Ausgaben zu produzieren.