💬 NLP

PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment

Dieses Paper stellt die Perception-Enhanced Alignment Direct Preference Optimization (PEA-DPO) vor, ein neuartiges Framework, das die visuelle Unempfindlichkeit multimodaler großer Sprachmodelle adressiert, indem es explizit visuelle Präferenzsignale nutzt, wodurch Halluzinationen signifikant reduziert und die multimodale Ausrichtung verbessert werden, während gleichzeitig die Sprachfähigkeiten erhalten bleiben.

Ursprüngliche Autoren: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Veröffentlicht 2026-08-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist eine neue Generation von Systemen entstanden, die gleichzeitig sehen und sprechen können. Diese multimodalen großen Sprachmodelle werden darauf trainiert, ein Bild zu betrachten und zu beschreiben, was sie sehen, oder Fragen zu einer Fotografie zu beantworten. Damit diese Maschinen wirklich nützlich und sicher sind, müssen sie mit menschlichen Werten übereinstimmen, was bedeutet, dass ihre Antworten präzise, hilfreich und in der vorliegenden visuellen Realität fundiert sein müssen. Eine große Herausforderung bei der Lehre dieser Systeme war die Tendenz zu halluzinieren, also selbstbewusst Objekte oder Handlungen zu beschreiben, die einfach nicht da sind. Um dies zu beheben, haben Forscher eine Technik namens Direct Preference Optimization genutzt, eine Methode, die das Modell lehrt, indem sie ihm Paare von Antworten zeigt – eine gute und eine schlechte – und es fragt, warum die erste besser ist. Dieser Ansatz hat bei reinen Textmodellen Wunder bewirkt, aber bei der Anwendung auf Systeme, die auch Bilder verarbeiten, wurde ein verborgener Fehler entdeckt, der verhindert, dass sie den Unterschied zwischen einem klaren Foto und einem, bei dem die wichtigsten Details verdeckt wurden, wirklich „sehen“.

Ein Team von Forschern der University of Science and Technology of China und der National University of Singapore hat diese spezifische Schwäche identifiziert und einen neuen Rahmen entwickelt, um sie zu heilen. Sie fanden heraus, dass Standard-Trainingsmethoden das Bild oft lediglich als Hintergrund behandeln, als statische Kulisse für das Gespräch, anstatt als die primäre Quelle der Wahrheit, auf die sich das Modell verlassen muss. Aus diesem Grund wurden die Modelle visuell unempfindlich. In ihren Experimenten zeigten die Forscher, dass diese Modelle nicht zwischen einem Bild von Menschen beim Picknick und einem Bild von Menschen beim Lesen unterscheiden konnten, selbst wenn die visuellen Beweise für eines davon vollständig entfernt wurden. Die Modelle generierten nahezu identische Antworten für beide Fälle und versäumten es, zu bemerken, dass die entscheidenden visuellen Hinweise fehlten. Sie hatten auch Schwierigkeiten, spezifische Objekte innerhalb eines einzelnen Bildes zu unterscheiden, wie etwa eine Toilettenbürste mit einem generischen Werkzeug zu verwechseln, weil sie nicht genau genug auf die kritischen visuellen Merkmale achteten, die das Objekt definierten.

Um dies zu lösen, entwickelten die Forscher eine Methode, die sie Perception-Enhanced Alignment nennen. Anstatt das Modell nur zu lehren, die bessere Textantwort auszuwählen, gestalteten sie den Trainingsprozess um, um das Modell zu zwingen, der visuellen Umgebung selbst Aufmerksamkeit zu schenken. Sie begannen damit, ein klares Bild zu nehmen und eine Reihe veränderter Versionen zu erstellen, bei denen zufällige Teile maskiert wurden. Mithilfe eines separaten, hochsensiblen visuellen Systems identifizierten sie, welche veränderte Version die kritischsten Informationen verloren hatte, wodurch effektiv ein „abgelehntes“ Bild entstand, dem die entscheidenden Details fehlten, die nötig waren, um eine Frage korrekt zu beantworten. Dann paarten sie dieses Bild mit fehlender Information mit dem ursprünglichen, vollständigen Bild. Während des Trainings wurde dem Modell dieselbe Frage und dieselbe Textantwort präsentiert, aber zuerst mit dem vollständigen Bild und dann mit dem unvollständigen Bild gezeigt. Dem Modell wurde beigebracht, dass es die Antwort stark bevorzugen sollte, wenn es die vollständigen visuellen Beweise hatte, und dass es die Antwort als weniger zuverlässig anerkennen sollte, wenn der entscheidende visuelle Kontext fehlte.

Dieser duale Ansatz lehrte das Modell zwei Dinge gleichzeitig. Erstens lernte es, zwischen einer guten Textantwort und einer schlechten zu unterscheiden, genau wie zuvor. Zweitens, und noch wichtiger, lernte es zu erkennen, wann die visuellen Beweise unzureichend waren, um eine Behauptung zu stützen. Die Forscher testeten diese neue Methode an zwei verschiedenen Größen von Bild-Text-Modellen, einem mit sieben Milliarden Parametern und einem mit dreizehn Milliarden. Die Ergebnisse waren beeindruckend. In Standardtests, die darauf ausgelegt waren, zu messen, wie oft diese Modelle Dinge erfinden, reduzierte die neue Methode Halluzinationen um signifikante Margen. Beim kleineren Modell sank die Rate der erfundenen Details bei einem wichtigen Benchmark um fast ein Drittel und bei einem anderen um über neunzig Prozent. Das größere Modell zeigte ähnliche Verbesserungen und übertraf oft sogar einige der fortschrittlichsten kommerziell verfügbaren Systeme. Die Modelle wurden viel besser darin, genau zu beschreiben, was im Bild zu sehen war, wie etwa einen Buchtitel oder ein spezifisches Werkzeug korrekt zu identifizieren, anstatt basierend auf allgemeinem Wissen zu raten.

Die Forscher prüften auch, um sicherzustellen, dass dieser neue Fokus auf visuelle Genauigkeit die Modelle nicht bei anderen Aufgaben schlechter macht. Sie fanden heraus, dass die Modelle ihre Fähigkeit behielten, Anweisungen zu befolgen und allgemeine Fragen zu beantworten, und in einigen Fällen sich ihre Leistung bei diesen allgemeinen Aufgaben sogar leicht verbesserte. Der einzige spürbare Kompromiss war, dass die Modelle etwas konservativer wurden; sie waren weniger geneigt zu raten, wenn sie sich unsicher waren, was bedeutete, dass sie manchmal insgesamt weniger Details lieferten, aber die Details, die sie lieferten, waren weitaus wahrscheinlicher wahr. Durch die explizite Lehre des Modells, den visuellen Beweis ebenso wichtig zu nehmen wie den Text, demonstrierten die Forscher, dass es möglich ist, künstliche Intelligenz zu bauen, die nicht nur ein Bild betrachtet, sondern es wirklich sieht. Diese Arbeit legt nahe, dass Maschinen, um zuverlässige Partner im Verständnis der visuellen Welt zu sein, darauf trainiert werden müssen, das Gewicht fehlender Informationen zu spüren, um sicherzustellen, dass ihr Vertrauen stets der Klarheit dessen entspricht, was tatsächlich vor ihren Augen liegt.

Technisches Resümee: PEA-DPO

Problemstellung

Während Direct Preference Optimization (DPO) sich als effektiv bei der Ausrichtung textbasierter Large Language Models (LLMs) an menschliche Präferenzen erwiesen hat, offenbart seine direkte Anwendung auf Multimodale Large Language Models (MLLMs) eine kritische Einschränkung: visuelle Unsensitivität. Die Autoren identifizieren, dass Standard-multimodales DPO Bilder oft lediglich als statische Konditionierungseingaben behandelt, statt als aktive Ziele der Präferenz. Infolgedessen versagen die Modelle dabei, zwischen einem Originalbild und einem Bild, dem kritischer visueller Kontext entzogen wurde, zu unterscheiden, was zu Antworten führt, die nur schwach in visuellen Belegen fundiert sind.

Durch Repräsentationsanalyse und theoretische Dekomposition formalisieren die Autoren dieses Versagen in zwei distinkten Manifestationen:

Bildübergreifende Unsensitivität (Across-Image Insensitivity): Das Modell weist nahezu identische Präferenzwerte für Antworten zu, die von unterschiedlichen Bildern generiert wurden (z. B. die Unfähigkeit, zwischen einem Bild einer Outdoor-Leseaktivität und einem Picknick zu unterscheiden), was auf einen Mangel an Diskriminierung zwischen verschiedenen visuellen Kontexten hindeutet.
Innerhalb-Bild-Unsensitivität (Within-Image Insensitivity): Das Modell versagt dabei, semantisch kritische Merkmale von irrelevanten Merkmalen innerhalb desselben Bildes zu unterscheiden (z. B. die Verwechslung einer Toilettenbürste mit einem generischen Werkzeug), was zu Halluzinationen führt, selbst wenn die korrekten visuellen Belege vorhanden sind.

Methodik: PEA-DPO

Um diese Einschränkungen zu adressieren, schlagen die Autoren Perception-Enhanced Alignment DPO (PEA-DPO) vor. Dieses Framework verschiebt das Optimierungsparadigma von der Behandlung von Bildern als statischem Kontext hin zur gemeinsamen Optimierung der Antwortqualität und der visuellen Kontextpräferenzen.

1. Konstruktion von perzeptionsverstärkten Präferenzdaten

Die Methode generiert hochwertige visuelle Präferenzpaare, indem sie explizit kritischen visuellen Kontext entfernt:

Perturbation: Ausgehend von einem gewählten Bild ( $m_w$ ) wendet das System zufällige Maskierungen an, um eine Menge an Kandidaten-perturbierten Bildern zu erzeugen.
Selektion via CLIP: Unter Verwendung von CLIP-Embeddings berechnet das System die semantische Ähnlichkeit zwischen dem Originalbild und den perturbierten Bildern. Das perturbierte Bild mit dem niedrigsten Ähnlichkeitswert (was die Entfernung des kritischsten visuellen Kontextes anzeigt) wird als das abgelehnte Bild ( $m_l$ ) ausgewählt.
Datenstruktur: Dies erzeugt ein Präferenz-Triplet $(x, m_w, m_l, y_w)$ , bei dem das Modell lernen muss, die Antwort $y_w$ bevorzugt, wenn es auf das vollständige Bild $m_w$ konditioniert ist, gegenüber der kontextreduzierten Version $m_l$ .

2. Gemeinsames Optimierungsziel

PEA-DPO führt eine duale Optimierungsfunktion ein, die gleichzeitig zwei komplementäre Signale optimiert:

Response Quality Preference Optimization (RPO): Der Standard-multimodale DPO-Term, bei dem das Modell lernt, eine qualitativ hochwertige Antwort ( $y_w$ ) gegenüber einer qualitativ minderwertigen Antwort ( $y_l$ ) bei gegebenem Bild ( $m_w$ ) zu bevorzugen.
Visual Context Preference Optimization (VPO): Ein neuartiger Term, bei dem das Modell lernt, die Antwort $y_w$ zu bevorzugen, wenn sie auf das vollständige Bild ( $m_w$ ) konditioniert ist, gegenüber derselben Antwort, die auf das kontextreduzierte Bild ( $m_l$ ) konditioniert ist.

Das finale Ziel kombiniert diese Terme:
$\mathcal{L}_{PEA-DPO} = \mathcal{L}_{RPO} + \alpha \cdot \mathcal{L}_{VPO}$

Um den Rechenaufwand zu reduzungen und die Steuerbarkeit zu verbessern, verfeinern die Autoren dies weiter zu mPEA-DPO durch:

Ersetzung von Log-Wahrscheinlichkeits-Verhältnissen durch längen-normalisierte Log-Wahrscheinlichkeiten (was das Notwendigmachen eines Referenzmodells eliminiert).
Ersetzung der Sigmoid-Funktion durch ReLU, um triviale Datenpunkte zu filtern.
Einführung von Ziel-Margen ( $\gamma_r, \gamma_m$ ), um minimale Abstände zwischen bevorzugten und abgelehnten Paaren zu erzwingen.

Theoretische Analyse

Das Paper liefert einen theoretischen Beweis, der zeigt, dass mPEA-DPO die identifizierten Fehlermodi direkt mildert:

Bildübergreifende Unsensitivität entspricht einer nahezu Null-Bild-Margen ( $G_m$ ), was die Unfähigkeit des Modells repräsentiert, zwischen $m_w$ und $m_l$ zu unterscheiden. Der $\mathcal{L}_{VPO}$ -Term erzwingt hier explizit eine positive Marge.
Innerhalb-Bild-Unsensitivität entspricht einer nahezu Null-Antwort-Margen ( $G_r$ ), was die Unfähigkeit des Modells repräsentiert, zwischen $y_w$ und $y_l$ zu unterscheiden, selbst bei korrektem visuellem Input. Der $\mathcal{L}_{RPO}$ -Term erzwingt diese Marge.
Die Autoren beweisen, dass die lineare Kombination dieser Terme in mPEA-DPO nachweislich beide Margen vergrößert und somit beide Fehlermodi gleichzeitig adressiert.

Experimentelle Ergebnisse

Die Autoren evaluierten mPEA-DPO auf LLaVA-v1.5 Modellen (7B und 13B Parameter) über drei Halluzinations-Benchmarks hinweg: MMHal-Bench, Object HalBench und AMBER.

Reduktion von Halluzinationen: mPEA-DPO reduzierte die Halluzinationsraten signifikant. Für das 7B-Modell reduzierte es die MMHal-Bench Halluzinationsrate im Vergleich zum Basismodell um 33 %. Auf Object HalBench erreichte es Reduktionen von 92 % (Antwort-Ebene) und 87 % (Objekt-Ebene) bei den Halluzinationsraten.
Vergleich mit SOTA: Die Methode übertraf bestehende Open-Source-RLHF/RLAIF-basierte Baselines (z. B. LLaVA-RLHF, mDPO, OPA-DPO, DAMA) in der Mehrzahl der Hallusions-Metriken. Während proprietäre Modelle wie GPT-4V und Gemini-2.5-Pro höhere Gesamtscores auf MMHal-Bench und niedrigere CHAIR-Scores auf Object HalBench erzielten, zeigte mPEA-DPO eine überlegene Leistung bei der Reduktion von Halluzinationsraten im Vergleich zu anderen Open-Source-Methoden. Bemerkenswerterweise erreichte mPEA-DPO (7B) auf dem AMBER-Benchmark eine Halluzinationsrate von 10,3 und einen Kognitionsscore von 0,6, womit es GPT-4V, das eine Halluzinationsrate von 30,7 und einen Kognitionsscore von 2,6 verzeichnete, deutlich übertraf.
Ablationsstudien:
- Sowohl RPO als auch VPO wurden als einzeln effektiv befunden, aber ihre Kombination lieferte die beste Leistung.
- Die vorgeschlagene "Perception-Enhanced"-Strategie zur Konstruktion abgelehnter Bilder (Entfernung des Schlüsselkontexts via CLIP-Selektion) übertraf alternative Strategien wie zufällige Block-Maskierung, Rotation, Cropping oder totale Schwärzung.
- Die Leistung skalierte positiv mit der Trainingsdatengröße und zeigte Effektivität selbst mit kleineren Datensätzen (2,8k Instanzen).
Allgemeine Fähigkeiten: Evaluierungen auf allgemeinen Benchmarks (MMStar, AI2D, LLaVA-Bench, MMMU) zeigten, dass mPEA-DPO die Instruktionsbefolgung und das allgemeine Reasoning-Vermögen entweder bewahrte oder leicht verbesserte, was darauf hindeutet, dass die Methode die allgemeine Leistung nicht beeinträchtigt.

Bedeutung und Behauptungen

Das Paper behauptet, dass PEA-DPO eine fundamentale Lücke in der aktuellen multimodalen Ausrichtung adressiert: die Tendenz von Modellen, visuelle Belege zu ignorieren, wenn sie auf Textpräferenzen optimiert werden. Durch die explizite Modellierung von visueller Unsensitivität und die Einführung eines dualen Präferenzlern-Frameworks demonstrieren die Autoren, dass:

Visuelle Unsensitivität ein messbarer und korrigierbarer Fehlermodus in multimodalem DPO ist.
Die explizite Nutzung visueller Präferenzsignale (Vergleich von vollständigen vs. kontextreduzierten Bildern) notwendig ist, um die MLLM-Antworten in visuellen Belegen zu verankern.
Die vorgeschlagene Methode eine State-of-the-Art-Leistung unter den Open-Source-Methoden bei der Reduktion von Halluzinationen erreicht, während sie die allgemeinen Sprachfähigkeiten des Basismodells beibehält, wobei sie andere Open-Source-Baselines übertrifft und im Vergleich zu proprietären Modellen auf spezifischen Hallusions-Metriken wettbewerbsfähig bleibt.

Die Autoren merken Einschränkungen an, einschließlich der zusätzlichen Rechenkosten für die Generierung von perzeptionsverstärkten Daten und eines leichten Trade-offs in den Coverage-Metriken (was auf eine konservativere Generierungsstrategie hindeutet), kommen aber zu dem Schluss, dass das Framework einen robusten Weg zu zuverlässigeren und visuell besser fundierten MLLMs bietet.