💬 NLP

PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment

Dit artikel introduceert Perception-Enhanced Alignment Direct Preference Optimization (PEA-DPO), een nieuw framework dat de visuele ongevoeligheid van multimodale grote taalmodellen aanpakt door expliciet gebruik te maken van visuele voorkeurssignalen, waardoor hallucinaties aanzienlijk worden verminderd en de multimodale afstemming wordt verbeterd terwijl de taalvaardigheden behouden blijven.

Oorspronkelijke auteurs: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Gepubliceerd 2026-08-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie systemen opgekomen die tegelijkertijd kunnen zien en spreken. Deze multimodale grote taalmodellen zijn getraind om naar een afbeelding te kijken en te beschrijven wat ze zien, of om vragen over een foto te beantwoorden. Om deze machines werkelijk nuttig en veilig te maken, moeten ze in lijn worden gebracht met menselijke waarden, wat betekent dat hun antwoorden accuraat, behulpzaam en geworteld moeten zijn in de visuele realiteit die aan hen wordt gepresenteerd. Een grote uitdaging bij het onderwijzen van deze systemen is geweest dat ze de neiging hebben tot hallucinaties, ofwel het zelfverzekerd beschrijven van objecten of handelingen die er simpelweg niet zijn. Om dit op te lossen, hebben onderzoekers zich gericht op een techniek genaamd direct preference optimization, een methode die het model leert door het paren van antwoorden te tonen — één goed en één slecht — en het te vragen te leren waarom de eerste beter is. Deze aanpak heeft wonderen verricht voor tekstgebaseerde modellen, maar wanneer het wordt toegepast op systemen die ook afbeeldingen verwerken, is een verborgen gebrek ontdekt dat voorkomt dat ze het verschil echt "zien" tussen een heldere foto en een foto waarbij de belangrijkste details zijn afgedekt.

Een team van onderzoekers aan de University of Science and Technology of China en de National University of Singapore heeft deze specifieke zwakte geïdentificeerd en een nieuw framework ontwikkeld om dit te genezen. Ze ontdekten dat standaard trainingsmethoden de afbeelding vaak behandelen als louter een achtergrond, een statische setting voor het gesprek, in plaats van als de primaire bron van waarheid waar het model op moet vertrouwen. Hierdoor werden de modellen visueel ongevoelig. In hun experimenten toonden de onderzoekers aan dat deze modellen het verschil niet konden zien tussen een foto van mensen die een picknick houden en een foto van mensen die lezen, zelfs wanneer het visuele bewijs voor het een volledig was verwijderd. De modellen genereerden bijna identieke reacties voor beide, waarbij ze niet merkten dat de cruciale visuele aanwijzingen ontbraken. Ze hadden ook moeite met het onderscheiden van specifieke objecten binnen één enkele afbeelding, zoals het verwarren van een toiletborstel met een generiek gereedschap, omdat ze niet nauw genoeg letten op de kritieke visuele kenmerken die het object definiëren.

Om dit op te lossen, creëerden de onderzoekers een methode die zij Perception-Enhanced Alignment noemen. In plaats van het model alleen te leren om het betere tekstuele antwoord te kiezen, hebben ze het trainingsproces herontworpen om het model te dwingen aandacht te besteden aan de visuele context zelf. Ze begonnen door een heldere afbeelding te nemen en een reeks gewijzigde versies te maken waarbij willekeurige delen waren gemaskeerd. Met behulp van een apart, zeer gevoelig visueel systeem identificeerden ze welke gewijzigde versie de meeste kritieke informatie had verloren, waardoor effectief een "afgewezen" afbeelding werd gecreëerd die de essentiële details miste om een vraag correct te beantwoorden. Vervolgens koppelden ze deze afbeelding met ontbrekende informatie aan de originele, volledige afbeelding. Tijdens de training werd het model gepresenteerd met dezelfde vraag en hetzelfde tekstuele antwoord, maar eerst getoond met de volledige afbeelding en daarna met de onvolledige afbeelding. Het model werd geleerd dat het de voorkeur sterk moet geven aan het antwoord wanneer het over het volledige visuele bewijs beschikt, en dat het de voorkeur minder betrouwbaar moet vinden wanneer de cruciale visuele context ontbreekt.

Deze dubbele aanpak leerde het model twee dingen tegelijkertijd. Ten eerste leerde het om onderscheid te maken tussen een goed tekstueel antwoord en een slecht antwoord, net als voorheen. Ten tweede, en belangrijker nog, leerde het te herkennen wanneer het visuele bewijs onvoldoende was om een bewering te ondersteunen. De onderzoekers testten deze nieuwe methode op twee verschillende groottes van beeld-tekstmodellen, één met zeven miljard parameters en een andere met dertien miljard. De resultaten waren opmerkelijk. Op standaardtests die bedoeld zijn om te meten hoe vaak deze modellen dingen verzinnen, verminderde de nieuwe methode hallucinaties met significante marges. Voor het kleinere model daalde de snelheid van verzonnen details met bijna een derde op één belangrijke benchmark, en met meer dan negentig procent op een andere. Het grotere model vertoonde vergelijkbare verbeteringen en presteerde vaak zelfs beter dan sommige van de meest geavanceerde commerciële systemen die beschikbaar zijn. De modellen werden veel beter in het beschrijven van wat er precies in de foto zat, zoals het correct identificeren van een boektitel of een specifiek gereedschap, in plaats van te gokken op basis van algemene kennis.

De onderzoekers controleerden ook of deze nieuwe focus op visuele nauwkeurigheid de modellen niet slechter maakte in andere taken. Ze vonden dat de modellen hun vermogen behielden om instructies op te volgen en algemene vragen te beantwoorden, en in sommige gevallen verbeterde hun prestaties op deze algemene taken zelfs licht. De enige merkbare afruil was dat de modellen iets conservatiever werden; ze waren minder geneigd te gokken wanneer ze onzeker waren, wat betekende dat ze soms minder details gaven, maar de details die ze wel boden, waren veel vaker waar. Door het model expliciet te leren om het visuele bewijs evenveel waarde te hechten als de tekst, hebben de onderzoekers aangetoond dat het mogelijk is om kunstmatige intelligentie te bouwen die niet alleen naar een foto kijkt, maar deze ook echt ziet. Dit werk suggereert dat voor machines om betrouwbare partners te zijn in het begrijpen van de visuele wereld, ze getraind moeten worden om het gewicht van ontbrekende informatie te voelen, zodat hun zelfverzekerdheid altijd overeenkomt met de helderheid van wat er daadwerkelijk voor hun ogen ligt.

Technische Samenvatting: PEA-DPO

Probleemstelling

Hoewel Direct Preference Optimization (DPO) effectief is gebleken voor het afstemmen van tekstgebaseerde Large Language Models (LLMs) op menselijke voorkeuren, onthult de directe toepassing ervan op Multimodale Large Language Models (MLLMs) een kritieke beperking: visuele ongevoeligheid. De auteurs stellen vast dat standaard multimodale DPO afbeeldingen vaak slechts behandelt als statische conditionele inputs in plaats van actieve doelwitten van voorkeur. Als gevolg hiervan slagen modellen er niet in om een originele afbeelding te onderscheiden van een afbeelding waarbij cruciale visuele context is verwijderd, wat leidt tot reacties die zwak gegrond zijn in visueel bewijs.

Door middel van representatieve analyse en theoretische decompositie formaliseren de auteurs dit falen in twee verschillende manifestaties:

Across-Image Insensitivity (Ongevoeligheid tussen afbeeldingen): Het model wijst bijna identieke voorkeursscores toe aan reacties gegenereerd uit verschillende afbeeldingen (bijv. het niet kunnen differentiëren tussen een afbeelding van een buitenactiviteit zoals lezen en een picknick), wat duidt op een gebrek aan discriminatie tussen verschillende visuele contexten.
Within-Image Insensitivity (Ongevoeligheid binnen afbeeldingen): Het model slaagt er niet in om semantisch cruciale aanwijzingen te onderscheiden van irrelevante aanwijzingen binnen dezelfde afbeelding (bijv. het verwarren van een toiletborstel met een generiek gereedschap), wat leidt tot hallucinaties zelfs wanneer het juiste visuele bewijs aanwezig is.

Methodologie: PEA-DPO

Om deze beperkingen aan te pakken, stellen de auteurs Perception-Enhanced Alignment DPO (PEA-DPO) voor. Dit framework verschuift het optimalisatieparadigma van het behandelen van afbeeldingen als statische context naar het gezamenlijk optimaliseren van de kwaliteit van de reactie en de voorkeuren van de visuele context.

1. Constructie van Perception-Enhanced Preference Data

De methode genereert hoogwaardige visuele voorkeursparen door expliciet cruciale visuele context te verwijderen:

Perturbatie: Beginnend met een gekozen afbeelding ( $m_w$ ), past het systeem willekeurige maskers toe om een set kandidaat-geperverteerde afbeeldingen te genereren.
Selectie via CLIP: Met behulp van CLIP-embeddings berekent het systeem de semantische gelijkenis tussen de originele en de geperverteerde afbeeldingen. De geperverteerde afbeelding met de laagste gelijkenisscore (wat duidt op het verwijderen van de meest cruciale visuele context) wordt geselecteerd als de afgewezen afbeelding ( $m_l$ ).
Datastructuur: Dit creëert een voorkroepelt $(x, m_w, m_l, y_w)$ , waarbij het model moet leren de voorkeur te geven aan de reactie $y_w$ wanneer geconditioneerd op de volledige afbeelding $m_w$ boven de context-gereduceerde afbeelding $m_l$ .

2. Gezamenlijke Optimalisatie-objectief

PEA-DPO introduceert een duaal-objectief verliesfunctie die gelijktijdig twee complementaire signalen optimaliseert:

Response Quality Preference Optimization (RPO): De standaard multimodale DPO-term waarbij het model leert de voorkeur te geven aan een hoogwaardige reactie ( $y_w$ ) boven een kwalitatief lagere reactie ( $y_l$ ) gegeven dezelfde afbeelding ( $m_w$ ).
Visual Context Preference Optimization (VPO): Een nieuwe term waarbij het model leert de voorkeur te geven aan de reactie $y_w$ wanneer geconditioneerd op de volledige afbeelding ( $m_w$ ) boven dezelfde reactie geconditioneerd op de context-gereduceerde afbeelding ( $m_l$ ).

Het uiteindelijke objectief combineert deze termen:
$\mathcal{L}_{PEA-DPO} = \mathcal{L}_{RPO} + \alpha \cdot \mathcal{L}_{VPO}$

Om de computationele overhead te verminderen en de controleerbaarheid te verbeteren, verfijnen de auteurs dit verder tot mPEA-DPO door:

Log-waarschijnlijkheidsratio's te vervangen door lengte-genormaliseerde log-waarschijnlijkheden (waardoor een referentiemodel niet langer nodig is).
De sigmoid-functie te vervangen door ReLU om triviale datapunten te filteren.
Doelmarges ( $\gamma_r, \gamma_m$ ) te introduceren om minimale scheidingen tussen geprefereerde en afgewezen paren af te dwingen.

Theoretische Analyse

Het artikel biedt een theoretisch bewijs dat aantoont dat mPEA-DPO de geïdentificeerde foutmodi rechtstreeks tegengaat:

Across-Image Insensitivity komt overeen met een bijna nul afbeeldingsniveau-marge ( $G_m$ ), wat de onmogelijkheid van het model vertegenwoordigt om te differentiëren tussen $m_w$ en $m_l$ . De $\mathcal{L}_{VPO}$ -term dwingt hier expliciet een positieve marge af.
Within-Image Insensitivity komt overeen met een bijna nul reactieniveau-marge ( $G_r$ ), wat de onmogelijkheid van het model vertegenwoordigt om te differentiëren tussen $y_w$ en $y_l$ , zelfs met de juiste visuele input. De $\mathcal{L}_{RPO}$ -term dwingt deze marge af.
De auteurs bewijzen dat de lineaire combinatie van deze termen in mPEA-DPO bewezen beide marges vergroot, waardoor beide foutmodi simultaan worden aangepakt.

Experimentele Resultaten

De auteurs evalueerden mPEA-DPO op LLaVA-v1.5 modellen (7B en 13B parameters) over drie hallucinatie-benchmarks: MMHal-Bench, Object HalBench, en AMBER.

Reductie van Hallucinaties: mPEA-DPO verminderde de hallucinatiecijfers aanzienlijk. Voor het 7B-model verminderde het het MMHal-Bench hallucinatiecijfer met 33% vergeleken met het basismodel. Op Object HalBench bereikte het reducties van 92% (reactieniveau) en 87% (objectniveau) in hallucinatiecijfers.
Vergelijking met SOTA: De methode presteerde beter dan bestaande open-source RLHF/RLAIF-gebaseerde baselines (bijv. LLaVA-RLHF, mDPO, OPA-DPO, DAMA) op de meerderheid van de hallucinatie-metrieken. Hoewel propriëtaire modellen zoals GPT-4V en Gemini-2.5-Pro hogere algemene scores behaalden op MMHal-Bench en lagere CHAIR-scores op Object HalBench, toonde mPEA-DPO superieure prestaties in het reduceren van hallucinatiecijfers vergeleken met andere open-source methoden. Opvallend genoeg, op de AMBER-benchmark, behaalde mPEA-DPO (7B) een hallucinatiecijfer van 10.3 en een cognitiescore van 0.6, waarmee het GPT-4V aanzienlijk versloeg, dat een hallucinatiecijfer van 30.7 en een cognitiescore van 2.6 registreerde.
Ablatie-studies:
- Zowel de RPO- als de VPO-componenten bleken individueel effectief, maar hun combinatie leverde de beste prestaties op.
- De voorgestelde "Perception-Enhanced" strategie voor het construeren van geperverteerde afbeeldingen (het verwijderen van cruciale context via CLIP-selectie) presteerde beter dan alternatieve strategieën zoals willekeurige blokmaskering, rotatie, cropping of totale zwartheid.
- Prestaties schaalden positief met de omvang van de trainingsdata, wat effectiviteit toonde zelfs met kleinere datasets (2.8k instanties).
Algemene Capaciteiten: Evaluaties op algemene benchmarks (MMStar, AI2D, LLaVA-Bench, MMMU) gaven aan dat mPEA-DPO de instructie-opvolging en algemene redeneercapaciteiten behield of licht verbeterde, wat suggereert dat de methode de algemene prestaties niet verslechtert.

Betekenis en Claims

Het artikel claimt dat PEA-DPO een fundamentele kloof in huidige multimodale afstemming aanpakt: de neiging van modellen om visueel bewijs te negeren bij het optimaliseren voor tekstuele voorkeuren. Door expliciet visuele ongevoeligheid te modelleren en een duaal voorkeur-leersysteem te introduceren, demonstreren de auteurs dat:

Visuele ongevoeligheid een meetbare en corrigeerbare foutmodus is in multimodale DPO.
Het expliciet benutten van visuele voorkeurssignalen (vergelijken van volledige versus context-gereduceerde afbeeldingen) noodzakelijk is om MLLM-reacties te verankeren in visueel bewijs.
De voorgestelde methode state-of-the-art prestaties bereikt onder open-source methoden in het reduceren van hallucinaties, terwijl de algemene taalcapaciteiten van het basismodel behouden blijven, waarbij het superieur is aan andere open-source baselines en competitieve prestaties vertoont tegenover propriëtaire modellen op specifieke hallucinatie-metrieken.

De auteurs merken beperkingen op, waaronder de extra computationele kosten voor het genereren van perception-enhanced data en een lichte afruil in coverage-metrieken (wat wijst op een conservatievere generatiestrategie), maar concluderen dat het framework een robuust pad biedt naar meer betrouwbare en visueel gegronde MLLMs.