💻 computer science

Context Blindness in DPO: Mitigating Object Hallucination in MLLMs via Context-Calibrated Preference Optimization

Dit artikel stelt vast dat standaard Direct Preference Optimization (DPO) contextuele informatie onderbenut, wat leidt tot objecthallucinaties in Multimodale Grote Taalmodellen, en stelt Context-Calibrated DPO (C²-DPO) voor, een methode die expliciet de Contextuele Voorkeurswinst maximaliseert om hallucinaties aanzienlijk te verminderen terwijl algemene redeneervaardigheden behouden blijven.

Oorspronkelijke auteurs: Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

Gepubliceerd 2026-08-13

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot leert om de wereld om zich heen te beschrijven. Je laat een foto van een hond zien en vraagt: "Wat zie je?" Ideaal gezien zou de robot moeten zeggen: "Ik zie een hond." Maar soms worden deze AI-modellen een beetje té creatief. Ze kunnen bijvoorbeeld zeggen: "Ik zie een hond met een rode hoed," ook al zit er geen hoed op de foto. Dit wordt "hallucinatie" genoemd. Het is alsof de robot dagdroomt in plaats van te kijken naar wat er daadwerkelijk aanwezig is.

Om dit op te lossen, gebruiken wetenschappers een trainingsmethode genaamd "Preference Optimization". Denk aan een spelletje "Warm of Koud". Je laat de robot twee antwoorden zien: één die waar is (het "warme" antwoord) en één die verzonnen is (het "koude" antwoord). De robot leert het warme antwoord te kiezen. Onlangs probeerden onderzoekers dit nog beter te maken door de robot extra aanwijzingen te geven, zoals een geschreven beschrijving van de foto, in de hoop dat de robot deze aanwijzingen zou gebruiken om te stoppen met dagdromen. Maar hier is de grote vraag: gebruikt de robot die aanwijzingen echt, of negeert hij ze gewoon en raadt hij maar wat?

Dit is precies waar het paper "Context Blindness in DPO" onderzoek naar doet. De auteurs, een team van onderzoekers van Korea University en KAST, ontdekten dat veel AI-modellen, zelfs met die extra aanwijzingen, last hebben van "Context Blindness" (contextblindheid). Ze ontdekten dat de standaard trainingsmethoden de robot niet echt leren om aandacht te besteden aan de extra informatie. Om dit op te lossen, hebben ze een nieuwe trainingsmethode uitgevonden genaamd C2-DPO (Context-Calibrated Direct Preference Optimization). In plaats van de robot alleen maar te vertellen welk antwoord beter is, leert C2-DPO de robot om veel meer zelfverzekerd te zijn over het juiste antwoord wanneer hij extra aanwijzingen heeft, en om zelfverzekerd te blijven wanneer die aanwijzingen ontbreken. Hun experimenten laten zien dat deze nieuwe methode het dagdromen van de robot aanzienlijk vermindert, waardoor het een veel betrouwbaardere waarnemer van de echte wereld wordt.

Het Probleem: De Dagdroom-gewoonte van de Robot

Multimodale Large Language Models (MLLM's) zijn als superkrachtige camera's met hersens. Ze kunnen naar een foto kijken en erover praten. Maar ze hebben een irritante gewoonte: ze verzinnen vaak details. Als je ze een foto van een eenvoudig wit bord laat zien, kunnen ze vol zelfvertrouwen zeggen: "Er ligt een stuk pizza op het bord." De zin klinkt perfect, maar het is een leugen. Dit is "object hallucinatie".

Om dit te stoppen, gebruiken wetenschappers een methode genaamd Direct Preference Optimization (DPO). Stel je voor dat je een leraar bent die het essay van een leerling beoordeelt. Je hebt twee versies: één is accuraat, en één zit vol met leugens. Je zegt tegen de leerling: "Ik geef de voorkeur aan de accurate versie." Na verloop van tijd leert de leerling om te schrijven zoals de accurate versie. In de AI-wereld geven onderzoekers het model paren van antwoorden mee — één waar en één gehallucineerd — en trainen het om altijd de ware te kiezen.

Onlangs probeerden sommige onderzoekers de AI nog meer te helpen. Ze voegden een "helper tekst" (zoals een bijschrift) toe aan de foto voordat de vraag werd gesteld. Het idee was: "Als de robot het bijschrift leest én naar de foto kijkt, zal hij niet zoma aantekeningen maken." Maar de auteurs van dit paper stelden een wantrouwige vraag: Leest de robot het bijschrift eigenlijk wel, of negeert hij het gewoon en raadt hij maar wat?

De Ontdekking: De "Blinde" Robot

Om het antwoord te vinden, creëerden de auteurs een eenvoudige test genaamd Contextual Preference Gain (CPG). Denk aan CPG als een "Zelfvertrouwenmeter".

Zo werkt de test:

De Volledige Context: Je laat de robot een foto plus een behulpzaam bijschrift zien. Je vraagt: "Ligt er een pizza op het bord?" De robot zegt: "Nee, het is leeg." Je controleert hoe zelfverzekerd hij is.
De Verslechterde Context: Je haalt het bijschrift weg. Je laat de robot alleen de foto zien en stelt dezelfde vraag. De robot zegt: "Nee, het is leeg." Je controleert opnieuw hoe zelfverzekerd hij is.

Als de robot echt oplet, zou hij veel zelfverzekerder moeten zijn wanneer hij het bijschrift heeft. De "Zelfvertrouwenmeter" (CPG) zou omhoog moeten gaan. Dit is wat een slimme, gegronde robot zou doen.

Echter, toen de auteurs standaard AI-modellen testten (met de gebruikelijke DPO-training), kwamen ze tot een schokkende ontdekking. De Zelfvertrouwenmeter bewoog nauwelijks. Of de robot nu het bijschrift had of niet, hij voelde exact hetzelfde niveau van zelfvertrouwen. De robot was contextblind. Hij negeerde de extra hulp en vertrouwde op zijn eigen gokjes, wat leidde tot die vervelende hallucinaties.

De auteurs ontdekten een sterke link: hoe meer de zelfvertrouwenmeter van een model omhoog ging wanneer het extra aanwijzingen kreeg (hoge CPG), hoe minder leugens het vertelde. Maar de standaardmodellen hadden een CPG die bijna nul was. Ze waren in essentie "blind" voor de context die ze juist zouden moeten gebruiken.

De Oplossing: C2-DPO (De "Context-Gecalibreerde" Trainer)

Dus, hoe leer je een blinde robot te zien? De auteurs stelden een nieuwe trainingsmethode voor genaamd C2-DPO.

In plaats van alleen te zeggen: "Kies het juiste antwoord," verandert C2-DPO de regels van het spel. Het dwingt de robot om een specifieke les te leren: "Wanneer je extra aanwijzingen hebt, moet je veel zekerder zijn van je antwoord dan wanneer je die niet hebt."

Ze doen dit met een speciale wiskundige truc (een loss function) die de robot beloont voor het vergroten van het gat tussen zijn vertrouwensniveaus.

Scenario A (Volledige Context): De robot ziet de foto en het bijschrift. Hij moet zeer zeker zijn van het juiste antwoord.
Scenario B (Verslechterde Context): De robot ziet alleen de foto. Hij moet nog steeds zelfverzekerd zijn, maar de training zorgt ervoor dat het zelfvertrouwen bij de "Volledige Context" aanzienlijk hoger is.

Het is als het trainen van een detective. Een standaard detective lost een zaak op met of zonder getuige. Maar een C2-DPO detective wordt getraind om te zeggen: "Als ik een getuige heb, ben ik 100% zeker! Als ik die niet heb, ben ik nog steeds vrij zeker, maar ik weet dat ik meer bewijs nodig heb." Dit dwingt de AI om de extra informatie (de getuige/het bijschrift) daadwerkelijk te gebruiken om zijn redenering te versterken.

De Resultaten: Minder Dagdromen, Meer Waarheid

De auteurs testten deze nieuwe methode op verschillende beroemde AI-modellen, waaronder LLaVA-v1.5-7B en Qwen2-VL-Instruct-2B. Ze vergeleken C2-DPO met de oude standaardmethoden op een test genaamd Object HalBench, die ontworpen is om robots te vangen die objecten verzinnen.

De resultaten waren indrukwegend:

Voor het Qwen2-VL-Instruct-2B model verminderde C2-DPO het aantal gehallucineerde reacties met 36% en het aantal gehallucineerde vermeldingen (specifieke woorden) met 60%.
Op de AMBER benchmark daalde de hallucinatie-score van 39,9 (met de oude methode) naar 16,1 (met C2-DPO).
Cruciaal was dat de modellen niet "dommer" werden in andere taken. Ze beantwoordden algemene vragen en losten logische puzzels nog steeds even goed op als voorheen. Ze verzinnen alleen niet meer zomaar dingen.

De auteurs lieten ook zien dat deze truc werkt zonder afbeeldingen. Toen ze dezelfde logica toepasten op tekst-only modellen (met enkel vragen en antwoorden), verbeterde het nog steeds de nauwkeurigheid. Dit suggereert dat het probleem niet alleen ging over het "zien" van de afbeelding; het ging erom hoe het model leerde de gegeven informatie te waarderen.

Waarom Dit Belangrijk Is

Dit paper suggereert dat de manier waarop we AI momenteel trainen om "eerlijk" te zijn, misschien een essentieel ingrediënt mist. We hebben ze extra aanwijzingen gegeven en gehoopt dat ze die zouden gebruiken, maar de trainingsmethode dwong hen niet om er aandacht aan te besteden. Door de training simpelweg aan te passen om "context-bewust zelfvertrouwen" te belonen, lieten de auteurs zien dat we AI-modellen aanzienlijk betrouwbaarder kunnen maken zonder dat daar enorme nieuwe datasets of complexe nieuwe architecturen voor nodig zijn.

Het is een herinnering aan het feit dat de beste manier om een robot te stoppen met dagdromen soms niet is om hem méér data te geven, maar om hem te leren hoe hij de data die hij al heeft moet waarderen. Zoals de auteurs ontdekten: wanneer je het model kalibreert om de context te respecteren, verdwijnen de hallucinaties en begint de robot de waarheid te spreken.

Technische Samenvatting: Context Blindness in DPO: Mitigeren van Object Hallucinatie in MLLM's via Context-gekalibreerde Preferentie-optimalisatie

1. Probleemstelling

Multimodale Large Language Models (MLLM's) hebben significante vooruitgang geboekt in visuele taal-taken, maar blijven vatbaar voor object hallucinatie, waarbij modellen semantisch plausibele beschrijvingen genereren die in strijd zijn met de visuele input. Hoewel Direct Preference Optimization (DPO) en varianten daarvan zijn ingezet om dit te mitigeren door modellen te trainen om voorkeur te geven aan niet-gehallucineerde responsen boven gehallucineerde responsen, hebben recente inspanningen die de preferentie-data verrijken met relevante context (bijv. aanvullende captions) onduidelijke resultaten opgeleverd met betrekking tot het werkelijke gebruik van die context door het model.

De auteurs identificeren een fundamentele beperking in bestaande preferentie-optimalisatie-objectieven: ze zijn context-blind. Standaard DPO optimaliseert de preferentie-marge voor een vaste input $x$ , maar beloont het model niet expliciet voor het versterken van de preferentie wanneer er rijkere contextuele informatie wordt verstrekt. Als gevolg hiervan, zelfs wanneer getraind op data met behulpzame context, falen modellen er vaak in om deze informatie te gebruiken voor grounding, wat leidt tot aanhoudende hallucinaties.

2. Methodologie

2.1 Diagnostische Metriek: Contextual Preference Gain (CPG)

Om te onderzoeken of modellen daadwerkelijk context gebruiken, introduceren de auteurs Contextual Preference Gain (CPG). Deze metriek kwantificeert de verandering in de preferentie-sterkte van een model wanneer aanvullende relevante context wordt verstrekt.

Gegeven een volledige context input $x$ (afbeelding, query en aanvullende caption) en een gedegradeerde context input $x'$ (afbeelding en query alleen, waarbij de caption is verwijderd), is de preferentie-score gedefinieerd als de impliciete reward-marge tussen de geprefereerde respons ( $y_w$ ) en de minder geprefereerde respons ( $y_l$ ):
$\Delta \hat{r}_\theta(x, y_w, y_l) = \hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l)$

CPG wordt berekend als het verschil tussen deze scores:
$\text{CPG}(x, x') = \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l)$

Belangrijke Observaties:

Correlatie: Er is een sterke negatieve correlatie tussen CPG en hallucinatie-percentages; modellen met een hogere CPG vertonen consequent lagere hallucinaties.
Context Blindness: Standaard DPO en varianten (SimPO, RDPO) vertonen CPG-distributies die geconcentreerd zijn nabij nul. Dit geeft aan dat het verwijderen van de aanvullende context minimale verandering veroorzaakt in de preferentie van het model, wat onthult dat deze modellen de contextuele informatie niet effectief gebruiken voor grounding.

2.2 Voorgestelde Oplossing: Context-gekalibreerde DPO (C2-DPO)

Om context blindheid aan te pakken, stellen de auteurs C2-DPO voor, een framework dat expliciet de CPG maximaliseert terwijl de correcte preferentie-volgorde behouden blijft onder gedegradeerde condities. De aanpak is geformuleerd als een geconstreind optimalisatieprobleem:

Objectief: Maximaliseer de preferentie-marge onder volledige context ( $x$ ).
Constraint 1: De preferentie-marge onder volledige context moet groter zijn dan onder gedegradeerde context ( $x'$ ), wat een positieve CPG garandeert.
Constraint 2: De preferentie-marge onder gedegradeerde context moet positief blijven, wat garandeert dat het model nog steeds de correcte respons prefereert, zelfs zonder aanvullende cues.

Deze constraints worden versoepeld naar een differentieerbaar trainings-objectief bestaande uit drie termen:
$\mathcal{L}_{\text{C}^2\text{-DPO}}(x, x') = \mathcal{L}_{\text{DPO}}(x) + \lambda_c \mathcal{L}_c(x, x') + \lambda_u \mathcal{L}_{\text{DPO}}(x')$

$\mathcal{L}_{\text{DPO}}(x)$ : Standaard DPO loss op de volledige context om alignment te behouden.
$\mathcal{L}_c(x, x')$ (Contextual Preference Calibration Loss): Een contrastieve loss die de volledige context als positief behandelt en de gedegradeerde context als negatief, om expliciet het gat (CPG) tussen hen te maximaliseren.
$\mathcal{L}_{\text{DPO}}(x')$ : Standaard DPO loss op de gedegradeerde context om te waarborgen dat het model nog steeds een correcte preferentie-volgorde behoudt zelfs wanneer context ontbreekt, wat voorkomt dat het model simpelweg de score van de geprefereerde respons verlaagt om de CPG kunstmatig op te blazen.

3. Belangrijkste Bijdragen

Identificatie van Context Blindness: De auteurs onthullen dat bestaande preferentie-optimalisatiemethoden er niet in slagen contextuele informatie te benutten, wat blijkt uit de CPG-distributies nabij nul.
Introductie van CPG: Een diagnostische metriek die de relatie tussen context-utilisatie en hallucinatie-percentages kwantificeert, en aantoont dat een hogere CPG correleert met minder hallucinatie.
C2-DPO Framework: Een algemene preferentie-alignment methode die expliciet optimaliseert voor contextual preference gain. Het is ontworpen om model-agnostisch te zijn en kan naadloos worden geïntegreerd met diverse varianten van preferentie-optimalisatie (DPO, SimPO, RDPO) en kan worden toegepast op zowel multimodale als tekst-only settings.

4. Experimentele Resultaten

De auteurs hebben C2-DPO geëvalueerd op twee MLLM's (LLaVA-v1.5-7B en Qwen2-VL-Instruct-2B) over meerdere benchmarks.

Reductie van Hallucinatie:
- Op Object HalBench verminderde C2-DPO het hallucinatiepercentage van Qwen2-VL-Instruct-2B met 36% (respons niveau) en 60% (mention niveau) vergeleken met de baseline, waarmee het superieur presteert aan state-of-the-art methoden zoals C-DPO en HA-DPO.
- Op AMBER behaalde C2-DPO een hallucinatie-score van 16.1, aanzienlijk lager dan vanilla-DPO (39.9) en C-DPO (17.5).
- Verbeteringen waren consistent over verschillende model-schalen en architecturen.
Behoud van Algemene Redenering:
- C2-DPO behield sterke prestaties op algemene multimodale redeneer-benchmarks (ScienceQA, MM-Vet, TextVQA), wat aangeeft dat het reduceren van hallucinatie de algemene instructie-opvolging of redeneer-capaciteiten niet ondermijnt.
Generaliseerbaarheid:
- Varianten: Het integreren van de kalibratie-loss in SimPO en RDPO (resulterend in C2-SimPO en C2-RDPO) leverde consistente verbeteringen op, wat bevestigt dat de methode orthogonaal is aan het onderliggende optimalisatie-objectief.
- Tekst-only: In tekst-only LLM settings (AlpacaEval 2) leidde het toepassen van de kalibratie-strategie tot verbeterde prestaties voor zowel DPO als SimPO, wat suggereert dat het principe van context-bewuste preferentie-modellering verder reikt dan het multimodale domein.
Robuustheid:
- Experimenten met ruisende context (het willekeurig maskeren van captions) toonden aan dat C2-DPO robuust blijft, waarbij het prestatieverschil tussen C2-DPO en baselines groter wordt naarmate de ruis toeneemt.
Leer-dynamiek:
- De trainingsanalyse liet zien dat C2-DPO de CPG gedurende de training gestaag verhoogt, terwijl baseline-methoden (zoals C-DPO) nabij nul blijven.
- Het werd waargenomen dat CPG lineair toeneemt met de hoeveelheid relevante context (zin en woord count), wat de sensitiviteit van het model voor context-rijkdom bevestigt.

5. Betekenis en Claims

Het artikel claimt dat de primaire beperking van huidige preferentie-optimalisatie in MLLM's niet de kwaliteit van de data is, maar het onvermogen van het optimalisatie-objectief om context-grounding af te dwingen. Door expliciet te modelleren hoe context de preferentie vormgeeft, biedt C2-DPO een geprincipeerde aanpak om object hallucinatie te mitigeren.

De auteurs benadrukken dat hun methode:

Geen complexe architecturale wijzigingen of extra reward-modellen vereist.
Vertrouwt op enkel het contrast tussen volledige en gedegradeerde inputs, waardoor het toepasbaar is op andere modaliteiten en taken waar context gedefinieerd kan worden.
Een verenigde strategie biedt voor het verbeteren van betrouwbaarheid in preferentie-optimalisatie, waarbij de voordelen van multimodale grounding worden uitgebreid naar tekst-only feitelijke alignment.

Het werk concludeert dat het expliciet kalibreren van preferentie-scores met betrekking tot contextuele informatie een breed bruikbaar principe is voor het verbeteren van de feitelijke betrouwbaarheid van generatieve modellen.