Technische Samenvatting: In-Context Visual Contrastive Optimization (IC-VCO)

Probleemstelling

Multimodale hallucinatie blijft een hardnekkige uitdaging voor Vision-Language Models (VLM's), gekenmerkt door "visuele verwaarlozing" waarbij modellen vertrouwen op taal-priors in plaats van hun antwoorden te funderen op visuele input. Hoewel Direct Preference Optimization (DPO) een standaard post-training paradigma is voor het afstemmen van modellen op menselijke intentie, faalt standaard tekstuele DPO er niet in om multimodale hallucinaties te verminderen omdat het de afbeelding slechts als een statische conditie behandelt, zonder expliciete visuele supervisie.

Bestaande pogingen om visuele voorkeur aan DPO toe te voegen (Visual Preference DPO) construeren paren door een originele afbeelding ($m$) te contrasteren met een negatieve afbeelding ($m'$), terwijl de tekstuele prompt vast blijft. Echter, het artikel identificeert twee kritieke beperkingen in deze benaderingen:

1. Theoretisch Inconsistente Doelstelling: Door de visuele context tussen voorkeuren te wijzigen, vallen de partitiefuncties ($Z(m, x)$ en $Z(m', x)$) van het referentiebeleid niet weg. Dit laat een residu, onhandelbare bias-term achter in de doelstelling, wat de optimalisatie theoretisch inconsistent maakt met de oorspronkelijke DPO-formulering.
2. Grofmazige Negatieven: Huidige methoden genereren negatieve afbeeldingen doorgaans via retrieval of tekst-naar-afbeelding synthese. Deze vertonen vaak duidelijke stilistische verschillen of grote semantische kloven vergeleken met de originele input. Dergelijke grofmazige discrepanties stellen modellen in staat om "shortcuts" te leren (bijv. een afbeelding afwijzen op basis van globale stijl in plaats van fijnmazige visuele feiten) in plaats van nauwkeurige visuele gronding te ontwikkelen.

Methodologie

De auteurs stellen In-Context Visual Contrastive Optimization (IC-VCO) voor, een framework dat is ontworpen om theoretische inconsistenties op te lossen en fijnmazige visuele gronding af te dwingen via drie kerncomponenten:

1. In-Context Visual Contrastive Optimization

Om de mismatch in partitiefunctie aan te pakken, herstructureert IC-VCO de trainingsopzet door zowel de originele afbeelding ($m$) als de contrastieve afbeelding ($m'$) in een gedeelde multi-afbeelding context $M = [m, m']$ te plaatsen.

• Anchor Prompt Extensie: Omdat de context meerdere afbeeldingen bevat, wordt de tekstuele prompt uitgebreid met een anchor instructie (bijv. "reageer op basis van de eerste afbeelding") om expliciet aan te geven welke afbeelding het model moet gebruiken voor zijn gronding.
• Theoretische Consistentie: Door reacties te vergelijken onder dezelfde gedeelde context $M$ en anchor prompt, blijft de partitiefunctie $Z(M, \hat{x})$ identiek voor zowel de gekozen als de afgewezen reacties. Dit maakt het mogelijk dat de partitiefunctie rigoureus wegvalt, wat de wiskundige validiteit van de DPO-doelstelling herstelt.

2. Visual Contrast Distillation (VCDist)

Er bestaat een discrepantie tussen de trainingsopzet (multi-afbeelding context) en de standaard inferentie (single-image input). Om deze kloof te overbruggen, introduceren de auteurs VCDist, een auxiliary regularizer.

• Mechanisme: VCDist gebruikt de geleerde voorkeursdistributie in de multi-afbeelding context als een "leraar" om de single-image policy ("student") te begeleiden.
• Dual-Gating: Om betrouwbaarheid te garanderen, filtert een dual-gating mechanisme de distillatiesignalen:
  • Correctness Gate: Zorgt ervoor dat het leraarsignaal betrouwbaar is (waarschijnlijkheid > 0,5).
  • Confidence Gate: Activeert distillatie alleen wanneer het vertrouwen van de student lager is dan dat van de leraar, om reverse penalties te voorkomen.
• Doel: Dit moedigt de single-image policy aan om compatibel te blijven met de contrastieve trainingssignalen, waardoor de train-inferentie contextkloof wordt verkleind.

3. Contrastive Sample Editing

Om shortcut learning veroorzaakt door grofmazige negatieven te voorkomen, introduceert het artikel een Contrastive Sample Editing strategie.

• Chirurgische Interventie: In plaats van globale synthese of retrieval, voert de methode precieze, gelokaliseerde modificaties uit op originele afbeeldingen.
• Proces: Een expert VLM genereert een bewerkingsinstructie om ofwel een gehallucineerd detail te realiseren (een valse claim waar maken) of een tegenstrijdigheid te injecteren (een ware claim onwaar maken) met betrekking tot specifieke attributen, existentie of relaties.
• Preservatie: De bewerkingspipeline (gebruikmakend van Qwen-Image-Edit) behoudt de originele aspect ratio, belichting en achtergrondcontext, zodat het enige verschil tussen de originele en de bewerkte afbeelding het doelgerichte semantische concept is. Dit dwingt het model om fijnmazige visuele discrepanties te leren in plaats van globale stijlverschuivingen.

Belangrijkste Bijdragen

1. Theoretisch Rigoureuze Doelstelling: IC-VCO is het eerste framework dat visuele voorkeur optimalisatie binnen een gedeelde context formuleert, waardoor de partitiefuncties wegvallen en de inherente theoretische bias van eerdere Visual Preference DPO-methoden wordt geëlimineerd.
2. VCDist Regularizer: De introductie van Visual Contrast Distillation kalibreert de single-image inference policy effectief met behulp van multi-image contrastieve signalen, wat de train-inference distributieverschuiving aanpakt.
3. Fijnmazige Hard Negatives: De voorgestelde Contrastive Sample Editing pipeline genereert hoogwaardige, harde negatieven die een strikte stilistische consistentie behouden met de originele data, waardoor modellen worden gedwongen fijnmazige visuele gronding te leren in plaats van grofmazige shortcuts te exploiteren.
4. Empirische Validatie: De methode bereikt state-of-the-art prestaties op vijf diverse benchmarks (HallusionBench, AMBER, CRPE, R-Bench, BLINK) op twee verschillende backbone modellen (LLaVA-NeXT-Interleave en LLaVA-OneVision).

Resultaten

Experimenten tonen aan dat IC-VCO de bestaande baselines (inclusief mDPO, V-DPO, S-VCO en SymMPO) overtreft onder zowel synthetische als bewerkte sample-instellingen.

• Prestatiewinst: Op LLaVA-NeXT-Interleave verbetert IC-VCO de algemene score met 1,19 punt (synthetisch) en 1,24 punten (bewerkt) ten opzichte van de sterkste baseline. Op LLaVA-OneVision zijn de verbeteringen respectievelijk 0,26 en 0,48 punten.
• Generalisatie: Het vervangen van synthetische samples door de voorgestelde bewerkte samples verbetert de prestaties bij alle baseline-methoden, wat het nut van fijnmazige harde negatieven valideert.
• Ablatie-studies: Het verwijderen van de single-image branch, VCDist, of de token mask degradeert de prestaties aanzienlijk, wat de noodzaak van elk component bevestigt. De studie verifieert ook dat de multi-image branch een sterker voorkeurssignaal biedt dan de single-image branch, wat de distillatie-aanpak rechtvaardigt.

Betekenis en Claims

Het artikel claimt dat IC-VCO een wiskundig rigoureuze basis biedt voor visuele voorkeur-alignment, waarbij de theoretische inconsistenties die eerdere multimodale DPO-benaderingen hebben geplaagd, worden opgelost. Door een theoretisch consistente doelstelling te combineren met een strategie voor het genereren van fijnmazige harde negatieven, mitigeert de methode effectief multimodale hallucinaties zonder te vertrouwen op grofmazige shortcuts.

De auteurs positioneren dit werk als een specifieke oplossing voor post-training preference alignment in VLM's. Ze stellen expliciet dat deze methode complementair is aan, en geen vervanging voor, andere veiligheidsmechanismen (zoals decoding-time interventies of menselijke feedback) en geen volledige oplossing is voor alle multimodale hallucinaties, met name in scenario's met hoge belangen in de open wereld. De primaire bijdrage is de vestiging van een betrouwbaarder optimalisatieframework dat modellen dwingt om onderscheid te maken tussen fijnmazige visuele bewijslast.