Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

1. Probleemstelling

Grote Visueel-Taalmodellen (LVLM's) lijden vaak aan hallucinaties, waarbij content wordt gegenereerd die niet overeenkomt met de invoerafbeeldingen (bijvoorbeeld niet-bestaande objecten, onjuiste attributen of verkeerde relaties). Hoewel Direct Preference Optimization (DPO) is opgekomen als een mainstream oplossing om dit te mitigeren door modellen af te stemmen op menselijke voorkeuren, lopen bestaande benaderingen tegen twee kritieke beperkingen aan:

1. Distributionele Mismatch: De meeste methoden vertrouwen op propriëtaire modellen (zoals GPT-4V) om "geprefereerde" (feitelijke) antwoorden te genereren. Dit introduceert een distributieverandering omdat de correctiepatronen van het externe lerarenmodel verschillen van de intrinsieke distributie van het doel-LVLM, wat een efficiënte afstemming belemmert.
2. Bias ten opzichte van Objectbestaan: Bestaande datasets en trainingsdoelen richten zich voornamelijk op objectaanwezigheid (binair bestaan) en negeren fijnmazige hallucinaties die betrekking hebben op attributen (bijvoorbeeld kleur, materiaal) en relaties (bijvoorbeeld ruimtelijke positie).

2. Methodologie: AVES-DPO

De auteurs stellen AVES-DPO (Alignment via VErified Self-correction DPO) voor, een raamwerk dat afhankelijkheid van externe propriëtaire modellen elimineert door gebruik te maken van de intrinsieke kennis van het doelmodel om distributie-in-voorkeursdata te genereren. Het raamwerk bestaat uit twee distincte fasen:

A. Hallucinatieverificatie

Deze fase diagnoseert fouten in het initiële antwoord van het model ($y_{init}$) met behulp van een op consensus gebaseerd verificatiemechanisme:

• Scene Graph Extractie: Het antwoord wordt geparsed in een gestructureerde scene graph met Objecten ($O$), Attributen ($A$) en Relaties ($R$).
• Consensus Verificatie: Twee onafhankelijke verificatiemodellen ($V_1, V_2$) controleren de factualiteit van elk element.
  • Objectverificatie: Gebruikt robuuste open-source detectoren (YOLO, Grounding DINO). Ambigue gevallen worden opgelost door een secundaire verificatie met Qwen3-VL-modellen.
  • Attribuut- en Relatieverificatie: Alleen geverifieerde objecten worden gecontroleerd op attributen en relaties met behulp van Qwen3-VL-modellen.
  • Consensusregel: Een label wordt pas definitief als beide modellen overeenkomen; anders wordt het gemarkeerd als "Ambigu".
• Correctiecandidates: Als een element gehallucineerd is, haalt het systeem een juiste vervanging op uit een vooraf geconstrueerd vocabulaire (afgeleid van GQA en MS-COCO) op basis van semantische subtypes.

B. Zelfcorrectie

Gestuurd door de verificatiediagnoses, verfijnt het LVLM zijn eigen output in twee fasen:

1. Factuele Rectificatie: Het model verwijdert gehallucineerde elementen of vervangt ze door geverifieerde correcte content, waardoor een beknopt, feitelijk accuraat antwoord ontstaat.
2. Gedetailleerde Verrijking: Om te voorkomen dat het antwoord te spaarzaam wordt, voegt het model ontbrekende visuele details toe die gebaseerd zijn op de afbeelding.
   • Iteratief Filteren: Een cyclische pipeline zorgt voor kwaliteit. De verrijkte tekst wordt teruggevoerd naar de verificatiemodule. Als hallucinaties worden gedetecteerd, wordt het opnieuw gegenereerd. Deze lus draait maximaal 3 keer (voor 7B-modellen) of 5 keer (voor 13B-modellen).
   • Negatieve Constraints: Het model krijgt expliciet de instructie niet te verwijzen naar objecten die eerder als gehallucineerd zijn geïdentificeerd.

C. Voorkeursleren

Het proces genereert een voorkeursdataset $\mathcal{D}_{SC}$ bestaande uit paren $(x, y^+, y^-)$, waarbij:

• $y^-$: Het initiële gehallucineerde antwoord.
• $y^+$: Het finale, zelfgecorrigeerde en verrijkte antwoord.
• Trainingsdoel: Het model wordt geoptimaliseerd met de standaard DPO-verliesfunctie om de waarschijnlijkheid van $y^+$ boven $y^-$ te maximaliseren, waardoor het model effectief leert om zijn eigen geverifieerde, feitelijke outputs te prefereren.

3. Belangrijkste Bijdragen

• In-Distribution Afstemming: AVES-DPO is het eerste raamwerk dat voorkeursparen strikt genereert vanuit de intrinsieke kennis van het doelmodel, waardoor het distributiemismatch-probleem wordt opgelost dat inherent is aan het gebruik van externe "leraren"-modellen.
• Uitgebreide Hallucinatiemitigatie: In tegenstelling tot eerdere werken die zich voornamelijk richten op objectbestaan, adresseert AVES-DPO een breed spectrum aan hallucinaties, inclusief attributen en relaties, via zijn granulaire verificatiepijplijn.
• Hoge Data-efficiëntie: De methode bereikt state-of-the-art prestaties met slechts 5.2k samples (voor het 7B-model), wat ongeveer 25 keer minder data is dan methoden zoals LLaVA-RLHF, zonder dat er dure propriëtaire API-oproepen nodig zijn.
• Robuuste Verificatiepijplijn: De introductie van een tweefasige, op consensus gebaseerde verificatiestrategie (combinatie van detectoren en VLM's) zorgt voor hoogwaardige, ruisvrije voorkeursdata.

4. Experimentele Resultaten

De auteurs hebben AVES-DPO geëvalueerd op LLaVA-1.5 (7B en 13B) over meerdere benchmarks:

• Hallucinatiebenchmarks (Object-Hal, AMBER, MMHal-Bench):
  • AVES-DPO behaalde SOTA-prestaties op meer dan 60% van de evaluatiemetrics voor het 7B-model.
  • Het verminderde aanzienlijk de CHAIR-scores (hallucinatierates) in vergelijking met baselines zoals POVID, oDPO en SENTINEL.
  • Fijnmazige Winsten: De methode toonde aanzienlijke verbeteringen in de relatie- en attribuut-categorieën, waar andere methoden vaak worstelen. Bijvoorbeeld, op de AMBER-benchmark behaalde het een score van 66,6 in de "Relation"-categorie voor het 7B-model, en presteerde het beter dan baselines die vaak de prestaties in dit gebied verslechterden.
• Algemene Multimodale Capaciteiten (MME Benchmark):
  • Het 7B-model toonde aanzienlijke verbeteringen in algemene waarnemings- en herkenningsopdrachten, wat bevestigt dat hallucinatiemitigatie de algemene capaciteiten niet verslechterde.
  • Opmerking: Het 13B-model toonde een lichte afweging in algemene benchmarks, wat suggereert dat schaalbewuste strategieën nodig zijn om feitelijke gronding in balans te brengen met brede kennisopvraging.
• Ablatiestudies:
  • Distributionele Mismatch: Het visualiseren van voorkeursmarges toonde aan dat zelfcorrectie overeenkomt met de interne distributie van het model (marge dicht bij nul/positief), terwijl externe GPT-4V-supervisie een negatieve verschuiving veroorzaakte (distributionele mismatch).
  • Data-efficiëntie: Prestatiewinsten waren significant zelfs met slechts 600 samples, met afnemende meeropbrengst waargenomen boven de 5.2k samples.

5. Betekenis

Dit artikel presenteert een paradigma-verschuiving in hallucinatiemitigatie voor LVLM's. Door aan te tonen dat zelfcorrectie superieur is aan externe supervisie voor voorkeursleren, biedt AVES-DPO een kosteneffectieve, schaalbare en data-efficiënte oplossing. Het verwijdert de afhankelijkheid van dure propriëtaire API's (zoals GPT-4V) en adresseert tegelijkertijd een breder scala aan hallucinatietypen (objecten, attributen, relaties). Het raamwerk bewijst dat LVLM's effectief kunnen leren om af te stemmen op hun eigen interne kennisbanken om meer feitelijke en betrouwbare outputs te produceren.