Technische Samenvatting: Visie-gestuurde Preferentie-synthese voor het Mitigeren van Hallucinaties in VLMs

Probleemstelling

Vision-Language Models (VLMs) hebben significante capaciteiten getoond in visueel begrip, maar blijven gevoelig voor hallucinaties, waarbij modellen inhoud genereren die inconsistent is met de invoerafbeelding, vaak door niet-bestaande objecten te verzinnen. Dit probleem komt voort uit een onbalans tussen taal- en visuele modaliteiten, waarbij sterke taalprioriteiten ervoor zorgen dat modellen meer vertrouwen op tekststatistieken dan op visueel bewijs.

Hoewel Preferentie-alignement (specifiek Direct Preference Optimization, of DPO) een veelbelovende oplossing is geworden voor het verbeteren van visuele getrouwheid, hangt de effectiviteit ervan sterk af van de kwaliteit van de geconstrueerde preferentieparen (geprefereerde versus niet-geprefereerde responsen). Bestaande methoden voor het construeren van deze paren lijden aan twee primaire beperkingen:

1. Interventie-gebaseerde methoden (bijv. hallucinatie-injectie of correctie) introduceren vaak responsen die significant afwijken van de natuurlijke beleidsdistributie (policy distribution) van het model, wat een distributie-mismatch creëert.
2. Sampling-gebaseerde methoden (bijv. extern beoordeelde sampling of SFT-gestuurde sampling) verminderen deze distributie-mismatch, maar maken echter vaak onvoldoende gebruik van visuele informatie, omdat ze in plaats daarvan vertrouwen op taalprioriteiten om preferentie te bepalen.

Methodologie: ViPSy

De auteurs stellen ViPSy (Vision-driven Preference Synthesis) voor, een tweestaps-framework ontworpen om preferentiedata te construeren die zowel beleids-gealigneerd (dicht bij de responsdistributie van het model) als visueel gegrond (leunend op beeldbewijs) is.

Fase 1: Zelf-gecaptionde Semantische Synthese voor Consistente Cue-extractie

Om betrouwbare visuele cues te extraheren zonder externe bias, maakt ViPSy gebruik van de eigen capaciteiten van het beleidsmodel:

1. Zelf-captioning: Het beleidsmodel ($\pi_\theta$) genereert $N_c$ captions voor een bronafbeelding $m$ met behulp van een standaard captioning prompt.
2. Semantische Synthese: Deze captions dienen als prompts voor een Text-to-Image (T2I) diffusiemodel ($P_\psi$) om $N_c$ semantisch gealigneerde varianten van de afbeelding ($m'_j$) te synthetiseren.
3. Cue-extractie: Een judge-model ($\pi_\phi$) vergelijkt elke synthetische variant $m'_j$ met de originele afbeelding $m$ om paarvormige object-niveau bewijslast ($c_j$) te extraheren die consistent is tussen hen.
4. Aggregatie: De judge aggregeert deze paarvormige cues tot een enkele, consistente visuele cue ($c$). De intuïtie is dat objecten die herhaaldelijk voorkomen over diverse synthetische variaties afgeleid van dezelfde bronafbeelding, zeer waarschijnlijk gegrond zijn in de originele afbeelding.

Fase 2: Cue-geconditioneerde Zelf-distillatie voor Preferentie-synthese

Zodra de visuele cue $c$ is vastgesteld, genereert het framework de preferentieparen:

1. Cue-geconditioneerde Rollouts: Het beleidsmodel samplet $N_s$ kandidaat-responsen ($y^{(s)}$) geconditioneerd op de originele afbeelding $m$, de prompt $x$, en de geëxtraheerde visuele cue $c$. Dit zorgt ervoor dat de kandidaten dicht bij de beleidsdistributie blijven terwijl ze expliciet worden gestuurd door visueel bewijs.
2. Preferentie-selectie: Het judge-model evalueert de set kandidaten $\{y^{(s)}\}$ tegen de originele afbeelding $m$ om een geprefereerde respons ($y_w$) (meest visueel gegrond) en een niet-geprefereerde respons ($y_l$) (minst gegrond) te selecteren.
3. Optimalisatie: De resulterende dataset $\mathcal{D}_{pref} = \{(x, m, y_w, y_l)\}$ wordt gebruikt om het model te trainen via Direct Preference Optimization (DPO). Cruciaal is dat de visuele cues en synthetische afbeeldingen alleen worden gebruikt tijdens de data-constructie; de uiteindelijke optimalisatiestap conditioneert het beleid uitsluitend op het originele prompt-afbeelding paar, waardoor de visuele grounding-capaciteit in het model wordt gedistilleerd.

Belangrijkste Bijdragen

1. ViPSy Framework: Een nieuw visie-gestuurd preferentie-synthese benadering dat visueel gegronde preferentieparen construeert terwijl de alignment met de responsdistributie van het beleid behouden blijft.
2. Tweestaps-strategie:
   • Zelf-gecaptionde semantische synthese: Gebruikt de eigen captions van het beleidsmodel om T2I-synthese aan te drijven, waarbij recurrente object-niveau bewijslast wordt geaggregeerd om consistente visuele cues te extraheren, waardoor de afhankelijkheid van taalprioriteiten wordt verminderd.
   • Cue-geconditioneerde zelf-distillatie: Stuurt de eigen rollouts van het beleidsmodel aan met deze cues om kandidaten te genereren die variëren in de kwaliteit van visuele grounding, wat de selectie van hoogwaardige preferentieparen mogelijk maakt.
3. State-of-the-Art Prestaties: Het framework bereikt nieuwe state-of-the-art resultaten in het mitigeren van hallucinaties en verbetert de algemene visuele grounding-capaciteiten.

Experimentele Resultaten

De auteurs evalueerden ViPSy op LLaVA-1.5 (7B en 13B) en diverse andere beleidsmodellen (Qwen2.5-VL, InternVL3.5, etc.), waarbij ze werden vergeleken met decoding-methoden, unlearning-gebaseerde benaderingen en bestaande preference alignment baselines.

• Mitigatie van Hallucinaties:
  • Op LLaVA-1.5-7B verminderde ViPSy de hallucinatie-ratio's op AMBER met 35,7% en op Object HalBench met 24,5% vergeleken met de vorige state-of-the-art (SENTINEL).
  • Op LLaVA-1.5-13B presteerde het beter dan alle baselines op alle hallucinatie-benchmarks, wat significante verbeteringen liet zien ten opzichte van de voorheen beste methoden.
• Algemene Visuele Grounding:
  • In tegen tegenstelling tot sommige baselines die de algemene prestaties verslechteren, verbeterde ViPSy de scores op algemene benchmarks die visuele grounding vereisen: MMStar (+6,0%), MMVP (+31,3%), en CV-Bench (+4,0%) op het 7B-model.
• Verbeteringen in de Vision Encoder:
  • Linear probing en segmentatie-evaluaties op ImageNet-1k, ImageNet-O, en MS COCO toonden winst in nauwkeurigheid en recall. Dit suggereert dat ViPSy de onderliggende visuele representaties versterkt, en niet alleen de respons-gebaseerde generatie.
• Generalisatie:
  • De methode toonde consistente verbeteringen over diverse beleidsmodellen (Qwen, InternVL, mPLUG-Owl, Kimi), wat aangeeft dat het niet specifiek is voor één architectuur.
• Ablatie-studies:
  • Zelf-rollouts bleken superieur aan externe VLM-rollouts, wat de belangrijkheid bevestigt van het dicht bij de beleidsdistributie blijven.
  • Diffusie-gebaseerde synthese presteerde beter dan eenvoudige beeldtransformaties (resizen, croppen) en video-gebaseerde variaties, wat de noodzaak voor rijke semantische diversiteit bij cue-extractie benadrukt.
  • De methode bleef robuust over verschillende judge-modellen (Qwen3-VL, GPT-5 mini).

Betekenis en Claims

Het artikel claimt dat ViPSy de fundamentele afweging in de constructie van preferenties aanpakt: het balanceren van beleids-alignment met visuele grounding. Door visuele cues af te leiden uit de intersectie van het eigen semantische begrip van het beleidsmodel en synthetische beeldvariaties, vermijdt ViPSy de distributieverschuiving van interventie-gebaseerde methoden en de visuele verwaarlozing van standaard sampling-methoden.

De auteurs stellen dat hun aanpak niet alleen een nieuwe state-of-the-art zet in het reduceren van hallucinaties, maar ook de algemene visuele capaciteiten en de kwaliteit van de visuele encoder-representaties van het model verbetert. Ze benadrukken dat het framework effectief visuele grounding distilleert in het beleidsmodel zonder complexe reward-modellering of online reinforcement learning te vereisen, wat het een praktische en effectieve oplossing maakt voor het verbeteren van de betrouwbaarheid van VLMs in real-world toepassingen.