Technische Samenvatting: GHOST – Hallucinatie-inducerende beeldgeneratie voor Multimodale LLM's

Probleemstelling

Multimodale Large Language Models (MLLM's) lijden aan objecthallucinatie, een foutmodus waarbij het model onterecht de aanwezigheid van een object voorspelt dat afwezig is in de invoerafbeelding. Huidige evaluatiemethoden vertrouwen op statische benchmarks met vaste visuele scenario's en gecureerde beeldensets. Deze benaderingen beperken de analyse tot bekende scenario's, waardoor het niet lukt om modelspecifieke kwetsbaarheden of onvoorziene hallucinatiepatronen bloot te leggen. Bovendien ontbreekt het huidige methoden voor het ontdekken van hallucinaties vaak aan een systematische manier om te beoordelen welke typen afbeeldingen fouten triggeren, of ze vertrouwen op resource-intensieve pipelines die de optimalisatie niet effectief kunnen ontkoppelen van de beeldgeneratie.

Methodologie: GHOST

De auteurs introduceren GHOST (Generating Hallucinations via Optimizing Stealth Tokens), een volledig automatische, ongesuperviseerde pipeline die is ontworpen om MLLM's onder druk te zetten door afbeeldingen te synthetiseren die hallucinaties induceren zonder het doelobject daadwerkelijk in te voegen.

Kernarchitectuur

GHOST opereert door te optimaliseren in de beeldembeddingruimte in plaats van de pixelruimte, waarbij een diffusiemodel wordt gebruikt om de uiteindelijke afbeelding te genereren. De pipeline bestaat uit drie hoofdonderdelen:

1. Embedding Space Mapper ($\Pi$):
   Om de kloof te overbruggen tussen de vision encoder van de doel-MLLM ($V_M$) en de CLIP-embeddingruimte die door het diffusiemodel wordt gebruikt, hanteert GHOST een lichtgewicht Multi-Layer Perceptron (MLP). Deze mapper is getraind om CLIP-embeddings uit te lijnen met de visuele tokens van de MLLM met behulp van een Mean Squared Error (MSE) loss. Deze ontkoppeling maakt efficiënte optimalisatie mogelijk zonder de volledige MLLM en de diffusie-pipeline simultaan via backpropagation te hoeven trainen.

2. Optimalisatie-objectief:
   Gegeven een invoerafbeelding $X_v$ (die het doelobject $t$ mist) en een query-prompt $X_q$ (bijv. "Zie je een $t$?"), optimaliseert GHOST een CLIP-embedding $c$ om aan drie restricties te voldoen:

   • Nabijheid (Proximity): De geoptimaliseerde embedding $c$ moet dicht bij de embedding van de oorspronkelijke afbeelding $c_0$ blijven (geregulariseerd via een $\ell_2$-straf) om de hoogwaardige semantiek te behouden.
   • Afwezigheid van Objectsemantiek (Absence of Object Semantics): De embedding mag de semantiek van het doelobject zelf niet coderen. Dit wordt afgedwongen door de cosinusovereenkomst tussen $c$ en een "compositionele embedding" te bestraffen, die is afgeleid van diverse tekstuele beschrijvingen van het doelobject (inclusclusief directe beschrijvingen, generieke templates en gemined COCO-captions).
   • Hallucinatie Induceren (Inducing Hallucination): De embedding moet de waarschijnlijkheid maximaliseren dat de MLLM een "Ja"-token genereert. De adversariële loss wordt gedefinieerd als $-\log p(y^* | X_q, \Pi(c))$, waarbij $y^*$ het doeltoken is.

3. Gestuurde Diffusie (Guided Diffusion):
   Zodra een embedding $c$ de hallucinatiedrempel heeft bereikt, conditioneert deze een Latent Diffusion Model (specifiek Stable Diffusion unCLIP). In tegenstelling tot standaard generatie vanuit ruis, start GHOST het reverse diffusieproces vanuit een gedeeltelijk geruisde latent van de oorspronkelijke afbeelding. Dit zorgt ervoor dat de gegenereerde afbeelding de structurele integriteit van de invoer behoudt, terwijl er subtiele, misleidende semantische signalen worden geïntroduceerd.

   • Filtering: Een strikte open-vocabulaire objectdetector (OWLv2) filtert de gegenereerde afbeeldingen. Als de detector het doelobject identificeert, wordt de sample weggegooid. Succes wordt alleen gedefinieerd wanneer de MLLM het object hallucineert terwijl de detector de afwezigheid ervan bevestigt.

Belangrijkste Bijdragen

• Actieve Generatie van Foutgevallen: In tegenstelling tot statische benchmarks genereert GHOST actief afbeeldingen die specifieke blinde vlekken van modellen blootleggen, waardoor nieuwe en onvoorziene visuele triggers voor hallucinatie worden ontdekt.
• Ontkoppelde Optimalisatie: Door CLIP-embeddings naar de visuele ruimte van de MLLM te mappen, vermijdt GHOST de computationele knelpunten van end-to-end optimalisatie in de pixelruimte, wat een 5x versnelling oplevert ten opzichte van eerdere methoden zoals DASH.
• Semantische Perturbaties: De methode introduceert subtiele, semantische signalen (bijv. het modificeren van een bananenschil om op een mesrand te lijken) die voor mensen waarneembaar zijn als natuurlijke variaties, maar voldoende zijn om het model over de beslissingsgrens te duwen.
• Transfereerbaarheid: De methode toont aan dat op één model geoptimaliseerde hallucinatie-inducerende afbeeldingen vaak ook bij andere modellen hallucinaties veroorzaken, wat wijst op systemische kwetsbaarheden in verschillende MLLM-architecturen.

Experimentele Resultaten

De auteurs evalueerden GHOST op drie open-source MLLM's: Qwen2.5-VL, LLaVA-v1.6 en GLM-4.1V-Thinking.

• Succespercentage: GHOST behaalde hallucinatie-succespercentages tussen de 28,1% en 32,4% over de geteste modellen. Ter vergelijking: de voorheen superieure methode DASH behaalde slechts 0,1% op dezelfde COCO-gebaseerde dataset.
• Transfereerbaarheid: Voor Qwen2.5-VL geoptimaliseerde afbeeldingen induceerden hallucinaties in GPT-4o met een frequentie van 66,5%, en in andere modellen (LLaMA3.2, Aya, Gemini) met percentages variërend van 42% tot 72%, wat duidt op gedeelde foutmodi.
• Beeldkwaliteit: Kwantitatieve metrieken (FID) en menselijke evaluatie bevestigden dat de gegenereerde afbeeldingen van hoge kwaliteit en visueel natuurlijk zijn. Menselijke beoordelaars waren het erover eens dat het doelobject in 86–89% van de GHOST-afbeeldingen afwezig was, vergelijkbaar met baseline diffusiemethoden.
• Mitigatie: Het finetunen van Qwen2.5-VL op GHOST-gegenereerde synthetische afbeeldingen verbeterde de robuustheid op downstream hallucinatie-benchmarks (POPE en CHAIR), terwijl de algemene visuele taalvaardigheden (VQAv2, COCO Captioning) behouden bleven.

Betekenis en Claims

Het artikel positioneert GHOST zowel als een diagnostisch als correctief instrument voor het bouwen van betrouwbare multimodale systemen.

• Diagnostisch: Het onthult dat MLLM's vertrouwen op spuriose correlaties en subtiele visuele signalen in plaats van robuuste objectdetectie, waardoor kwetsbaarheden worden blootgelegd die statische benchmarks missen.
• Correctief: De auteurs laten zien dat training op deze synthetische foutgevallen hallucinaties kan verminderen, wat wijst op een pad voor het verbeteren van de modelrobuustheid.
• Schaalbaarheid: Door de optimalisatie te ontkoppelen van de beeldgenerator, biedt GHOST een schaalbaar framework voor het stress-testen van toekomstige MLLM's, inclusief reasoning-gebaseerde modellen zoals GLM-4.1V-Thinking, waarbij het erin slaagde het redeneerpad van het model te verschuiven om niet-bestaande objecten te rechtvaardigen.

De auteurs erkennen beperkingen, zoals de afhankelijkheid van diffusiemodellen die in staat zijn tot beeld-embedding conditionering (zoals unCLIP) en de huidige focus die primair ligt op object-gecentreerde hallucinaties, hoewel voorlopige experimenten wijzen op toepasbaarheid bij attribuut- en relatiehallucinaties.