Revealing Multi-View Hallucination in Large Vision-Language Models

Titel: Het Blootleggen van Multi-View Hallucinaties in Grote Visueel-Taalmodellen (LVLMs)

1. Het Probleem: Multi-View Hallucinaties (MVH)

Hoewel Grote Visueel-Taalmodellen (LVLMs) steeds vaker worden ingezet voor beeldinvoer vanuit diverse gezichtspunten (multi-view), blijken ze vatbaar te zijn voor een specifiek type fout dat de auteurs Multi-View Hallucination (MVH) noemen.

• Definitie: MVH treedt op wanneer een model visuele informatie uit het verkeerde voorbeeld (instance) of het verkeerde gezichtspunt (view) gebruikt om een antwoord te genereren, in plaats van de relevante bron.
• Twee hoofdcategorieën:
  1. Cross-Instance Hallucination: Het model verwardt de gevraagde entiteit met een andere entiteit in dezelfde scène (bijv. het antwoord geven over wat een persoon in een zwart shirt doet, terwijl er werd gevraagd naar iemand in een wit shirt).
  2. Cross-View Hallucination: Het model baseert het antwoord op informatie uit een niet-gevraagde weergave (bijv. het antwoord geven over de richting van een gieter in "View 2" terwijl er werd gevraagd naar "View 1").
• Oorzaak: Het onderzoek stelt dat dit probleem voortkomt uit onvoldoende contextbegrip van de query. Wanneer het model de tekstuele context niet volledig begrijpt, wordt het afgeleid door irrelevante visuele signalen in de andere beelden.

2. Methodologie

A. MVH-Bench: Een Nieuwe Benchmark
Om dit probleem systematisch te analyseren, hebben de auteurs MVH-Bench ontwikkeld, een dataset met 4.800 vraag-antwoordparen.

• Bronnen: De dataset is afgeleid van bestaande multi-view datasets (Ego-Exo4D en LEMMA) met gesynchroniseerde video's uit eerste- en derde-persoon perspectieven.
• Opbouw: Voor elke set multi-view beelden worden paren van binair (Ja/Nee) en meerkeuzevragen gegenereerd. Deze vragen zijn specifiek ontworpen om verwarring te testen door beschrijvingen tussen verschillende voorbeelden of weergaven te verwisselen.
• Validatie: De dataset omvat vier subcategorieën: Actie, Object, Numeriek en Ruimtelijk. Alle paren zijn gevalideerd door menselijke annotatoren.
• Nieuwe Metrieken: Om de prestaties nauwkeurig te meten, introduceerden ze:
  • p-Acc (Pair Accuracy): Meet of het model zowel de "Ja" als de "Nee" vraag voor een paar correct beantwoordt.
  • q-Acc (Quadruplet Accuracy): Meet of het model alle vier de binaire vragen voor een multi-view set correct beantwoordt.
  • YER (Yes-Error Ratio) & AER (Adversarial Error Ratio): Meten de neiging van het model om te kiezen voor het verkeerde "Ja" of een afleidend antwoord.

B. Analyse van Query Context Vorming
De auteurs onderzochten waar in het model de context van de query wordt gevormd.

• Experiment: Ze blokkeerden de zelf-attentie tussen teksttokens in verschillende lagen van de Transformer-decoder.
• Vinding: Het blokkeren van tekst-tot-tekst attentie in de intermediare lagen (bijv. lagen 13-20 bij LLaVA-OneVision) veroorzaakte een significante daling in de nauwkeurigheid. Dit bewijst dat deze lagen cruciaal zijn voor het integreren van de volledige query-context. Zonder deze integratie neigt het model naar visuele afleidingen.

C. Oplossing: Reference Shift Contrastive Decoding (RSCD)
Om MVH te mitigeren, stellen de auteurs RSCD voor, een trainingsvrije decodeertechniek.

• Principe: De kernidee is om het contrast te vergroten tussen de oorspronkelijke logits (voorspellingen) en logits die zijn gegenereerd met een onvolledig begrip van de query.
• Implementatie:
  1. Negatieve Logits genereren: Tijdens het decodeerproces wordt een "Reference Shift Mask" ($M_{rs}$) toegepast op de intermediare lagen. Dit masker blokkeert selectief de top $\rho\%$ van de attentie-verbindingen tussen teksttokens. Dit verstoort de vorming van de volledige context, waardoor het model gedwongen wordt om te vertrouwen op gedeeltelijke, vaak verkeerde visuele signalen.
  2. Contrastieve Decoding: De uiteindelijke logit wordt berekend door de oorspronkelijke logit te combineren met de negatieve logit:
     $$\text{logit}_{rscd} = (1 + \alpha) \cdot \text{logit}_{orig} - \alpha \cdot \text{logit}_{neg}$$
     Hierbij wordt de bias veroorzaakt door de verstoorde context afgetrokken van de oorspronkelijke voorspelling, waardoor het model wordt gestuurd naar de correcte visuele bewijslast.

3. Belangrijkste Resultaten

• Prestaties van Bestaande Modellen: Tests op MVH-Bench met 15 state-of-the-art modellen (zowel gesloten als open-source, zoals GPT-4o, LLaVA-OneVision, Qwen2.5-VL) tonen aan dat ze allemaal worstelen met MVH. De scores voor p-Acc en q-Acc zijn over het algemeen laag, wat aangeeft dat modellen moeite hebben om visuele bewijzen correct te koppelen aan het juiste voorbeeld of gezichtspunt.
• Effectiviteit van RSCD:
  • RSCD presteert consistent beter dan bestaande methoden voor het mitigeren van hallucinaties (zoals VCD, ICD en AvisC).
  • Verbetering: Op de MVH-Bench-metrieken boekte RSCD verbeteringen van tot 21,1 punten voor Qwen2.5-VL en 34,6 punten voor LLaVA-OneVision ten opzichte van de beste bestaande methoden.
  • Efficiëntie: In tegenstelling tot andere methoden die de invoer manipuleren (bijv. ruis toevoegen aan beelden), gebruikt RSCD alleen masking op de attentie-matrix. Dit maakt het zeer efficiënt, omdat de visuele key-value states kunnen worden hergebruikt (inference cost is slechts licht verhoogd).

4. Bijdragen en Significantie

• Definitie en Categorisatie: Het artikel definieert voor het eerst "Multi-View Hallucination" als een specifiek fouttype veroorzaakt door visuele interferentie tussen meerdere weergaven, en splitst dit op in cross-instance en cross-view fouten.
• Benchmark: De introductie van MVH-Bench biedt de gemeenschap een gestandaardiseerde manier om de robuustheid van LVLMs tegen multi-view verwarring te evalueren, iets wat eerder ontbrak.
• Inzicht in Modelarchitectuur: De analyse toont aan dat de vorming van tekstuele context in intermediare lagen essentieel is voor correcte visuele grounding. Zonder deze context is het model kwetsbaar voor afleiding.
• Efficiënte Oplossing: RSCD biedt een krachtige, trainingsvrije methode om hallucinaties te verminderen zonder de modelarchitectuur te hoeven aanpassen of extra training te vereisen. Dit is van groot belang voor de toepassing van LVLMs in complexe scenario's zoals robotica, surveillance en digitale tweelingen, waar meerdere camera's tegelijkertijd worden gebruikt.

Conclusie:
Dit werk benadrukt dat het simpelweg "meer kijken" naar beelden niet voldoende is voor LVLMs in multi-view settings. In plaats daarvan is een diep begrip van de query-context noodzakelijk om de juiste visuele signalen te selecteren. De voorgestelde RSCD-methode lost dit op door bewust onvolledige context te simuleren om de modelvoorspellingen te corrigeren, wat leidt tot aanzienlijk betere prestaties in complexe visuele omgevingen.