Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) hebben indrukwekkende prestaties geleverd in taken zoals beeldbeschrijving en visuele vraagbeantwoording (VQA). Echter, hun besluitvormingsproces blijft grotendeels een "black box". Er zijn drie hoofdbeperkingen die de interpretatie en betrouwbaarheid van deze modellen belemmeren:

1. Gebrek aan transparantie: Het is moeilijk te traceren welke specifieke visuele input leidt tot een bepaalde gegenereerde teksttoken, vooral omdat MLLM's tokens autoregressief genereren (token voor token).
2. Hallucinaties: Modellen genereren vaak onjuiste informatie (bijv. objecten die niet in beeld zijn), wat kritiek is voor veiligheidsgerelateerde toepassingen zoals gezondheidszorg en autonoom rijden.
3. Beperkingen van bestaande methoden:
   • Attention-visualisatie: Vangt complexe cross-modale interacties vaak niet goed.
   • Gradient-based methoden: Zijn gevoelig voor cumulatieve effecten in lange sequenties en worden verstoord door tekstuele priors.
   • Activatie-kaarten: Ontbreken een directe causaal link tussen input en output en reflecteren vaak alleen voorkeuren van tussenlagen die niet overeenkomen met menselijke intuïtie.
   • Bestaande subset-selectie methoden (zoals VPS) zijn niet direct toepasbaar op autoregressieve generatie.

Methodologie: EAGLE Framework

De auteurs stellen EAGLE (Explaining Autoregressive Generation by Language priors or Evidence) voor. Dit is een lichtgewicht, black-box attributiekader dat geen toegang vereist tot de interne gewichten van het model.

1. Kernconcepten:

• Attributie: Het identificeren van welke compacte perceptuele gebieden in een afbeelding de generatie van specifieke tokens aandrijven.
• Modaal afhankelijkheid: Het kwantificeren of een token meer afhankelijk is van taalpriors (contextuele kennis) of perceptueel bewijs (visuele input).

2. Technische Implementatie:

• Beeldverdeling: De invoerafbeelding wordt opgesplitst in semantisch betekenisvolle subregio's ($V$) met behulp van SLICO superpixel-segmentatie.
• Doelfunctie (Submodulair geïnspireerd): EAGLE introduceert een unificerende doelfunctie die twee scores combineert:
  • Insight Score (Sufficientie): Meet hoe goed een subset van regio's voldoende is om de kans op het genereren van de juiste token te maximaliseren.
  • Necessity Score (Onmisbaarheid): Meet hoe sterk de generatie wordt beïnvloed door het verwijderen van een subset (d.w.z. welke regio's onmisbaar zijn).
  • De totale doelfunctie is de som van deze twee scores, wat zorgt voor een balans tussen het vinden van de meest informatieve en de meest kritieke regio's.
• Optimalisatie: Omdat het vinden van de optimale subset NP-hard is, gebruikt EAGLE een gierige zoekstrategie (greedy search) over de gesparseerde beeldregio's om een geordende ranglijst te construeren.
• Modaal Analyse: Door te volgen hoe de logit-waarden van tokens evolueren naarmate de belangrijkste regio's progressief worden onthuld, berekent EAGLE een Invloedsscore. Een hoge score betekent dat het token visueel gedreven is; een lage score wijst op afhankelijkheid van taalpriors.

3. Token-Agnostic Benadering:
In tegenstelling tot gradient-methoden die specifieke "visuele" tokens moeten selecteren, is EAGLE token-agnostisch. Het werkt voor elke gekozen set van outputtokens, ongeacht of deze sterk door taal of visie worden beïnvloed.

Belangrijkste Bijdragen

1. EAGLE Framework: Een nieuw black-box attributiekader dat autoregressieve token-generatie uitlegt met lage GPU-geheugeneisen.
2. Unificerende Doelfunctie: Een innovatieve combinatie van sufficientie (Insight) en onmisbaarheid (Necessity), geoptimaliseerd via gierige zoekopdrachten voor betrouwbare attributie.
3. Modaal Ontkoppeling: Een analyse die kwantificeert of tokens op visuele bewijzen of taalpriors vertrouwen, wat fijnmazigere interpretatie mogelijk maakt.
4. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat EAGLE superieur is in betrouwbaarheid, lokalisatie en het diagnosticeren van hallucinaties.

Resultaten

EAGLE werd geëvalueerd op open-source MLLM's (LLaVA-1.5, Qwen2.5-VL, InternVL3.5) en datasets (MS COCO, MMVP, RePOPE).

• Betrouwbaarheid (Faithfulness):
  • Op de taak van beeldbeschrijving (Image Captioning) overtreft EAGLE bestaande methoden (LLaVA-CAM, IGOS++, TAM) gemiddeld met 20,0% in "Insertion" en 13,4% in "Deletion" metrics.
  • Voor VQA-taken zijn de verbeteringen respectievelijk 20,6% en 8,1%.
• Lokalisatie (Word-level):
  • Bij het attribueren van objecten in zinnen (bijv. "kat", "banaan") behaalt EAGLE aanzienlijk betere resultaten op de "Pointing Game" dan TAM (36,42% en 42,63% verbetering op box- en mask-niveau).
  • Het produceert minder redundante en meer gefocuste warmtekaarten.
• Hallucinatiediagnose:
  • Op de RePOPE-benchmark (object-hallucinaties) lokaliseert EAGLE nauwkeurig de visuele elementen die hallucinaties veroorzaken.
  • Het kan hallucinaties elimineren door slechts een minimale set van storende regio's te verwijderen (gemeten via AMCR en CSR@10%). Bijvoorbeeld, het verwijderen van een vork die een lepel verbergt, laat het model de lepel correct herkennen.
• Efficiëntie:
  • EAGLE vereist aanzienlijk minder GPU-geheugen dan concurrenten (bijv. 17,68 GB vs. 96,90 GB voor IGOS++ op Qwen2.5-VL 7B), hoewel het iets meer rekentijd kost dan gradient-methoden. Het is echter de enige methode die schaalbaar genoeg is voor moderne MLLM's.

Significantie

Dit paper is significant omdat het een van de eerste methoden biedt die de autoregressieve aard van MLLM's echt adresseert in plaats van ze te behandelen als classificatiemodellen.

• Vertrouwen en Veiligheid: Door te kunnen aantonen waar een model naar kijkt en waarom het een fout maakt (hallucinatie), wordt het mogelijk om MLLM's veiliger te maken voor kritieke toepassingen.
• Interpretatie: Het onderscheid tussen taalpriors en visuele bewijzen helpt onderzoekers te begrijpen of een model echt "ziet" of dat het alleen maar "raadt" op basis van tekstuele patronen.
• Praktische Toepasbaarheid: De lage geheugeneisen maken het toepasbaar op grote modellen in real-world scenario's, wat een grote stap voorwaarts is ten opzichte van de huidige, zware gradient-gebaseerde methoden.

Kortom, EAGLE biedt een robuust, efficiënt en nauwkeurig instrument om de "black box" van multimodale modellen te openen, met name gericht op het diagnosticeren van fouten en het begrijpen van de visuele grondslagen van taalgeneratie.