Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding

Probleemstelling

Visueel Documentbegrip (Visual Document Understanding - VDU) is een complexe taak voor grote visueel-taalmodellen (LVLMs) die integratie vereist van visuele waarneming, tekstherkenning en redenering over gestructureerde lay-outs. Hoewel recente LVLMs prestatieverbeteringen laten zien op VDU-benchmarks, wordt hun succes uitsluitend geëvalueerd op basis van de nauwkeurigheid van de gegenereerde antwoorden.

De auteurs stellen dat deze benadering tekortschiet omdat een correct antwoord niet noodzakelijk betekent dat het model de benodigde informatie intern correct heeft vastgelegd. Er bestaat een kloof (gap) tussen de interne representaties van het model en de uiteindelijke respons. Bestaande evaluaties negeren deze interne staten, waardoor het onduidelijk blijft of het model daadwerkelijk begrijpt wat het zegt, of dat het slechts statistische patronen volgt.

Methodologie

Het paper introduceert een analyse van de interne representaties van LVLMs met behulp van lineaire probing (linear probing) over verschillende lagen van het Large Language Model (LLM) binnen de LVLM-architectuur.

1. Lineaire Probing Setup:

   • Er worden binaire classificatoren getraind op de verborgen staten (hidden states) van elke laag van het LLM.
   • De input voor deze classifiers omvat vier token-types: image-tokens (visuele embeddings), text-tokens (vraagtekst), all-tokens (gemiddelde pooling van alle tokens), en last-token (het laatste token van de sequentie).
   • De LVLM-parameters blijven bevroren; alleen de lineaire classifier wordt getraind.

2. Taken en Dataset:

   • De analyse omvat vier specifieke VDU-taken: visuele attributenherkenning, woordherkenning, structuurverstaan en figuurverstaan (grafieken).
   • Het dataset is zorgvuldig samengesteld uit voorbeelden waar het basismodel (Qwen2.5-VL 3B) een fout maakt, om te focussen op niet-triviale gevallen.

3. Evaluatiemetrics:

   • Linear Probing Accuracy: Hoe goed kan een lineaire classifier het juiste antwoord voorspellen op basis van de interne representaties?
   • Response Accuracy: Hoe vaak geeft het model het juiste antwoord in de gegenereerde tekst?
   • De Gap: Gedefinieerd als het verschil tussen de maximale lineaire probing-accuracie (over alle lagen) en de respons-accuracie.

4. Fine-tuning Strategieën:

   • Gebaseerd op de bevindingen, worden fine-tuning experimenten uitgevoerd waarbij specifieke groepen lagen worden aangepast: Lower, Middle, en Upper lagen.
   • Er wordt getest op single-step (één groep of twee opeenvolgende groepen) en two-step (sequentiële fine-tuning) strategieën.

Belangrijkste Bevindingen en Resultaten

1. Bestaan van de Kloof:
Er is een duidelijke kloof tussen interne representaties en gegenereerde antwoorden. De lineaire probing-accuracie is in alle geteste modellen en taken aanzienlijk hoger dan de respons-accuracie. Dit betekent dat het model informatie intern "weet", maar deze niet succesvol kan vertalen naar een tekstuele output.

2. Locatie van Informatie:
Een cruciale ontdekking is dat de informatie die nodig is om de taak op te lossen, vaak lineair beter gecodeerd is in de tussenliggende (intermediate) lagen dan in de laatste laag.

• De last-token representaties tonen de sterkste lineaire signalen, maar de piek in accuracie treedt vaak op in de middelste lagen van het netwerk.
• In de laatste lagen lijkt de representatie te verschuiven naar het optimaliseren voor "next-token prediction", wat de lineair scheidbare signalen voor het specifieke antwoord kan vervagen of verdunnen.

3. Effectiviteit van Fine-tuning:

• All-layer fine-tuning: Het volledig finetunen van het model verbetert de respons-accuracie, maar sluit de kloof niet volledig.
• Intermediate Layer Fine-tuning: Het selectief finetunen van de middelste lagen (of een combinatie van lage en middelste lagen) leidt tot:
  • Hogere respons-accuracie.
  • Hogere lineaire probing-accuracie.
  • Een aanzienlijk kleinere kloof tussen interne representaties en antwoorden vergeleken met all-layer fine-tuning.
• Efficiëntie: Deze strategie vereist minder trainbare parameters en kortere trainingstijd (bijv. ~35% tijdsbesparing in DocVQA-taken) terwijl het betere resultaten oplevert.

Belangrijkste Bijdragen

1. Uitgebreide Laag-voor-Laag Analyse: De eerste gedetailleerde analyse van interne representaties in LVLMs voor VDU-taken via lineaire probing over de volledige diepte van het model.
2. Kwantificering van de Kloof: Het aantonen dat een significante discrepantie bestaat tussen wat het model intern "weet" en wat het produceert, en dat dit niet opgelost wordt door standaard all-layer fine-tuning.
3. Identificatie van Kritieke Lagen: Het bewijzen dat de meest informatieve representaties voor VDU-taken zich in de middelste lagen bevinden, niet in de finale laag.
4. Verbeterde Fine-tuning Strategie: Het demonstreren dat het targeten van specifieke tussenliggende lagen de prestaties verbetert, de kloof verkleint en de trainingsefficiëntie verhoogt.

Significantie en Implicaties

Deze studie heeft belangrijke implicaties voor de ontwikkeling en evaluatie van multimodale modellen:

• Betrouwbaarheid en Interpretatie: Het inzicht dat modellen meer weten dan ze zeggen, is cruciaal voor het verbeteren van de betrouwbaarheid, interpretatie en veiligheid van AI-systemen.
• Nieuwe Evaluatie-paradigma's: Het suggereert dat evaluatie niet alleen op output mag worden gebaseerd, maar ook interne representaties moet monitoren om ware begrip te meten.
• Efficiëntie: Het biedt een praktische methode om modellen te verbeteren door minder parameters te finetunen (selectieve lagen) in plaats van het hele model, wat kosten en tijd bespaart.
• Toekomstig Onderzoek: Het paper daagt de gemeenschap uit om nieuwe methoden te ontwikkelen die complexere redenering kunnen analyseren, aangezien lineaire probing beperkingen heeft bij vrij-vormige of complexe redeneertaken.

Kortom, het paper toont aan dat voor VDU-taken de "intelligentie" van een LVLM vaak in de middenlaag van het netwerk schuilt, en dat het optimaliseren van deze lagen de sleutel is tot het sluiten van de kloof tussen intern begrip en externe communicatie.