Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models

1. Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) falen vaak bij complexe visuele taken (bijv. grafieken, waarneming op hoge resolutie, visuele wiskunde) door ontbrekende of slecht gelokaliseerde visuele bewijsvoering. Hoewel externe hulpmiddelen (bijsnijden, zoeken, genereren) deze bewijsvoering kunnen leveren, introduceren ze latentie, complexiteit en generalisatieproblemen. Een alternatief is visueel latente redenering, waarbij het model continue latente tokens uitzendt om intermediaire visuele bewijsvoering intern te representeren.

Echter, bestaande methoden voor latente redenering lijden aan instabiele winsten en leveren vaak verwaarloosbare verbeteringen na post-training. De auteurs identificeren een fundamentele mismatch in de kenmerkruimte als de primaire oorzaak:

• Probleem met Pre-norm Architectuur: Moderne MLLM's (bijv. Qwen2.5-VL, Gemma 4) gebruiken pre-norm transformers. In deze architecturen accumuleren de normen van verborgen toestanden aanzienlijk over de lagen heen, wat resulteert in toestanden in de laatste laag die ordes van grootte groter zijn (bijv. ~8,7× voor visie, ~546× voor tekst) dan de invoer-embeddings waarvoor het model is getraind.
• De Mismatch: Huidige latente methoden hergebruiken deze output-verborgen toestanden met hoge normen doorgaans direct als invoer voor de volgende latente token ("output-as-input"). Dit creëert een feedbacklus waarbij het model invoer ontvangt uit een verdeling waarvoor het niet is getraind, wat de optimalisatie destabiliseert en het latente kanaal onbetrouwbaar maakt.

2. Methodologie: Het GAP-kader

De auteurs stellen GAP (Granular Alignment Paradigm) voor, een drie-niveau alignatiestrategie om visuele latente redenering te stabiliseren en te verbeteren.

A. Alignering op Kenmerkniveau: PCA-gealigneerde Latente Kop

Om de mismatch in norm en deelruimte op te lossen, voert GAP geen ruwe decoder-toestanden terug naar het model. In plaats daarvan:

• Projectie: De laatste verborgen toestanden van de backbone (na native RMSNorm) worden via een lichtgewicht PCA-gealigneerde latente kop afgebeeld op de principale deelruimte van visie-embeddings van hulphulpbeelden.
• Reconstructie: Het model voorspelt laag-dimensionale PCA-coëfficiënten ($c_t$) in plaats van volledig dimensionale vectoren. Deze worden gereconstrueerd met behulp van het empirische gemiddelde ($\mu$) en de top-$k$ eigenvectoren ($P_k$) van de visie-embeddings van de trainingsset: $\hat{v}_t = P_k c_t + \mu$.
• Effect: Dit dwingt gegenereerde latenten om te verblijven in hetzelfde normregime en empirische deelruimte als de invoer-visie-embeddings, waardoor de mismatch in de kenmerkruimte wordt gecorrigeerd zonder dat hertraining van de backbone vereist is.

B. Alignering op Datavertek: Context-gegronde Supervisie

Om ervoor te zorgen dat latente doelen interpreteerbaar en inspecteerbaar zijn, construeren de auteurs een dataset van 49.309 gecureerde voorbeelden waarbij:

• Hulphulpbeelden: Elke query is gekoppeld aan een gegenereerd "hulphulpbeeld" dat de ontbrekende visuele bewijsvoering vertegenwoordigt.
• Gestructureerde Output: De trainingsrespons bevat een <latent>-span (supervisie door bevroren ViT-kenmerken van het hulphulpbeeld) en een <parser>-span (een tekstuele beschrijving van het beoogde visuele signaal).
• Doel: Dit koppelt continue latente vectoren aan specifieke, voor mensen leesbare visuele intenties, waardoor het trainingsproces transparant wordt.

C. Alignering op Modelniveau: Moeilijkheidsbewuste Toewijzing

Om te voorkomen dat ruis optreedt door latente supervisie toe te passen op voorbeelden die het basismodel al oplost:

• Selectiestrategie: Het systeem schat de nauwkeurigheid van het basismodel op een query via herhaalde bemonstering.
• Conditionele Supervisie: Latente doelen worden alleen toegewezen wanneer het basismodel faalt (nauwkeurigheid $\le \tau$). Eenvoudige voorbeelden ontvangen standaard supervisie uitsluitend op tekst.
• Voordeel: Dit richt de latente capaciteit op moeilijke gevallen waar visuele redenering daadwerkelijk nodig is, en vermeden verdelingsverschuivingen bij eenvoudige taken.

3. Belangrijkste Bijdragen

1. Diagnose van Mismatch in Kenmerkruimte: Het paper toont empirisch aan dat in pre-norm MLLM's de output-verborgen toestanden een ander normregime bezetten dan invoer-embeddings, wat instabiliteit veroorzaakt in latente feedback van "output-as-input". Eenvoudige norm-rescaling (EMA) verbetert de prestaties, wat deze hypothese valideert.
2. Het GAP-paradigma: Een lichtgewicht recept dat combineert:
   • PCA-gealigneerde projectie om latenten terug te brengen naar de invoer-visie-deelruimte.
   • Context-gegronde supervisie voor inspecteerbaarheid.
   • Moeilijkheidsbewuste toewijzing voor trainingsstabiliteit.
3. Open Dataset: Uitgifte van een dataset van 49K hoogwaardige multimodale latente-supervisie voorbeelden die visuele CoT, grafieken, meetkunde en wiskunde bestrijken.
4. Empirische Validatie: Aantonen dat gealigneerde latenten taakrelevante visuele signalen dragen die verder gaan dan louter token-sleuven.

4. Experimentele Resultaten

Geëvalueerd op Qwen2.5-VL 7B, werd het volledige GAP-model (LH+PCA+DA) vergeleken met het basismodel, dichte bijschrijvingsbaselines en eerdere latente methoden (Monet, LVR).

• Prestaties: GAP behaalde de beste gemiddelde geaggregeerde prestatie over waarnemings- (HRBench4K, MMStar, MME-RealWorld-Lite) en redenerings- (MathVista, WeMath) benchmarks.
  • Het verbeterde de geaggregeerde redenering (Avg-R) met +5,98 ten opzichte van Monet en +6,31 ten opzichte van LVR.
  • Het verbeterde de geaggregeerde waarneming (Avg-P) met +1,74 ten opzichte van Monet.
• Ablatiestudies:
  • PCA-Alignering: Essentieel voor het herstellen van redeneernauwkeurigheid die verloren ging door naïeve latente koppen.
  • Moeilijkheidsbewuste Toewijzing: Cruciaal voor het voorkomen van prestatiedegradatie bij eenvoudige voorbeelden.
  • Token-budget: Prestaties pieken bij 36 latente tokens (6x6 rooster); verdere verhoging levert afnemende meeropbrengst of saturatie op.
• Interventieprobing:
  • Zero-Latent Checkpoint: Zelfs zonder het genereren van latenten bij inferentie, presteerde het model getraind met latente supervisie beter dan dichte bijschrijving, wat suggereert dat het trainingsproces zelf betere representaties vormt.
  • Ruisinjectie: Het vervangen van voorspelde PCA-coëfficiënten door Gaussische ruis degradeerde de prestaties aanzienlijk, wat bevestigt dat de gegenereerde latenten taakrelevante visuele signalen bevatten en niet slechts formatteerartefacten.

5. Betekenis en Claims

Het paper claimt dat visuele latente redenering robuust en effectief kan worden gemaakt in MLLM's door de specifieke architecturale incompatibiliteiten van pre-norm transformers aan te pakken.

• Bescheiden Claims: De auteurs claimen niet om hallucinatie volledig op te lossen of universeel toepasbaar te zijn voor alle backbones zonder verdere validatie. Zij merken op dat de "moeilijkheidsdrempel" heuristisch is en dat de aanpak afhankelijk is van het vermogen om betekenisvolle hulphulpbeelden te genereren tijdens de dataconstructie.
• Kerninzicht: De primaire bijdrage is de identificatie van de norm/subruimte-mismatch als een faalmodus en het aantonen dat een lichtgewicht, PCA-gebaseerde reconstructiepad continue visuele feedback kan aligneren met de invoerverdeling van het model, waardoor stabiele en interpreteerbare visuele redenering mogelijk wordt zonder externe hulpmiddelen.