Technische Samenvatting: Head-Wise Representation Alignment (HeRA) voor Multimodale LLM's

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben significante capaciteiten getoond in visuele taal-taken, maar blijven worstelen met fundamentele visuele redeneeruitdagingen, zoals het tellen van objecten, het begrijpen van ruimtelijke relaties en diepe visuele analyse. De huidige verbeteringen in MLLM's worden grotendeels gedreven door het opschalen van data en modelgrootte, in plaats van door principiële interventies in interne mechanismen.

Een primaire beperking van bestaande methoden voor representatie-alignement — die de interne representaties van een MLLM reguleren om overeen te komen met die van een externe visuele encoder — is hun afhankelijkheid van het aligneren van een vaste laag van de taal-backbone (bijv. de middelste laag). Deze aanpak negeert de fijnmazige interne structuur van Transformer-modellen. Bovendien kan rigide feature-matching in MLLM's, die beschikken over sterke pre-trained taal-priors, in conflict komen met het taalmodelleringsobjectief, wat potentieel kan leiden tot suboptimale prestaties of catastrofale interferentie.

Methodologie: Head-Wise Representation Alignment (HeRA)

De auteurs stellen HeRA voor, een methode die cross-modale alignement afdwingt op het niveau van individuele attention heads in plaats van grove, vaste lagen. De aanpak is gebaseerd op de Platonic Representation Hypothesis (PRH), die stelt dat representaties over verschillende modaliteiten heen consistente lokale buurtstructuren (topologie) delen, zelfs als hun globale geometrieën verschillen.

Kerncomponenten

1. Topologische Alignement via MKNN:
   De methode maakt gebruik van de Mutual K-Nearest Neighbor (MKNN) metriek om de overeenstemming tussen de lokale buurtstructuren van tekstuele en visuele representaties te meten. Hoge MKNN-scores duiden erop dat semantisch vergelijkbare inputs vergelijkbare buren delen in zowel de taal- als de visuele latente ruimtes.

2. Differentiabele Contrastieve Proxy:
   Omdat de MKNN-metriek niet-differentieerbaar is (afhankelijk van discrete buur-indices), introduceert HeRA een contrastief objectief als een differentiable proxy. Voor een gegeven multimodale input wordt het model getraind om zijn representatie dichter bij de representaties van de $k$-dichtstbijzijnde buren (berekend in de ruimte van een bevroren teacher vision encoder) te trekken, terwijl het deze wegduwt van andere samples in de batch. Dit wordt geïmplementeerd met een multi-target variant van de InfoNCE loss.

3. Granulariteit op Head-niveau:
   In plaats van de volledige gepoolde output van een laag te aligneren, isoleert HeRA de geprojecteerde bijdrage van individuele attention heads. Voor een multi-head attention laag wordt de output gedecomposeerd in bijdragen van elke head ($h$) in laag ($l$). De contrastieve loss wordt onafhankelijk toegepast op deze specifieke head-level representaties.

4. Strategische Head-selectie:
   Een cruciale ontwerpkeuze is het bepalen welke heads gealigneerd moeten worden. De auteurs berekenen MKNN-scores voor alle heads met behulp van het taalmodel voordat de multimodale training plaatsvindt (zuivere tekstuele representaties). Tegen de intuïtie in dat men de "beste" heads zou moeten aligneren, laten experimenten zien dat het targeten van de minst gealigneerde heads (de "Worst-5") de grootste prestatiewinst oplevert. Deze strategie versterkt misaligneerde componenten zonder reeds goed gealigneerde structuren of de kern van de taalmodelleringstaak te verstoren.

Belangrijkste Bijdragen

• Fijnmazige Alignement: Het bewegen voorbij fixed-layer alignment naar opereren op het niveau van individuele attention heads, wat meer atomaire interventies in het model mogelijk maakt.
• Topologische Focus: Een verschuiving van strikte feature-matching naar het behouden van lokale topologische structuren (buurtrelaties) over modaliteiten heen, in lijn met de PRH.
• Contraintuïtieve Selectiestrategie: Het identificeren dat het aligneren van de minst gealigneerde attention heads superieure regularisatie en prestatieverbeteringen biedt vergeleken met het aligneren van reeds goed gealigneerde heads of willekeurige subsets.
• Regularisatie tegen Hallucinaties: Aantonen dat topologische alignement van nature de overmatige afhankelijkheid van linguïstische priors van het model beteugelt, waardoor visuele hallucinaties worden verminderd.

Experimentele Resultaten

De auteurs evalueerden HeRA over meerdere MLLM's (inclusclusief Vicuna, LLaMA3, Qwen2.5, en Qwen3-families variërend van 3B tot 14B parameters) en 18 benchmarks.

• Visus-gecentreerde Taken: HeRA verbetert consequent de prestaties op uitdagende visus-gecentreerde benchmarks (bijv. RWQA, MMVP, Blink, CVBench). Zo behaalde Qwen3-8B een gemiddelde verbetering van +3,6 op visuele taken, en Q%， zag Qwen2.5-14B een winst van +3,4.
• Algemene Capaciteiten: In tegen tegenstelling tot eerdere methoden die soms de algemene taalprestaties verslechteren, behoudt of verbetert HeRA de scores op General Knowledge, OCR en Knowledge taken, wat wijst op succesvolle mitigatie van catastrofale interferentie.
• Reductie van Hallucinaties: Modellen getraind met HeRA vertonen een lagere hallucinatie-ratio (gemeten via CHAIR en AMBER benchmarks) terwijl ze cognitieve scores behouden of verbeteren, wat wijst op een trouwere integratie van visueel bewijs.
• Ablatie-bevindingen:
  • Het aligneren van de "Worst-5" heads presteert beter dan het aligneren van de "Top-5" of willekeurige heads.
    ** Het aligneren van te veel heads (bijv. 10) leidt tot prestatie-regressie, wat de noodzaak voor selectieve alignement bevestigt.
  • Contrastieve leer-objectieven presteren beter dan directe feature-matching (cosine similarity) bij dezelfde granulariteit.
  • Het gebruik van DINO-gebaseerde vision encoders als teachers levert betere resultaten op dan het gebruiken van dezelfde encoder die wordt gebruikt voor de primaire visuele input (SigLIP2).

Betekenis

Het artikel beweert dat HeRA een geprincipeerde aanpak biedt voor het verbeteren van MLLM's door direct te interveniëren in de interactie tussen visie en taal. Door specifieke attention heads te targeten en topologische consistentie af te dwingen in plaats van rigide feature-matching, adresseert HeRA het tekort aan visuele perceptie in MLLM's zonder hun linguïstische priors te compromitteren. Het werk suggereert dat de "minst gealigneerde" componenten van een multimodale model de meest kritieke doelwitten zijn voor verbetering, wat een nieuwe richting biedt voor regularisatiestrategieën in multimodale learning. De code is publiekelijk vrijgegeven om verder onderzoek te faciliteren.