Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

Technische Samenvatting: Mitigeren van Visuele Degradatie in MLLM's via Spatial-Spectral Visual Anchor Learning

Probleemstelling
Ondanks de aanzienlijke vooruitgang in Multimodale Large Language Models (MLLM's) door middel van visuele instructie-afstemming (visual instruction tuning), vertonen deze modellen hardnekkige tekortkomingen in visuele perceptie. De auteurs identificeren een cruciaal, onderbelicht fenomeen: visuele representatie-deviatie. Na visuele instructie-afstemming wijken de interne visuele representaties binnen de Large Language Model (LLM) lagen progressief af van hun oorspronkelijke semantische toestanden tijdens de inferentie. Dit leidt tot ernstige informatie-degradatie in diepere lagen, waardoor het model fijnmazige ruimtelijke details en semantische getrouwheid verliest.

Het artikel daagt de heersende intuïtie uit dat het direct afstemmen van intermediaire LLM-representaties met externe Vision Foundation Models (VFM's) dit probleem oplost. Hoewel dergelijke directe afstemming (bijv. VIRAL) de kwaliteit van visuele kenmerken verbetert, tonen de auteurs aan dat het de deviatie zelf niet mitigeert; representaties divergeren nog steeds met een vergelijkbare snelheid over de lagen heen. Het kernprobleem is niet enkel wat de representaties coderen, maar hoe stabiel ze worden behouden terwijl ze door het netwerk propageren.

Methodologie: Spatial-Spectral Visual Anchor Learning (SSVAL)
Om representatie-deviatie aan te pakken zonder de inferentie-overhead te verhogen, stellen de auteurs SSVAL voor, een framework gecentreerd rond Visual Anchor Prompt Injection (VAPI) en auxiliary Spatial-Spectral Representation Alignment (SSRA).

1. Visual Anchor Prompt Injection (VAPI):

   • Mechanisme: De kerninnovatie is een set leerbare visuele prompts die fungeren als "kennisvaten". Tijdens de training absorberen deze prompts rijke visuele kennis van een externe VFM (bijv. DINOv2, CLIP) via een gated multi-head cross-attention mechanisme.
   • Functie: De prompts worden willekeurig geïnitialiseerd en geoptimaliseerd om VFM-kenmerken te vangen. Tijdens de inferentie wordt de externe VFM weggegooid. De geleerde prompts fungeren als stabiele visuele ankers, die consistente referentiepunten bieden voor elke LLM-laag om de drift van visuele representaties te stoppen.
   • Architectuur: Visuele kenmerken dienen als queries, terwijl de gecombineerde prompts (oorspronkelijke prompts + geprojecteerde VFM-kenmerken) dienen als keys en values in een cross-attention module, gevolgd door een gated residual connection.

2. Spatial-Spectral Representation Alignment (SSRA):
   Om complementaire visie-specifieke supervisie te bieden op intermediaire LLM-lagen (waar standaard tekstgebaseerde training een tekort aan heeft), introduceert SSVAL twee auxiliary loss-functies:

   • Spatial Representation Alignment (SpaRA): Stemt student (LLM) en teacher (VFM) kenmerken af vanuit een multi-scale ruimtelijk perspectief (pooling factoren 1x1, 2x2, 4x4). Het maximaliseert de cosinus-gelijkenis voor feature-level alignment en beperkt pairwise ruimtelijke relaties voor relation-level alignment.
   • Spectral Representation Alignment (SpeRA): Werkt in het frequentiedomein. Het deelt kenmerken op in Low-Frequency (LF) en High-Frequency (HF) componenten met behulp van 2D Fast Fourier Transforms (FFT). LF-componenten vangen globale structuren op, terwijl HF-componenten randen en lokale details vangen. De loss past Mean Squared Error (MSE) toe op LF en logaritmische compressie op HF om dominantie van ruis te voorkomen.

3. Trainingsdoelstelling:
   De totale loss combineert de standaard next-token prediction loss met de gewogen SpaRA en SpeRA alignment losses. Deze gezamenlijke optimalisatie zorgt ervoor dat de prompts VFM-kennis absorberen terwijl de alignment losses de visuele integriteit in intermediaire lagen versterken.

Belangrijkste Bijdragen

• Identificatie van Deviatie: Het artikel kwantificeert visuele representatie-deviatie in MLLM's, waarbij wordt aangetoond dat de cosinus-gelijkenis tussen input en intermediaire representaties scherp daalt naarmate de laagdiepte toeneemt. Het onthult dat directe VFM-afstemming deze drift niet stopt.
• Visual Anchor Prompt Injection (VAPI): Een nieuw mechanisme waarbij prompts als persistente ankers fungeren die VFM-kennis absorberen tijdens de training en representaties stabiliseren tijdens de inferentie, waardoor de afwijking effectief wordt gemitigeerd zonder externe modellen tijdens de testfase.
• Spatial-Spectral Supervisie: De introductie van SpaRA en SpeRA biedt complementaire multi-scale ruimtelijke en frequentiedomein supervisie, wat het gebrek aan expliciete visuele begeleiding in intermediaire lagen adresseert.
• Efficiëntie: De methode introduceert een verwaarloosbare inferentie-overhead (slechts +1,55% parameters en +0,04% FLOPs), aangezien de VFM en alignment losses enkel onderdeel zijn van de training.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op zes multimodale benchmarks (CV-Bench2D, MMVP, MMStar, MME, POPE, MM-Bench) met verschillende visuele encoders (CLIP, SigLIP) en LLM-schalen (Qwen2.5-3B, Qwen2.5-7B).

• Prestaties: SSVAL presteert significant beter dan zowel de standaard Baseline (Visual Instruction Tuning) als de directe afstemmethode (VIRAL). Opvallende verbeteringen zijn +6,47% op CV-Bench2D en +7,86% op MMVP met de Qwen2.5-7B backbone.
• Robuustheid: In tegenstelling tot VIRAL, dat prestatieverliezen vertoonde op bepaalde benchmarks (bijv. -5,34% op MMVP met SigLIP), toonde SSVAL consistente winst, wat suggereert dat het anker-mechanisme robuuster is voor variërende kwaliteiten van de initiële visuele representatie.
• Ablatie-studies:
  • VAPI werd geïdentificeerd als de primaire drijfveer van de prestatiewinst.
  • SpaRA en SpeRA boden complementaire voordelen, waarbij multi-scale ruimtelijke alignment en de combinatie van LF/HF frequentiecomponenten de beste resultaten opleverden.
  • Aantal Prompts: Vier prompts bleken optimaal voor de geteste configuraties.
  • VFM Bron: Het gebruik van DINOv2-B als kennisbron leverde de beste algehele balans op, hoewel DINOv2-L beter presteerde op specifieke reasoning benchmarks.

Kwalitatieve Analyse
Kwalitatieve resultaten laten zien dat SSVAL embeddings produceert met duidelijkere clusteringgrenzen en een sterkere structurele organisatie vergeleken met de baselines. Attention maps geven aan dat SSVAL de aandacht gefocust houdt op relevante objecten, terwijl baselines verspreide attention-patronen vertonen. De geleerde prompts vertoonden gespecialiseerde rollen: één prompt onderdrukt achtergrondruis en andere erven de 'objectness' van voorgrondobjecten over van de VFM, wat effectief de kloof tussen verschillende VFM-capaciteiten overbrugt.

Betekenis
Het artikel beweert dat SSVAL een fundamentele verschuiving biedt in het aanpakken van visuele degradatie: in plaats van enkel sterkere kenmerken te injecteren, vestigt het een persistent anker-mechanisme dat representaties door het hele netwerk stabiliseert. Door kennisabsorptie (training) te scheiden van inferentie-efficiëntie, bereikt SSVAL substantiële prestatieverbeteringen in fijnmazige perceptie en ruimtelijk redeneren met minimale computationele kosten, wat de hypothese valideert dat visuele ankers essentieel zijn voor het behoud van de representatie-integriteit in diepe MLLM's.