Technische Samenvatting: Interpretabiliteitsoverdracht van Taal naar Visie via Sparse Auto-encoders

1. Probleemstelling

De interpretabiliteit van Large Multimodal Models (LMM's) blijft een aanzienlijke uitdaging. Hoewel Sparse Auto-encoders (SAE's) met succes polysemantische taalfeatures hebben ontleed in monosemantische, interpreteerbare concepten binnen Large Language Models (LLM's), wordt het toepassen van dit succes op het visuele domein gehinderd door twee primaire beperkingen:

1. Labelingsambiguïteit: Het trainen van domeinspecifieke SAE's op visuele encoders levert monosemantische visuele features op, maar het labelen van deze features is moeilijk. Het onderscheiden of een feature een specifiek object, een ras of een actie vertegenwoordigt, is dubbelzinnig. Bovendien onthullen visie-only SAE's niet hoe visuele features worden geïnterpreteerd zodra ze de residual stream van de LLM binnenkomen.
2. Rekenkosten: Het fine-tunen van bestaande op LLM gebaseerde SAE's om visuele informatie op te nemen, is onbetaalbaar duur. Het aanpassen van een model zoals Gemma Scope vereist bijvoorbeeld enorme rekenkracht en uitgebreide herlabelingsinspanningen (bijvoorbeeld honderdduizenden LLM-aanvragen) om rekening te houden met verschoven latente ruimtes.

De centrale vraag die wordt aangepakt is: Kunnen taal-sparse auto-encoders worden hergebruikt om visuele concepten te interpreteren zonder nieuwe visiespecifieke SAE's te trainen?

2. Methodologie: VISTA-raamwerk

De auteurs stellen VISTA (Visual Interpretability via SAE Transfer Alignment) voor, een raamwerk dat is ontworpen om interpretabiliteit van taal naar visie over te dragen binnen een LLaVA-stijl visueel-taalmodel. De kerninnovatie is het beperken van de visuele projector om visuele tokens direct af te beelden in de bestaande, gelabelde tekstuele SAE-ruimte van de LLM.

Architectuur en Trainingsdoel

• Opstelling: Het raamwerk maakt gebruik van een bevroren visuele encoder (bijvoorbeeld DINOv2, CLIP) en een bevroren LLM. Een trainbare lineaire projector ($P_\theta$) beeldt visuele tokens ($v$) af in de embedding-ruimte van de LLM ($e_v$).
• Verliesfunctie: In tegenstelling tot standaardtraining die alleen Cross-Entropy ($L_{CE}$) op doelteken minimaliseert, introduceert VISTA een aanvullende SAE-reconstructieverlies ($L_{SAE}$).
  • Een voorgetrainde SAE, getraind op de residual stream van de LLM met uitsluitend tekstdata, wordt gebruikt als beperking.
  • Het verlies minimaliseert de Mean Squared Error tussen de geprojecteerde visuele tokens en hun reconstructie door de tekst-SAE: $L_{SAE} = \frac{1}{|M|} \sum_{l \in M} ||SAE_l(e^l_v) - e^l_v||^2_2$.
  • Het totale doel is $L_{total} = L_{CE} + L_{SAE}$.
• Mechanisme: Dit dwingt visuele tokens om op het door de tekst-SAE's gedefinieerde manifold te liggen. Bijgevolg kunnen visuele invoer worden geïnterpreteerd via vooraf gelabelde linguïstische SAE-concepten met verwaarloosbare extra rekenkosten, waarbij de noodzaak voor visiespecifieke SAE-training wordt omzeild.

Gedetailleerde Sturing

Zodra uitgelijnd, wordt visuele manipulatie een rekenkundige operatie binnen het linguïstische manifold. Het raamwerk maakt gelokaliseerde sturing mogelijk door decoder-richtingen (concepten) van de tekst-SAE toe te voegen aan of af te trekken van specifieke visuele token-posities ($v_{source}$):

• Verwijdering: $v_{steered} = v_{source} - \beta \cdot v_{remove}$
• Vervanging: $v_{steered} = v_{source} + \alpha \cdot v_{add}$
  Dit maakt het mogelijk om specifieke objecten in de perceptie van het model te verwijderen of te vervangen terwijl de omringende scenescontext behouden blijft.

3. Belangrijkste Bijdragen

1. Interpretabiliteitsoverdracht: De introductie van een trainingsdoel dat visuele tokens uitlijnt met LLM-SAE-features, wat overdracht van interpretabiliteit over modaliteiten faciliteert zonder de rekenlast van het trainen of labelen van visiespecifieke SAE's.
2. Encoder-analyse: Een rigoureuze vergelijking van visuele encoders die mogelijk wordt gemaakt door VISTA, waarbij blijkt dat DINOv2 superieure en architectuurstabiele ruimtelijke lokalisatie bereikt. In tegenstelling tot contrastieve modellen zoals CLIP, die globale samenvattingen prioriteren en last hebben van ruimtelijke verwarring, behoudt het zelftoezichtende lokaal-naar-globale doel van DINOv2 de gedetailleerde lokale informatie die nodig is voor nauwkeurigheid op patch-niveau.
3. Causale Validatie: Demonstratie dat rekenkundige interventies op visuele tokens met tekst-SAE-richtingen coherente, gelokaliseerde veranderingen in modeloutput produceren. Dit biedt causaal bewijs dat visuele tokens het tekst-SAE-manifold bewonen.

4. Resultaten en Bevindingen

Uitlijning en Matchingspercentage

• Matchingspercentage: VISTA-beperkingen leiden tot een driedubbele toename in het matchingspercentage (de nauwkeurigheid waarmee activerende tekstuele concepten overeenkomen met semantische elementen in de afbeelding) in vergelijking met baselines zonder beperkingen.
• Vertraagde Uitlijning: Het artikel daagt het concept van "vertraagde uitlijning" uit (waarbij visuele tokens zich pas in diepere lagen van nature uitlijnen met tekstfeatures). Hoewel dit fenomeen werd waargenomen in Gemma-modellen zonder beperkingen, komt het niet universeel voor (bijvoorbeeld in LLaMA-3.1-8B). VISTA-beperkingen dwingen onmiddellijke uitlijning af over alle architecturen en lagen.
• Reconstructie en Sparsiteit: Met SAE-beperkingen bereiken visuele tokens onmiddellijke convergentie in reconstructiefout en sparsiteit, waarbij ze de verdeling van teksttokens vanaf de eerste laag matchen, terwijl onbeperkte tokens vaak dicht en met hoge fout door het netwerk blijven.

Ruimtelijke Lokalisatie

• DINOv2 vs. CLIP: DINOv2 demonstreert een Ruimtelijke Lokalisatie Nauwkeurigheid (SLA) van 0,927 (met Gemma-2-2B), wat significant beter is dan CLIP (0,201) en I-JEPA (0,702).
• CLIP-beperkingen: CLIP-activaties vertonen ruimtelijke verwarring, waarbij ze vaak concepten activeren die ver verwijderd zijn van het relevante object, wat gedetailleerde sturing instabiel maakt.
• Robuustheid: DINOv2 behoudt hoge lokalisatienauwkeurigheid over verschillende LLM-backbones (Gemma-2-2B, Gemma-2-9B, LLaMA-3.1-8B), terwijl de prestaties van CLIP aanzienlijk variëren en lager blijven.

Sturingsprestaties

• Kwantitatieve Winsten: Door gebruik te maken van de precisie van DINOv2, bereikt VISTA een 35% verbetering in taken voor objectverwijdering en een 47% verbetering in taken voor objectvervanging ten opzichte van de beste visie-only baselines (VisionSAE en PatchSAE).
• Kwalitatieve Uitkomsten: Sturing met DINOv2 maakt precieze modificaties mogelijk (bijvoorbeeld het veranderen van een "rennende hond" in een "rennende kat" of het verwijderen van een kat van een bank) terwijl de globale scenescontext behouden blijft. In tegenstelling hiermee resulteert CLIP-gebaseerde sturing vaak in hallucinaties of veranderingen in de globale context.
• Causaal Bewijs: Gecontroleerde vergelijkingen bevestigen dat VISTA de perceptie van het model van specifieke visuele patches wijzigt in plaats van het taalgeneratiepad te kapen. Alleen-tekst sturing of prompt-sturing faalt om de samenhang van de scene te behouden.

Prestatie-impact

• Kleine Modellen: In kleinere modellen (bijvoorbeeld Gemma-2-2B) veroorzaken SAE-beperkingen een marginale regressie in nauwkeurigheid op sommige benchmarks, waarschijnlijk vanwege beperkte representatieve capaciteit.
• Grote Modellen: In grotere architecturen (bijvoorbeeld LLaMA-3.1-8B) fungeren SAE-beperkingen als een gunstige regularisator, waardoor de prestaties op het merendeel van de benchmarks verbeteren.
• OOD-robustheid: De uitlijning van VISTA generaliseert naar Out-of-Distribution (OOD) data (DomainNet), waarbij consistente reconstructie, sparsiteit en matchingspercentages worden behouden, wat aangeeft dat de uitlijning een structurele eigenschap is en geen artefact van de trainingsset.

5. Betekenis en Beweringen

Het artikel beweert dat interpretabiliteit een overdraagbare eigenschap is over modaliteiten. Door SAE-beperkingen af te dwingen tijdens de uitlijning van visuele encoders met LLM's, beeldt VISTA visuele tokens af in een bestaande, gelabelde linguïstische feature-ruimte. Dit elimineert de noodzaak voor de reken- en labelkosten die gepaard gaan met het trainen van visiespecifieke SAE's.

De auteurs benadrukken dat het succes van gelokaliseerde interpretabiliteit en sturing intrinsiek gekoppeld is aan de ruimtelijke fideliteit van de visuele backbone. Ze tonen aan dat het lokale doel van DINOv2 de benodigde precisie biedt voor deze overdracht, wat significant beter presteert dan contrastieve modellen zoals CLIP. Dit paradigma van "interpretabiliteitsoverdracht" biedt een schaalbaar pad voor het begrijpen en controleren van complexe multimodale systemen, waardoor gedetailleerde causale interventies en feature-circuitanalyse mogelijk worden zonder de onbetaalbare kosten van het hertrainen van fundamentele modellen.

Het werk is gevalideerd over meerdere LLM-architecturen (Gemma, LLaMA) en visuele encoders (CLIP, DINOv2, I-JEPA), met code beschikbaar gesteld om verder onderzoek naar mechanistische interpretabiliteit in multimodale systemen te ondersteunen.