Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

Technische Samenvatting: Extractie en Analyse van Multimodale Concepten in VLMs via Sparse Autoencoders

Probleemstelling
Vision Language Models (VLMs) hebben significante prestaties behaald in gezamenlijke beeld-teksttaken zoals Visual Question Answering (VQA) en beeldbeschrijving (image captioning). Het begrijpen van hun interne computationele mechanismen blijft echter een kritieke uitdaging. Hoewel Sparse Autoencoders (SAEs) zijn opgekomen als een veelbelovend instrument voor Mechanistic Interpretability (MI) om menselijk begrijpelijke concepten uit modelactivaties te extraheren, kampen bestaande benaderingen bij toepassing op VLMs met twee primaire beperkingen:

1. Modale Isolatie: De meeste SAE-gebaseerde werken richten zich exclusief op tekstuele concepten of visuele concepten in isolatie, waarbij multimodale concepten (concepten die gezamenlijk in zowel beeld als tekst zijn gegrond) worden genegeerd. Dit leidt tot potentiële misclassificatie van neuronen die geïntegreerde informatie coderen.
2. Lage Kwaliteit van Visuele Beschrijvingen: Eerdere methoden voor visuele conceptextractie produceren vaak vage of incomplete beschrijvingen. Bovendien verslechteren technieken die afhankelijk zijn van het maskeren van beeldpatches om neuronactivaties te isoleren de contextuele informatie te sterk, wat de nauwkeurigheid van de geëxtraheerde concepten vermindert.

Methodologie
De auteurs stellen een verenigd framework voor, gebaseerd op SAEs, om visuele, tekstuele en multimodale concepten te extraheren en te analyseren. De methodologie verloopt als volgt:

1. SAE Integratie en Activatie Registratie:

   • Een vooraf getrainde SAE wordt geïntegreerd in een VLM (specifiek LLaVA-NeXT-8B).
   • De SAE projecteert hoogdimensionale embeddings naar een sparse latente ruimte ($\omega$) met behulp van een Top-K activatiefunctie om sparsiteit af te dwingen en monosemantische neuronen te stimuleren.
   • Voor elke VQA-sample (beeld + vraag-antwoord paar) registreert het systeem afzonderlijke activatietensors voor visuele patches ($V$) en tekstuele tokens ($T$).

2. Extractie van Multimodale Concept Hypothesen:

   • Voor een doel-SAE neuron selecteert het systeem de top-5 samples die de gemiddelde activatie voor dat neuron maximaliseren in zowel de visuele als de tekstuele modaliteit.
   • Visuele Extractie: Een externe VLM (LLaVA-72B) fungeert als "uitlegger" (explainer). Deze ontvangt de top-activerende beeldpatches (waarbij niet-activerende patches vervaagd zijn in plaats van zwart gemaskeerd, om context te behouden) samen met de bijbehorende VQA-vraag en het antwoord. Deze tekst-geaugmenteerde visuele input verbetert het begrip van de uitlegger.
   • Tekstuele Extractie: De uitlegger ontvangt de specifieke tekstuele tokens die het neuron hebben getriggerd (gemarkeerd tussen haakjes) samen met de originele ongewijzigde afbeelding. Dit spiegelt het visuele proces en biedt multimodale gronding voor de tekst.
   • De uitlegger genereert een kandidaat menselijk interpreteerbare concepthypothese voor elke modaliteit.

3. Evaluatie en Classificatie:

   • Hypothese-Data Alignement: Om hypothesen te valideren, gebruikt het framework CLIP (ViT-B/32) en ALIGN modellen om de cosinus-gelijkenis te berekenen tussen de gegenereerde conceptbeschrijvingen en de datasamples die hen triggerden. Een hypothese wordt als gevalideerd beschouwd als deze hoog scoort (top-$n$) ten opzichte van de genererende data.
   • Multimodale Neuron Toewijzing: Voor neuronen met zowel visuele ($h_{vis}$) als tekstuele ($h_{text}$) hypothesen, berekent het framework de semantische gelijkenis tussen de twee hypothesen met behulp van tekstencoders. Als de gelijkenis een drempelwaarde $\tau$ (gesteld op 0.8) overschrijdt, wordt het neuron geclassificeerd als multimodaal. Zo niet, dan wordt het toegewezen aan de modaliteit met de hogere hypothese-data alignment score.
   • Categorie-gebaseerde Evaluatie: Visuele hypothesen worden ook in kaart gebracht naar specifieke visuele categorieën (bijv. scène, object, onderdeel) om te vergelijken met baselines.

Belangrijkste Bijdragen
Het artikel presenteert twee primaire bijdragen:

1. Geïntegreerde Multimodale Concept Extractie: Het framework breidt de SAE-analyse uit naar een verenigde setting, waarbij het succesvol visuele, tekstuele en multimodale concepten extraheert en onderscheidt. Het adresseert de kloof in systematische studies van multimodale concepten in VLMs.
2. Verbeterde Kwaliteit van Visuele Concepten: Door een nieuwe extractietechniek te introduceren die complementaire tekst (Q&A paren) bevat tijdens de visuele hypothesegeneratie en zwart maskeren vervangt door vervaging, levert de methode preciezere en semantisch beter gegronde visuele concepten op.

Experimentele Resultaten
Experimenten werden uitgevoerd op de LLaVA-NeXT dataset (gebruikmakend van de eerste 5.000 neuronen van de SAE) en vergeleken met een baseline methode (Zhang et al. [21]).

• Visuele Concept Kwaliteit: Het voorgestelde framework presteerde aanzienlijk beter dan de baseline. Het behaalde een gemiddelde verbetering van 41% in CLIP-scores en 45% in ALIGN-scores voor visuele concept-alignement over verschillende drempelwaarden.
• Identificatie van Multimodale Concepten: Het framework identificeerde succesvol 132 multimodale concepten uit 249 geanalyseerde neuronen (bij $\tau=0.8$), terwijl de baseline geen multimodale concepten systematisch identificeerde.
• Tekstuele Kwaliteit: De kwaliteit van de tekstuele concepten bleef hoog, waarbij de interpreteerbaarheidsscores (detectie en fuzzing) vergelijkbaar waren met andere tekst-alleen SAE-analyses (bijv. gebruikmakend van Llama-3.1-8b).
• Kwalitatieve Interventie: Experimenten met interventies toonden aan dat het forceren van specifieke neuronactivaties (visueel, tekstueel of multimodaal) de tekstgeneratie beïnvloedde. Opvallend genoeg hadden multimodale concepten een meer uitgesproken impact op de outputproductie dan unimodale concepten, vooral wanneer een afbeelding aanwezig was in de prompt.

Betekenis en Claims
De auteurs stellen dat dit werk nieuwe inzichten biedt in de conceptuele ruimte van VLMs door aan te tonen dat SAEs tekstuele en visuele concepten coderen die gecondenseerd zijn in een gedeelde latente ruimte. Het framework biedt een gestructureerde aanpak om onderscheid te maken tussen unimodale en multimodale concepten, wat essentieel is voor het begrijpen van hoe VLMs verschillende modaliteiten alignen en verwerken.

Het artikel concludeert dat hun aanpak een uitgebreider begrip van VLM-redenering mogelijk maakt door de kwaliteit van geëxtraheerde visuele concepten te verbeteren en multimodale neuronen systematisch te identificeren. De auteurs merken op dat hoewel hun bevindingen een correlatie onthullen tussen conceptwijziging en tekstoutput, zij geen causaal verband vaststellen. Zij positioneren dit werk als een stap naar schaalbare SAE-integratie en concept-gestuurde controle in multimodale redeneersystemen, zonder te claimen dat het direct inzetbaar is in productiesystemen of bredere toepassingen buiten de scope van interpretatieonderzoek.