Technische Samenvatting: Transcoders Trace Visual Grounding en Hallucinaties in Vision-Language Modellen

Probleemstelling

Generatieve Vision-Language Modellen (VLM's), zoals Gemma 3 en LLaVA, hebben state-of-the-art prestaties bereikt in multimodaal redeneren. De interne mechanismen die visuele invoer omzetten in tekst, blijven echter slecht begrepen. Bestaand interpretabelheidsonderzoek maakt voornamelijk gebruik van Sparse Autoencoders (SAE's) om statische residuale representaties te ontleden. Hoewel SAE's inzichten hebben opgeleverd in de werking van Large Language Models (LLM's), behandelen ze het model fundamenteel als een reeks onafhankelijke staten. Bijgevolg slagen ze er niet in om de specifieke functionele updates te isoleren die cross-modale interactie tussen visuele en linguïstische informatie aandrijven. Het huidige interpretabelheidswerk aan VLM's is grotendeels beperkt tot contrastieve encoders of analyse van statische staten, en mist een causaal verslag van hoe visuele grounding wordt geïmplementeerd tijdens inferentie in generatieve backbones.

Methodologie

De auteurs stellen een op functies gericht raamwerk voor gebaseerd op Transcoders om deze beperkingen aan te pakken. In tegenstelling tot SAE's, die statische verborgen staten reconstrueren ($y=x$), fungeren Transcoders als spaarzame benaderingen van MLP-sublagen en reconstrueren ze de computationele transformatie zelf ($y = \text{MLP}(x)$). Deze verschuiving van staten-gebaseerde naar functionele ontleding stelt Transcoders in staat om te dienen als een causale proxy voor lagen-gewijze berekening.

Experimentele Opstelling:

• Model: Het raamwerk wordt toegepast op Gemma 3-4B-IT.
• Architectuur: Transcoders en SAE's worden geïntegreerd met een 16× expansie (40.960 features) in elke laag.
• Training: Een twee-fasen curriculum met in totaal 500 miljoen tokens: een warm-up van 200 miljoen tokens uitsluitend tekst, gevolgd door een multimodale fase van 300 miljoen tokens met COCO, VQAv2 en CLEVR.
• Sparsiteit: Een instelling met top-64 sparsiteit wordt aangenomen, omdat deze superieure reconstructieprestaties oplevert (gemeten door Fraction of Variance Unexplained, FVU) in vergelijking met L1-regularisatie en andere top-k varianten.

Evaluatieprotocollen:

1. Visuele Grounding (Ablatie): Toewijzingskaarten worden gegenereerd om afbeeldingspatches te identificeren die relevant zijn voor doel-tokens. De auteurs ableren deze patches om veranderingen in token-kans ($\Delta p$) en entropie ($\Delta H$) te meten.
2. Contrastieve Analyse (Valse Visuele Grounding): Reken- en symbolische taken worden gekoppeld aan afbeeldingen om te testen of toewijzingsmethoden vals visuele relevantie toekennen wanneer het antwoord onafhankelijk is van de afbeelding.
3. Detectie van Hallucinaties: Structurele eigenschappen van computationele grafieken (afgeleid van circuit-traces) worden geëxtraheerd om correcte outputs te onderscheiden van hallucinaties. Een logistische regressie-classificator wordt getraind op deze structurele kenmerken.

Belangrijkste Bijdragen

1. Multimodale Functionele Ontleding

De studie toont aan dat Transcoders stabielere en semantisch trouwere toewijzingen produceren voor visueel gegronde tokens in vergelijking met SAE's.

• Bewijs: In ablatiestudies resulteerde het verwijderen van patches geïdentificeerd door Transcoders in een aanzienlijk grotere daling van de token-kans en een grotere toename van de entropie dan het verwijderen van door SAE's geïdentificeerde patches.
• Specificiteit: Een "Valse Visuele Grounding" contrastieve analyse bevestigde dat Transcoder-toewijzingen specifiek zijn voor visueel-linguïstische interacties. In taken die oplosbaar zijn zonder visuele invoer, kenden Transcoders verwaarloosbare belangrijkheid toe aan afbeeldingspatches, terwijl SAE's minder discriminerend gedrag vertoonden.

2. Cross-Modale Mechanistische Traceering

De auteurs maken gebruik van circuit-tracing om computationele paden te identificeren die visuele embeddings verbinden met tekst-tokens binnen de LLM-backbone.

• Vondsten: Visueel gegronde tokens (zelfstandige naamwoorden, bijvoeglijke naamwoorden) zijn afhankelijk van een kleine, gelokaliseerde subset van afbeeldingsregio's. Deze paden vormen gestructureerde computationele ketens, die onthullen hoe informatie zich voortplant van specifieke visuele invoer om token-generatie te beïnvloeden. Dit biedt een mechanistisch beeld van de implementatie van visuele grounding.

3. Structurele Analyse van Hallucinaties

Het artikel introduceert een methode voor het analyseren van hallucinaties door de lens van de structuur van de computationele grafiek.

• Metrieken: Vijf structurele beschrijvers werden geëxtraheerd: Gemiddelde Paddiepte, Laagspanning, Token-afstand, Bijdrage-entropie en Top-1 Feature Fractie.
• Observaties: Hallucinerende outputs vertoonden subtiele maar statistisch significante verschillen in vergelijking met correcte outputs, met name een lagere token-afstand, lagere bijdrage-entropie en een hogere Top-1 Feature Fractie. Dit suggereert dat hallucinaties betrokken zijn bij meer gelokaliseerde token-interacties en geconcentreerd feature-gebruik.
• Voorspelling: Een logistische classificator getraind op deze vijf structurele kenmerken bereikte een AUC van 0,68 in het onderscheiden van hallucinaties van correcte generaties, en presteerde beter dan zowel willekeurige kans als meerderheidsklasse-baselines.

Resultaten en Betekenis

Het artikel stelt dat de verschuiving van staten-gebaseerde naar functie-gebaseerde ontleding een nuttiger mechanistisch verslag oplevert van generatieve VLM's. De primaire betekenis ligt in het aantonen dat functie-gecentreerde circuit-ontleding kan:

1. Causale Mechanismen Isoleren: Succesvol traceren hoe visuele invoer specifieke tekst-tokens aandrijft, waardoor een duidelijker beeld van cross-modale interactie wordt geboden dan staten-gebaseerde analyse.
2. Foutmodi Detecteren: Een voorspellend signaal bieden voor multimodale hallucinaties uitsluitend op basis van de interne structuur van de computationele grafiek, zonder toegang tot gegenereerde tekst of externe referenties.

De auteurs benadrukken dat, hoewel de voorspellende prestaties voor hallucinatie-detectie (AUC 0,68) bescheiden en voorlopig zijn, dit een proof-of-concept vestigt dat interne circuitstructuren informatie dragen die relevant is voor modelbetrouwbaarheid. Ze positioneren dit werk als een fundament voor toekomstige interpretabelheidstools en potentiële mechanistische ingrepen, zoals visueel gegronde sturing of mitigatie van hallucinaties, hoewel ze expliciet stellen dat er geen claim wordt gemaakt op concurrerende prestaties ten opzichte van detectors op output-niveau.

De studie concludeert dat Transcoders een robuust toolkit bieden voor het analyseren van de "modulaire circuits" van VLM's, en de kloof overbruggen tussen feature-toewijzing en analyse van gekoppelde computationele grafieken over netwerklagen heen.