Causal Tracing of Audio-Text Fusion in Large Audio Language Models

Probleemstelling

Grote Audio Taalmodellen (LALMs) presteren uitstekend in diverse taken, variërend van spraakherkenning tot complexe audio-gebaseerde vraag-antwoordsystemen. Deze modellen integreren doorgaans audio-encoders met Large Language Model (LLM) backbones om continue audiostromen en tekstuele input gezamenlijk te verwerken.

Echter, ondanks deze empirische successen, blijft de interne werking van deze multi-modale integratie een "black box". Bestaand onderzoek focust voornamelijk op architecturale ontwerp en macroscopische prestatie-evaluaties (zoals nauwkeurigheid of hallucinaties), maar biedt geen inzicht in:

1. Wanneer (op welke diepte in het model) de integratie van akoestische kenmerken met tekstuele context plaatsvindt (vroege versus late fusie).
2. Waar (op welke posities in de inputsequentie) het netwerk causaal de audio-invoer koppelt aan tekstuele redenering.

Het ontbreekt aan een precieze mechanistische interpretatie van hoe en waar deze modaliteiten samenkomen, wat essentieel is voor het verbeteren van modelinterpreteerbaarheid, het verminderen van hallucinaties en het optimaliseren van architecturale design.

Methodologie

De auteurs passen causal tracing toe om de interne informatieflow van LALMs tijdens audio-comprehensie te onderzoeken. In plaats van alleen observatie (correlaties) te gebruiken, gebruiken ze interventiemethoden om directe causale relaties vast te stellen.

Het experimentele kader omvat drie inferentieruns:

1. Clean run: Het model verwerkt de originele audio ($A_{clean}$) en de prompt ($T$).
2. Corrupted run: De audio-input wordt vervangen door pure stilte ($A_{corrupt}$), waardoor de akoestische context volledig wordt verwijderd zonder de structuur van de prompt te verstoren.
3. Patched run: Tijdens de forward pass van de corrupted run worden specifieke verborgen toestanden ($h_{corrupt}$) vervangen door de corresponderende toestanden uit de clean run ($h_{clean}$).

De impact van deze interventie wordt gemeten met de Recovery Rate (RR):
$$RR = \frac{P_{patched} - P_{corrupted}}{P_{clean} - P_{corrupted}}$$
Een RR-waarde dicht bij 1,0 betekent dat de herstelde verborgen toestand voldoende causale informatie bevat om de oorspronkelijke voorspelling te herstellen.

De analyse wordt uitgevoerd langs twee assen:

• Layer-wise Tracing: Het patchen van alle tekst-tokens in een specifieke transformer-laag om de diepte van integratie te bepalen.
• Token-wise Tracing: Het patchen van een enkele verborgen toestand op een specifieke tokenpositie (bijv. instructie-tokens, object-tokens, of het laatste token) om de ruimtelijke lokalisatie van de fusie te vinden.

De studie omvat modellen uit verschillende families: DeSTA (DeSTA2, DeSTA2.5), Qwen (Qwen, Qwen2) en Voxtral, getest op het SAKURA-dataset met taken rondom dier, emotie, geslacht en taal.

Belangrijkste Bijdragen

1. Framework voor Causal Tracing in LALMs: De eerste systematische toepassing van causal tracing om de integratie van akoestische kenmerken in linguïstische representaties te traceren.
2. Identificatie van Divergente Fusiestrategieën: Het paper onthult dat verschillende modelarchitecturen fundamenteel verschillende strategieën hanteren voor multi-modale integratie.
3. Ruimtelijke Lokalisatie van Informatie: Het in kaart brengen van specifieke token-posities die fungeren als kritieke knelpunten voor het ophalen van audio-context.
4. Actiegericht Inzicht: Het bieden van concrete richtlijnen voor toekomstig modelontwerp en het verminderen van hallucinaties op basis van interne dynamiek.

Resultaten

1. Diepte van Multi-Modale Integratie (Layer-wise)
De resultaten tonen drie verschillende strategieën aan:

• DeSTA (Progressieve Integratie): Deze modellen tonen een geleidelijke toename van de recovery rate naarmate de diepte toeneemt. De causale effecten stabiliseren zich rond laag 15, wat wijst op een geleidelijke, progressieve fusie van audio en tekst.
• Qwen (Late-Stage Fusie): Bij Qwen-modellen blijft de causale impact van het audiosignaal in de vroege lagen dicht bij nul. Er treedt een scherpe overgang naar een hoge recovery rate op in de laatste derde van het netwerk (rond lagen 18-31). Dit betekent dat tekst en audio onafhankelijk worden verwerkt tot de diepste lagen, waar de semantische integratie abrupt plaatsvindt.
• Voxtral (Vroege Fusie): Voxtral toont een versnelde recovery-trajectorie en bereikt maximale integratie significant eerder in het netwerk dan DeSTA en Qwen, wat wijst op een vroege fusiestrategie.

2. Ruimtelijke Lokalisatie (Token-wise)
De token-wise analyse onthult twee cruciale mechanismen:

• Het Laatste Token als Informatie-Knelpunt: Bij alle onderzochte modellen is de recovery rate het hoogst bij het allerlaatste token van de inputsequentie (direct voorafgaand aan de generatie). Dit fungeert als een kritiek knelpunt waar het netwerk de benodigde audio-context definitief ophaalt om het antwoord te genereren, in plaats van signalen continu door de hele sequentie te mengen.
• Attention-achtig Query-mechanisme: Er wordt een secundaire causale activatie waargenomen bij de "object tokens" (de specifieke opties in de prompt, bijv. "male/female"). Dit suggereert dat het expliciet verwerken van het doel-attribuut een mechanisme activeert dat het netwerk aanzet tot het ophalen van relevante audio-context uit de akoestische representaties.

Betekenis en Implicaties

De bevindingen hebben belangrijke gevolgen voor de toekomst van LALM-ontwikkeling:

• Optimalisatie van Berekening: Modellen met een late-fusiepatroon (zoals Qwen) bieden kansen voor computeroptimalisatie. Omdat de vroege lagen puur tekstueel werken, kunnen deze mogelijk efficiënter worden verwerkt of gesplitst om inferencekosten te verlagen.
• Bestrijding van Hallucinaties: De identificatie van het "object token" als een causale trigger voor het ophalen van audio-context biedt een nieuw perspectief op hallucinaties. Als dit interne query-mechanisme faalt, neigt het model tot gokken op basis van tekstuele priors in plaats van de audio te gebruiken. Het monitoren van deze interne activatie kan dienen als een indicator voor hallucinaties tijdens inferentie.
• Prompt Engineering: De ruimtelijke inzichten kunnen leiden tot betere prompt-engineering, waarbij men specifiek de posities benadrukt waar multi-modale modellen contextuele informatie ophalen.
• Architecturale Transparantie: Het paper legt een fundament voor het begrijpen van waarom en hoe modellen falen of slagen, wat essentieel is voor het ontwerpen van betrouwbaardere en transparantere multi-modale systemen.