Cross-Attention is Half Explanation in Speech-to-Text Models

Technische Samenvatting: Cross-Attention is de helft van de uitleg in Speech-to-Text modellen

Probleemstelling
Cross-attention mechanismen zijn fundamenteel voor encoder-decoder Transformer-architecturen die worden gebruikt in Speech-to-Text (S2T) systemen, inclusief Automatic Speech Recognition (ASR) en Speech Translation (ST). Deze mechanismen worden frequent geëxploiteerd voor downstream toepassingen zoals tijdstempelvoorspelling, speech-text uitlijning en sprekeridentificatie, werkend onder de impliciete aanname dat attention-scores betrouwbaar de focus van het model op specifieke inputkenmerken tijdens de outputgeneratie reflecteren. Terwijl de betrouwbaarheid van attention als uitleg uitgebreid is bedebatteerd in Natural Language Processing (NLP), blijft deze aanname in het spraakdomein grotendeels onverifieerd. Een primaire zorg is "context mixing", waarbij de outputsequentie van de encoder de ruwe audio-informatie reorganiseert of mengt met contextuele data, wat potentieel de directe uitlijning tussen cross-attention gewichten en het oorspronkelijke ingangssignaal vertroebelt. Bestaand S2T-uitlegbaarheidswerk heeft zich primair gericht op self-attention of de effecten van context mixing, zonder systematisch de verklarende kracht van cross-attention zelf te beoordelen.

Methodologie
De auteurs presenteren de eerste systematische analyse van cross-attention als een proxy voor input-output afhankelijkheden in S2T-modellen. De studie vergelijkt cross-attention (CA) scores met input saliency maps afgeleid van SPES, een state-of-the-art feature-attribution methode voor S2T. De methodologie omvat drie primaire vergelijkingen:

1. CA vs. Input Saliency ($SM_X$): Om te beoordelen hoe goed CA de relevantie van ruwe inputkenmerken (mel-spectrogram) voor token-voorspellingen reflecteert.
2. CA vs. Encoder Output Saliency ($SM_H$): Om te evalueren hoe goed CA het gebruik van gecodeerde representaties door de decoder verklaart, waardoor de impact van context mixing wordt geïsoleerd.
3. Aggregatiestrategieën: De studie evalueert verschillende aggregatiemethoden (2D average, 2D max, en 2-step pooling) over tijd- en frequentiedimensies om de optimale manier te bepalen om 3D saliency maps te comprimeren naar een 1D temporele representatie die compatibel is met de CA-granulariteit.

De analyse beslaat monolinguale en meertalige instellingen, single-task (ASR) en multi-task (ASR+ST) configuraties, en modellen van variërende schalen (van 125M tot 878M parameters). De auteurs maken gebruik van de Pearson-correlatie om de lineaire relatie tussen CA-scores en saliency maps te kwantificeren, evenals deletion metrics om de getrouwheid (faithfulness) van de verklaringen te evalueren.

Belangrijkste Bijdragen

• Systematische Empirische Beoordeling: Het artikel biedt de eerste grootschalige empirische evaluatie van cross-attention als een verklarend instrument in S2T, waarbij meerdere talen (Engels, Italiaans), taken en modelarchitecturen (Conformer-Transformer) worden behandeld.
• Kwantificering van Verklarende Limieten: De studie kwantificeert de mate waarin cross-attention input-relevantie vastlegt, waarbij zij verder gaat dan kwalitatieve observaties naar precieze statistische grenzen.
• Context Mixing Analyse: Door CA te vergelijken met zowel ruwe input saliency als encoder-output saliency, isoleert het werk de specifieke bijdrage van context mixing aan de discrepantie tussen attention en ware input-relevantie.
• Inzichten in Aggregatie: De auteurs demonstreren dat 2D maximum pooling de meest getrouwe input-verklaringen oplevert, waarbij gelokaliseerde saliente regio's in het frequentiedomein behouden blijven die average pooling heeft de neiging te vervagen.

Resultaten
De empirische bevindingen onthullen dat cross-attention nuttige maar onvolledige verklarende aanwijzingen biedt:

• Matige Uitlijning: Er is een matige tot sterke correlatie tussen cross-attention en input saliency maps, met name wanneer scores worden geaggregeerd over attention heads en lagen. De beste correlaties bereiken ongeveer 0,588.
• Beperkte Dekking: Cross-attention legt slechts ongeveer 50% van de input-relevantie vast. Zelfs wanneer CA wordt vergeleken met encoder output saliency (waar context mixing is verwijderd), verklaart CA slechts 52–75% van de encoder output saliency.
• Laag- en Head-dynamiek: Individuele attention heads vertonen vaak ruis of zwakke correlaties. Het middelen over heads verbetert echter consistent de uitlijning, en de laatste decoderlagen vertonen over het algemeen de sterkste correlatie met saliency maps.
• Impact van Context Mixing: De correlatie tussen CA en encoder outputs is consequent hoger dan met ruwe inputs, met absolute verschillen variërend van 0,03 tot 0,18. Dit kwantificeert de invloed van context mixing, maar de resterende kloof bevestigt dat CA geen getrouwe proxy is, zelfs niet op het niveau van de encoder-output.
• Deletion Metrics: Directe evaluatie met behulp van deletion metrics laat zien dat CA-gebaseerde verklaringen (score ~41,2) significant minder getrouw zijn dan feature-attribution methoden (score ~52,9 voor geaggregeerd, ~91,3 voor volledige resolutie), wat aangeeft dat CA fijnmazige tijd-frequentie cues wegwerpt.

Betekenis en Claims
Het artikel concludeert dat cross-attention niet moet worden beschouwd als een standalone explainable AI (XAI) tool of een getrouwe proxy voor modelgedrag in S2T-systemen. Hoewel het informatieve aanwijzingen biedt en computationeel lichtgewicht is, biedt het slechts een gedeeltelijk beeld van de factoren die voorspellingen drijven. De auteurs stellen dat cross-attention "de helft van de uitleg" is, waarbij het ongeveer de helft van het relevante signaal vastlegt. Bij consequent is de auteurs aan te raden om cross-attention met voorzichtigheid te interpreteren in downstream toepassingen en suggereert zij dat toekomstig werk hybride benaderingen of strategieën tijdens de training (bijv. attention regularisatie) moet verkennen om attention mechanismen beter af te stemmen op attribution signalen, in plaats van te vertrouwen op attention scores als vervanging voor formele explainability methoden.