The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models

1. Probleemstelling

Hoewel Explainable AI (XAI) aanzienlijke vooruitgang heeft geboekt in tekstgebaseerde Natural Language Processing (NLP), blijft het toepassen van contrastieve verklaringen op Speech-to-Text (S2T)-modellen een open uitdaging.

• Contrastieve Verklaringen: In tegenstelling tot standaardverklaringen die beantwoorden "Waarom produceerde het model output P?", beantwoorden contrastieve verklaringen de vraag "Waarom produceerde het model P in plaats van Q?" (waarbij Q een tegenhanger/alternatief is). Dit sluit beter aan bij menselijk redeneren.
• Het Gat: Bestaande S2T-verklaringsmethoden (zoals SPES) genereren holistische salientiekaarten over audiospectrogrammen. Deze kaarten markeren kenmerken die relevant zijn voor elke woordgeneratie, maar falen in het isoleren van kenmerken die specifiek zijn voor de keuze tussen twee concurrerende outputs (bijvoorbeeld waarom het model de mannelijke vorm curioso koos in plaats van de vrouwelijke curiosa).
• Specifieke Uitdagingen in S2T:
  1. Invoermodus: Audiosignalen zijn multidimensionaal (tijd en frequentie) en worden weergegeven als spectrogrammen.
  2. Outputgranulariteit: S2T-modellen genereren subwoord-tokens, niet volledige woorden, waardoor aggregatie van woordniveau-kansen niet triviaal is.
  3. Scoren: Standaard contrastieve scorefuncties die in tekst-NLP worden gebruikt, falen vaak wanneer het model de doeloutput sterk verkiest boven de tegenhanger, wat resulteert in verklaringen die niet te onderscheiden zijn van niet-contrastieve verklaringen.

2. Methodologie

De auteurs stellen het eerste kader voor het verkrijgen van contrastieve verklaringen in S2T voor door de methode SPES (Spectrogram Perturbation for Explainable Speech-to-text) aan te passen. De aanpak omvat twee kritieke technische ingrepen:

A. Aggregatie van Woordniveau-Kansen

Omdat S2T-modellen subwoord-tokens uitvoeren, moet de kans op een volledig woord ($t$) worden gereconstrueerd uit zijn samenstellende subwoorden ($w_0, \dots, w_k$).

• Beperking van eerdere werken: Eenvoudige aggregatiemethoden (gemiddelde, max-pooling of naïeve vermenigvuldiging volgens de kettingregel) houden geen rekening met mismatches in het aantal tokens tussen de doeloutput en de tegenhanger, of met het feit dat een subwoordsequentie een prefix van een langer woord kan zijn in plaats van een volledig woord.
• Voorgestelde Oplossing: De auteurs hanteren de Word Boundary-methode (Pimentel en Meister, 2024). Deze methode berekent de kans op een woordsequentie door te waarborgen dat deze wordt gevolgd door een "begin van woord"- of leesteken-token. Dit voorkomt de overschatting van kansen voor subwoordsequenties die slechts prefixes zijn (bijvoorbeeld het onderscheiden van _professor van _professor e ssa).

B. Contrastieve Scorefuncties

De kern van de methode is een scorefunctie die kwantificeert hoe het verstoren van een invoergebied de kans op de doeloutput ($t$) versus de tegenhanger ($f$) beïnvloedt.

• Het Probleem met Differentie-scoren ($S_{CD}$): De standaard contrastieve score, $S_{CD}(t, f) = (p(t) - \tilde{p}(t)) - (p(f) - \tilde{p}(f))$, valt vaak samen met de basisscore $S_B(t)$ wanneer $p(t) \gg p(f)$. In dergelijke gevallen markeert de verklaring kenmerken die relevant zijn voor het genereren van elk correct woord, niet de specifieke contrast.
• Voorgestelde Oplossing: De auteurs introduceren de Relative Scorer ($S_{CR}$), gebaseerd op Jacovi et al. (2021):
  $$S_{CR}(t, f) = \frac{p(t)}{p(t) + p(f)} - \frac{\tilde{p}(t)}{\tilde{p}(t) + \tilde{p}(f)}$$
  Deze functie normaliseert de bijdrage van beide termen door hun som. Het zorgt ervoor dat zelfs als de doeloutput veel waarschijnlijker is dan de tegenhanger, de score gevoelig blijft voor veranderingen in de kans van de tegenhanger, waardoor kenmerken die specifiek zijn voor het contrast effectief worden geïsoleerd.

C. Evaluatiemetrics

Om de trouw van de verklaringen te valideren (hoe goed ze het daadwerkelijke modelgedrag weerspiegelen), passen de auteurs metrics toe uit tekstclassificatie:

1. Dekking: Het percentage gevallen waarin het model ofwel de doeloutput of de tegenhanger genereert na het verwijderen van kenmerken. Een hoge dekking zorgt ervoor dat de geïdentificeerde kenmerken specifiek zijn voor het contrast en niet voor algemene tekstgeneratie.
2. Flip Rate: De snelheid waarmee het model overschakelt van het voorspellen van de doeloutput naar de tegenhanger naarmate saliente kenmerken progressief worden verduisterd (verwijderd). Een trouwe verklaring zou een hoge flip rate moeten veroorzaken met minimale verwijdering.

3. Belangrijkste Bijdragen

1. Eerste S2T Contrastieve Methode: Een nieuwe pijplijn geïntroduceerd om contrastieve verklaringen voor spraakmodellen te genereren door attributie op basis van verstoring aan te passen aan spectrogrammen.
2. Nieuwe Scoremechanisme: De Relative Scorer ($S_{CR}$) voorgesteld als een superieur alternatief voor de standaard Differentie Scorer voor S2T, waarbij wordt aangetoond dat deze onderscheidende, echt contrastieve salientiekaarten produceert.
3. Robuust Evaluatiekader: Een tweeledige evaluatie (Dekking + Flip Rate) ontwikkeld en toegespitst op generatieve S2T-taken om de trouw van verklaringen te meten.
4. Empirische Validatie: De methode gevalideerd op toewijzing van sprekersgeslacht in spraakvertaling over drie taalparen (Engels $\to$ Frans, Italiaans, Spaans).

4. Resultaten

De methode werd geëvalueerd met behulp van het MuST-SHE-dataset, met focus op het vertalen van geslachtsneutrale Engelse termen naar geslachtsgebonden Romaanse talen (bijvoorbeeld "I am curious" $\to$ curioso vs. curiosa).

• Onderscheid in Salientiekaarten:
  • Differentie Scorer ($S_{CD}$): Produceerde salientiekaarten die sterk gecorreleerd waren (Pearson $r \approx 0,93$) met niet-contrastieve verklaringen. Het faalde in het isoleren van geslachtsspecifieke kenmerken.
  • Relative Scorer ($S_{CR}$): Produceerde kaarten met een lage correlatie ($r \approx 0,33$) met niet-contrastieve kaarten, waarbij het succesvol akoestische regio's isoleerde die relevant zijn voor geslacht.
• Prestaties Dekking:
  • Bij het verwijderen van kenmerken geïdentificeerd door de Differentie Scorer, daalde de dekking onder de 20% na slechts 2% verwijdering (wat aangeeft dat de kenmerken generiek waren).
  • De Relative Scorer behield >30% dekking zelfs na 20% verwijdering, wat bewijst dat het doelen op kenmerken die specifiek zijn voor het geslachtscontrast.
• Prestaties Flip Rate:
  • Vrouwelijke Doeloutput: Het verduisteren van de top 5% van de kenmerken geïdentificeerd door de Relative Scorer veroorzaakte dat het model overschakelde naar mannelijke voorspellingen in >70% van de gedekte gevallen.
  • Mannelijke Doeloutput: Flip rates waren lager (~30%), wat de auteurs toeschrijven aan een mannelijke standaardbias in S2T-modellen (waarbij mannelijk de standaard is tenzij sterke vrouwelijke aanwijzingen aanwezig zijn), en niet aan een falen van de methode.
• Model Robuustheid: De resultaten bleven consistent over verschillende architecturen (Meertalige Transformer, Monolinguale Conformer) en taalparen.

5. Betekenis en Implicaties

• XAI voor Spraak Vooruitbrengen: Dit werk overbrugt de kloof tussen tekstgebaseerde contrastieve verklaringsmethoden en de unieke uitdagingen van spraakverwerking, en biedt een fundament voor het begrijpen hoe S2T-modellen akoestische aanwijzingen gebruiken.
• Bias Detectie: De methode isoleert effectief de akoestische kenmerken (bijvoorbeeld toonhoogte, formanten) die modellen gebruiken voor geslachtsdisambiguatie. Dit is cruciaal voor het auditeren van geslachtsbias in AI, waarbij wordt aangetoond dat modellen vaak vertrouwen op vocale eigenschappen die transgender sprekers of mensen met atypische vocale kenmerken kunnen benadelen.
• Toekomstige Toepassingen: Hoewel gedemonstreerd op geslacht, is de methodologie generaliseerbaar naar andere S2T-fenomenen, zoals homofoon-disambiguatie, coreferentie-oplossing en selectie van beleefdheidsregister.
• Ethisch Bewustzijn: Het paper erkent expliciet de ethische risico's van het gebruik van vocale eigenschappen voor geslachtsvoorspelling, en merkt op dat hoewel dit de nauwkeurigheid verbetert, het gemarginaliseerde groepen kan schaden. Het hulpmiddel is ontworpen om huidig modelgedrag te verklaren om betere toezicht en toekomstige mitigatiestrategieën te faciliteren.

Kortom, het paper biedt een rigoureus technisch kader voor het begrijpen waarom S2T-modellen specifieke keuzes maken tussen alternatieven, en gaat verder dan "wat" ze voorspellen naar "hoe" ze beslissen, met een specifieke focus op de kritieke kwestie van geslachtsbias in spraakvertaling.