💬 NLP

The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models

Dieser Beitrag stellt die erste Methode zur Generierung kontrastiver Erklärungen in Speech-to-Text-Modellen vor, indem analysiert wird, wie Eingabe-Spektrogrammmerkmale die Auswahl zwischen alternativen Ausgaben beeinflussen, und demonstriert deren Wirksamkeit anhand einer Fallstudie zur Geschlechterzuweisung in der Sprachübersetzung.

Ursprüngliche Autoren: Lina Conti, Dennis Fucci, Marco Gaido, Matteo Negri, Guillaume Wisniewski, Luisa Bentivogli

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lina Conti, Dennis Fucci, Marco Gaido, Matteo Negri, Guillaume Wisniewski, Luisa Bentivogli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: „Warum dies und nicht das?" fragen

Stellen Sie sich vor, Sie bitten einen intelligenten Assistenten, einen Satz vom Englischen ins Italienische zu übersetzen. Er sagt, „I am curious" wird zu „Sono curiosa" (unter Verwendung der weiblichen Form).

Normalerweise, wenn Sie eine KI fragen: „Warum haben Sie das gesagt?", könnte sie auf den gesamten Satz zeigen und sagen: „Wegen des Audios, das ich gehört habe." Das ist wie ein Detektiv, der sagt: „Der Verdächtige war im Raum", ohne Ihnen zu sagen, was er gesehen hat, das ihn dazu brachte, zu denken, es sei der Verdächtige.

Dieses Papier stellt eine neue Art vor, die Frage zu stellen: „Warum haben Sie curiosa (weiblich) statt curioso (männlich) gewählt?"

Die Autoren nennen dies eine kontrastive Erklärung. Anstatt nur die Antwort zu erklären, erklärt sie die Wahl zwischen zwei Optionen.

Das Problem: Die „unscharfe Karte"

Die Forscher untersuchten, wie aktuelle KI-Modelle ihre Entscheidungen erklären. Sie stellten fest, dass bestehende Methoden eine „Wärmekarte" über die Audioaufnahme (ein Spektrogramm) erstellen.

Der alte Weg: Wenn die KI sagt „curiosa", hebt die alte Methode die Teile des Audios hervor, die ihr halfen, das Wort „neugierig" im Allgemeinen zu erkennen. Es ist wie die ganze Küche hervorzuheben, weil Sie ein Sandwich gemacht haben. Es sagt Ihnen nicht, welche spezifische Zutat es zu einem Pute-Sandwich statt zu einem Schinken-Sandwich gemacht hat.
Das Problem: Diese Karten sind zu breit. Sie verpassen die winzigen, spezifischen Audiohinweise (wie die Tonhöhe der Stimme), die der KI sagen, ob der Sprecher männlich oder weiblich ist.

Die Lösung: Eine neue „Wertetabelle"

Um dies zu beheben, entwickelte das Team eine neue Methode, die auf einem bestehenden Tool namens SPES basiert. Stellen Sie sich SPES als eine Möglichkeit vor, mit dem Audio „Verstecken spielen" zu spielen. Es deckt kleine Stücke des Sounds ab und sieht, ob die KI ihre Meinung ändert.

Um dies jedoch für „Warum A statt B?" funktionsfähig zu machen, mussten sie zwei neue Regeln erfinden:

Die „ganze Wort"-Regel: KI-Modelle sprechen normalerweise in winzigen Soundfragmenten (Subwörtern), wie Bausteinen. Die alten Methoden addierten einfach die Blöcke. Die neue Methode ist intelligenter; sie prüft, ob diese Blöcke tatsächlich ein vollständiges Wort bilden oder nur den Anfang eines längeren Wortes. Es ist wie sicherzustellen, dass Sie das Wort „prä-" nicht als vollständiges Wort zählen, nur weil es Teil von „vorbereiten" ist.
Der „relative Score" (das geheime Gewürz): Dies ist der wichtigste Teil.
- Der alte Score (Unterschied): Er fragt: „Wie sehr hat das Abdecken dieses Sounds die Chance verringert, curiosa zu sagen?" Wenn die KI bereits zu 99 % sicher war, dass es curiosa ist, ändert das Abdecken des Sounds kaum etwas. Der Score bleibt niedrig, und die Karte sieht langweilig aus.
- Der neue Score (Relativ): Er fragt: „Wie sehr hat das Abdecken dieses Sounds curioso (die andere Option) geholfen, aufzuholen?" Er vergleicht die beiden Optionen direkt.
- Die Analogie: Stellen Sie sich ein Rennen zwischen einem Ferrari (die Wahl der KI) und einem Fahrrad (die Alternative) vor.
  - Der alte Score betrachtet, wie sehr der Ferrari verlangsamt wird, wenn Sie einen Stein in sein Reifen legen. Er verlangsamt sich kaum, also scheint der Stein nicht wichtig zu sein.
  - Der neue Score betrachtet, wie sehr das Fahrrad beschleunigt, wenn Sie einen Stein aus seinem Weg entfernen. Wenn das Fahrrad plötzlich aufholt, war dieser Stein der entscheidende Faktor.

Das Experiment: Geschlecht in der Übersetzung

Um dies zu testen, verwendeten die Forscher ein spezifisches Szenario: Geschlechterzuweisung.
In Sprachen wie Italienisch, Französisch und Spanisch ändern sich Adjektive je nach Geschlecht (z. B. curioso vs. curiosa). Englisch macht dies nicht, also muss die KI das Geschlecht des Sprechers basierend auf seiner Stimme (Tonhöhe, Klangfarbe usw.) erraten.

Sie testeten ihre neue Methode an Audioclips, bei denen die KI zwischen männlichen und weiblichen Übersetzungen wählen musste.

Die Ergebnisse:

Die alte Methode: Erzeugte Karten, die fast identisch mit den „breiten" Karten aussahen. Sie konnte nicht zwischen „warum dieses Wort" und „warum dieses Geschlecht" unterscheiden.
Die neue Methode: Erzeugte Karten, die sehr spezifische Teile des Audios hervorhoben.
- Als sie die spezifischen Audioeigenschaften, die die neue Methode identifiziert hatte, blockierten, hörte die KI auf, „weiblich" zu sagen und wechselte in über 70 % der Fälle zu „männlich".
- Dies bewies, dass die Methode erfolgreich die genauen „Stimmhinweise" fand, die die KI verwendete, um das Geschlecht zu erraten.

Der Haken (Einschränkungen und Ethik)

Das Papier ist sehr ehrlich bezüglich der Nachteile:

Die „Standard"-Voreingenommenheit: Die KI scheint anzunehmen, dass jeder männlich ist, es sei denn, sie hört starke Beweise dafür, dass sie weiblich ist. Als die Forscher versuchten, die KI durch Blockieren von Audio von „männlich" auf „weiblich" zu zwingen, funktionierte es nicht so gut. Dies deutet darauf hin, dass die KI eine eingebaute Voreingenommenheit gegenüber dem männlichen Standard hat, wahrscheinlich weil sie mit mehr männlichen als weiblichen Stimmen trainiert wurde.
Das binäre Problem: Die Studie betrachtete nur „Männlich" vs. „Weiblich". Die Autoren stellen fest, dass dies nicht-binäre Sprecher ignoriert. Wenn die Stimme einer Person nicht in das typische „männliche" oder „weibliche" Schema passt, könnte die KI verwirrt werden oder eine Übersetzung geben, die nicht zu ihnen passt.
Ethische Warnung: Die Verwendung von Stimmmerkmalen zur Geschlechtsschätzung kann schwierig sein. Transgender-Menschen oder Personen mit Sprachstörungen könnten „falsche" Übersetzungen erhalten, weil ihre Stimmen nicht den altmodischen Erwartungen der KI entsprechen.

Zusammenfassung

Dieses Papier hat nicht nur eine bessere Karte gebaut; es hat eine Lupe gebaut.

Davor: Wir konnten sehen, wo die KI hinschaute, um eine Entscheidung zu treffen, aber es war eine unscharfe, allgemeine Ansicht.
Jetzt: Wir können genau sehen, welcher spezifische Sound die KI dazu brachte, „sie" statt „er" zu wählen.

Dies hilft Forschern zu verstehen, wie KI-Modelle „hören", und hilft ihnen, zu erkennen, wann die KI ungerechte Annahmen basierend auf dem Geschlecht trifft.

1. Problemstellung

Während Explainable AI (XAI) im textbasierten Natural Language Processing (NLP) erhebliche Fortschritte gemacht hat, bleibt die Anwendung kontrastiver Erklärungen auf Speech-to-Text (S2T)-Modelle eine offene Herausforderung.

Kontrastive Erklärungen: Im Gegensatz zu Standarderklärungen, die die Frage „Warum hat das Modell die Ausgabe P produziert?" beantworten, beantworten kontrastive Erklärungen die Frage „Warum hat das Modell P anstatt Q produziert?" (wobei Q ein Kontrastobjekt/Alternativ ist). Dies entspricht eher dem menschlichen Schlussfolgern.
Die Lücke: Bestehende Erklärungsverfahren für S2T (z. B. SPES) generieren holistische Saliency-Maps über Audiospektrogramme. Diese Karten heben Merkmale hervor, die für die Generierung jeglichen Wortes relevant sind, scheitern jedoch daran, Merkmale zu isolieren, die spezifisch für die Wahl zwischen zwei konkurrierenden Ausgaben sind (z. B. warum das Modell die maskuline Form curioso statt der femininen curiosa gewählt hat).
Spezifische Herausforderungen in S2T:
1. Eingangsmodalität: Audiosignale sind multidimensional (Zeit und Frequenz) und werden als Spektrogramme dargestellt.
2. Ausgangsgranularität: S2T-Modelle generieren Subword-Token, keine vollständigen Wörter, was die Aggregation von Wahrscheinlichkeiten auf Wortebene nicht trivial macht.
3. Bewertung: Standardkontrastbewertungsfunktionen, die im textbasierten NLP verwendet werden, versagen oft, wenn das Modell das Ziel stark gegenüber dem Kontrastobjekt bevorzugt, was zu Erklärungen führt, die von nicht-kontrastiven nicht zu unterscheiden sind.

2. Methodik

Die Autoren schlagen das erste Framework zur Gewinnung kontrastiver Erklärungen in S2T vor, indem sie die SPES-Methode (Spectrogram Perturbation for Explainable Speech-to-text) anpassen. Der Ansatz umfasst zwei kritische technische Interventionen:

A. Aggregation der Wortwahrscheinlichkeit auf Wortebene

Da S2T-Modelle Subword-Token ausgeben, muss die Wahrscheinlichkeit eines vollständigen Wortes ( $t$ ) aus seinen Bestandteilen, den Subwords ( $w_0, \dots, w_k$ ), rekonstruiert werden.

Einschränkung vorheriger Arbeiten: Einfache Aggregationsmethoden (Durchschnittsbildung, Max-Pooling oder naive Kettenregel-Multiplikation) berücksichtigen weder Mismatches in der Tokenanzahl zwischen Ziel und Kontrastobjekt noch die Tatsache, dass eine Subword-Sequenz ein Präfix eines längeren Wortes und kein vollständiges Wort sein könnte.
Vorgeschlagene Lösung: Die Autoren übernehmen die Word Boundary-Methode (Pimentel und Meister, 2024). Diese Methode berechnet die Wahrscheinlichkeit einer Wortsequenz, indem sichergestellt wird, dass sie von einem „Beginn eines Wortes"-Token oder einem Satzzeichen-Token gefolgt wird. Dies verhindert die Überschätzung der Wahrscheinlichkeiten für Subword-Sequenzen, die lediglich Präfixe sind (z. B. Unterscheidung zwischen _professor und _professor e ssa).

B. Kontrastbewertungsfunktionen

Der Kern der Methode ist eine Bewertungsfunktion, die quantifiziert, wie sich die Störung eines Eingabebereichs auf die Wahrscheinlichkeit des Ziels ( $t$ ) im Vergleich zum Kontrastobjekt ( $f$ ) auswirkt.

Das Problem mit der Differenzbewertung ( $S_{CD}$ ): Die Standardkontrastbewertung, $S_{CD}(t, f) = (p(t) - \tilde{p}(t)) - (p(f) - \tilde{p}(f))$ , kollabiert oft zur Basisbewertung $S_B(t)$ , wenn $p(t) \gg p(f)$ . In solchen Fällen hebt die Erklärung Merkmale hervor, die für die Generierung jeglichen korrekten Wortes relevant sind, nicht für den spezifischen Kontrast.
Vorgeschlagene Lösung: Die Autoren führen den Relativen Scorer ( $S_{CR}$ ) ein, basierend auf Jacovi et al. (2021):
$S_{CR}(t, f) = \frac{p(t)}{p(t) + p(f)} - \frac{\tilde{p}(t)}{\tilde{p}(t) + \tilde{p}(f)}$
Diese Funktion normalisiert den Beitrag beider Terme durch ihre Summe. Sie stellt sicher, dass selbst dann, wenn das Ziel viel wahrscheinlicher ist als das Kontrastobjekt, die Bewertung empfindlich auf Änderungen in der Wahrscheinlichkeit des Kontrastobjekts reagiert und so Merkmale effektiv isoliert, die spezifisch für den Kontrast sind.

C. Evaluierungsmetriken

Um die Verlässlichkeit (faithfulness) der Erklärungen zu validieren (wie gut sie das tatsächliche Modellverhalten widerspiegeln), passen die Autoren Metriken aus der Textklassifizierung an:

Coverage (Abdeckung): Der Prozentsatz der Fälle, in denen das Modell nach dem Löschen von Merkmalen entweder das Ziel oder das Kontrastobjekt generiert. Eine hohe Abdeckung stellt sicher, dass die identifizierten Merkmale spezifisch für den Kontrast und nicht für die allgemeine Textgenerierung sind.
Flip Rate (Umschlagrate): Die Rate, mit der das Modell von der Vorhersage des Ziels auf das Kontrastobjekt umschaltet, wenn saliente Merkmale progressiv verdeckt (gelöscht) werden. Eine verlässliche Erklärung sollte bei minimaler Löschung eine hohe Flip-Rate bewirken.

3. Hauptbeiträge

Erste S2T-kontrastive Methode: Einführung einer neuartigen Pipeline zur Generierung kontrastiver Erklärungen für Sprachmodelle durch Anpassung der perturbationsbasierten Attribution an Spektrogramme.
Neuartiger Bewertungsmechanismus: Vorschlag des Relativen Scorers ( $S_{CR}$ ) als überlegene Alternative zum Standard-Differenz-Scorer für S2T, wobei gezeigt wird, dass er distinkte, wahrhaft kontrastive Saliency-Maps erzeugt.
Robustes Evaluierungsframework: Entwicklung einer dualen Metrik-Evaluierung (Coverage + Flip Rate), die auf generative S2T-Aufgaben zugeschnitten ist, um die Verlässlichkeit von Erklärungen zu messen.
Empirische Validierung: Validierung der Methode bei der Zuweisung des Sprechergeschlechts in der Sprachübersetzung über drei Sprachpaare hinweg (Englisch $\to$ Französisch, Italienisch, Spanisch).

4. Ergebnisse

Die Methode wurde unter Verwendung des MuST-SHE-Datensatzes evaluiert, mit Fokus auf die Übersetzung geschlechtsneutraler englischer Begriffe in geschlechtsspezifische romanische Sprachen (z. B. „I am curious" $\to$ curioso vs. curiosa).

Unterscheidung der Saliency-Maps:
- Differenz-Scorer ( $S_{CD}$ ): Erzeugte Saliency-Maps, die stark korreliert waren (Pearson $r \approx 0,93$ ) mit nicht-kontrastiven Erklärungen. Er scheiterte daran, geschlechtsspezifische Merkmale zu isolieren.
- Relativer Scorer ( $S_{CR}$ ): Erzeugte Karten mit geringer Korrelation ( $r \approx 0,33$ ) zu nicht-kontrastiven Karten und isolierte erfolgreich akustische Bereiche, die für das Geschlecht relevant sind.
Performance der Coverage:
- Beim Löschen von Merkmalen, die vom Differenz-Scorer identifiziert wurden, sank die Coverage nach nur 2 % Löschung unter 20 % (was darauf hindeutet, dass die Merkmale generisch waren).
- Der Relative Scorer behielt auch nach 20 % Löschung eine Coverage von >30 % bei, was beweist, dass er Merkmale anvisiert, die spezifisch für den Geschlechterkontrast sind.
Performance der Flip Rate:
- Feminine Ziele: Das Verdecken der top 5 % der vom Relativen Scorer identifizierten Merkmale führte dazu, dass das Modell in >70 % der abgedeckten Fälle zu maskulinen Vorhersagen umschaltete.
- Maskuline Ziele: Die Flip-Raten waren niedriger (~30 %), was die Autoren auf eine maskuline Default-Bias in S2T-Modellen zurückführen (wobei Maskulinum der Standard ist, es sei denn, starke feminine Hinweise sind vorhanden), und nicht auf ein Versagen der Methode.
Modell-Robustheit: Die Ergebnisse blieben über verschiedene Architekturen hinweg konsistent (Multilingual Transformer, Monolingual Conformer) und Sprachpaare.

5. Bedeutung und Implikationen

Weiterentwicklung von XAI für Sprache: Diese Arbeit schließt die Lücke zwischen textbasierten Techniken für kontrastive Erklärungen und den einzigartigen Herausforderungen der Sprachverarbeitung und bietet eine Grundlage für das Verständnis, wie S2T-Modelle akustische Hinweise nutzen.
Bias-Erkennung: Die Methode isoliert effektiv die akustischen Merkmale (z. B. Tonhöhe, Formanten), die Modelle zur Geschlechterdisambiguierung verwenden. Dies ist entscheidend für die Prüfung von Geschlechterbias in KI, da sie aufdeckt, dass Modelle oft auf vokale Merkmale zurückgreifen, die transgeschlechtliche Sprecher oder Personen mit atypischen vokalen Merkmalen benachteiligen können.
Zukünftige Anwendungen: Obwohl an Geschlecht demonstriert, ist die Methodik auf andere S2T-Phänomene übertragbar, wie z. B. Homophon-Disambiguierung, Koreferenzauflösung und die Auswahl des Höflichkeitsregisters.
Ethisches Bewusstsein: Das Paper erkennt ausdrücklich die ethischen Risiken der Verwendung vokaler Merkmale zur Geschlechtervorhersage an und stellt fest, dass dies zwar die Genauigkeit verbessert, aber marginalisierte Gruppen schädigen kann. Das Tool wurde entwickelt, um das aktuelle Modellverhalten zu erklären, um eine bessere Aufsicht und zukünftige Minderungsstrategien zu ermöglichen.

Zusammenfassend bietet das Paper ein rigoroses technisches Framework, um zu verstehen, warum S2T-Modelle spezifische Entscheidungen zwischen Alternativen treffen, und geht über das „was" sie vorhersagen hinaus zum „wie" sie entscheiden, mit einem spezifischen Fokus auf das kritische Thema des Geschlechterbias in der Sprachübersetzung.