⚡ electrical engineering

Explanations for Automatic Speech Recognition

Diese Arbeit befasst sich mit der Herausforderung der Qualitätsbewertung in der auf neuronalen Netzen basierenden automatischen Spracherkennung, indem sie bestehende Techniken der erklärbaren KI, insbesondere statistische Fehlersuche und kausale Methoden, adaptiert, um minimale und hinreichende Audioframe-Erklärungen für Transkriptionen zu generen, wodurch das Systemverständnis und das Vertrauen gestärkt werden.

Ursprüngliche Autoren: Xiaoliang Wu, Peter Bell, Ajitha Rajan

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaoliang Wu, Peter Bell, Ajitha Rajan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, aber geheimnisvollen Roboterfreund, der auf Ihre Stimme hört und das aufschreibt, was Sie sagen. Dies ist ein System zur automatischen Spracherkennung (Automatic Speech Recognition – ASR). Manchmal schreibt der Roboter genau das, was Sie gesagt haben. Ein andermal macht er Fehler.

Das Problem ist, dass diese Roboter „Black Boxes“ sind. Sie können nicht in ihr Gehirn hineinschauen, um zu sehen, warum er „Apfel“ statt „Birne“ geschrieben hat. Dieses Paper stellt einen Weg vor, um diese Black Box zu öffnen und zu sagen: „Hey, hier ist genau der Teil deiner Stimme, der den Roboter zu dieser spezifischen Entscheidung geführt hat.“

Hier ist eine einfache Aufschlüsselung dessen, was die Forscher getan haben, unter Verwendung einiger alltäglicher Analogien.

Die große Herausforderung: Warum ist das so schwer?

Normalerweise versuchen wir, wenn wir eine Entscheidung eines Computers erklären wollen, einfache Entscheidungen wie „Ist das eine Katze oder ein Hund?“ heranzuziehen. Aber Sprache ist chaotisch.

Variable Länge: Ein Satz kann kurz oder lang sein. Es ist, als würde man versuchen, die Handlung eines Films zu erklären, indem man auf bestimmte Einzelbilder zeigt, aber die Filmlänge ändert sich jedes Mal.
Grauzonen: Wenn Sie sagen „Ich hätte gerne einen Apfel“ und der Roboter schreibt „Ich mag Apfel“, ist das ein Fehler? Ein Mensch würde vielleicht sagen: „Fast richtig!“ Aber ein Computer sagt meistens: „Falsch.“ Die Forscher mussten dem Computer erst beibringen, wie er entscheidet, was als „nah genug dran“ gilt, bevor sie überhaupt erklären konnten, woran die Fehler lagen.

Die Lösung: Den „rauchenden Colt“ finden

Die Forscher entwickelten ein Werkzeug namens X-ASR. Betrachten Sie dieses Werkzeug als einen Detektiv, der versucht, den „rauchenden Colt“ an einem Tatort zu finden. Der Tatort ist die Audioaufnahme, und der „Colt“ ist das ganz bestimmte, winzige Stück Ton, das den Roboter dazu gebracht hat, das zu schreiben, was er schrieb.

Sie haben das Rad nicht neu erfunden, sondern drei berühmte Techniken aus der Bilderkennung (wie dem Identifizieren von Katzen in Fotos) entliehen und sie für Audio angepasst.

Hier sind die drei Methoden, die sie verwendet haben, einfach erklärt:

1. SFL (Statistical Fault Localisation) – Das „Was-wäre-wenn-Spiel“

Stellen Sie sich vor, Sie haben einen langen Satz auf einem Blatt Papier stehen. Um herauszufinden, welches Wort am wichtigsten ist, spielen Sie ein Spiel:

Sie nehmen ein Stück schwarzes Klebeband und verdecken zufällige Wörter.
Sie fragen den Roboter: „Ergibt der Satz immer noch Sinn?“
Wenn Sie das Wort „Apfel“ verdecken und der Roboter plötzlich seine Meinung ändert, war dieses Wort entscheidend.
SFL macht dies tausende Male und berechnet statistisch, welche spezifischen „Frames“ (winzigen Ton-Schnipsel) die wahrscheinlichsten Übeltäter für die Entscheidung des Roboters sind.

2. Causal – Das „Schuldzuweisungs-Spiel“

Diese Methode ist etwas anspruchsvoller. Sie fragt: „Wenn ich dieses spezifische Stück Ton entferne, ändert sich dann die Antwort des Roboters?“

Sie sucht nach der kleinstmöglichen Änderung, die nötig wäre, um die Entscheidung des Roboters umzukippen.
Wenn das Entfernen nur eines winzigen Tonfragments den ganzen Satz verändert, erhält dieses Fragment einen hohen „Verantwortungswert“. Es ist wie zu sagen: „Du bist der alleinige Grund, warum das passiert ist.“
Die Forscher fanden heraus, dass diese Methode sehr streng und präzise ist und oft die kleinstmögliche Erklärung findet.

3. LIME – Die „Lokale Karte“

LIME ist eine populäre Methode, die eine einfache, leicht verständliche Karte um eine komplexe Entscheidung herum erstellt.

Stellen Sie sich vor, Sie sind in einer komplexen Stadt (dem KI-Modell) verloren. LIME erstellt eine einfache, flache Karte von nur dem Block, in dem Sie gerade stehen, um Ihnen zu helfen, sich zu orientieren.
In diesem Paper haben sie LIME verwendet, um die Wichtigkeit der Ton-Frames zu bewerten, aber sie haben es so angepasst, dass es versucht, die kürzeste Liste wichtiger Töne zu finden, ähnlich wie die anderen beiden Methoden.

Das Experiment: Der Testlauf

Die Forscher testeten diese drei „Detektive“ an drei verschiedenen Sprachrobotern (Google, Sphinx und Deepspeech) mit 100 verschiedenen Sprachproben.

Sie bewerteten die Detektive nach zwei Kriterien:

Größe: Wie klein ist die Erklärung? (Eine kleinere Erklärung ist besser, denn das bedeutet, das Werkzeug hat die exakte Ursache gefunden und nicht nur einen Haufen unnötigen Rauschens).
Konsistenz: Wenn Sie das Werkzeug bitten, dieselbe Sprachaufnahme bei drei verschiedenen Robotern zu erklären, zeigt es dann auf dieselben Teile des Audios?

Was sie herausfanden

Die Gewinner: Die Methoden SFL und Causal waren am besten. Sie fanden Erklärungen, die viel kleiner und konsistenter waren als die LIME-Methode.
Der „Causal“-Vorteil: Die Causal-Methode war am präzisesten und fand oft das winzigste mögliche Audiofragment, das relevant war.
Der Kompromiss: Es gab einen Kompromiss zwischen der Strenge, mit der der Computer „Korrektheit“ bewertete. Wenn der Computer sehr streng war (nur perfekte Übereinstimmungen akzeptierte), wurden die Erklärungen größer. Wenn er etwas nachsichtiger war, wurden die Erklärungen kleiner.
Der „Sweet Spot“: Die Forscher kamen zu dem Schluss, dass die Verwendung von SFL zusammen mit einer „nachsichtigen“ Ähnlichkeitsprüfung (genannt Bert) das beste Gleichgewicht bietet. Es lieferte eine kleine, klare Erklärung, die über verschiedene Roboter hinweg konsistent war.

Das Fazit

Dieses Paper behauptet nicht, die Roboter zu reparieren oder sie perfekt zu machen. Stattdessen geben wir uns selbst eine Taschenlampe. Es ermöglicht uns zu sehen, welcher Bruchteil einer Sekunde in einer Tonaufnahme genau dazu geführt hat, dass ein Spracherkennungssystem eine bestimmte Transkription erstellt hat. Dies hilft Menschen, das System besser zu verstehen und ihm letztendlich auch mehr zu vertrauen.

Die Forscher geben zu, dass dies erst der erste Schritt ist. Sie planen, in Zukunft noch tiefer in die „Black Box“ zu blicken, aber für den Moment haben sie erfolgreich ein Werkzeug gebaut, das auf den „rauchenden Colt“ in einer Audioaufnahme zeigen kann.

Technische Zusammenfassung: Erklärungen für die automatische Spracherkennung (X-ASR)

Problemstellung
Die Verbreitung der automatischen Spracherkennung (Automatic Speech Recognition, ASR) im täglichen Leben hat die Bedenken hinsichtlich der Systemqualität und Rechenschaftspflicht erhöht. Auf neuronalen Netzen basierende ASR-Systeme agieren oft als „Black Boxes“ mit unzugänglichen internen Zuständen, was es schwierig macht, die Qualität sicherzustellen oder Fehlermodi zu verstehen. Während sich Techniken der erklärbaren KI (Explainable AI, XAI) rasant entwickelt haben, insbesondere für die Bildklassifizierung, stehen sie bei der Anwendung auf ASR-Transkriptionen vor erheblichen Herausforderungen. Im Gegensatz zu einfachen Klassifizierungslabels sind Transkriptionen variablängenbasierte Sequenzen, bei denen die Beurteilung der Korrektheit einen semantischen Vergleich unter Berücksichtigung geringfügiger Abweichungen erfordert, statt eines direkten binären Abgleichs. Zudem haben bestehende interpretierbare Modelle (z. B. die in LIME verwendete lineare Regression) Schwierigkeiten, mit variablen Ausgabesequenzen umzugehen. Aktuelle White-Box-Ansätze für Sprache sind oft modellspezifisch und erklären nicht die Transkription selbst, was ihren Nutzen für die Qualitätsbewertung einschränkt.

Methodik: Das X-ASR-Framework
Die Autoren schlagen X-ASR vor, ein Framework, das darauf ausgelegt ist, Erklärungen für ASR-Transkriptionen zu generieren, indem es eine minimale und hinreichende Teilmenge von Audioframes identifiziert, die eine spezifische Transkription verursachen. Das Framework arbeitet in zwei primären Schritten:

Klassifizierung von Transkriptionen: Da ASR-Ausgaben nicht strikt binär (Richtig/Falsch) sind, weist das Framework zunächst Labels basierend auf der Ähnlichkeit zu einer Referenztranskription unter Verwendung eines benutzerdefinierten Schwellenwerts ( $T$ ) zu. Es werden zwei Ähnlichkeitsmetriken unterstützt:
- Word Error Rate (WER): Bewertet die Ähnlichkeit basierend auf Einfügungen, Löschungen und Substitutionen.
- BERT: Berechnet die Kosinusähnlichkeit zwischen den semantischen Vektoren der ursprünglichen und der perturbierten Transkriptionen mittels Sentence BERT.
  Wenn die Ähnlichkeit $T$ überschreitet, wird die Transkription als „Richtig“ klassifiziert; andernfalls als „Falsch“.
Adaption von bildbasierten XAI-Techniken: Die Autoren adaptieren drei perturbationsbasierte XAI-Techniken aus der Bildklassifizierung für den Audiobereich, wobei sie Audioframes als das Äquivalent zu Bildpixeln (oder „Rohdaten-Bins“ in der Zeitdimension) behandeln:
- Statistical Fault Localisation (SFL): Adaptiert aus dem Softwaretesting, erzeugt diese Technik „Mutanten“-Audios, indem sie Frames zufällig maskiert (Datenpunkte auf Null setzt). Sie rankt Frames basierend auf der Wahrscheinlichkeit, dass deren Maskierung zu einem Klassifizierungsfehler (Label „Falsch“) führt. Die Frames werden nach einem Fehlerlokalisierungsmaß (z. B. Tarantula) gerankt, und eine minimale Teilmenge wird ausgewählt, bis der Erklärungssatz die ursprüngliche Klassifizierung reproduziert.
- Causal: Basierend auf der Kausalphilosophie und dem kontrafaktischen Denken partitioniert diese Methode Audio in „Superframes“. Sie berechnet die „Verantwortung“ eines Superframes als $1/(1+k)$ , wobei $k$ die Größe des kleinsten „Zeugen“ (einer Menge anderer Superframes, die bei Maskierung das Ergebnis ändern) ist. Dieser Prozess verfeinert Partitionen iterativ, um minimale hinreichende Ursachen zu identifizieren.
- LIME (Baseline): Eine lokale, interpretierbare, modellagnostische Erklärungstechnik, die durch die Erstellung von Perturbationen der Audioframes und das Anpassen eines lokalen linearen Modells adaptiert wird. Um das Ziel minimaler Erklärungen zu erreichen, verwenden die Autoren einen Greedy-Ansatz, der iterativ die am besten bewerteten Frames hinzufügt, bis die Klassifizierung korrekt ist.

Wesentliche Beiträge

Framework-Entwicklung: Einführung von X-ASR, dem ersten Framework zur Generierung von Erklärungen für ASR-Transkriptionen unter Verwendung von aus der Bildklassifizierung adaptierten, perturbationsbasierten Techniken.
Technik-Adaption: Erfolgreiche Anpassung von SFL und Causal (die zuvor in der Bildklassifizierung dominierten) zur Handhabung variabler Audio-Sequenzen und der semantischen Korrektheit von Transkriptionen.
Evaluationsprotokoll: Eine umfassende Evaluierung über drei verschiedene ASR-Systeme (Google API, Sphinx Baseline und Deepspeech) unter Verwendung von 100 Audio-Samples aus dem Commonvoice-Datensatz.

Ergebnisse
Die Studie bewertet Erklärungen basierend auf Größe (Anzahl der Frames in der Erklärung) und Konsistenz (Übereinstimmung der Erklärungen über verschiedene ASR-Systeme hinweg).

Größe: SFL und Causal übertreffen LIME signifikant bei der Generierung kleinerer, selektiverer Erklärungen, insbesondere wenn die BERT-Ähnlichkeitsmetrik verwendet wird. Causal produziert die kleinsten Erklärungen aufgrund der strengeren kausalen Bedingungen und der iterativen Verfeinerung.
Konsistenz: SFL weist die höchste Konsistenz über verschiedene ASR-Systeme hinweg auf, wenn es mit der BERT-Metrik kombiniert wird. Causal und LIME zeigen eine höhere Konsistenz, wenn sie mit WER kombiniert werden, was jedoch auf ihre größeren Erklärungsgrößen zurückzuführen ist (Causal erreicht im Durchschnitt 92 % der Input-Frames), was sie weniger selektiv macht.
Metrik-Einfluss: Die Wahl der Ähnlichkeitsmetrik beeinflusst die Ergebnisse signifikant. WER, das strenger ist (Nulltoleranz für Abweichungen), erzeugt größere Erklärungen als BERT, welches gewisse semantische Abweichungen zulässt.
Trade-off: Die Autoren identifizieren einen Trade-off zwischen Größe und Konsistenz. Sie kommen zu dem Schluss, dass SFL mit BERT den besten Kompromiss bietet, indem es eine durchschnittliche Erklärungsgröße von 56 % bei einer Konsistenz von 74 % erreicht.

Bedeutung und Ansprüche
Das Paper beansprucht, die kritische Notwendigkeit der Qualitätsbewertung in der ASR durch Bereitstellung von Erklärungen zu adressieren, die Nutzern helfen, das Systemverhalten zu verstehen und Vertrauen aufzubauen. Durch den Nachweis, dass bildbasierte XAI-Techniken (SFL und Causal) effektiv für Sprache adaptiert werden können, zeigen die Autoren, dass es möglich ist, minimale und hinreichende Ursachen für Transkriptionen zu generieren, ohne Zugriff auf die interne Architektur des ASR-Modells zu benötigen (Post-hoc-Erklärung). Die Studie beschränkt sich bescheiden auf perturbationsbasierte, modellagnostische Techniken und stellt explizit fest, dass zukünftige Arbeiten White-Box-ASR-Erklärungsmethoden untersuchen werden, um die Effektivität weiter zu steigen. Die Autoren betonen, dass diese Erklärungen die Rechenschaftspflicht fördern, indem sie helfen, fehlerverursachende Defekte zu identifizieren.