WhisperAlign: Word-Boundary-Aware ASR and WhisperX-Anchored Pyannote Diarization for Long-Form Bengali Speech

Dieser Beitrag stellt eine Lösung für die DL Sprint 4.0 vor, die durch eine wortgrenzenbewusste, WhisperX-angereicherte Pipeline mit feinabgestimmten Modellen die Genauigkeit der bengalischen Langzeit-Spracherkennung und Sprecherdiarisierung in Szenarien mit überlappenden Stimmen signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine extrem lange, laute Partyaufnahme auf Kassette, die eine Stunde lang dauert. Auf dieser Aufnahme reden zehn verschiedene Leute gleichzeitig, reden sich ins Wort, unterbrechen sich und machen Pausen. Ihre Aufgabe ist es, zwei Dinge zu tun:

1. Transkribieren: Schreiben Sie genau auf, was jeder gesagt hat (Text).
2. Diarisierung: Markieren Sie, wer zu welchem Zeitpunkt gesprochen hat (Wer spricht wann?).

Das Problem: Die Sprache ist Bengalisch, und die meisten Computer-Programme sind wie Touristen, die nur Englisch oder Spanisch verstehen. Sie stolpern über die Sprache, hören in den Pausen nur Rauschen und denken sich Dinge aus, die gar nicht gesagt wurden (sogenannte "Halluzinationen").

Dieses Papier beschreibt, wie ein Team von Studenten (Aurchi, Rubaiyat und Sk. Ashrafuzzaman) einen cleveren "Schweizer Taschenmesser"-Ansatz entwickelt hat, um dieses Chaos zu ordnen. Hier ist die Erklärung ihrer Lösung, einfach und mit Analogien:

1. Das Transkribieren: Der "Wort-genaue Scherenschneider"

Das Problem:
Stellen Sie sich vor, Sie schneiden ein langes Brot in Scheiben, um es zu essen. Wenn Sie die Scheiben zufällig schneiden, landen Sie mitten auf einem Stück Brot oder einem Stück Käse. Das schmeckt nicht gut und ist schwer zu essen. Genau das passiert bei Computern: Wenn sie lange Audiodateien in feste 30-Sekunden-Stücke schneiden, schneiden sie oft mitten in ein Wort hinein. Der Computer ist verwirrt und fängt an zu halluzinieren ("Ich habe 'Apfel' gehört", obwohl da gar kein Apfel war).

Die Lösung:
Das Team hat einen "intelligenten Scherenschneider" gebaut.

• Schritt 1 (Stille entfernen): Zuerst wird das Rauschen und die Stille herausgeschnitten. Nur die Rede bleibt übrig.
• Schritt 2 (Wort-Timestamps): Statt willkürlich zu schneiden, nutzen sie ein Werkzeug (Whisper), das genau weiß, wann ein Wort beginnt und endet. Es ist, als hätte jeder Satz unsichtbare Markierungen zwischen den Wörtern.
• Schritt 3 (Saubere Schnitte): Der Computer schneidet das Audio nur an diesen unsichtbaren Markierungen. Kein Wort wird halb abgeschnitten.
• Schritt 4 (Feinschliff): Diese sauberen Stücke werden genutzt, um den Computer für die bengalische Sprache zu "trainieren". Man sagt ihm quasi: "Schau, so klingt ein ganzer Satz in Bengalisch."

Das Ergebnis: Der Computer macht viel weniger Fehler, weil er nie mitten in einem Wort unterbrochen wird. Die Fehlerquote (WER) sank drastisch von 67% auf nur noch 25%.

2. Die Sprecher-Erkennung: Der "Tanzlehrer für Bengalisch"

Das Problem:
Stellen Sie sich vor, Sie versuchen, einen Tanz zu beschreiben, bei dem mehrere Leute gleichzeitig tanzen. Ein Standard-Tanzlehrer (ein normales KI-Modell) kennt nur den Tango aus Europa. Wenn er bengalische Tänzer sieht, die sich anders bewegen und überlappend tanzen, wird er verwirrt und sagt: "Das ist Person A, dann Person B, dann wieder A", obwohl sie sich vielleicht die ganze Zeit über die Rede geteilt haben.

Die Lösung:
Das Team hat den Tanzlehrer speziell für diese Party geschult.

• Spezialisierung: Sie haben nicht den ganzen riesigen Tanzlehrer neu erfunden, sondern nur den "Schulungsabschnitt" (das Segmentierungs-Modell) angepasst. Das ist wie ein Tanzlehrer, der nur die spezifischen Schritte dieser einen bengalischen Party lernt, statt alles neu zu lernen.
• Der "Ein-Wort-zu-einem-Zeit"-Trick: Die Regeln des Wettbewerbs sagten: "Niemand darf gleichzeitig sprechen." Das ist in der Realität oft falsch, aber der Computer muss es so tun. Das Team nutzte eine Funktion, die Überlappungen automatisch auflöst, indem sie sagt: "Wenn zwei Leute gleichzeitig reden, zählt nur der, der zuerst angefangen hat." Das verhindert, dass der Computer verwirrt wird.
• Der "Doppel-Check" (VAD-Intersection): Hier kommt der Clou. Der Transkriptions-Computer (Whisper) und der Sprecher-Computer (Pyannote) nutzen beide unterschiedliche "Ohren", um zu hören, wann jemand spricht. Manchmal hören sie unterschiedlich. Das Team hat die Ergebnisse beider "Ohren" verglichen. Nur wenn beide sagen "Hier wird gesprochen", wird es als Rede markiert. Alles andere wird als Stille gelöscht. Das entfernt alle "Geisterstimmen".

3. Warum war das so erfolgreich?

Stellen Sie sich vor, Sie bauen ein Haus.

• Die anderen Teams haben versucht, das Haus mit einem Hammer zu bauen, indem sie Ziegelsteine (Audio-Schnipsel) wild aufeinander schlugen.
• Dieses Team hat erst eine Präzisions-Säge gebaut (die Wort-genaue Schnitte), dann den Boden für die bengalische Sprache geebnet (Feinabstimmung des Modells) und schließlich ein Sicherheitsnetz gespannt (der Doppel-Check), damit nichts durchfällt.

Die Ergebnisse:

• Text: Die Fehlerquote beim Schreiben sank massiv.
• Sprecher: Die Fehler beim Zuordnen der Sprecher sanken von über 40% auf unter 25%.

Fazit:
Das Team hat gezeigt, dass man nicht unbedingt einen riesigen, teuren Supercomputer braucht, um lange bengalische Gespräche zu verstehen. Man braucht stattdessen Intelligenz beim Schneiden (niemals mitten im Wort schneiden) und Disziplin beim Abgleich (nur das akzeptieren, was beide Systeme bestätigen). Sie haben aus einem chaotischen Durcheinander eine saubere, lesbare Geschichte gemacht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „WhisperAlign" auf Deutsch:

Titel: WhisperAlign: Wortgrenzenbewusste ASR und WhisperX-verankerte Pyannote-Diarisierung für lange bengalische Sprachaufnahmen

1. Problemstellung

Das Paper adressiert die Herausforderungen bei der Verarbeitung von langen, mehrsprachigen Audioaufnahmen in einer ressourcenarmen Sprache (Bengali). Die spezifischen Probleme umfassen:

• Kontextverlust und Halluzinationen: Herkömmliche ASR-Modelle (wie Whisper) neigen bei langen Audiosegmenten (>30 Sekunden) zu Halluzinationen, da sie den Kontext verlieren.
• Fehlende Segmentierung: Die bereitgestellten Trainingsdaten bestanden aus stundenlangen Aufnahmen mit nur paragraphenweisen Textannotationen, ohne Sprechereinheiten oder Wortgrenzen.
• Überlappende Sprache: Bei der Sprecherdiarisierung (Speaker Diarization) ist es schwierig, überlappende Sprechphasen korrekt zuzuordnen, ohne akustische Daten zu zerstören.
• Sprachspezifische Lücken: Bestehende Modelle sind oft auf westliche Sprachen optimiert und erfassen die prosodischen Nuancen und das Sprechverhalten im Bengali nicht ausreichend.

2. Methodik und Architektur

Die Lösung besteht aus einer dualen Pipeline, die zwei Hauptaufgaben behandelt: Spracherkennung (ASR) und Sprecherdiarisierung.

A. Spracherkennung (ASR) – „WhisperAlign"

• Semantische Chunking-Strategie: Anstatt Audio in feste Zeitfenster zu teilen (was zu abgeschnittenen Wörtern führt), wurde eine wortgrenzenbewusste Strategie entwickelt.
  • Silero VAD: Identifiziert zunächst Sprachregionen und entfernt Stille.
  • Whisper-Timestamped: Nutzt die Cross-Attention-Köpfe des Bengali-Whisper-Modells, um Wort-für-Wort-Timestamps zu extrahieren, ohne externe Ausrichtungs-Tools (Forced Alignment) zu benötigen.
  • Sequenz-Matching: Die extrahierten Zeitstempel werden mit den Ground-Truth-Texten abgeglichen (mittels difflib.SequenceMatcher). Falsch transkribierte Wörter behalten die korrekte Rechtschreibung, aber erhalten die Zeitstempel des Modells. Fehlende Zeitstempel werden linear interpoliert.
  • Segmentierung: Das Audio wird in Segmente von 20–28 Sekunden aufgeteilt, die strikt an Wortgrenzen enden, um den 30-Sekunden-Limit von Whisper einzuhalten und Kontextverlust zu vermeiden.
• Fine-Tuning: Ein spezifisches Bengali-Whisper-Medium-Modell (tugstugi) wurde auf diesen bereinigten, wortgenauen Chunks nachtrainiert.
• Inferenz: Nutzt Silero VAD zur Vorverarbeitung, verhindert Kontext-Propagation zwischen Chunks (condition_on_previous_text=False) und wendet Post-Processing-Filter gegen Wiederholungsschleifen und englische Boilerplate-Phrasen an.

B. Sprecherdiarisierung (Diarization) – „WhisperX-Anchored Pyannote"

• Domain-Adaptation: Statt das gesamte riesige Diarisierungs-Modell neu zu trainieren, wurde nur das leichte Segmentierungsmodul von Pyannote (ca. 1,4 Mio. Parameter) auf bengalische Daten feinabgestimmt. Dies lernt die spezifische Prosodie und Sprechwechsel im Bengali.
• Exklusive Sprecherzuweisung: Um die Wettbewerbsregel „keine überlappenden Sprecher" einzuhalten, wurde die native exclusive_speaker_diarization-Funktion verwendet. Diese weist Überlappungen probabilistisch dem dominanten Sprecher zu, anstatt manuell Segmente zu schneiden (was Datenverlust bedeuten würde).
• VAD-Schnittmenge (Kerninnovation): Ein bekanntes Problem ist die zeitliche Drift zwischen ASR- und Diarisierungs-VAD-Modellen. Die Autoren lösen dies durch eine logische UND-Schnittmenge (Intersection): Die Cluster-Ergebnisse von Pyannote werden strikt auf die Sprachgrenzen maskiert, die von Silero VAD (genutzt von WhisperX) definiert wurden. Dies eliminiert „Halluzinationen" an den Grenzen.

3. Schlüsselbeiträge (Novelty)

1. Selbstständiges Chunking ohne externe Tools: Eine Pipeline, die Wortgrenzen aus dem Whisper-Modell selbst ableitet und diese auf Ground-Truth-Texte überträgt, ohne auf fehlende phonetische Wörterbücher für Bengali angewiesen zu sein.
2. Parameter-effiziente Anpassung: Das Fine-Tuning nur des Segmentierungsmoduls (statt des gesamten Systems) ermöglichte eine schnelle Anpassung an die bengalische Sprache bei geringen Rechenkosten.
3. VAD-Intersection: Die logische Verknüpfung von Silero VAD und Pyannote-Clustering beseitigte zeitliche Inkonsistenzen und Rand-Halluzinationen effektiv.
4. Exklusive Overlap-Handling: Nutzung der nativen probabilistischen Methode von Pyannote zur Einhaltung der Nicht-Überlappungs-Regel, was akustische Daten erhält.

4. Ergebnisse

Die Methode führte zu signifikanten Verbesserungen gegenüber den Baselines:

• ASR (Word Error Rate - WER):

  • Startwert (rohes Modell): 67,5 % (Public Leaderboard).
  • Nach VAD und Post-Processing: 41,9 %.
  • Nach Fine-Tuning mit der Chunking-Strategie: 26,5 %.
  • Finale Leistung: 25,2 % (Public) und 27,8 % (Private).
  • Dies stellt eine Verbesserung von ca. 7 Punkten gegenüber dem starken Bengali-Baseline-Modell „Tugstugi" und ca. 23 Punkten gegenüber dem „Hishab TITU-BN" Modell dar.

• Diarisierung (Diarization Error Rate - DER):

  • Baseline (Pyannote 3.1): 42,2 % (Public).
  • Nach Fine-Tuning des Segmentierungsmodells: 20,0 %.
  • Finale Leistung: 19,4 % (Public) und 26,0 % (Private).
  • Im Vergleich zum Bengali-Loop-Benchmark (40,08 % DER) wurde der Fehler um ca. 12–16 % absolut reduziert.

5. Bedeutung und Fazit

Das Paper demonstriert, dass durch intelligente, wortgrenzenbewusste Datenverarbeitung und gezielte Anpassung von Komponenten (Segmentierung) auch in ressourcenarmen Szenarien (Bengali) hochpräzise Ergebnisse erzielt werden können.

• Skalierbarkeit: Der Ansatz ist besonders wertvoll für Sprachen, für die keine umfangreichen phonetischen Ressourcen oder manuell annotierten Wortgrenzen verfügbar sind.
• Effizienz: Die Kombination aus Parameter-Effizienz (nur Teil-Modelle fine-tunen) und rechnerischer Optimierung (Dual-GPU, VAD-Schnittmenge) bietet einen robusten Blueprint für die Verarbeitung langer Audioaufnahmen.
• Qualitätssicherung: Die Eliminierung von Rand-Halluzinationen durch die VAD-Schnittmenge ist ein kritischer Schritt zur Verbesserung der Zuverlässigkeit von ASR-Diarisierungspipelines in realen Anwendungen.

Zusammenfassend liefert „WhisperAlign" einen neuen Standard für die Verarbeitung langer bengalischer Sprachaufnahmen, indem es die Lücken zwischen roher Audioverarbeitung und linguistischer Präzision schließt.