In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions

Der „Synchron-Sprecher“: Wenn KI nicht nur zuhört, sondern auch die Uhr im Blick hat

Stellen Sie sich vor, Sie schauen einen Film mit Untertiteln. Meistens passiert es: Der Schauspieler sagt etwas, und zack – der Text erscheint. Das ist super. Aber stellen Sie sich vor, die Untertitel wären ständig leicht verschoben. Manchmal erscheint der Text schon, bevor der Mund sich bewegt, manchmal erst Sekunden zu spät. Das ist nervig, oder?

In der Welt der Künstlichen Intelligenz (KI) gibt es zwar schon sehr gute „Transkriptions-Experten“ (die können hervorragend mitschreiben, was gesagt wird), aber sie haben oft kein Gefühl für das Timing. Sie wissen, was gesagt wurde, aber nicht exakt, auf welcher Millisekunde das Wort fiel.

Die Forscher in diesem Paper haben ein System namens „In-Sync“ entwickelt. Das Ziel: Eine KI, die gleichzeitig zwei Jobs perfekt erledigt – wie ein Stenograf, der nicht nur jedes Wort mitliest, sondern auch gleichzeitig eine präzise Stoppuhr für jedes einzelne Wort drückt.

Das Problem: Der „schlampige“ Schreiber

Bisher war es so: Eine KI hat den Text geschrieben, und ein zweites, separates Programm musste im Nachhinein mühsam versuchen, die Wörter den Zeitpunkten zuzuordnen (wie jemand, der ein fertiges Buch liest und versucht zu raten, wann die Sätze im Original gesprochen wurden). Das ist ungenau und kompliziert.

Wenn man der KI aber einfach sagt: „Schreib den Text UND sag mir die Zeit dazu“, passiert oft ein Problem: Die KI wird „verwirrt“. Sie konzentriert sich so sehr auf die Uhr, dass sie beim eigentlichen Mitschreiben Fehler macht. Es ist, als würde man einem Koch befehlen, ein 5-Gänge-Menü zu kochen, während er gleichzeitig jede Sekunde die Temperatur des Ofens auf die dritte Nachkommastelle genau protokollieren muss – am Ende schmeckt das Essen vielleicht nicht mehr so gut.

Die Lösung: Drei „Geheimzutaten“ von In-Sync

Die Forscher haben drei clevere Tricks angewandt, um der KI zu helfen, beide Aufgaben gleichzeitig zu meistern, ohne dass die Qualität leidet:

1. Das „Marathon-Training“ (Speech Length Augmentation):
   Stellen Sie sich vor, Sie lernen, wie man eine Uhr liest, aber Sie sehen immer nur kurze Sekundenzeiger. Sie hätten keine Ahnung, wie man eine Stunde misst. Die KI hatte das Problem, dass sie meistens nur kurze Sprachschnipsel kannte. Die Forscher haben deshalb einfach mehrere Sprachaufnahmen aneinandergehängt. So hat die KI gelernt, auch bei langen „Marathons“ die Zeit im Griff zu behalten, ohne den Überblick zu verlieren.

2. Die „Zeit-Leitplanken“ (Timestamp Embedding Regularization):
   Die Zeit fließt immer nur in eine Richtung: vorwärts. Die Forscher haben der KI eine Art „unsichtbare Schiene“ gegeben. Sie haben mathematisch sichergestellt, dass die Zeit-Werte der KI logisch aufeinander aufbauen. Es ist, als würde man einem Kind beibringen zu zählen: „Nach der 1 kommt die 2, nach der 2 die 3“. Die KI darf nicht plötzlich von 10 Sekunden auf 2 Sekunden springen. Das sorgt für eine glatte, logische Zeitlinie.

3. Das „Training mit Hindernissen“ (Reduced Teacher Forcing):
   Normalerweise lernt eine KI, indem man ihr beim Üben immer die perfekte Lösung vorgibt. Das ist wie ein Schüler, der bei jeder Matheaufgabe sofort die Lösung auf den Tisch bekommt. Das Problem: Wenn er in der Prüfung dann mal einen kleinen Fehler macht, bricht sein ganzes Denken zusammen, weil er nie gelernt hat, mit Fehlern umzugehen.
   Die Forscher haben die KI absichtlich mit „falscher Zeit“ konfrontiert. Sie haben die Zeitangaben während des Trainings manchmal leicht manipuliert. Dadurch hat die KI gelernt: „Okay, auch wenn die Zeitangabe gerade etwas wackelig ist, muss ich trotzdem den Text und den weiteren Zeitverlauf logisch weiterführen können.“ Das macht sie extrem robust gegen kleine Fehler.

Das Ergebnis

Das Ergebnis ist ein System, das nicht nur extrem gut darin ist, Sprache in Text zu verwandeln (ASR), sondern das auch die Zeitpunkte der Wörter fast perfekt trifft. Es ist ein „All-in-One“-System: Ein einziger Prozess erledigt das Mitschreiben und das Timing gleichzeitig – präzise, schnell und ohne den Fokus zu verlieren.

Kurz gesagt: In-Sync macht aus einem guten Zuhörer einen perfekten Synchronsprecher.