🤖 machine learning

Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers

Dieses Paper führt LARM ein, ein tiefenbedingtes Looped-Transformer-Framework, das eine Skalierung des Test-Time-Compute für die automatische Spracherkennung ermöglicht, indem es die Tiefe des rekurrenten Encoders durch spezialisierte Komponenten wie FiLM-Conditioning und spärliche CTC-Checkpoints dynamisch anpasst und dadurch die Erkennungsgenauigkeit verbessert, ohne größere Modelle mit fester Tiefe zu benötigen.

Ursprüngliche Autoren: Yacouba Kaloga, Shashi Kumar, Shakeel A. Sheikh, Driss Khalil, Petr Motlicek, Ina Kodrasi

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yacouba Kaloga, Shashi Kumar, Shakeel A. Sheikh, Driss Khalil, Petr Motlicek, Ina Kodrasi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, aber etwas müden Übersetzer, der versucht, einen gesprochenen Satz in Text umzuwandeln. In traditionellen Systemen hat dieser Übersetzer eine feste Anzahl an „Schritten“ oder „Schichten“ (Layers), die er ausführen kann, um den Satz zu verstehen. Sobald er diese Schritte abgeschlossen hat, gibt er seine beste Vermutung ab, selbst wenn er bei einem schwierigen Wort noch immer verwirrt ist. Wenn Sie ihn verbessern wollen, müssen Sie normalerweise einen ganz neuen, viel größeren Übersetzer mit mehr Schritten bauen, was mehr Geld kostet und länger dauert, um ihn zu trainieren.

Dieses Paper stellt ein neues System namens LARM (Loop Audio Recurrent Model) vor, das die Regeln ändert. Anstatt einen größeren Übersetzer zu bauen, erlaubt LARM demselben Übersetzer, so viele zusätzliche Schritte zu machen, wie Sie während des eigentlichen Gesprächs Zeit haben.

So funktioniert es, unter Verwendung einiger alltäglicher Analogien:

1. Das „Loop“-Konzept: Dasselbe Team, mehr Zeit

Betrachten Sie ein Standard-Spracherkennungssystem als eine Fabrik-Montageband mit 10 Stationen. Ein Produkt (der Klang) durchläuft alle 10 Stationen einmal und kommt als fertiger Text heraus. Wenn Sie eine bessere Qualität wollen, bauen Sie normalerweise eine Fabrik mit 20 Stationen.

LARM ist anders. Es hat nur 4 Stationen, aber es besitzt eine magische „Wiedereintrittstür“. Nachdem der Klang durch die 4 Stationen gegangen ist, kann er wieder durch sie hindurchgeschickt werden, immer und immer wieder.

Das Problem: Wenn Sie den Klang einfach immer wieder durch dieselben 4 Stationen schicken, ohne Änderungen vorzunehmen, wird der Übersetzer gelangweilt und repetitiv. Er macht immer wieder dieselben Fehler.
Die Lösung: LARM gibt dem Übersetzer ein spezielles Handbuch, das sich bei jedem Durchgang durch den Loop ändert. Es sagt ihm: „In diesem ersten Durchgang: Achte nur auf die allgemeine Stimmung. Im zweiten Durchgang: Achte auf die Grammatik. Im dritten Durchgang: Überprüfe die Rechtschreibung.“ Dies ermöglicht es demselben kleinen Team, in verschiedenen Phasen spezialisierte Arbeit zu leisten.

2. Die „Supervision Clock“: Die Trillerpfeife des Coaches

Um den Übersetzer daran zu hindern, sich im Loop zu verlieren, verwendet das System eine Supervision Clock (Aufsichtsuhr).
Stellen Sie sich einen Coach vor, der alle paar Minuten in eine Trillerpfeife bläst.

Die Pfeife (Checkpoints): Alle 4 Loops stoppt der Coach den Übersetzer und sagt: „Okay, schreibe jetzt auf, was du glaubst, dass der Satz gerade ist.“ Das System gleicht diese Vermutung mit der richtigen Antwort ab und gibt Feedback.
Die stille Zeit (Verfeinerung): Zwischen den Pfiffen arbeitet der Übersetzer in der Stille. Er wird noch nicht bewertet; er nutzt lediglich das Feedback vom letzten Pfiff, um sein Verständnis des Klangs zu verfeinern. Dies erzeugt einen Rhythmus aus „Prüfen, Verfeinern, Prüfen, Verfeinern“.

3. Das „Delayed Feedback“: Der handschriftliche Zettel

Einer der schwierigsten Teile der Spracherkennung ist zu wissen, was vorher kam, um zu verstehen, was als Nächstes kommt.

Die Analogie: Stellen Sie sich vor, Sie lesen ein Buch, aber Sie können nur das aktuelle Wort sehen. Sie könnten raten: „Die Katze saß auf der...“ und dann stoppen.
Larms Trick: LARM nimmt die „sanfte Vermutung“ (die Wahrscheinlichkeit, welches Wort es sein könnte) aus dem vorherigen Loop, verschiebt sie um einen Schritt zurück und reicht sie dem Übersetzer für den aktuellen Loop an. Es ist, als würde der Übersetzer einen Klebezettel von seinem früheren Ich erhalten, der sagt: „Hey, ich glaube, das letzte Wort war ‚die‘, also behalte das im Hinterkopf.“ Dies hilft dem System, eine konsistente Geschichte von links nach rechts aufzubauen, während es durch den Loop läuft.

4. Der „FiLM“-Conditioner: Der Mood Ring

Um sicherzustellen, dass der Übersetzer weiß, in welchem Loop er sich befindet (damit er nicht versucht, im ersten Schritt die endgültige Rechtschreibprüfung zu machen), verwendet LARM einen „Mood Ring“ (Stimmungsring) oder FiLM-Conditioning.

Dies ist ein Signal, das dem System sagt: „Du befindest dich gerade in Loop 3 von 12.“ Basierend auf dieser Zahl verändert das System subtil, wie der Übersetzer den Klang verarbeitet. Es ist, als würde man einem Schüler sagen: „Du bist in der Brainstorming-Phase, also sei kreativ“, gegenüber „Du bist in der Korrekturphase, also sei streng.“ Dies stellt sicher, dass dasselbe Gehirn zu unterschiedlichen Zeiten unterschiedliche Aufgaben erledigt.

Was haben sie herausgefunden?

Die Forscher haben dies an einem berühmten Sprachdatensatz namens LibriSpeech getestet.

Besser mit mehr Zeit: Sie fanden heraus, dass die Genauigkeit besser wurde, wenn sie dem Modell erlaubten, mehr Loops zu durchlaufen (mehr Schritte zu machen). Sie mussten keinen neuen, größeren Datensatz trainieren; sie nutzten einfach mehr „Denkzeit“ für dasselbe Modell.
Die Giganten geschlagen: Ein kleines LARM-Modell (mit nur 4 Schichten), das 12 Loops durchlief, erreichte fast die gleiche Genauigkeit wie – oder übertraf manchmal sogar – ein massives Standardmodell mit 16 Schichten. Das bedeutet, dass man hochwertige Ergebnisse erzielen kann, ohne ein supercomputer-großes Modell zu benötigen.
Frühes Beenden (Early Exits): Da sich das Modell Schritt für Schritt verbessert, können Sie es auch vorzeitig stoppen, wenn Sie eine schnelle Antwort benötigen (wie für eine Live-Untertitelungs-App), oder es länger laufen lassen, um ein perfektes Transkript zu erhalten.

Das Fazit

LARM beweist, dass man für die Spracherkennung nicht immer ein größeres Gehirn braucht; manchmal muss man dem vorhandenen Gehirn nur erlauben, ein wenig länger und strategischer nachzudenken. Es verwandelt die „Tiefe“ des Modells in einen Regler, den man je nach verfügbarer Zeit hoch oder runter drehen kann, was die Spracherkennung flexibler und effizienter macht.

Technisches Resümee: Skalierung der Rechenleistung zur Testzeit für ASR mit tiefen-konditionierten Loop-Transformern

Problemstellung

End-to-End-Systeme zur automatischen Spracherkennung (ASR) verlassen sich typischerweise auf akustische Encoder mit fester Tiefe. Während der Inferenz ist die Rechentiefe starr durch die Architektur vorgegeben, was verhindert, dass Modelle zusätzliche Rechenleistung zur Testzeit gegen eine verbesserte Erkennungsgenauigkeit eintauschen können, ohne ein größeres Modell neu trainieren zu müssen. Während die Skalierung der Rechenleistung zur Testzeit im Bereich der autoregressiven Sprachmodellierung (wo iteratives Generieren ermöglicht, Schlussfolgerungen zu ziehen und Selbstkorrektur zu betreiben) an Bedeutung gewonnen hat, ist die Anwendung dieses Paradigmas auf kontinuierliche, nicht-autoregressive ASR-Aufgaben nicht trivial. Standardmäßige Encoder mit fester Tiefe verfügen über keinen Mechanismus, um akustische Repräsentationen während der Inferenz progressiv zu verfeinern, und naive Versuche, geteilte Transformer-Blöcke rekurrent wiederzuverwenden, scheitern oft daran, die zusätzliche Rechenleistung voll auszuschöpfen, was zu einer suboptimalen Leistung im Vergleich zu tieferen Baselines mit nicht geteilten Parametern führt.

Methodik: Die LARM-Architektur

Um diese Einschränkungen zu adressieren, schlagen die Autoren das Loop Audio Recurrent Model (Lmathcal{LARM}) vor, einen tiefen-konditionierten Loop-Transformer, der die Parameteranzahl von der Inferenztiefe entkoppelt. LARM wendet einen geteilten Transformer-Block rekurrent auf eine latente akustische Sequenz an und behandelt die Rechentiefe als eine dynamische, steuerbare Achse. Die Architektur integriert vier Schlüsselmechanismen, um den Loop zu strukturieren und eine aufgangsspezifische Spezialisierung zu ermöglichen:

Sparse Supervision und Checkpoint-Struktur:
Anstatt den Verlust bei jedem Loop oder nur beim letzten Schritt anzuwenden, verwendet LARM einen Sparse-Supervision-Zeitplan. Der rekurrenten Prozess wird in eine Folge von überwachter Erkennungs-Checkpoints strukturiert, die durch zwischengeschaltete, unüberwachte Verfeinerungsphasen getrennt sind. Ein Supervision-Clock-Embedding ( $e^{(k)}_{clock}$ ) kodiert die Position des Loops innerhalb des Checkpoint-Intervalls ( $c$ ), wodurch das Modell zwischen überwachten Erkennungsstadien und latenten Verfeinerungsschritten unterscheiden kann.
FiLM-Tiefen-Konditionierung:
Um zu verhindern, dass die geteilten Gewichte über die Iterationen hinweg redundante Berechnungen durchführen, nutzt LARM Feature-wise Linear Modulation (FiLM). Dieser Mechanismus moduliert den Hidden State explizit basierend auf der normalisierten Loop-Iterations-Tiefe ( $\bar{d}^{(k)}$ ). Kleine MLPs generieren Skalierungs- und Bias-Terme, die den geteilten Encoder konditionieren, was es dem Modell ermöglicht, spezialisierte Transformationen in verschiedenen Stadien der Rekurrenz zu implementieren, ohne die Parameter aufzubrechen.
Verzögerte Vorhersage-Rückkopplung (Delayed Prediction Feedback):
LARM führt einen ASR-spezifischen rekurrenten Mechanismus ein, bei dem weiche CTC-Posteriori-Wahrscheinlichkeiten der vorherigen Iteration zurück in den Hidden Space projiziert, um einen Frame verschoben und in das Netzwerk reingespeist werden. Diese „verzögerte Vorhersage-Rückkopplung“ propagiert die links-nach-rechts gerichtete Token-Kontinuität durch die Tiefe des Modells, leitet die Trajektorie der akustischen Verfeinerung und ermöglicht es späteren Loops, auf sich entwickelnden Hypothesen aufzubauen.
Zustandsaggregation:
Der rekurrenten Zustand $h^{(k)}$ wird gebildet, indem der aktuelle Encoder-Output, die initiale akustische Repräsentation (via Skip-Connection) und die verzögerte Vorhersage-Rückkopplung aggregiert werden. Erlernbare Skalare ( $\alpha, \beta$ ) steuern den Beitrag des Rückkopplungssignals und stellen sicher, dass jeder Loop sowohl auf die ursprünglichen akustischen Merkmale als auch auf die verfeinerte Soft-Token-Historie konditioniert ist.

Kernbeiträge

Encoder-Level Test-Time Scaling: LARM führt ein Framework ein, bei dem ASR-Modelle die Inferenz-Rechenleistung dynamisch skalieren können, indem sie die Anzahl der rekurrenten Loops erhöhen, ohne die Anzahl der gelernten Parameter zu steigffern.
Stadienspezifische rekurrent Training: Das Paper schlägt einen neuartigen Mechanismus zur Strukturierung der Loops vor, der Sparse Intermediate CTC Supervision, periodische Clock-Embeddings und FiLM-Tiefen-Konditionierung kombiniert. Dies ermöglicht es einem einzigen Satz geteilter Gewichte, sich über rekurrenten Iterationen hinweg für unterschiedliche Rollen (Erkennung vs. Verfeinerung) zu spezialisieren.
Verzögerte Vorhersage-Rückkopplung: Die Autoren führen einen Rückkopplungsmechanismus ein, der verschobene Soft-Token-Posteriori wieder einspeist und so die Token-Kontinuität explizit durch die rekurrent Tiefe propagiert, um die iterative akustische Erkennung zu verbessern.
Empirische Validierung: Die Arbeit zeigt, dass LARM die Word Error Rate (WER) erhöht, wenn die Anzahl der Inferenz-Loops gesteigert wird, und dabei eine Leistung erreicht, die mit deutlich tieferen, Baselines mit nicht geteilten Parametern konkurrenzfähig ist, während es nur einen Bruchteil der Parameter verwendet.

Experimentelle Ergebnisse

Die Experimente wurden auf dem LibriSpeech-Benchmark (100h und 960h Trainingssätze) durchgeführt.

Leistung vs. Parameteranzahl: Auf dem 100h-Datensatz erreichte ein LARM-Modell mit 4 geteilten Blöcken und 12 Loops (7,7 Mio. Parameter) eine WER von 11,34 % (greedy CTC), was den parametergleichen Standard-4-Block-Encoder (26,78 %) übertrifft und einen 16-Block-Encoder ohne geteilte Parameter (28,9 Mio. Parameter, fast viermal so viele Parameter) mit 14,43 % übertrifft.
Test-Time Compute Scaling: Für ein fest trainiertes Modell verbesserte die Erhöhung der Anzahl der ausgeführten Loops ( $K$ ) konsistent die WER. Das 960h-Modell zeigte eine glatte Verbesserungstrajektorie, während das 100h-Modell eine nicht-monotone Zwischenverfeinerung aufwies, aber dennoch Gewinne an den überwachten Checkpoints zeigte.
Skalierung mit Breite und Daten: Die Erhöhung der Modell-Dimension ( $d$ ) von 384 auf 1024 verbesserte die Leistung weiter. Die größte LARM-Konfiguration ( $d=1024$ , 85,7 Mio. Parameter) erzielte wettbewerbsfähige Ergebnisse (3,39 % WER auf test-clean für 960h) gegenüber einem Standard-48-Block-Encoder mit vergleichbarer Parameteranzahl.
Ablationsstudien:
- Naives Looping: Einfache Rekurrenz verbesserte die Leistung gegenüber nicht-geloopten Encodern, war jedoch unterlegen gegenüber dem vollen LARM, was die Notwendigkeit der vorgeschlagenen Konditionierung und Rückkopplungsmechanismen bestätigt.
- Supervision-Schedule: Eine moderat sparse Supervision (Checkpoint-Intervalle $c > 1$ ) übertraf sowohl die dichte Supervision ( $c=1$ ) als auch die reine Final-Only-Supervision, was die Hypothese der „Verfeinerung zwischen den Checkpoints“ validiert.
- Konditionierung: Die FiLM-Tiefen-Konditionierung erwies sich als überlegen gegenüber einfachen additiven Embeddings oder fehlender Konditionierung.
- Feedback: Das Entfernen der Vorhersage-Rückkopplung verschlechterte die Leistung signifikant, wobei die Verwendung von verzögertem (previous-frame) Feedback mit gelernten Mischskalaren die besten Ergebnisse lieferte.

Signifikanz und Ansprüche

Das Paper behauptet, dass LARM erfolgreich das Konzept der Skalierung der Rechenleistung zur Testzeit – das bisher in der autoregressiven Sprachmodellierung dominant war – auf die kontinuierliche, nicht-autoregressive Spracherkennung übertragen hat. Indem die rekurrenten Encoder-Tiefe in eine steuerbare Rechenachse umgewandelt wird, ermöglicht LARM ASR-Systemen, zusätzliche Inferenzzeit gegen verbesserte Genauigkeit einzutauschen, ohne die Kosten für das Training größerer Modelle zu tragen. Die Ergebnisse legen nahe, dass Architekturen mit geteilten Parametern, wenn sie korrekt konditioniert und durch Sparse Supervision und Feedback strukturiert sind, eine Leistung erreichen können, die mit viel tieferen Modellen mit nicht geteilten Parametern vergleichbar ist. Die Autoren merken an, dass die aktuelle Konfiguration Anzeichen einer Sättigung bei sehr großen Breiten zeigt, der Ansatz jedoch einen parametereffizienten Weg für die dynamische Inferenz-Skalierung in der ASR bietet.