🤖 machine learning

Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers

Dit artikel introduceert LARM, een diepte-geconditioneerd looped Transformer-framework dat test-time compute scaling voor automatische spraakherkenning mogelijk maakt door de diepte van de recurrente encoder dynamisch aan te passen via gespecialiseerde componenten zoals FiLM-conditioning en sparse CTC checkpoints, waardoor de herkenningsnauwkeurigheid wordt verbeterd zonder grotere modellen met een vaste diepte te vereisen.

Oorspronkelijke auteurs: Yacouba Kaloga, Shashi Kumar, Shakeel A. Sheikh, Driss Khalil, Petr Motlicek, Ina Kodrasi

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yacouba Kaloga, Shashi Kumar, Shakeel A. Sheikh, Driss Khalil, Petr Motlicek, Ina Kodrasi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar licht vermoeide vertaler hebt die probeert een gesproken zin om te zetten in tekst. In traditionele systemen heeft deze vertaler een vast aantal "stappen" of "lagen" die ze kunnen nemen om de zin te begrijpen. Zodra ze deze stappen hebben voltooid, geven ze hun beste gok, zelfs als ze nog steeds in verwarring zijn over een lastig woord. Als je hen wilt verbeteren, moet je meestal een hele nieuwe, veel grotere vertaler bouwen met meer stappen, wat meer geld kost en langer duurt om te trainen.

Dit artikel introduceert een nieuw systeem genaamd LARM (Loop Audio Recurrent Model) dat de regels verandert. In plaats van een grotere vertaler te bouwen, laat LARM de dezelfde vertaler evenveel extra stappen te nemen als je de tijd hebt tijdens het eigenlijke gesprek.

Zo werkt het, met gebruik van enkele alledaagse analogieën:

1. Het "Loop"-concept: Hetzelfde team, meer tijd

Denk aan een standaard spraakherkenningssysteem als een fabriekslijn met 10 stations. Een product (het geluid) gaat door alle 10 de stations één keer en komt eruit als een voltooide tekst. Als je een betere kwaliteit wilt, bouw je meestal een fabriek met 20 stations.

LARM is anders. Het heeft slechts 4 stations, maar het heeft een magische "re-entry deur". Nadat het geluid door de 4 stations is gegaan, kan het opnieuw door deze stations worden gestuurd, en nog een keer, en nog een keer.

Het Probleem: Als je het geluid zonder veranderingen herhaaldelijk door dezelfde 4 stations stuurt, wordt de vertaler saai en repetitief. Ze blijven dezelfde fouten maken, keer op keer.
De Oplossing: LARM geeft de vertaler een speciale instructiehandleiding die elke keer dat ze door de loop gaan, verandert. Het zegt: "In deze eerste ronde, luister alleen naar de algemene vibe. In de tweede ronde, kijk naar de grammatica. In de derde ronde, controleer de spelling." Dit stelt hetzelfde kleine team in staat om op verschillende stadia gespecialiseerd werk te verrichten.

2. De "Supervision Clock": De fluit van de coach

Om de vertaler ervan te weerhouden de weg kwijt te raken in de loop, gebruikt het systeem een Supervision Clock.
Stel je een coach voor die elke paar minuten op een fluitje blaast.

De Fluit (Checkpoints): Elke 4 loops stopt de coach de vertaler en zegt: "Oké, schrijf nu op wat je denkt dat de zin is." Het systeem controleert deze gok tegen het juiste antwoord en geeft feedback.
De Stille Tijd (Verfijning): Tussen de fluitjes door werkt de vertaler in stilte. Ze worden nog niet beoordeeld; ze gebruiken alleen de feedback van de laatste fluit om hun begrip van het geluid te verfijnen. Dit creëert een ritme van "Controleren, Verfijnen, Controleren, Verfijnen."

3. De "Delayed Feedback": Het linkshandige briefje

Een van de moeilijkste delen van spraakherkenning is weten wat er vóór kwam om te begrijpen wat er hierna komt.

De Analogie: Stel je voor dat je een boek leest, maar je kunt alleen het huidige woord zien. Je zou kunnen raden: "De kat zat op de..." en dan stoppen.
LARM's Truc: LARM neemt de "zachte gok" (de waarschijnlijkheid van wat het woord zou kunnen zijn) van de vorige loop, verschuift deze één stap terug en geeft deze aan de vertaler voor de huidige loop. Het is also het de vertaler krijgt van hun eerdere zelf een briefje met: "Hé, ik denk dat het vorige woord 'de' was, houd dat in gedachten." Dit helpt het systeem om een consistent verhaal op te bouwen van links naar rechts terwijl ze door de loop gaan.

4. De "FiLM" Conditioner: De Mood Ring

Om ervoor te zorgen dat de vertaler weet welke loop ze aan het doen (zodat ze niet in de eerste stap al de definitieve spellingcontrole proberen te doen), gebruikt LARM een "Mood Ring" of FiLM conditioning.

Dit is een signaal dat het systeem vertelt: "Je bent momenteel in Loop 3 van 12." Op basis van dit nummer verandert het systeem subtiel de manier waarop de vertaler het geluid verwerkt. Het is alsof je een student vertelt: "Je bent in de brainstormfase, dus wees wild," versus "Je bent in de bewerkingsfase, dus wees strikt." Dit zorgt ervoor dat hetzelfde brein op verschillende momenten andere taken uitvoert.

Wat hebben ze gevonden?

De onderzoekers hebben dit getest op een beroemde spraakdataset genaamd LibriSpeech.

Beter met meer tijd: Ze ontdekten dat als ze het model meer loops lieten draaien (meer stappen lieten nemen), de nauwkeurigheid verbeterde. Ze hoefden geen nieuw, groter model te trainen; ze gebruikten simpelweg meer "denktijd" op hetzelfde model.
De reuzen verslaan: Een klein LARM-model (met slechts 4 lagen) dat 12 loops draaide, presteerde bijna net zo goed als, of soms zelfs beter dan, een enorm standaardmodel met 16 lagen. Dit betekent dat je hoge kwaliteit resultaten kunt krijgen zonder een supercomputer-groot model nodig te hebben.
Vroegtijdig afsluiten: Omdat het model stap voor stap verbetert, kun je het vroegtijdig stoppen als je een snel antwoord nodig hebt (zoals voor een live ondertiteling-app) en nog steeds een redelijk resultaat krijgen, of het langer laten draaien voor een perfect transcript.

De Kernboodschap

LARM bewijst dat je voor spraakherkenning niet altijd een groter brein nodig hebt; soms moet je het bestaande brein gewoon iets langer en strategischer laten nadenken. Het verandert de "diepte" van het model in een draaiknop die je hoger of lager kunt zetten, afhankelijk van hoeveel tijd je hebt, wat spraakherkenning flexibeler en efficiënter maakt.

Technische Samenvatting: Test-Time Compute Scaling voor ASR met Depth-Conditioned Looped Transformers

Probleemstelling

End-to-end Automatic Speech Recognition (ASR) systemen vertrouwen doorgaans op encoders met een vaste akoestische diepte. Tijdens de inferentie wordt de computationele diepte rigide bepaald door de architectuur, wat voorkomt dat modellen extra rekentijd tijdens de testfase kunnen inruilen voor verbeterde herkenningsnauwkeurigheid zonder een groter model te hertrainen. Hoewel test-time compute scaling tractie heeft gekregen in autoregressieve taalmodellering (waar iteratieve generatie ruimte biedt voor redeneren en zelfcorrectie), is het toepassen van dit paradigma op continue, niet-autoregressieve ASR-taken niet triviaal. Standaard encoders met een vaste diepte missen een mechanisme om akoestische representaties tijdens de inferentie progressief te verfijnen, terwijl naïeve pogingen om gedeelde Transformer-blokken recurrent te hergebruiken vaak niet volledig in staat zijn de extra rekenkracht te benutten, wat resulteert in een suboptimale prestatie vergeleken met diepere baselines met niet-gedeelde parameters.

Methodologie: De LARM-architectuur

Om deze beperkingen aan te pakken, stellen de auteurs de Loop Audio Recurrent Model (LARM) voor, een depth-conditioned looped Transformer die het aantal parameters ontkoppelt van de inferentiediepte. LARM past een gedeeld Transformer-blok recurrent toe op een latente akoestische sequentie, waarbij computationele diepte wordt behandeld als een dynamische, controleerbare as. De architectuur integreert vier kernmechanismen om de loop te structureren en stage-specifieke specialisatie mogelijk te maken:

Sparse Supervision en Checkpoint-structuur:
In plaats van de loss toe te passen bij elke loop of alleen bij de laatste stap, gebruikt LARM een sparse supervisieschema. Het recurrente proces is gestructureerd in een reeks gesuperviseerde herkenningscheckpoints, gescheiden door tussenliggende, ongesuperviseerde verfijningsfasen. Een supervisie-klok embedding ( $e^{(k)}_{clock}$ ) codeert de positie van de loop binnen het checkpoint-interval ( $c$ ), waardoor het model onderscheid kan maken tussen gesuperviseerde herkenningsstadia en latente verfijningsstappen.
FiLM Depth Conditioning:
Om te voorkomen dat de gedeelde gewichten redundante berekeningen uitvoeren over iteraties heen, maakt LARM gebruik van Feature-wise Linear Modulation (FiLM). Dit mechanisme moduleert de verborgen toestand expliciet op basis van de genormaliseerde loop-iteratiediepte ( $\bar{d}^{(k)}$ ). Kleine MLPs genereren schaal- en bias-termen die de gedeelde encoder conditioneren, waardoor deze in staat is om gespecialiseerde transformaties uit te voeren in verschillende stadia van de recurrentie zonder de parameters te ontkoppelen.
Delayed Prediction Feedback:
LARM introduceert een ASR-specifiek recurrent mechanisme waarbij soft CTC-posterioren van de vorige iteratie worden geprojecteerd naar de verborgen ruimte, verschoven met één frame, en opnieuw in het netwerk worden geïnjecteerd. Deze "delayed prediction feedback" propageert links-naar-rechts token-niveau continuïteit door de diepte van het model, wat het traject van de akoestische verfijning stuurt en de latere loops in staat stelt om voort te bouwen op evoluerende hypothesen.
State Aggregation:
De recurrente toestand $h^{(k)}$ wordt gevormd door de huidige encoder output te aggregeren met de initiële akoestische representatie (via een skip-verbinding) en de delayed prediction feedback. Leerbare scalars ( $\alpha, \beta$ ) controleren de bijdrage van het feedbacksignaal, waardoor elke loop conditioneert op zowel de originele akoestische kenmerken als de verfijnde soft-token geschiedenis.

Belangrijkste Bijdragen

Encoder-Level Test-Time Scaling: LARM introduceert een framework waarbij ASR-modellen de inferentie-berekening dynamisch kunnen schalen door het aantal recurrente loops te verhogen zonder het aantal geleerde parameters te vergroten.
Stage-Specialized Recurrent Training: Het paper stelt een nieuw loop-structureringsmechanisme voor dat sparse tussenliggende CTC-supervisie, periodieke klok-embeddings en FiLM depth conditioning combineert. Dit stelt een enkele set gedeelde gewichten in staat om te specialiseren voor verschillende rollen (herkenning versus verfijning) over de recurrente iteraties heen.
Delayed Prediction Feedback: De auteurs introduceren een feedbackmechanisme dat verschoven soft-token posteroren herinjecteert, waardoor token-niveau continuïteit expliciet door de recurrente diepte wordt gepropageerd om iteratieve akoestische herkenning te verbeteren.
Empirische Validatie: Het werk demonstreert dat LARM de Word Error Rate (WER) verbetert naarmate het aantal inferentie-loops toeneemt, waarbij het prestaties bereikt die competitief zijn met aanzienlijk diepere, niet-gedeelde parameter baselines, terwijl het slechts een fractie van het aantal parameters gebruikt.

Experimentele Resultaten

Experimenten werden uitgevoerd op de LibriSpeech benchmark (100h en 960h trainingssets).

Prestaties vs. Aantal Parameters: Op de 100h dataset behaalde een LARM-model met 4 gedeelde blokken en 12 loops (7,7M parameters) een WER van 11,34% (greedy CTC), waarmee het een parameter-gematchte standaard 4-blok encoder (26,78%) versloeg en een 16-blok unshared encoder (14,43%) met bijna vier keer zoveel parameters (28,9M) evenaarde.
Test-Time Compute Scaling: Voor een gefixeerd getraind model leidde het verhogen van het aantal uitgevoerde loops ( $K$ ) consistent tot een verbeterde WER. Het 960h-model vertoonde een vloeiend verbeteringstraject, terwijl het 100h-model een niet-monotoon tussenliggend verfijningsproces vertoonde, maar nog steeds winst boekte bij gesuperviseerde checkpoints.
Schaling met Breedte en Data: Het vergroten van de modeldimensie ( $d$ ) van 384 naar 1024 verbeterde de prestaties verder. De grootste LARM-configuratie ( $d=1024$ , 85,7M parameters) behaalde competitieve resultaten (3,39% WER op test-clean voor 960h) tegenover een standaard 48-blok encoder met een gelijk aantal parameters.
Ablatie-studies:
- Naive Looping: Eenvoudige recurrentie verbeterde ten opzichte van niet-geloopte encoders, maar was inferieur aan volledige LARM, wat de noodzaak van de voorgestelde conditioning en feedbackmechanismen bevestigt.
- Supervisie-schema: Matig sparse supervisie (checkpoint-intervallen $c > 1$ ) presteerde beter dan zowel dense supervisie ( $c=1$ ) als alleen finale supervisie, wat de hypothese van "verfijning tussen checkpoints" valideert.
- Conditioning: FiLM depth conditioning bleek superieur aan eenvoudige additieve embeddings of het ontbreken van conditioning.
- Feedback: Het verwijderen van prediction feedback verslechterde de prestaties aanzienlijk, en het gebruik van previous-frame (delayed) feedback met geleerde mixing scalars leverde de beste resultaten op.

Betekenis en Claims

Het paper claimt dat LARM erin slaagt het concept van test-time compute scaling — voorheen dominant in autoregressieve taalmodellering — succesvol uit te breiden naar continue, niet-autoregressieve spraakherkenning. Door de recurrente encoder-diepte om te zetten in een controleerbare compute-as, stelt LARM ASR-systemen in staat om extra inferentietijd in te ruilen voor verbeterde nauwkeurigheid zonder de kosten van het trainen van grotere modellen. De resultaten suggeries dat gedeelde-parameter architecturen, wanneer ze correct geconditioneerd en gestructureerd zijn met sparse supervisie en feedback, prestaties kunnen leveren die vergelijkbaar zijn met veel diepere, niet-gedeelde modellen. De auteurs merken op dat hoewel de huidige configuratie tekenen van verzadiging vertoont bij zeer grote breedtes, de aanpak een parameter-efficiënt pad biedt voor dynamische inferentie-scaling in ASR.