Pay Attention to CTC: Fast and Robust Pseudo-Labelling for Unified Speech Recognition

Dit paper introduceert USR 2.0, een efficiëntere en robuustere methode voor geünificeerde spraakherkenning die CTC-gedreven pseudo-labeling en gemengde bemonstering combineert om de trainingstijd te halveren en de prestaties op diverse benchmarks te verbeteren.

De kern

Samenvatting: Een Slimme, Snelle Vertaler voor Oren, Ogen en Beeld

Stel je voor dat je een super-intelligente robot wilt bouwen die niet alleen kan luisteren naar wat mensen zeggen (zoals Siri of Alexa), maar ook kan kijken naar hun lippen om te begrijpen wat ze zeggen, zelfs als het erg luid is of als de geluidskwaliteit slecht is. Dit heet Unified Speech Recognition (Unificatie van Spraakherkenning).

Het probleem met de oude versie van deze robot (genaamd USR) was dat hij twee grote gebreken had:

1. Hij was traag: Hij moest elke zin woord voor woord "nadenken" om te leren, wat veel tijd kostte.
2. Hij werd snel gek: Als hij een fout maakte in een lange zin, bleef hij die fout steeds herhalen, net als een kind dat een verkeerd woord leert en dat vervolgens blijft gebruiken.

De auteurs van dit paper hebben een nieuwe versie bedacht: USR 2.0. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Oude Manier: Het "Nadenken" van de Leerling

In de oude versie kreeg de robot (de "leerling") hulp van een "meester" (de "leraar"). De leraar moest eerst een hele zin hardop uitspreken, woord voor woord, om de leerling te laten zien hoe het moest.

• Het probleem: Dit was als een leraar die elke zin langzaam en voorzichtig uitspreekt. Het kostte enorm veel tijd. Bovendien, als de leraar een keer een woord verkeerd uitsprak (wat gebeurt bij lange zinnen of ruis), leerde de leerling die fout en werd de leraar in de volgende ronde nog slechter. Een vicieuze cirkel van fouten.

2. De Nieuwe Manier: De "CTC-Snelweg"

De nieuwe methode, USR 2.0, gebruikt een slimme truc. In plaats van dat de leraar langzaam woord voor woord uitspreekt, laat hij eerst een snelle, ruwe schets van de zin zien.

• De Analogie: Stel je voor dat je een lange tekst moet typen. De oude manier was dat je elke letter één voor één typen moest, wachtend op de vorige. De nieuwe manier is alsof je eerst een snelle, ruwe schets van de hele zin op een kladblok zet (dit noemen ze CTC). Deze schets is misschien niet perfect, maar hij is extreem snel gemaakt en heel robuust (hij breekt niet als er ruis is).

3. De Magische Truc: "CTC-gedreven Leraarsdwang"

Hier komt het genie van de nieuwe methode:

• De leraar maakt die snelle, ruwe schets (de CTC-schets).
• In plaats van dat de leerling zelf moet nadenken over het volgende woord, geeft de leraar de leerling de schets als voorschrift.
• De leerling zegt dan: "Oké, op basis van deze schets, wat zou het volgende woord zijn?"
• Waarom werkt dit? Omdat de leraar en de leerling exact naar dezelfde schets kijken, maakt het niet uit als de schets op zichzelf een beetje rommelig is. De leerling leert hoe hij die schets moet vertalen naar een mooie, complete zin. Het is alsof je een student een raadsel geeft en zegt: "Kijk naar dit fragment, en vul de rest in." De student leert dan snel hoe het moet, zonder dat de leraar urenlang hoeft te wachten.

4. Het "Mixen" van Methoden

Er is een klein risico: als je alleen naar de snelle schets kijkt, leer je misschien niet hoe je een hele zin zelfstandig moet opbouwen.

• De oplossing: De auteurs gebruiken een mix-methode. Soms laten ze de leraar de snelle schets gebruiken (voor snelheid en stabiliteit), en soms laten ze de leraar weer langzaam en zorgvuldig woord voor woord uitspreken (voor precisie).
• Dit zorgt ervoor dat de robot zowel snel als slim wordt, en niet vergeten hoe hij moet nadenken.

Wat levert dit op?

• Twee keer zo snel: Het trainen van de robot duurt nu de helft van de tijd.
• Minder fouten: De robot is veel beter in het begrijpen van lange zinnen, zinnen met veel achtergrondgeluid, of zinnen van mensen met een sterk accent.
• Eén robot voor alles: In plaats van drie verschillende robots (een voor horen, een voor kijken, en een voor beide), heb je nu één enkele robot die alles kan.

Kortom:
De auteurs hebben een manier gevonden om een spraakherkenningsrobot te trainen die niet meer "stottert" bij lange zinnen en niet meer urenlang wacht op zijn eigen gedachten. Door slimme schetsen te gebruiken als leidraad, wordt de robot sneller, slimmer en robuuster, zelfs in de chaotische wereld van buitenaf (zoals op straat of in een drukke bar). Het is alsof je een student niet meer laat studeren door het boek letter voor letter te lezen, maar hem eerst een samenvatting geeft en hem laat zien hoe je die samenvatting uitwerkt tot een perfect verhaal.

Technische samenvatting

1. Het Probleem

Unified Speech Recognition (USR) is een semi-supervisie kader dat bedoeld is om één enkel model te trainen voor audiospraakherkenning (ASR), visuele spraakherkenning (VSR) en audiovisuele spraakherkenning (AVSR). Hoewel de oorspronkelijke USR (Haliassos et al., 2024a) state-of-the-art resultaten boekte, had het twee fundamentele beperkingen:

1. Rekenkundige inefficiëntie: Het gebruikte een autoregressieve (AR) decoder voor het genereren van pseudo-labels (PLs) voor de attention-branch. Omdat AR-decoding sequentieel is (één token per stap), is dit extreem traag tijdens training, vooral bij grote datasets en lange sequenties. Dit vormt een bottleneck voor schaalbaarheid.
2. Gevoeligheid voor Out-of-Distribution (OOD) fouten: De supervisie van de CTC-branch en de attention-branch was ontkoppeld. De attention-branch leunde op autoregressieve pseudo-labels van een "teacher"-model. Als de teacher fouten maakte (vooral bij ruis, lange zinnen of domeinverschuivingen), werden deze fouten versterkt door de zelfversterkende trainingslus (student leert van teacher, teacher is een moving average van student). Dit leidde tot instabiel gedrag en degradatie van prestaties bij OOD-data.

2. Methodologie: USR 2.0

De auteurs stellen USR 2.0 voor, een verbeterde versie die de robuustheid van CTC combineert met de expressiviteit van attention-based decoding, zonder de rekenkosten van autoregressie tijdens het pseudo-labelen.

A. CTC-gedreven Teacher Forcing (CTC-driven Teacher Forcing)

In plaats van dat de teacher de attention-branch autoregressief decodeert, gebruikt USR 2.0 de greedy-decoded CTC-outputs als input voor de attention-decoder.

• Proces: De teacher genereert eerst CTC-pseudo-labels. Deze worden "collapsed" (blanks en herhalingen verwijderd) om een token-sequentie te krijgen.
• Teacher Forcing: Deze CTC-sequentie wordt direct als input (prefix) aan de attention-decoder gegeven om de attention-pseudo-labels te genereren in één enkele forward pass.
• Voordeel: Dit elimineert de sequentiële afhankelijkheid van autoregressie, waardoor het genereren van attention-labels ~40x sneller is. Hoewel de resulterende attention-sequentie lokaal coherent kan zijn maar globaal inconsistente patronen kan vertonen (bijv. herhalingen door CTC-fouten), is dit in een pseudo-labeling setting acceptabel omdat student en teacher onder dezelfde geforceerde input opereren.

B. Gecombineerde Supervisie

Omdat de attention-labels nu zijn afgeleid van de CTC-labels, hebben ze dezelfde lengte. Dit stelt de student in staat om beide soorten pseudo-labels (CTC en Attention) gelijktijdig te voorspellen in één forward pass. De decoder profiteert hierdoor van de robuustheid van CTC (monotone uitlijning) en de expressiviteit van attention, zonder dure beam search.

C. Mixed Sampling (Gecombineerde Sampling)

Om het "train-test mismatch" (exposure bias) op te lossen – waarbij het model tijdens training op CTC-inputs wordt getraind maar tijdens inferentie autoregressief werkt – introduceert de auteurs een mixed sampling strategie:

• Bij elke trainingsstap wordt willekeurig gekozen tussen twee modi:
  1. CTC-driven mode (50% kans): Gebruikt de snelle CTC-gedreven teacher forcing.
  2. AR mode (50% kans): Gebruikt standaard autoregressieve decoding (zoals in de originele USR) om de decoder te laten wennen aan zijn eigen output en exposure bias te verminderen.
• In AR-mode krijgt de CTC-branch ook supervisie van de attention-labels, en vice versa, om de twee branches te koppelen.

3. Belangrijkste Bijdragen

• Efficiëntie: USR 2.0 halveert de trainingstijd ten opzichte van de originele USR door het verwijderen van de autoregressieve bottleneck bij het genereren van pseudo-labels.
• Robuustheid: De methode is aanzienlijk robuuster tegenout-of-distribution inputs (zoals ruis, lange zinnen en onbekende datasets) dankzij de integratie van CTC-supervisie in de attention-decoder.
• Unified Model: Het behoudt het voordeel van één enkel model voor ASR, VSR en AVSR, maar verbetert de prestaties op alle drie de taken.
• Schaalbaarheid: De methode maakt het mogelijk om modellen te schalen naar een "Huge" variant (953M parameters) getraind op ~2500 uur aan ongelabelde data.

4. Resultaten

De auteurs evalueren USR 2.0 op diverse benchmarks (LRS3, LRS2, WildVSR, LibriSpeech) en vergelijken met state-of-the-art methoden zoals AV-HuBERT, BRAVEn en de originele USR.

• Prestaties: USR 2.0 bereikt state-of-the-art resultaten op alle taken.
  • Op LRS3 (Huge model): 17.6% WER (VSR), 0.9% (ASR), 0.8% (AVSR).
  • Op WildVSR (een uitdagende OOD dataset): 38.5% WER, wat een significante verbetering is ten opzichte van USR (46.4%) en andere baselines.
• Robuustheid:
  • Lange zinnen: USR 2.0 behoudt stabiele prestaties bij invoer tot 600 frames, terwijl andere modellen (zoals USR en BRAVEn) een sterke daling in prestaties vertonen door opeenstapeling van autoregressieve fouten.
  • Ruis: Bij lage SNR-waarden (-5 dB) presteert USR 2.0 aanzienlijk beter dan concurrenten, vooral bij AVSR waar visuele informatie helpt.
• Efficiëntie: Training is ongeveer 2x sneller dan USR, zowel door snellere stappen (geen AR decoding) als door snellere convergentie (minder epochs nodig).

5. Betekenis en Impact

Dit paper biedt een cruciale doorbraak in semi-supervisie voor spraakherkenning. Het lost het dilemma op tussen snelheid (CTC) en kwaliteit (Attention) door CTC te gebruiken als "stuur" voor Attention tijdens het trainingsproces.

• Praktische toepassing: De methode maakt het haalbaar om grote, ongelabelde datasets (zoals VoxCeleb2 en AVSpeech) effectief te gebruiken voor het trainen van één unified model, wat de kosten voor implementatie verlaagt.
• Algemene toepasbaarheid: Het concept van "CTC-driven teacher forcing" kan potentieel worden toegepast op andere sequence-to-sequence taken (zoals handschriftherkenning of DNA-sequencing) waar input en output een temporale volgorde volgen maar geen expliciete frame-voor-frame uitlijning hebben.

Kortom, USR 2.0 bewijst dat door slimme integratie van CTC en Attention in de pseudo-labeling cyclus, men zowel snelheid als robuustheid kan maximaliseren, wat leidt tot superieure prestaties in real-world scenario's.