⚡ electrical engineering

In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions

Dit onderzoek presenteert een efficiënte methode om spraakbewuste taalmodellen aan te passen zodat ze direct nauwkeurige tijdstempels op woordniveau kunnen voorspellen tijdens de transcriptie, zonder de herkenningskwaliteit aan te tasten.

Oorspronkelijke auteurs: Xulin Fan, Vishal Sunder, Samuel Thomas, Mark Hasegawa-Johnson, Brian Kingsbury, George Saon

Gepubliceerd 2026-04-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xulin Fan, Vishal Sunder, Samuel Thomas, Mark Hasegawa-Johnson, Brian Kingsbury, George Saon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een supersnelle tekstverwerker hebt die naar een audiofragment luistert en direct alles uittikt wat er gezegd wordt. Dat is ASR (Automatic Speech Recognition). Maar er is een probleem: de tekst komt eruit als één grote lap tekst, zonder te vertellen wanneer welk woord precies werd uitgesproken.

Als je een film ondertitelt of een video wilt doorzoeken op een specifiek woord, heb je meer nodig dan alleen de tekst. Je wilt weten: "Op seconde 12, 05 zegt hij 'hallo'."

Dit onderzoek, genaamd IN-SYNC, heeft een manier gevonden om een slimme computer (een Large Language Model) niet alleen te laten luisteren naar wat er wordt gezegd, maar ook naar de tijdlijn van de woorden.

Hier is hoe ze dat hebben gedaan, uitgelegd met een paar simpele metaforen:

1. Het probleem: De "Tijd-blindheid"

Normaal gesproken gebruiken computers twee aparte taken: één voor het luisteren (de oren) en één voor het timen (de stopwatch). Dat is alsof je een muzikant vraagt om te spelen, en daarna pas een andere persoon vraagt om de noten op een blad te zetten met de juiste timing. Dat kost tijd en gaat vaak mis. De onderzoekers wilden dat de computer de muziek én de timing in één vloeiende beweging doet.

2. De drie slimme trucjes (De "Training")

Om de computer dit te leren zonder dat hij in de war raakt, gebruikten ze drie slimme methodes:

De "Marathon-training" (Speech Length Augmentation):
Stel je voor dat je een hardloper traint. Als je hem alleen maar korte sprintjes laat doen, raakt hij in paniek als hij een marathon moet lopen. De computer kreeg vooral korte audiofragmenten, waardoor hij de tijd bij lange zinnen niet meer wist. De onderzoekers hebben daarom korte fragmenten aan elkaar geplakt. Zo leerde de computer om ook bij een "lange marathon" de tijdlijn goed bij te houden.
De "Geordende Bibliotheek" (Timestamp Embedding Regularization):
Tijd is logisch: 1 seconde komt altijd vóór 2 seconden. Maar voor een computer zijn getallen soms maar abstracte codes. De onderzoekers hebben een soort "onzichtbare regel" toegevoegd: ze dwongen de computer om de tijdstippen in een logische, stijgende lijn te ordenen, alsof hij boeken in een bibliotheek op nummer zet. Hierdoor begrijpt de computer dat de tijd altijd vooruit gaat en nooit zomaar terugspringt.
De "Lekkende Stopwatch" (Reduced Teacher Forcing):
Tijdens het oefenen geven we computers vaak de perfecte antwoorden om van te leren. Maar als de computer tijdens een echt gesprek één klein foutje maakt in de tijd, raakt hij in een paniekreactie en gaat hij de rest van de zin helemaal verkeerd timen (een domino-effect).
De onderzoekers deden iets geks: tijdens de training gaven ze de computer soms expres een fout tijdstip. Het is alsof je een leerling een rekenopdracht geeft waarbij je expres een foutje in de vorige stap zet. De leerling moet dan leren: "Oké, de vorige tijd klopt niet helemaal, maar ik moet toch proberen de volgende woorden weer op de juiste plek te zetten." Dit maakt de computer veel veerkrachtiger.

De conclusie

Het resultaat? Een systeem dat niet alleen heel nauwkeurig kan uittypen wat er gezegd wordt, maar dat ook de "klok" in zich heeft om precies aan te geven wanneer elk woord valt. Het is alsof je een secretaresse hebt die niet alleen je dictaat uittikt, maar ook direct de tijdstippen in de notulen zet, zonder dat je erom hoeft te vragen.

Technische Samenvatting: In-Sync

1. Het Probleem (Problem Statement)

Moderne Automatic Speech Recognition (ASR) systemen evolueren van eenvoudige transcriptie naar "Speech-aware Large Language Models" (SpeechLLMs). Hoewel deze modellen uitstekend zijn in het omzetten van spraak naar tekst, ontbreekt het vaak aan nauwkeurige woordniveau-tijdstempels (timestamps).

Traditioneel wordt tijdstempelvoorspelling afgehandeld door externe tools (zoals forced aligners), wat een extra stap in de pipeline vereist en vaak afhankelijk is van specifieke uitspraakwoordenboeken. Het integreren van tijdstempels direct in het taalmodel (end-to-end) is echter uitdagend: het kan de nauwkeurigheid van de transcriptie (WER - Word Error Rate) verminderen en leidt vaak tot fouten die zich door de autoregressieve generatie voortplanten (error propagation).

2. Methodologie (Methodology)

De auteurs bouwen voort op het Granite-speech-8B framework. Dit systeem bestaat uit een audio-encoder (Conformer), een task-aware projector (MLP) en een Large Language Model (Granite-3.3-8B-Instruct).

Het kernconcept is In-Sync: een methode waarbij het model via een multi-task leerproces zowel de transcriptie als de tijdstempels tegelijkertijd voorspelt. Om dit stabiel te maken, introduceren ze drie specifieke technieken:

Speech Length Augmentation: Omdat korte tijdstempels veel vaker voorkomen in datasets dan lange tijdstempels (een heavy-tailed distribution), worden opeenvolgende uitingen aan elkaar geplakt tijdens de training. Dit dwingt het model om ook nauwkeurige voorspellingen te doen voor langere audiofragmenten.
Timestamp Embedding Regularization: Om te voorkomen dat de tijdstempel-embeddings willekeurig zijn, wordt een extra verliesfunctie ( $L_{reg}$ ) toegevoegd. Deze dwingt een structurele, monotone ordening af in de embedding-ruimte (gebaseerd op een Gaussische prior), zodat opeenvolgende tijdstempels ook wiskundig "dicht bij elkaar" liggen.
Reduced Teacher Forcing: Bij standaard training krijgt het model tijdens de training altijd de correcte vorige tijdstempel te zien. Dit maakt het model lui en kwetsbaar voor fouten tijdens de echte inferentie. Door tijdens de training de input-tijdstempels willekeurig te corrumperen (vervangen door kleinere waarden), leert het model robuuster te zijn en minder afhankelijk te zijn van een perfect verleden.

3. Belangrijkste Bijdragen (Key Contributions)

Unified Framework: Een efficiënte methode om ASR en SRWT (Speech Recognition With Timestamps) te combineren in één enkele pass, zonder externe aligners.
Nieuwe Trainingsstrategieën: De introductie van drie lichtgewicht technieken (Length Augmentation, Embedding Regularization en Reduced Teacher Forcing) die specifiek zijn ontworpen om de trade-off tussen transcriptiekwaliteit en tijdstempelprecisie te minimaliseren.
Task-Aware Adapter: Een architectuur die via een specifieke indicator-token onderscheid kan maken tussen de ASR-taak en de SRWT-taak.

4. Resultaten (Results)

De resultaten (zoals weergegeven in Tabel 1) laten zien dat:

Verbeterde Robuustheid: De combinatie van de voorgestelde technieken leidt tot een betere balans. Vooral Timestamp Regularization en Reduced Teacher Forcing verbeteren de nauwkeurigheid van de tijdstempels (lagere AAS - Accumulated Averaging Shift) zonder de tekstuele nauwkeurigheid (WER) significant te verslechteren.
Vergelijking met Baselines: Het model presteert beter dan Qwen-Audio op het gebied van gemiddelde WER en AAS. Hoewel CrisperWhisper (gebaseerd op Whisper) zeer sterke WER-cijfers haalt, biedt het In-Sync framework een meer gebalanceerde en stabiele prestatie over diverse, ruisgevoelige datasets.
Zero-shot prestaties: Het model toont sterke capaciteiten op menselijk geannoteerde datasets zoals TIMIT en Buckeye, zelfs in een zero-shot setting.

5. Betekenis (Significance)

Dit onderzoek is significant omdat het de weg vrijmaakt voor de volgende generatie spraak-AI. In plaats van een reeks losse tools (audio $\rightarrow$ tekst $\rightarrow$ alignment), biedt In-Sync een geïntegreerde oplossing. Dit is cruciaal voor praktische toepassingen zoals:

Automatische ondertiteling (closed captioning).
Video-indexering en zoekopdrachten op basis van trefwoorden in audio.
Multimodale synchronisatie (bijv. het matchen van lipbewegingen met audio).

Het bewijst dat het toevoegen van temporele informatie (tijd) aan een taalmodel niet alleen een extra functie is, maar ook de algemene robuustheid van het spraakbegrip kan versterken.