💬 NLP

Streaming Translation and Transcription Through Speech-to-Text Causal Alignment

Dit paper introduceert Hikari, een volledig end-to-end model dat gelijktijdige spraak-naar-tekst vertaling en streaming-transcriptie mogelijk maakt door READ/WRITE-beslissingen te coderen in een probabilistisch WAIT-tokenmechanisme, waardoor nieuwe state-of-the-art resultaten worden behaald op het gebied van kwaliteit en latentie.

Oorspronkelijke auteurs: Roman Koshkin, Jeon Haesung, Lianbo Liu, Hao Shi, Mengjie Zhao, Yusuke Fujita, Yui Sudo

Gepubliceerd 2026-03-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Roman Koshkin, Jeon Haesung, Lianbo Liu, Hao Shi, Mengjie Zhao, Yusuke Fujita, Yui Sudo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🌟 De Kern: Een Vertaler die "Luistert" in plaats van "Wacht"

Stel je voor dat je een gesprek voert met iemand die een andere taal spreekt. In het verleden hadden we twee soorten vertalers:

De Strikte Wachter: Deze vertaler luistert naar een hele zin, wacht tot de spreker klaar is, en begint dan pas te vertalen. Het resultaat is perfect, maar je moet 10 seconden wachten voordat je iets hoort.
De Haastige Goochelaar: Deze vertaler begint direct te praten zodra er een woord valt. Het is snel, maar vaak raak je de draad kwijt of vertaalt hij dingen verkeerd omdat hij de context mist.

Hikari is een nieuwe, slimme vertaler die geen van beide uitersten kiest. Hij is als een meester-interpret die op het juiste moment weet wanneer hij moet stilzitten en wanneer hij moet spreken.

🧠 Hoe werkt Hikari? (De Magie)

1. Geen "Regelsboekje", maar een Gevoel

Oude systemen werkten met vaste regels (bijv. "wacht tot er 5 woorden zijn"). Dit werkt niet goed als talen heel verschillend zijn.

Analogie: Stel je voor dat je een Engelse zin vertaalt naar het Japans. In het Engels zeggen we: "Ik heb de man gezien..." (Onderwerp + Werkwoord + Object). In het Japans staat het werkwoord vaak pas aan het einde: "...de man die ik zag."
Het probleem: Als je direct begint te vertalen, moet je het werkwoord "zag" al zeggen voordat je weet wat voor man het is.
Hikari's oplossing: Hikari heeft geen regelsboekje. Hij heeft een gevoel. Hij weet instinctief: "Oké, ik heb 'Ik heb de man gezien' gehoord, maar ik wacht even... want in het Japans moet ik eerst weten wat hij aan had." Hij "houdt zijn mond" (hij wacht) tot hij genoeg informatie heeft, en dan vertaalt hij in één keer de hele zin.

2. De "Wacht-Tok" (Het Geheime Wapen)

Hikari is een AI die woorden voorspelt. Normaal gesproken denkt hij: "Welk woord komt nu?"
Hikari heeft echter een speciaal woord in zijn vocabulaire: (Wacht).

Als hij twijfelt of meer context nodig heeft, kiest hij niet voor een nieuw woord, maar voor .
Analogie: Het is alsof Hikari een knop heeft. Als hij denkt: "Ik weet het nog niet zeker," drukt hij op de knop 'Wacht'. Hij blijft dan stil, luistert naar de volgende woorden van de spreker, en als hij het weet, drukt hij op 'Spreek' en schiet hij de vertaling eruit.
Dit maakt het systeem eind-tot-eind: Hij leert zelf wat hij moet zeggen en wanneer hij het moet zeggen. Geen menselijke regels nodig.

3. De "Time-Dilation" (De Versneller)

Een groot probleem bij dit soort systemen is dat de AI te vaak op 'Wacht' drukt. Dat maakt het traag.

Analogie: Stel je voor dat Hikari een filmkijker is. Normaal kijkt hij 1 seconde audio en probeert hij 1 woord te zeggen. Omdat hij vaak wacht, duurt het lang.
De oplossing: Hikari gebruikt een truc genaamd Decoder Time Dilation. In plaats van 1 seconde audio per woord, kijkt hij naar 4 seconden audio per beslissing.
Het effect: Hij hoeft minder vaak te beslissen of hij moet wachten of spreken. Het is alsof je de film versnelt zodat Hikari minder vaak hoeft te pauzeren, maar de inhoud nog steeds perfect begrijpt. Dit maakt hem veel sneller en efficiënter.

4. De "Oefening" (SFT)

Soms raakt Hikari in de war en blijft hij te lang wachten, zelfs als hij het antwoord al weet.

Analogie: Stel je voor dat Hikari een student is die in een proefopname een fout maakt en te lang stilt. De docent (de onderzoekers) zegt dan: "Oké, laten we dit oefenen. We laten je een fout maken, en dan trainen we je om die fout snel goed te maken."
Ze trainen Hikari speciaal om snel bij te halen als hij een keer te lang heeft gewacht. Hierdoor wordt hij niet alleen slimmer, maar ook sneller in het reageren.

🚀 Wat levert dit op?

De onderzoekers hebben Hikari getest op het vertalen van Engels naar Japans, Duits en Russisch.

Resultaat: Hikari is de snelste en beste van allemaal. Hij is sneller dan de huidige recordhouders, maar vertaalt ook net zo goed (of beter).
Waarom is dit belangrijk? Voor mensen die live vergaderingen hebben, conferenties bezoeken of films kijken, betekent dit dat je bijna direct kunt meeluisteren in een andere taal, zonder dat je de vertaler hoeft te zien "nadenken" of dat de vertaling achterloopt.

Samenvattend in één zin:

Hikari is een slimme AI-vertaler die niet wacht op regels, maar op gevoel: hij houdt zijn mond als hij meer moet luisteren, en schiet de vertaling eruit zodra hij het begrijpt, waardoor hij zowel supersnel als extreem nauwkeurig is.

Titel: Streaming Vertaling en Transcriptie via Causale Uitlijning van Spraak-naar-Text

Modelnaam: Hikari

1. Het Probleem

Traditionele simultane machine vertaling (SiMT) leunt zwaar op offline vertaalmodellen gekoppeld aan menselijk ontworpen heuristieken of geleerde beleidsregels (policies) om te bepalen wanneer er vertaald moet worden (READ/WRITE beslissingen). Dit creëert twee hoofdproblemen:

Syntactische divergentie: Bij taalparen met verschillende woordvolgorde (bijv. Engels [SVO] naar Japans [SOV]) moet de vertaler wachten tot de volledige zin is gehoord om de hoofdwerkwoorden correct te plaatsen. Statische regels (zoals "wait-k") falen hier vaak: een kleine $k$ leidt tot hallucinaties, een grote $k$ tot onacceptabele latentie.
Architecturale complexiteit: Bestaande systemen gebruiken vaak modulaire componenten (bijv. aparte VAD-modellen of controllers) die de beslissingen nemen, wat de inferentie bemoeilijkt en de coherente leercurve van het model verstoort.

Het doel is een systeem te creëren dat politic-vrij is, volledig end-to-end werkt, en simultaan zowel transcriptie als vertaling uitvoert zonder externe beslissingsmodules.

2. Methodologie: De Hikari Architectuur

Hikari is een end-to-end Transformer-model (gebaseerd op Whisper-medium) dat READ/WRITE-acties direct encodeert in de kansverdeling van de volgende token, in plaats van ze te laten bepalen door een externe policy.

Kerncomponenten:

Probabilistische WAIT-token:
- Het vocabulaire bevat een speciaal <WAIT>-token.
- Als het model onzeker is, stijgt de waarschijnlijkheid van <WAIT> (wat een READ-actie vertegenwoordigt: meer audio inwachten).
- Als het model zeker is, daalt de <WAIT>-kans en worden teksttokens gegenereerd (WRITE-actie).
- Dit verenigt de "wat" (vertaling) en "wanneer" (policy) in één probabilistisch raamwerk.
Causale Maskering:
- Encoder: Een onder-driehoekige causale masker zorgt dat de encoder alleen naar het verleden kijkt (incrementele audio-inname).
- Cross-Attention: Een gedilateerd causaal masker voorkomt dat de decoder naar toekomstige sleutels van de encoder kijkt, wat strikte temporaliteit garandeert.
Decoder Time Dilation (D):
- Om het probleem van een oververtegenwoordiging van <WAIT>-tokens op te lossen (waarbij het model 90% van de tijd wacht), wordt de decoder-tijd "verdund".
- In plaats van één output-token per audio-frame, genereert het model één token per $D$ audio-embeddings.
- De auteurs kiezen voor $D=4$ . Dit verlaagt de frequentie van <WAIT>-tokens, verbetert de real-time factor (RTF) en zorgt ervoor dat de contextvenster niet volloopt, terwijl de causale precisie behouden blijft.
Data-Generatie en Causale Uitlijning:
- Omdat echte simultane vertaalcorpora schaars zijn, wordt synthetische data gegenereerd.
- Stap 1: Transcriptie van audio met woord-tijdstippen (via Faster Whisper).
- Stap 2: Vertaling van zinnen door een LLM (met context van voorgaande zinnen).
- Stap 3: Causale Uitlijning: Woorden in de bron- en doeltaal worden uitgelijnd op basis van embedding-similariteit. <WAIT>-tokens worden ingevoegd zodat de "logische tijd" van de output-token overeenkomt met de fysieke aankomst van de audio-informatie. Dit garandeert dat het model nooit informatie gebruikt die nog niet is gesproken.
Supervised Fine-Tuning (SFT) Strategie:
- Het pre-trained model neigt soms tot overmatig wachten (latency drift).
- De SFT-fase introduceert kunstmatige vertragingen in de trainingsdata en maskert de loss voor de kunstmatige <WAIT>-tokens.
- Het model leert hierdoor actief "in te halen" (burst recovery) wanneer het achterloopt, zonder de syntactische integriteit te verliezen.

3. Belangrijkste Bijdragen

Unified Framework: Een enkel model dat simultaan spraak-naar-text vertaling en transcriptie leert zonder externe READ/WRITE-beleidsregels.
Decoder Time Dilation: Een innovatieve mechanisme dat de dominantie van wacht-tokens in de trainingsdata vermindert en de efficiëntie verbetert.
SFT voor Latency Recovery: Een fijne-tuningstrategie die het model leert om vertragingen te compenseren, wat leidt tot een betere afweging tussen kwaliteit en latentie.
State-of-the-Art (SOTA) Prestaties: Hikari bereikt nieuwe SOTA-BLEU-scores voor Engels-naar-Japans, Duits en Russisch in zowel lage- als hoge-latentie regimes.
Open Source: De modelgewichten en code zijn vrijgegeven om reproduceerbaarheid te bevorderen.

4. Resultaten

De evaluatie vond plaats op de IWSLT 2025 datasets (Engels naar Japans, Duits, Russisch) en een interne dataset van podcasts.

Kwaliteit vs. Latentie:
- Hikari overtreft recente baselines (zoals CUNI, CMU, NAIST, OSU) aanzienlijk.
- Voorbeeld (Engels -> Japans, Low Latency): Hikari bereikt een BLEU-score van 42.17 met een StreamLAAL (gemiddelde latentie) van 2.96s. Dit is significant beter dan concurrenten die rond de 23-24 BLEU scoren.
- De SFT-versie verschuift de Pareto-grens naar links: lagere latentie bij vergelijkbare of betere kwaliteit.
Streaming ASR:
- Hoewel het primair een vertaalsysteem is, presteert Hikari ook als streaming ASR. Op schone data (TED-LIUM) scoort het 8.6% WER.
- Op moeilijke, domeinspecifieke data (zoals financiële rapporten) is de prestatie lager (54.1% WER), wat wordt toegeschreven aan een data-schaalprobleem (trainingsdata was voornamelijk podcasts) en niet aan een fundamenteel architecturaal gebrek.
Ablatie-studies:
- SFT Effect: Zonder SFT vertoont het model systematische latentie-drift. Met SFT daalt de latentie met ongeveer 1 seconde zonder kwaliteitsverlies.
- Modelgrootte: Een kleiner model (Hikari-small) faalt in het stabiliseren van de latentie, wat aantoont dat voldoende modelcapaciteit nodig is om de impliciete policy te internaliseren.
- Multitask Learning: Het verwijderen van de ASR-taak tijdens training leidt tot een sterke daling in vertaalkwaliteit, wat aantoont dat ASR essentieel is als "anker" voor de causale encoder.

5. Betekenis en Toekomstperspectief

Hikari markeert een verschuiving in het veld van simultane vertaling: weg van complexe, modulaire pipelines met handgemaakte regels, naar een eenduidige, end-to-end probabilistische benadering.

Impact: Dit maakt real-time, cross-linguale communicatie (bijv. op conferenties of in het onderwijs) toegankelijker en robuuster, vooral voor taalkoppels met grote syntactische verschillen.
Toekomst: De auteurs suggereren dat het schalen naar grotere modellen (Whisper-large en groter) de kwaliteit verder kan verbeteren. Ook wordt onderzoek naar dynamische dilation-factoren en het gebruik van Hikari als backbones voor spraak-naar-spraak vertaling (via RQ-transformers) als veelbelovend gezien.

Het paper onderstreept dat een goed ontworpen, causaal uitgelijnde architectuur, ondersteund door slimme trainingsstrategieën (zoals Time Dilation en SFT), superieur is aan traditionele heuristieken voor simultane taken.