Technische Samenvatting: Streaming Vertaling van Spraak naar Tekst met een SpeechLLM

Probleemstelling

Huidige systemen voor het vertalen van spraak naar tekst in een andere taal vertrouwen doorgaans op een gekaskedeerde architectuur: een spraakherkenner produceert een transcript, dat vervolgens wordt ingevoerd in een tekst-naar-tekst vertaalsysteem. Hoewel recente doorbraken "SpeechLLMs" (Grote Taalmodellen die zijn gekonditioneerd op spraakaudio) in staat hebben gesteld om end-to-end vertaling uit te voeren, falen bestaande implementaties om in een ware echt streaming modus te werken.

De meeste bestaande SpeechLLMs wachten ofwel op een volledige uitspraak voordat ze output genereren, of ze vertrouwen op vaste beleidsregels (zoals "wait-k") die tokens op vaste intervallen uitzenden op basis van audioblokken. Deze vaste beleidsregels zijn ongeschikt voor real-world scenario's waar spreektempo, pauzes en achtergrondruis variëren. Specifiek:

• Vaste Beleidsregels: Als een microfoon opent voordat spraak begint, of als een spreker aarzelt, dwingen vaste beleidsregels het model om output te hallucineren of achter te lopen, wat leidt tot verslechterde vertaalkwaliteit of gemiste zinsdelen.
• Energie-efficiëntie: Bestaande streamingmodellen die "wait"-tokens uitvoeren om meer audio aan te vragen, veroorzaken vaak hoge energiekosten op randapparatuur omdat ze frequente, volledige evaluaties van het grote taalmodel (LLM) vereisen.

Methodologie

1. De "Gemengde" Architectuur

Het artikel stelt een nieuwe architectuur voor waarbij het LLM zelf een wachtbeleid leert. In plaats van een apart module dat bepaalt wanneer er gewacht moet worden, wordt het LLM getraind om twee soorten tokens uit te geven:

• Teksttokens: De daadwerkelijke vertaalingoutput.
• Wachttokens ($W$): Signalen die aangeven dat het model meer audio nodig heeft voordat het doorgaat.

In dit "gemengde" model wisselt de inputsequentie af tussen gecodeerde spraakvectoren (van een spraakencoder) en teksttokens, wat de outputsequentie weerspiegelt die teksttokens en wachttokens door elkaar heen voegt. Het model leert om, gebaseerd op de tot nu toe gehoorde gedeeltelijke audio, te beslissen of het voldoende informatie heeft om een vertalingstoken uit te zenden of moet wachten op het volgende audioblok.

2. Zinsniveau-uitlijning voor Training

Een kritieke uitdaging bij het trainen van streaming-systemen is het bepalen wanneer specifieke woorden moeten worden uitgezonden. Standaard uitlijningsmethoden op woordniveau (bijv. SimAlign) falen vaak voor taalkundig verre taalkoppels (bijv. Engels en Koreaans) omdat concepten niet één-op-één corresponderen.

• Voorgestelde Oplossing: De auteurs genereren uitlijningen op zinsniveau met behulp van een LLM met few-shot prompting.
• Mechanisme: De brontekst en doeltekst worden zin-voor-zin uitgelijnd. Alle woorden in een doelszin worden uitgelijnd met het laatste woord van de corresponderende bronszin. Dit zorgt ervoor dat het model pas een doeltwoord uitzendt nadat de benodigde bronaudio is gehoord, waardoor voortijdige generatie wordt voorkomen.
• Trainingsdoel: Het model wordt getraind om de waarschijnlijkheid te maximaliseren van een enkele, optimale reeks stappen (een mix van wacht- en uitzendbeslissingen) die is afgeleid van deze uitlijningen.

3. Early-Exit Wachtbeleid voor Energie-efficiëntie

Om de energiekosten van frequente LLM-aanroepen veroorzaakt door wachttokens aan te pakken, introduceren de auteurs een early-exit wachtbeleid.

• Mechanisme: Een lichtgewicht kop (afgeleid van de eerste paar lagen van het LLM) neemt een voorlopige beslissing: Wachten ($W$) of Uitzenden ($E$).
• Werking:
  • Als het beleid besluit te Wachten, wordt het volledige LLM niet geëvalueerd, wat aanzienlijke rekentijd bespaart.
  • Als het beleid besluit te Uitzenden, wordt het volledige LLM geëvalueerd om nul of meer teksttokens te genereren gevolgd door een wachttoken.
• Trade-off: Dit zorgt voor een instelbaar evenwicht tussen latentie en energieverbruik zonder de vertaalkwaliteit te compromitteren, aangezien het volledige LLM de uiteindelijke bevoegdheid behoudt om een "uitzend"-beslissing te negeren als het bepaalt dat er meer audio nodig is.

4. Evaluatiemetrics

Het artikel bekritiseert standaard latentiemetrics zoals "average lagging" vanwege hun inconsistenties met streaming-spraak (bijv. het hanteren van emissies na de audio en korte uitspraken). In plaats daarvan wordt Average Logical Latency voorgesteld, die de gemiddelde tijd meet waarop een token wordt uitgezonden ten opzichte van een theoretische baseline waarbij tokens gelijkmatig over de audioperiode worden gegenereerd.

Belangrijkste Resultaten

Experimenten zijn uitgevoerd op vertaaltaken van Engels naar Frans, Engels naar Koreaans en Engels naar Duits, met behulp van datasets zoals CoLiMu en Fleurs.

• Latentie versus Kwaliteit: De gemengde SpeechLLM bereikt een latentie van 1–2 seconden terwijl het de vertaalkwaliteit (COMET-score) behoudt die dicht bij niet-streamende offline baselines ligt. Het presteert aanzienlijk beter dan bestaande systemen met vaste beleidsregels (Bestow met wait-k) en dynamische beleidsregels (AlignAtt) in de afweging tussen latentie en kwaliteit.
• Robuustheid: In tegenstelling tot modellen met vaste beleidsregels, die catastrofale fouten (hallucinaties) lijden wanneer de input stilte of ruis bevat (getest op de "SilFleurs"-dataset), past het gemengde model zich dynamisch aan en behoudt het consistente kwaliteit.
• Energie-efficiëntie: Het early-exit beleid vermindert het aantal LLM-aanroepen. Voor Engels naar Koreaans verlaagde het aanpassen van de wachtpenalty het energieverbruik van 1,55 naar 1,16 tokens per outputtoken, terwijl de latentie stabiel bleef op ongeveer 2,3 seconden.
• Uitlijnstrategie: De voorgestelde uitlijning op zinsniveau presteert aanzienlijk beter dan uitlijning op woordniveau (SimAlign). Supervisie op woordniveau leidde tot voortijdige generatie en verslechterde kwaliteit, terwijl supervisie op zinsniveau betrouwbare timinglabels leverde.

Betekenis en Claims

Het artikel claimt de kloof aan te vullen in echt real-time, adaptief streaming voor SpeechLLMs. De belangrijkste bijdragen zijn:

1. Een Geraadpleegd Wachtbeleid: Weg van starre, vaste beleidsregels naar een model dat leert wanneer het moet wachten op basis van de audio-inhoud, waardoor echte aanpasbaarheid aan real-world spraakvariaties mogelijk wordt.
2. Supervisie op Zinsniveau: Een methode voor het genereren van trainingsdata die de complexiteit van taalkundige zinsstructuren over taalbarrières heen aanpakt, wat essentieel is voor hoogwaardige streamingvertaling tussen diverse talen.
3. Energiebewust Streaming: De introductie van het early-exit beleid toont aan dat streaming-systemen kunnen worden geoptimaliseerd voor randapparatuur, waardoor het energieverbruik wordt verlaagd zonder de voordelen van lage latentie van streaming op te offeren.

De auteurs concluderen dat hun systeem een superieur evenwicht biedt tussen lage latentie, hoge vertaalkwaliteit en robuustheid in vergelijking met bestaande vaste of dynamische beleidsregels, waardoor het een levensvatbare kandidaat is voor real-world implementatie in toepassingen zoals mobiele vertaling.