💬 NLP

AlignAtt: Using Attention-based Audio-Translation Alignments as a Guide for Simultaneous Speech Translation

Oorspronkelijke auteurs: Sara Papi, Marco Turchi, Matteo Negri

Gepubliceerd 2026-02-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

Oorspronkelijke auteurs: Sara Papi, Marco Turchi, Matteo Negri

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een toespraak in realtime probeert te vertalen, zoals een simultaanvertaler bij de VN. De uitdaging is een delicaat evenwicht: als je te snel begint met spreken, mis je misschien cruciale context en zeg je het verkeerde (lage kwaliteit). Maar als je te lang wacht om zeker te zijn van alle informatie, voelt je vertaling traag en uit de pas aan (hoge latentie).

Dit artikel introduceert een nieuwe "verkeersregelaar" voor AI-vertalers genaamd ALIGNATT. Dit is hoe het werkt, met behulp van eenvoudige analogieën:

Het Probleen: De "Overhaaste Tolk"

De meeste AI-vertalers worden getraind om een hele toespraak te lezen voordat ze vertalen (zoals een boek van voor naar achter lezen voordat je een samenvatting schrijft). Maar voor realtime vertaling moet de AI al beginnen met schrijven terwijl de spreker nog aan het woord is.

Eerdere methoden om te beslissen wanneer er gestart moest worden met spreken, waren een beetje als gokken:

De "Wait-k"-methode: De AI telt tot een specifiek aantal woorden (bijv. "Ik wacht op 5 woorden") voordat hij begint. Dit is rigide; soms zijn 5 woorden niet genoeg, en soms zijn ze juist te veel.
De "Local Agreement"-methode: De AI controleert of wat hij net heeft gezegd overeenkomt met wat hij zou zeggen als hij iets langer zou wachten. Dit is alsof een student zijn antwoord controleert met een antwoordmodel voordat hij zijn hand opsteekt.

De Oplossing: ALIGNATT (De "Ogen op het Scherm"-methode)

De auteurs merkten op dat er binnen moderne AI-modellen een mechanisme is dat Attention (aandacht) wordt genoemd. Je kunt Attention zien als de "blik" van de AI. Wanneer de AI het volgende woord voorspelt, "kijkt" hij terug naar specifieke delen van de audio die hij tot dan toe heeft gehoord om te beslissen welk woord hij als volgende moet zeggen.

ALIGNATT gebruikt deze blik als gids. Hier is de analogie:

Stel je voor dat de AI een student is die een dictaat maakt. De leraar (de audio) spreekt, en de student (de AI) schrijft.

De Oude Manier: De student besluit een woord te schrijven op basis van een timer of een gok.
De ALIGNATT-manier: De student kijkt naar zijn aantekeningen. Als het woord dat hij bijna gaat schrijven "kijkt" naar het allerlaatste wat de leraar net heeft gezegd (de meest recente audioframes), denkt de student: "Wacht even, de leraar is net klaar met die zin. Ik heb nog niet genoeg context om zeker te zijn van dit woord. Ik moet wachten op de volgende zin."

Echter, als het woord dat hij bijna gaat schrijven "kijkt" naar audio van enkele seconden geleden (het midden van de zin), denkt de student: "Oké, ik heb genoeg van dit deel gezien. Het is veilig om dit woord nu te schrijven."

Hoe het in de praktijk werkt

Het systeem heeft een eenvoudige regel: "Als het woord dat je wilt zeggen afhankelijk is van de laatste paar milliseconden aan audio, houd dan je tong in je garen. Als het afhankelijk is van oudere audio, spreek dan je boekje."

Deze regel wordt aangestuurd door een draaiknop (genaamd $f$ ).

Als je de draaiknop heel streng instelt, wacht de AI langer, wat zorgt voor hoge nauwkeurigheid maar een lagere snelheid.
Als je de draaiknop losser instelt, spreekt de AI sneller, maar kan hij meer fouten maken.

De Resultaten: Sneller en Slimmer

De onderzoekers hebben dit getest op 8 verschillende taalparen (zoals Engels naar Duits, Engels naar Frans, etc.) met behulp van een standaard dataset genaamd MuST-C.

Ze vergeleken ALIGNATT met de beste bestaande methoden:

Betere Kwaliteit: ALIGNATT produceerde vertalingen die ongeveer 2 punten beter waren (op een schaal genaamd BLEU) dan de vorige beste methoden. In gewone taal: de vertalingen waren nauwkeuriger en natuurlijker.
Snellere Snelheid: Het verminderde de vertraging (latentie) met 0,5 tot 0,8 seconden. In de wereld van realtime vertaling is het besparen van bijna een volle seconde een enorme verbetering, waardoor het gesprek veel natuurlijker aanvoelt.

De Kernboodschap

De auteurs beweren dat ze, door simpelweg te "kijken" waar de aandacht van de AI op gericht is, een slimmere manier hebben gecreëerd om te beslissen wanneer er gesproken moet worden. Dit stelt een standaard AI-vertaler (getraind offline) in staat om in realtime te werken zonder dat deze voor elke specifieke snelheid opnieuw getraind hoeft te worden. Het bereikt de "nieuwe state of the art", wat betekent dat het momenteel de beste methode is voor deze specifieke taak.

De auteurs hebben hun code en modellen openbaar gemaakt, zodat anderen deze "verkeersregelaar" kunnen gebruiken om snellere en nauwkeurigere realtime vertalers te bouwen.

Technische Samenvatting: ALIGNATT

Probleemstelling
Simultane Spraakvertaling (SimulST) beoogt partiële vertalingen te genereren met minimale vertraging voor incrementeel ontvangen audio-input. Hoewel directe methoden (end-to-end) een superieure kwaliteit en lagere latentie hebben aangetoont vergeleken met traditionele cascade-systemen (ASR + MT), vereisten vroege benaderingen het trainen van meerdere modellen die geoptimaliseerd zijn voor specifieke latentie-regimes, wat hoge computationele en onderhoudskosten met zich meebracht. Een recentere aanpak maakt gebruik van offline getrainde directe ST-modellen tijdens simultane inferentie door een beslissingsbeleid toe te passen tijdens runtime om te bepalen wanneer een partiële hypothese moet worden uitgegeven. Echter, bestaande beleidsregels voor deze offline modellen hebben vaak moeite om de vertalingkwaliteit en latentie effectief te balanceren over diverse taalparen heen.

Methodologie
Het artikel stelt ALIGNATT voor, een nieuw beslissingsbeleid voor SimulST dat gebruikmaakt van aandacht-gebaseerde audio-vertaling-alignments om een offline getraind model tijdens inferentie te sturen.

Kernmechanisme: ALIGNATT maakt gebruik van de cross-attention scores ( $A_C$ ) van een Transformer-gebaseerd encoder-decoder model. Voor elk voorspelde target-token $y_i$ identificeert het beleid het bron-audioframe $x_j$ met het hoogste aandachtsgewicht.
Beslissingslogica: Het beleid werkt op de hypothese dat als een voorspeld token uitgelijnd is met de meest recent ontvangen audioframes (de "staart" van de input), de informatie die in die frames is gecodeerd, mogelijk onvoldoende is om het token veilig te genereren. Bij consequentie moet het systeem wachten op meer audio.
Implementatie:
- Laat $n$ het totaal aantal inputframes zijn en $f$ een regelbare parameter die het aantal "ontoegankelijke" recente frames representeert.
- De emissie van een token $y_i$ wordt gestopt als het uitgelijnde frame-index $Align_i$ valt binnen de verzameling $\{n - f + 1, ..., n\}$ .
- De parameter $f$ regelt de latentie direct: kleinere waarden van $f$ impliceren dat er minder frames als ontoegankelijk worden beschouwd, wat leidt tot eerdere emissies en lagere latentie.
Modelarchitectuur: Het onderliggende systeem is een direct ST-model dat gebruikmaakt van 12 Conformer encoder-lagen en 6 Transformer decoder-lagen. Het is getraind op de MuST-C v1.0 dataset (Engels naar 8 target-talen) met behulp van sequence-level knowledge distillation met NLLB 3.3B om de trainingsdata te augmenteren.

Belangrijkste Bijdragen

Nieuw Beleid: Introductie van ALIGNATT, een beleid dat offline getrainde SimulST-modellen stuurt met behulp van dynamische audio-vertaling-alignments afgeleid van aandachtsgewichten, waardoor de noodzaak voor taakspecifieke hertraining wordt geëlimineerd.
State-of-the-Art Prestaties: Een uitgebreide evaluatie op 8 taalparen van MuST-C v1.0 laat zien dat ALIGNATT bestaande beleidsregels (Local Agreement, Wait-k en EDATT) die op offline modellen worden toegepast, overtreft.
Open Source Release: Publicatie van de code, getrainde modellen en simultane outputs onder de Apache 2.0 Licentie om reproduceerbaarheid te faciliteren.

Resultaten
Experimenten werden uitgevoerd op de MuST-C v1.0 tst-COMMON testset over 8 taalparen (en→de, es, fr, it, nl, pt, ro, ru).

Offline Baseline: De offline getrainde modellen behaalden nieuwe state-of-the-art resultaten voor de meeste taalparen, met een gemiddelde van 29.4 BLEU, waarmee zij de vorige literatuur met 0.5 tot 4.6 BLEU punten overtroffen zonder extern spraakdata te gebruiken.
Simultane Prestaties:
- Latentie: ALIGNATT bereikte latentiereducties variërend van 0.5s tot 0.8s vergeleken met Local Agreement (LA) en Wait-k beleidsregels. Het was het enige beleid (naast EDATT) dat in staat was om een latentie $\le$ 2s te handhaven over alle 8 talen.
- Kwaliteit: Vergeleken met EDATT verbeterde ALIGNATT de vertalingkwaliteit met tot wel 2 BLEU punten over diverse latentie-regimes.
- Trade-off: ALIGNATT benaderde de offline inferentiekwaliteit nauwgezet, met een gemiddelde daling van minder dan 1.0 BLEU, terwijl EDATT een daling van 1.8 BLEU liet zien.
- Vergelijking: Wait-k en LA beleidsregels begonnen over het algemeen bij hogere latenties (2.5s+) of slaagden er niet in een hoge kwaliteit te bereiken, zelfs niet bij hogere latenties.

Significantie
Het artikel beweert dat ALIGNATT een nieuwe state-of-the-art beleid voor SimulST vertegenwoordigt wanneer het wordt toegepast op offline getrainde modellen. Door gebruik te maken van de intrinsieke alignment-informatie binnen het aandachtsmechanisme, kan het beleid effectief beslissen wanneer tokens moeten worden uitgegeven zonder dat extra training of adaptatie voor specifieke latentie-regimes nodig is. De resultaten wijzen erop dat het benutten van aandacht-gebaseerde alignments een robuustere balans biedt tussen lage latentie en hoge vertalingkwaliteit vergeleken met bestaande heuristische of drempelgebaseerde beleidsregels. De auteurs benadrukken dat hun aanpak het mogelijk maakt om offline modellen efficiënt te laten functioneren in simultane settings, wat de computationele last vermindert terwijl competitieve prestaties worden behouden.