AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task

Technische Samenvatting: AlignAtt4LLM

Probleemstelling
Het artikel behandelt de uitdaging van het aanpassen van offline, decoder-only Large Language Models (LLMs) voor simultane spraakvertaling (SST). Traditionele simultane beleidssystemen zoals AlignAtt (Papi et al., 2023, 2024) vertrouwen op encoder-decoder cross-attention om te bepalen wanneer een bronprefix voldoende is voor het genereren van een doel-token. Decoder-only LLMs missen echter dit expliciete cross-attention mechanisme, aangezien zij bron- en doeltekst verwerken binnen een enkele causale self-attention stroom. Bijgevolg is het direct toepassen van standaard AlignAtt op decoder-only modellen niet direct mogelijk. Bovendien introduceren bestaande simultane beleidssystemen voor decoder-only modellen, zoals LocalAgreement, vaak een hogere latentie en maken zij geen gebruik van interne model-attention signalen. De auteurs beogen dit gat te overbruggen door een hoogwaardige, offline decoder-only LLM in staat te stellen in een lage-latentie, simultane modus te opereren zonder het model specif kind specifiek voor bepaalde taalrichtingen te hertrainen.

Methodologie
Het voorgestelde systeem, AlignAtt4LLM, is een synchrone cascade bestaande uit twee hoofdcomponenten:

1. ASR-component: Gebruikt Qwen3-ASR (1.7B) voor transcriptie en Qwen3-ForcedAligner (0.6B) om woordniveau start- en eindtijden toe te wijzen. Het systeem werkt op basis van chunks, waarbij de live audio-staart bij elke chunk-grens opnieuw wordt getranscribeerd om hypothesen te stabiliseren.

2. MT-component: Gebruikt Gemma-4 E4B-it die via vLLM wordt geserveerd. De kerninnovatie ligt in het aanpassen van het AlignAtt-beleid aan deze decoder-only architectuur via vier specifieke technische mechanismen:

   • Expliciet Bron-span in de Prompt: Omdat decoder-only modellen geen cross-attention hebben, structureren de auteurs de causale prompt om de brontranscript en de doelhistorie expliciet van elkaar te scheiden. De prompt concateneert de systeemprompt, de live brontranscript ($s^{(k)}$), de vertaalinstructie, de geaccepteerde doelprefix ($y_{1:m_k}$) en de huidige concept-output ($\hat{y}^{(k)}$). Dit stelt het beleid in staat om het bron-span te identificeren binnen de self-attention matrix.
   • Offline Selectie van Vertalingsspecifieke Heads: Niet alle self-attention heads dragen bij aan de vertalingsalignering. Conform Liu et al. (2026) voeren de auteurs een offline kalibratie uit met gehouden parallelle tekst en GPT-5-mini aligneringen om heads te scoren via de Translation Score (TS). Ze behouden de top 8 heads per taalpaar, die geconcentreerd zijn in de latere lagen van de backbone.
   • Selectieve $qk$-fast Replay: De ingezette vLLM runtime fuseert attention kernels, waardoor de volledige $n \times n$ attention matrix verborgen blijft. Om toegang te krijgen tot de noodzakelijke aligneringssignalen, implementeren de auteurs een runtime observer die de exacte query ($Q$) en key ($K$) tensoren vastlegt die door de attention module worden geconsumeerd na normalisatie en rotary position embedding (RoPE). In plaats van de volledige matrix te reconstrueren, voert het systeem een "selectieve $qk$-fast" replay uit, waarbij alleen het specifieke blok van attention scores tussen de concept-tokens en het bron-span ($\hat{A}_{D, S^{(k)}}$) opnieuw wordt berekend. Dit garandeert bit-identieke outputs vergeleken met het ongepatchte model, terwijl de computationele kosten van volledige attention reconstructie worden vermeden.
   • Runtime Query/Key Capture: Om ervoor te zorgen dat de observer overleeft tijdens graph optimalisatie (bijv. dead-code elimination), wordt een zero-valued sentinel dependency toegevoegd aan de attention output. Dit houdt het capture-pad in de live fan-in van de graph zonder de numerieke outputs te wijzigen.

Acceptatiebeleid
Het beleid scant de concept-tokens van links naar rechts en accepteert een prefix zolang het aligneringssignaal binnen de "toegankelijke bronfrontiere" blijft. De beslissing is gebaseerd op:

1. Bron-frontiere Check: De argmax van de gereconstrueerde attention rij mag de het aantal toegankelijke bronwoorden plus een marge ($b=1$) niet overschrijden.
2. Provenance Mass: De som van de attention massa gericht naar toegankelijke bron-tokens ($\pi^{acc}_t$) wordt berekend.
3. Stabilisatie: Het systeem past online prefix statistieken (Welford) en een mediaanfilter toe om de alignering-piek te stabiliseren voordat er een beslissing wordt genomen.

Belangrijkste Bijdragen

1. Eerste Toepassing van AlignAtt op Decoder-Only LLMs: Het artikel demonstreert dat AlignAtt succesvol kan worden aangepast aan decoder-only architecturen door het aligneringssignaal te extraheren uit self-attention in plaats van cross-attention.
2. Runtime-Compatibele Implementatie: De auteurs stellen een methode voor om attention signalen te vangen en te herafspelen in een productie-waardige, gefuseerde kernel-omgeving (vLLM) zonder de modelgewichten te wijzigen of een volledige materialisatie van de attention matrix te vereisen.
3. Efficiënte Head Selectie: Het systeem toont aan dat een schaarse set offline-gekalibreerde attention heads voldoende is om het simultane beleid aan te sturen, wat de computationele overhead van het replay-proces aanzienlijk vermindert vergeleken met het gebruiken van alle heads.

Resultaten
Geëvalueerd op de IWSLT 2026 Simultane Spraakvertaling taak (Engels naar Duits, Italiaans en Chinees):

• Prestaties: AlignAtt4LLM presteert beter dan de verstrekte no-context baselines in zowel lage-latentie (~2s CU-LongYAAL) als hoge-latentie (<4s) regimes voor Engels-naar-Duits en Engels-naar-Italiaans.
• Chinese Vertaling: De resultaten voor Engels-naar-Chinees zijn gemengd; hoewel de chrF-scores competitief zijn, scoren BLEU en XCOMET-XL iets gunstiger voor de baseline. De auteurs wijten dit deels aan de zwakkere prestaties van de Gemma-4 backbone op Chinees, in plaats van aan het beleid zelf.
• Latentie vs. Kwaliteit: Het systeem bereikt een stabiel lage-latentie werkpunt terwijl het een hoge-latentie regime biedt met aanzienlijk verbeterde vertaalkwaliteit.
• Efficiëntie: De selectieve replay met slechts 8 heads veroorzaakt minimale overhead (mediaan 25,4 ms/token) vergeleken met eager implementaties (63,7 ms/token), wat de praktische bruikbaarheid van de aanpak bevestigt.

Betekenis en Claims
Het artikel claimt dat AlignAtt4LLM het eerste systeem is dat erin slaagt het AlignAtt-beleid succesvol toe te passen op een decoder-only LLM. Het betoogt dat de methode niet gebonden is aan het specifieke Gemma-4 model; omdat het beleid enkel steunt op een deterministische prompt-layout, gekalibreerde attention heads en query/key capture, kan het worden overgedragen naar sterkere, vertalingsgerichte decoder-only backbones (bijv. HY-MT-1.5, MiLMMT-46) om potentieel de prestaties op niet-Europese talen te verbeteren. Het werk demonstreert dat hoogwaardige offline modellen effectief kunnen worden hergebruikt voor simultane vertaling zonder specifieke training, mits het aligneringssignaal correct uit de self-attention substantie kan worden geëxtraheerd.