Technische Samenvatting: DOA - Training-vrije Decoder-only Attention Policy voor Long-form Simultane Vertaling

Probleemstelling

Simultane spraak-na-tekst vertaling (SimulST) vereist een streaming-beleid om te beslissen wanneer er bronaudio gelezen moet worden en wanneer er doel-tokens geschreven moeten worden, waarbij een balans wordt gezocht tussen vertaalkwaliteit en latentie. Hoewel state-of-the-art systemen doorgaans gebruikmaken van attention-gebaseerde encoder-decoder (AED) architecturen, waarbij cross-attention expliciete alignment-signalen levert om deze beslissingen te sturen, is de recente vooruitgang verschoven naar Speech Large Language Models (SpeechLLMs). Deze modellen maken gebruik van decoder-only architecturen die uitsluitend vertrouwen op self-attention, en die geen expliciete cross-attention scores bezitten.

Deze architecturale verschuiving roept een kritische vraag op: bevat het self-attention mechanisme in decoder-only SpeechLLMs voldoende stabiele alignment-signalen om streaming-beslissingen te sturen? Bovendien leunen bestaande benaderingen voor het aanpassen van SpeechLLMs aan SimulST vaak op training-gebaseerde fine-tuning of vaste heuristische policies (bijv. wait-k) en zijn ze niet rigoureus gevalideerd in long-form scenario's waar modellen continu groeiende akoestische en tekstuele contexten moeten verwerken.

Methodologie: Decoder-Only Attention (DOA)

Om deze hiaten aan te pakken, stellen de auteurs Decoder-Only Attention (DOA) voor, een training-vrije policy die long-form simultane vertaling mogelijk maakt met standaard SpeechLLMs zonder hertraining.

1. Afleiding van Proxy Alignment

Omdat decoder-only modellen spraak en tekst binnen een enkele autoregressieve sequentie verwerken, leiden de auteurs een proxy cross-attention matrix af direct uit de decoder self-attention gewichten.

• Tijdens autoregressieve generatie worden de self-attention gewichten $A^{(l,h)}$ geëxtraheerd voor decoder laag $l$ en kop $h$, die een sequentie van $S$ audio-tokens en $T$ gegenereerde tekst-tokens beslaan.
• Omdat audio-tokens de sequentie-prefix bezetten, isoleren de auteurs de attention die gericht is op de akoestische context: $\tilde{A}^{(l,h)} = A^{(l,h)}[:, : S]$.
• Dit resulteert in een matrix $\tilde{A} \in \mathbb{R}^{T \times S}$, analoog aan de cross-attention matrix in AED-modellen.
• De uiteindelijke proxy alignment $\bar{A}$ wordt verkregen door te middelen over geselecteerde lagen en koppen.

2. Streaming Beslissingsbeleid

De policy gebruikt de afgeleide alignment om te bepalen wanneer tokens geëmitteerd moeten worden:

• Voor elk gegenereerd token $t$ wordt de uitgelijnde audio-positie $a_t$ geïdentificeerd als de positie die de hoogste attention score ontvangt ($a_t = \arg\max_s \bar{A}_{t,s}$).
• Een cutoff hyperparameter $f$ definieert het aantal meest recent ontvangen audioframes dat als "akoestisch instabiel" wordt beschouwd.
• Tokens die uitgelijnd zijn met posities binnen de laatste $f$ frames worden achtergehouden, aangezien hun ondersteunende akoestische bewijs kan evolueren met toekomstige input.
• Alleen tokens die voldoen aan $a_t < S - f$ worden definitief vastgelegd (committed) in de output.

3. Long-Form Adaptatie

Om onbegrensde audio-streams te verwerken, implementeert DOA mechanismen voor geschiedenisselectie om geheugenoverloop te voorkomen:

• Tekstuele Geschiedenis: Twee strategieën worden geëvalueerd: (i) Fixed Words (het behouden van de laatste $N$ tokens) en (ii) Punctuation (het behouden van tekst na het meest recente sterke leesteken).
• Akoestische Geschiedenis: De proxy alignment wordt gebruikt om audioframes te snoeien (pruning). Frames die uitsluitend uitgelijnd zijn met de weggegooide tekstuele geschiedenis worden verwijderd, terwijl frames die uitgelijnd zijn met de behouden prefix en nieuwe hypothesen worden behouden.
• Edge Case Afhandeling: Als de attention-gebaseerde pruning niet slaagt in het verwijderen van frames en de audio-geschiedenis een vooraf bepaalde duur overschrijdt (bijv. 90s of 120s), worden de oudste frames afgekapt om het geheugen begrensd te houden.

Belangrijkste Bijdragen

1. Eerste Training-vrije Policy voor Decoder-Only SimulST: DOA is de eerste policy die long-form simultane vertaling mogelijk maakt met standaard decoder-only SpeechLLMs door self-attention te gebruiken als een proxy alignment-signaal.
2. Validatie van Self-Attention Stabiliteit: Het werk onderzoekt en bevestigt empirisch dat decoder self-attention voldoende stabiele alignment-informatie biedt om streaming-beslissingen aan te sturen, wat de assumptie uitdaagt dat expliciete cross-attention noodzakelijk is.
3. Long-Form Capaciteit: In tegen tegenstelling tot eerder werk dat gericht is op vooraf gesegmenteerde uitingen, is DOA ontworpen voor continue, long-form audio-streams met dynamische context-pruning.
4. Model Agnosticisme: Het framework vereist enkel toegang tot decoder self-attention gewichten, waardoor het toepasbaar is op elke SpeechLLM zonder taakspecifieke adaptatie.

Experimentele Resultaten

De auteurs evalueerden DOA op Phi4-Multimodal en Qwen3-Omni voor Engels-naar-Duits en Engels-naar-Italiaans vertaling, waarbij ze werden vergeleken met de StreamAtt baseline toegepast op het AED-model SeamlessM4T.

• Geschiedenis Selectie: De Punctuation strategie presteerde consistent beter dan de Fixed Words strategieën in zowel kwaliteit (COMET) als stabiliteit over verschillende latentie-regimes. Dit staat in contrast met bevindingen in AED-systemen, wat suggereert dat decoder-only modellen meer profiteren van zinsniveau tekstuele continuïteit.
• Laag en Kop Analyse: Het middelen van de proxy alignment over alle lagen en koppen leverde de meest robuuste prestaties op. Het selecteren van specifieke lagen leidde tot instabiliteit of falen, terwijl specifieke koppen slechts minimale winst boden.
• Prestaties:
  • DOA-uitgeruste SpeechLLMs bereikten een vertaalkwaliteit (COMET scores tot 0.828 voor Qwen3-Omni en-it) die dicht bij offline decoding benchmarks ligt zonder hertraining.
  • De modellen vertoonden een gunstige latency-kwaliteit trade-off en presteerden consistent beter dan de StreamAtt AED baseline.
  • Qwen3-Omni dekte een breed werkbereik (400ms tot 3.8s LongYAAL) met hoge kwaliteit, terwijl Phi4-Multimodal een makkelijkere latentiebeheer bood.

Betekenis en Claims

Het artikel claimt dat DOA er succesvol in slaagt offline SpeechLLMs te hergebruiken voor simultane vertaling zonder hertraining, en daarmee aantoont dat decoder self-attention een effectief alignment-signaal kan dienen voor streaming-beslissingen. De auteurs benadrukken dat deze aanpak generaliseert over verschillende modelfamilies (dense vs. MoE) en architecturen, en een eenvoudige maar effectieve methode biedt voor long-form SimulST.

Het werk benadrukt dat attention-gebaseerde alignment niet exclusief is voor encoder-decoder modellen en kan worden aangepast aan decoder-only architecturen. De auteurs blijven echter bescheiden over hun reikwijdte, waarbij zij beperkingen noemen zoals de evaluatie die beperkt is tot Engelse bronspraak, het gebruik van Latijnse schrift-doeltalen, en het gebrek aan computationeel bewuste latentie-vergelijkingen door heterogene GPU-omgevingen. Zij geven expliciet aan dat de generalisatie naar logografische of morfologisch rijke talen een openstaande vraag blijft.