AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task

Sintesi Tecnica: AlignAtt4LLM

Problematica
Il documento affronta la sfida di adattare i modelli linguistici di grandi dimensioni (LLM) offline, esclusivamente decoder (decoder-only), per la traduzione simultanea del parlato (SST). Le tradizionali policy simultanee come AlignAtt (Papi et al., 2023, 2024) si affidano alla cross-attention encoder-decoder per determinare quando un prefisso sorgente è sufficiente per generare un token target. Tuttavia, gli LLM esclusivamente decoder mancano di questo meccanismo esplicito di cross-attention, poiché elaborano il testo sorgente e quello target all'interno di un unico flusso di self-attention causale. Di conseguenza, l'applicazione della standard AlignAtt ai modelli esclusivamente decoder non è direttamente fattibile. Inoltre, le attuali policy simultanee per modelli esclusivamente decoder, come LocalAgreement, introducono spesso una latenza maggiore e non sfruttano i segnali di attenzione interni del modello. Gli autori mirano a colmare questa lacuna consentendo a un LLM offline di alta qualità di operare in modalità simultanea a bassa latenza senza riaddestrare il modello per specifiche direzioni linguistiche.

Metodologia
Il sistema proposto, AlignAtt4LLM, è un cascata sincrono composto da due componenti principali:

1. Componente ASR: Utilizza Qwen3-ASR (1.7B) per la trascrizione e Qwen3-ForcedAligner (0.6B) per assegnare i tempi di inizio e fine a livello di parola. Il sistema opera in modo basato su chunk, ri-trascrivendo la coda dell'audio live ad ogni confine di chunk per stabilizzare le ipotesi.

2. Componente MT: Utilizza Gemma-4 E4B-it servito tramite vLLM. L'innovazione principale risiede nell'adattamento della policy AlignAtt a questa architettura esclusivamente decoder attraverso quattro meccanismi tecnici specifici:

   • Span Sorgente Esplicito nel Prompt: Poiché i modelli esclusivamente decoder mancano di cross-attention, gli autori strutturano il prompt causale per separare esplicitamente la trascrizione sorgente dalla cronologia del target. Il prompt concatena il system prompt, la trascrizione sorgente live ($s^{(k)}$), l'istruzione di traduzione, il prefisso target accettato ($y_{1:m_k}$) e la bozza attuale ($\hat{y}^{(k)}$). Ciò consente alla policy di identificare lo span sorgente all'interno della matrice di self-attention.
   • Selezione Offline di Teste Specifiche per la Traduzione: Non tutte le teste di self-attention contribuiscono all'allineamento della traduzione. Seguendo Liu et al. (2026), gli autori eseguono una calibrazione offline utilizzando testo parallelo non utilizzato per la validazione e allineamenti GPT-5-mini per punteggiare le teste tramite Translation Score (TS). Mantengono le 8 migliori teste per coppia linguistica, che sono concentrate negli strati successivi del backbone.
   • Replay $qk$-fast Selettivo: Il runtime vLLM distribuito fonde i kernel di attenzione, nascondendo l'intera matrice di attenzione $n \times n$. Per accedere ai segnali di allineamento necessari, gli autori implementano un osservatore a runtime che cattura i tensori esatti di query ($Q$) e key ($K$) consumati dal modulo di attenzione dopo la normalizzazione e l'embedding di posizione rotatoria (RoPE). Invece di ricostruire l'intera matrice, il sistema esegue un replay "selective $qk$-fast", ricalcolando solo il blocco specifico di punteggi di attenzione tra i token di bozza e lo span sorgente ($\hat{A}_{D, S^{(k)}}$). Ciò garantisce output bit-identici al modello non patchato pur evitando il costo computazionale della ricostruzione completa dell'attenzione.
   • Cattura Runtime di Query/Key: Per garantire che l'osservatore sopravviva all'ottimizzazione del grafo (es. eliminazione del codice morto), viene aggiunta una dipendenza sentinella a valore zero all'output dell'attenzione. Questo mantiene il percorso di cattura nel fan-in attivo del grafo senza alterare gli output numerici.

Policy di Accettazione
La policy scansiona i token bozza da sinistra a destra, accettando un prefisso finché il segnale di allineamento rimane entro la "frontiera sorgente accessibile". La decisione si basa su:

1. Controllo della Frontiera Sorgente: L'argmax della riga di attenzione ricostruita non deve superare il numero di parole sorgente accessibili più un margine ($b=1$).
   2.Massa di Provenienza: Viene calcolata la somma della massa di attenzione diretta verso i token sorgente accessibili ($\pi^{acc}_t$).
2. Stabilizzazione: Il sistema applica statistiche di prefisso online (Welford) e un filtro mediana per stabilizzare il picco di allineamento prima di prendere una decisione.

Contributi Chiave

1. Prima Applicazione di AlignAtt a LLM Esclusivamente Decoder: Il documento dimostra che AlignAtt può essere adattato con successo alle architetture esclusivamente decoder recuperando il segnale di allineamento dalla self-attention anziché dalla cross-attention.
2. Implementazione Compatibile con il Runtime: Gli autori propongono un metodo per catturare e riprodurre i segnali di attenzione in un ambiente a kernel fusi di grado produzione (vLLM) senza modificare i pesi del modello o richiedere la materializzazione completa della matrice di attenzione.
3. Selezione Efficiente delle Teste: Il sistema mostra che un set sparso di teste di attenzione calibrate offline è sufficiente per guidare la policy simultanea, riducendo significativamente l'overhead computazionale del processo di replay rispetto all'uso di tutte le teste.

Risultati
Valutato sul compito di Traduzione Simultanea del Parlato IWSLT 2026 (Inglese verso Tedesco, Italiano e Cinese):

• Performance: AlignAtt4LLM supera i baseline forniti senza contesto sia nel regime a bassa latenza (~2s CU-LongYAAL) che in quello ad alta latenza (<4s) per l'inglese-tedesco e l'inglese-italiano.
• Traduzione Cinese: I risultati per l'inglese-cinese sono misti; sebbene i punteggi chrF siano competitivi, BLEU e XCOMET-XL favoriscono leggermente il baseline. Gli autori attribuiscono ciò in parte alla performance più debole del backbone Gemma-4 sul cinese piuttosto che alla policy stessa.
• Latenza vs Qualità: Il sistema raggiunge un punto operativo stabile a bassa latenza offrendo al contempo un regime ad alta latenza con una qualità di traduzione significativamente migliorata.
• Efficienza: Il replay selettivo utilizzando solo 8 teste comporta un overhead minimo (mediana 25.4 ms/token) rispetto alle implementazioni eager (63.7 ms/token), confermando la praticità dell'approccio.

Significatività e Rivendicazioni
Il documento sostiene che AlignAtt4LLM è il primo sistema ad applicare con successo la policy AlignAtt a un LLM esclusivamente decoder. Gli autori sostengono che il metodo non è legato al modello specifico Gemma-4; poiché la policy si basa solo su un layout di prompt deterministico, teste di attenzione calibrate e cattura di query/key, può essere portato su backbone esclusivamente decoder più forti e focalizzati sulla traduzione (es. HY-MT-1.5, MiLMMT-46) per potenzialmente migliorare le prestazioni sulle lingue non europee. Il lavoro dimostra che modelli offline di alta qualità possono essere efficacemente riutilizzati per la traduzione simultanea senza addestramento dedicato, a condizione che il segnale di allineamento possa essere estratto correttamente dal substrato di self-attention.