AlignAtt: Using Attention-based Audio-Translation Alignments as a Guide for Simultaneous Speech Translation

Sintesi Tecnica: ALIGNATT

Problematica
La traduzione simultanea del parlato (SimulST) mira a generare traduzioni parziali con una latenza minima per l'input audio ricevuto incrementalmente. Sebbene i metodi diretti (end-to-end) abbiano dimostrato una qualità e una latenza superiori rispetto alle tradizionali pipeline a cascata (ASA + MT), gli approcci iniziali richiedevano l'addestramento di molteplici modelli ottimizzati per specifici regimi di latenza, comportando elevati costi computazionali e di manutenzione. Un approccio più recente utilizza modelli di ST diretta addestrati offline durante l'inferenza simultanea, applicando una politica decisionale a runtime per determinare quando emettere un'ipotesi parziale. Tuttavia, le attuali politiche per questi modelli offline spesso faticano a bilanciare efficacemente la qualità della traduzione e la latenza attraverso diverse coppie linguistiche.

Metodologia
Il documento propone ALIGNATT, una nuova politica decisionale per la SimulST che sfrutta gli allineamenti tra audio e traduzione basati sull'attenzione per guidare un modello addestrato offline durante l'inferenza.

• Meccanismo Centrale: ALIGNATT utilizza i punteggi di cross-attention ($A_C$) di un modello encoder-decoder Transformer. Per ogni token target predetto $y_i$, la politica identifica il frame audio sorgente $x_j$ con il peso di attenzione più elevato.
• Logica Decisionale: La politica opera sull'ipotesi che se un token predetto si allinea con i frame audio ricevuti più recentemente (la "coda" dell'input), l'informazione codificata in quei frame potrebbe essere insufficiente per generare in sicurezza il token. Di conseguenza, il sistema dovrebbe attendere ulteriore audio.
• Implementazione:
  • Sia $n$ il numero totale di frame di input e $f$ un parametro regolabile che rappresenta il numero di frame recenti "inaccessibili".
  • L'emissione di un token $y_i$ viene interrotta se il suo indice di frame allineato $Align_i$ ricade nell'insieme $\{n - f + 1, ..., n\}$.
  • Il parametro $f$ controlla direttamente la latenza: valori di $f$ più piccoli implicano che meno frame siano considerati inaccessibili, portando a emissioni più precoci e una latenza inferiore.
• Architettura del Modello: Il sistema sottostante è un modello di ST diretta che utilizza 12 strati di encoder Conformer e 6 strati di decoder Transformer. È addestrato sul dataset MuST-C v1.0 (Inglese verso 8 lingue target) utilizzando la distillazione della conoscenza a livello di sequenza con NLLB 3.3B per aumentare i dati di addestramento.

Contributi Chiave

1. Nuova Politica: Introduzione di ALIGNATT, una politica che guida i modelli SimulST addestrati offline utilizzando allineamenti dinamici tra audio e traduzione derivati dai pesi di attenzione, eliminando la necessità di un nuovo addestramento specifico per il compito.
2. Prestazioni allo Stato dell'Arte: Valutazione completa su 8 coppie linguistiche di MuST-C v1.0 che dimostra come ALIGNATT superi le politiche esistenti (Local Agreement, Wait-k ed EDATT) applicate a modelli offline.
3. Rilascio Open Source: Pubblicazione del codice, dei modelli addestrati e degli output simultanei sotto la licenza Apache 2.0 per facilitare la riproducibilità.

Risultati
Gli esperimenti sono stati condotti sul set di test tst-COMMON di MuST-C v1.0 su 8 coppie linguistiche (en→de, es, fr, it, nl, pt, ro, ru).

• Baseline Offline: I modelli addestrati offline hanno raggiunto nuovi risultati allo stato dell'arte per la maggior parte delle coppie linguistiche, con una media di 29.4 BLEU, superando la letteratura precedente di 0.5 - 4.6 punti BLEU senza l'uso di dati vocali esterni.
• Prestazioni Simultanee:
  • Latenza: ALIGNATT ha ottenuto riduzioni della latenza compresi tra 0.5s e 0.8s rispetto alle politiche Local Agreement (LA) e Wait-k. È stata l'unica politica (insieme a EDATT) capace di mantenere una latenza $\le$ 2s in tutte le 8 lingue.
  • Qualità: Rispetto a EDATT, ALIGNATT ha migliorato la qualità della traduzione fino a 2 punti BLEU in vari regimi di latenza.
  • Trade-off: ALIGNATT ha approssimato strettamente la qualità dell'inferenza offline, mostrando un calo medio inferiore a 1.0 BLEU, mentre EDATT ha mostrato un calo di 1.8 BLEU.
  • Confronto: Le politiche Wait-k e LA generalmente partivano da latenze più elevate (2.5s+) o non riuscivano a raggiungere un'alta qualità anche a latenze più elevate.

Significatività
Il documento sostiene che ALIGNATT rappresenti una nuova politica allo stato dell'arte per la SimulST quando applicata a modelli addestrati offline. Sfruttando le informazioni di allineamento intrinseche nel meccanismo di attenzione, la politica decide efficacemente quando emettere i token senza richiedere addestramento o adattamento aggiuntivo per specifici regimi di latenza. I risultati indicano che l'utilizzo degli allineamenti basati sull'attenzione fornisce un equilibrio più robusto tra bassa latenza e alta qualità della traduzione rispetto alle attuali politiche euristiche o basate su soglie. Gli autori sottolineano che il loro approccio consente ai modelli offline di funzionare efficientemente in contesti simultanei, riducendo i carichi computazionali pur mantenendo prestazioni competitive.