Résumé technique : DOA - Politique d'attention de type décodeur seul sans entraînement pour la traduction simultanée de longs formats

Énoncé du problème

La traduction simultanée de la parole en texte (SimulST) nécessite une politique de streaming pour décider quand lire l'audio source et quand écrire les jetons (tokens) cibles, afin de trouver un équilibre entre la qualité de la traduction et la latence. Alors que les systèmes de pointe utilisent généralement des architectures encodeur-décodeur basées sur l'attention (AED) où l'attention croisée fournit des signaux d'alignement explicites pour guider ces décisions, les avancées récentes se sont tournées vers les modèles de langage de parole (SpeechLLMs). Ces modèles emploient des architectures de type décodeur seul qui reposent uniquement sur l'auto-attention, manquant ainsi de scores d'attention croisée explicites.

Ce changement architectural soulève une question critique : le mécanisme d'auto-attention des SpeechLLMs de type décodeur seul contient-il des signaux d'alignement suffisamment stables pour guider les décisions de streaming ? De plus, les approches existantes pour adapter les SpeechLLMs à la SimulST reposent souvent sur un ajustement fin (fine-tuning) basé sur l'entraînement ou sur des politiques heuristiques fixes (par exemple, wait-k) et n'ont pas été rigoureusement validées dans des contextes de longs formats où les modèles doivent traiter des contextes acoustiques et textuels en croissance continue.

Méthodologie : Attention de type décodeur seul (DOA)

Pour combler ces lacunes, les auteurs proposent la méthode Decoder-Only Attention (DOA), une politique sans entraînement qui permet la traduction simultanée de longs formats en utilisant des SpeechLLMs prêts à l'emploi sans réentraînement.

1. Dérivation de l'alignement par procuration

Puisque les modèles de type décodeur seul traitent la parole et le texte au sein d'une séquence autoregressives unique, les auteurs dérivent une matrice d'attention croisée par procuration directement des poids d'auto-attention du décodeur.

• Pendant la génération autoregressive, les poids d'auto-attention $A^{(l,h)}$ sont extraits pour la couche de décodeur $l$ et la tête $h$, couvrant une séquence de $S$ jetons audio et $T$ jetons textuels générés.
• Comme les jetons audio occupent le préfixe de la séquence, les auteurs isolent l'attention dirigée vers le contexte acoustique : $\tilde{A}^{(l,h)} = A^{(l,h)}[:, : S]$.
• Cela produit une matrice $\tilde{A} \in \mathbb{R}^{T \times S}$, analogue à la matrice d'attention croisée dans les modèles AED.
• L'alignement par procuration final $\bar{A}$ est obtenu en moyennant à travers des couches et des têtes sélectionnées.

2. Politique de décision de streaming

La politique utilise l'alignement dérivé pour déterminer quand émettre les jetons :

• Pour chaque jeton généré $t$, la position audio alignée $a_t$ est identifiée comme la position recevant le score d'attention le plus élevé ($a_t = \arg\max_s \bar{A}_{t,s}$).
• Un hyperparamètre de coupure $f$ définit le nombre de trames audio les plus récemment reçues considérées comme « acoustiquement instables ».
• Les jetons alignés sur des positions situées dans les dernières $f$ trames sont retenus, car leur preuve acoustique de support peut évoluer avec les entrées futures.
• Seuls les jetons satisfaisant $a_t < S - f$ sont validés en sortie.

3. Adaptation aux longs formats

Pour gérer les flux audio illimités, DOA implémente des mécanismes de sélection de l'historique afin d'éviter le dépassement de mémoire :

• Historique textuel : Deux stratégies sont évaluées : (i) Mots Fixes (retenir les $N$ derniers jetons) et (ii) Ponctuation (retenir le texte après le signe de ponctuation fort le plus récent).
• Historique acoustique : L'alignement par procuration est utilisé pour élaguer les trames audio. Les trames alignées exclusivement avec l'historique textuel écarté sont supprimées, tandis que les trames alignées avec le préfixe préservé et les nouvelles hypothèses sont conservées.
• Gestion des cas limites : Si l'élagage basé sur l'attention échoue à supprimer des trames et que l'historique audio dépasse une durée prédéfinie (par exemple, 90s ou 120s), les trames les plus anciennes sont tronquées pour maintenir une mémoire bornée.

Principales contributions

1. Première politique sans entraînement pour la SimulST de type décodeur seul : DOA est la première politique permettant la traduction simultanée de longs formats avec des SpeechLLMs de type décodeur seul prêts à l'emploi en exploitant l'auto-attention comme signal d'alignement par procuration.
2. Validation de la stabilité de l'auto-attention : Ce travail étudie et confirme empiriquement que l'auto-attention du décodeur fournit des informations d'alignement suffisamment stables pour piloter les décisions de streaming, remettant en question l'hypothèse selon laquelle une attention croisée explicite est nécessaire.
3. Capacité de long format : Contrairement aux travaux antérieurs concentrés sur des énoncés pré-segmentés, DOA est conçu pour des flux audio continus de longue durée avec un élagage dynamique du contexte.
4. Agnosticisme du modèle : Le cadre nécessite uniquement l'accès aux poids d'auto-attention du décodeur, ce qui le rend applicable à n'importe quel SpeechLLM sans adaptation spécifique à la tâche.

Résultats expérimentaux

Les auteurs ont évalué DOA sur Phi4-Multimodal et Qwen3-Omni pour la traduction anglais-allemand et anglais-italien, en comparaison avec la base StreamAtt appliquée au modèle AED SeamlessM4T.

• Sélection de l'historique : La stratégie de Ponctuation a systématiquement surpassé les stratégies de Mots Fixes, tant en termes de qualité (COMET) que de stabilité à travers les régimes de latence. Cela contraste avec les observations dans les systèmes AED, suggérant que les modèles de type décodeur seul bénéficient davantage de la continuité textuelle au niveau de la phrase.
• Analyse des couches et des têtes : La moyenne de l'alignement par procuration sur toutes les couches et toutes les têtes a produit la performance la plus robuste. La sélection de couches spécifiques entraînait une instabilité ou un échec, tandis que des têtes spécifiques n'offraient que des gains minimaux.
• Performance :
  • Les SpeechLLMs équipés de DOA ont atteint une qualité de traduction (scores COMET jusqu'à 0,828 pour Qwen3-Omni en-it) proche des références de décodage hors ligne sans réentraînement.
  • Les modèles ont démontré un compromis latence-qualité favorable, surpassant systématiquement la base AED StreamAtt.
  • Qwen3-Omni a couvert une large plage opérationnelle (de 400ms à 3,8s LongYAAL) avec une haute qualité, tandis que Phi4-Multimodal offrait une gestion de la latence plus facile.

Signification et affirmations

L'article affirme que DOA parvient à détourner les SpeechLLM hors ligne pour la traduction simultanée sans réentraînement, démontrant que l'auto-attention du décodeur peut servir de signal d'alignement efficace pour les décisions de streaming. Les auteurs soulignent que cette approche se généralise à différentes familles de modèles (dense vs MoE) et architectures, fournissant un mécanisme simple et efficace pour la SimulST de long format.

Le travail met en évidence que l'alignement basé sur l'attention n'est pas l'exclusivité des modèles encodeur-décodeur et peut être adapté aux architectures de type décodeur seul. Cependant, les auteurs font preuve de modestie quant à leur portée, notant des limitations telles qu'une évaluation restreinte à la parole source en anglais, l'utilisation de langues cibles à alphabet latin, et l'absence de comparaisons de latence tenant compte des ressources de calcul en raison d'environnements GPU hétérogènes. Ils déclarent explicitement que la généralisation aux langues logographiques ou morphologiquement riches reste une question ouverte.