Résumé Technique : Traduction de la Parole vers le Texte en Flux Continu avec un SpeechLLM

Énoncé du Problème

Les systèmes actuels de traduction de la parole vers le texte dans une autre langue reposent généralement sur une architecture en cascade : un transcribeur de parole produit une transcription, qui est ensuite alimentée dans un système de traduction texte-à-texte. Bien que des avancées récentes aient permis aux « SpeechLLM » (Grands Modèles de Langage conditionnés par l'audio de la parole) d'effectuer une traduction de bout en bout, les implémentations existantes échouent à opérer de manière véritablement en flux continu réel.

La plupart des SpeechLLM existants soit attendent une énonciation complète avant de générer une sortie, soit s'appuient sur des politiques fixes (telles que « wait-k ») qui émettent des tokens à intervalles fixes basés sur des segments audio. Ces politiques fixes sont inadaptées aux scénarios réels où la vitesse de la parole, les pauses et le bruit de fond varient. Plus précisément :

• Politiques Fixes : Si un microphone s'ouvre avant le début de la parole, ou si un locuteur hésite, les politiques fixes forcent le modèle à halluciner une sortie ou à prendre du retard, entraînant une dégradation de la qualité de traduction ou l'omission de phrases.
• Efficacité Énergétique : Les modèles en flux continu existants qui émettent des tokens « wait » (attente) pour demander plus d'audio entraînent souvent des coûts énergétiques élevés sur les appareils périphériques, car ils nécessitent des évaluations fréquentes et complètes du grand modèle de langage (LLM).

Méthodologie

1. L'Architecture « Intermixée »

L'article propose une architecture novatrice où le LLM lui-même apprend une politique d'attente. Au lieu d'un module séparé décidant quand attendre, le LLM est entraîné à émettre deux types de tokens :

• Tokens de Texte : La sortie de traduction réelle.
• Tokens d'Attente ($W$) : Des signaux indiquant que le modèle a besoin de plus d'audio avant de poursuivre.

Dans ce modèle « intermixé », la séquence d'entrée alterne entre des vecteurs de parole encodés (provenant d'un encodeur de parole) et des tokens de texte, reflétant la séquence de sortie qui entremêle des tokens de texte et des tokens d'attente. Le modèle apprend à décider, en fonction de l'audio partiel vu jusqu'alors, s'il dispose d'informations suffisantes pour émettre un token de traduction ou s'il doit attendre le prochain segment audio.

2. Alignement au Niveau des Phrases pour l'Entraînement

Un défi critique dans l'entraînement des systèmes en flux continu est de déterminer quand émettre des mots spécifiques. Les méthodes d'alignement au niveau des mots standard (par exemple, SimAlign) échouent souvent pour les paires de langues linguistiquement éloignées (par exemple, l'anglais et le coréen) car les concepts ne se correspondent pas un à un.

• Solution Proposée : Les auteurs génèrent des alignements au niveau des phrases en utilisant un LLM avec un prompting few-shot (quelques exemples).
• Mécanisme : Les textes source et cible sont alignés phrase par phrase. Tous les mots d'une phrase cible sont alignés sur le dernier mot de la phrase source correspondante. Cela garantit que le modèle n'émet un mot cible qu'après avoir entendu l'audio source nécessaire, empêchant ainsi une génération prématurée.
• Objectif d'Entraînement : Le modèle est entraîné à maximiser la vraisemblance d'une séquence unique et optimale d'étapes (un mélange de décisions d'attente et d'émission) dérivée de ces alignements.

3. Politique d'Attente à Sortie Anticipée pour l'Efficacité Énergétique

Pour répondre au coût énergétique des appels fréquents au LLM causés par les tokens d'attente, les auteurs introduisent une politique d'attente à sortie anticipée.

• Mécanisme : Une tête légère (dérivée des premières couches du LLM) prend une décision préliminaire : Attendre ($W$) ou Émettre ($E$).
• Fonctionnement :
  • Si la politique décide d'Attendre, le LLM complet n'est pas évalué, économisant ainsi une computation significative.
  • Si la politique décide d'Émettre, le LLM complet est évalué pour générer zéro ou plusieurs tokens de texte suivis d'un token d'attente.
• Compromis : Cela permet un équilibre réglable entre la latence et la consommation d'énergie sans compromettre la qualité de traduction, car le LLM complet conserve l'autorité finale pour annuler une décision d'« émission » s'il détermine que plus d'audio est nécessaire.

4. Métriques d'Évaluation

L'article critique les métriques de latence standard comme le « retard moyen » pour leurs incohérences avec la parole en flux continu (par exemple, la gestion des émissions post-audio et des énonciations courtes). À la place, il propose la Latence Logique Moyenne, qui mesure le temps moyen d'émission d'un token par rapport à une ligne de base théorique où les tokens sont générés uniformément sur la durée de l'audio.

Résultats Clés

Des expériences ont été menées sur des tâches de traduction de l'anglais vers le français, de l'anglais vers le coréen et de l'anglais vers l'allemand, en utilisant des jeux de données tels que CoLiMu et Fleurs.

• Latence vs Qualité : Le SpeechLLM intermixé atteint une latence de 1 à 2 secondes tout en maintenant une qualité de traduction (score COMET) proche des bases de référence hors ligne non en flux continu. Il surpasse considérablement les systèmes à politique fixe existants (Bestow avec wait-k) et les politiques dynamiques (AlignAtt) dans le compromis latence-qualité.
• Robustesse : Contrairement aux modèles à politique fixe, qui subissent un échec catastrophique (hallucinations) lorsque l'entrée contient du silence ou du bruit (testé sur le jeu de données « SilFleurs »), le modèle intermixé s'adapte dynamiquement, maintenant une qualité constante.
• Efficacité Énergétique : La politique à sortie anticipée réduit le nombre d'appels au LLM. Pour la traduction de l'anglais vers le coréen, l'ajustement de la pénalité d'attente a réduit la consommation d'énergie de 1,55 à 1,16 tokens par token de sortie tout en maintenant la latence stable à environ 2,3 secondes.
• Stratégie d'Alignement : L'alignement au niveau des phrases proposé surpasse nettement l'alignement au niveau des mots (SimAlign). La supervision au niveau des mots a conduit à une génération prématurée et à une dégradation de la qualité, tandis que la supervision au niveau des phrases a fourni des étiquettes de timing fiables.

Importance et Revendications

L'article prétend combler le vide en matière de flux continu adaptatif en temps réel pour les SpeechLLM. Ses contributions principales sont :

1. Une Politique d'Attente Apprise : Le passage de politiques fixes et rigides à un modèle qui apprend quand attendre en fonction du contenu audio, permettant une véritable adaptabilité aux variations de la parole réelle.
2. Supervision au Niveau des Phrases : Une méthode pour générer des données d'entraînement qui gère les complexités des structures de phrases interlinguales, ce qui est essentiel pour une traduction en flux continu de haute qualité entre des langues diverses.
3. Flux Continu Conscient de l'Énergie : L'introduction de la politique à sortie anticipée démontre que les systèmes en flux continu peuvent être optimisés pour les appareils périphériques, réduisant la consommation d'énergie sans sacrifier les avantages de faible latence du flux continu.

Les auteurs concluent que leur système offre un équilibre supérieur entre faible latence, haute qualité de traduction et robustesse par rapport aux politiques fixes ou dynamiques existantes, en faisant un candidat viable pour un déploiement dans le monde réel, notamment dans des applications comme la traduction mobile.