Distilling Conversations: Abstract Compression of Conversational Audio Context for LLM-based ASR

1. Problématique et Contexte

Les systèmes de reconnaissance automatique de la parole (RAL ou ASR) basés sur les grands modèles de langage (LLM) traitent généralement les énoncés de manière isolée. Cette approche limite leur capacité à exploiter le contexte conversationnel (les tours de parole précédents), pourtant essentiel pour résoudre les ambiguïtés, identifier des entités nommées (noms, lieux) ou comprendre des prononciations spécifiques à un locuteur.

Bien que les LLM multimodaux permettent théoriquement de conditionner la transcription courante sur l'audio et le texte des tours précédents, une contrainte majeure existe :

• Coût computationnel : Représenter l'audio des tours précédents sous forme de séquences de tokens bruts entraîne une croissance rapide de la longueur du prompt.
• Conséquences : Cela génère des coûts élevés de cache clé-valeur (KV), une latence accrue et des goulots d'étranglement mémoire lors de l'inférence.

L'article pose deux questions centrales :

1. Le contexte conversationnel multimodal améliore-t-il réellement la RAL basée sur les LLM ?
2. Peut-on conserver ces gains tout en réduisant considérablement l'empreinte des tokens du contexte précédent ?

2. Méthodologie : Compression Abstraite (Abstract Compression)

Les auteurs proposent une méthode novatrice appelée Abstract Compression pour représenter le contexte conversationnel de manière efficace.

A. Principe de base

Au lieu de conserver l'intégralité des tokens audio des tours précédents, la méthode :

• Compresse l'audio de chaque tour précédent en un nombre fixe de tokens latents (représentations apprises).
• Conserve explicitement les transcriptions (texte) de ces tours précédents.
• Garde l'audio du tour courant (celui à transcrire) à pleine résolution.

B. Architecture et Mécanisme

Le modèle repose sur PHI-4-MULTIMODAL. La compression est réalisée via un mécanisme d'attention croisée (cross-attention) :

• Pour chaque tour de contexte $i$, une matrice de requête apprenable $Q_i$ est utilisée pour extraire $K$ tokens latents ($Z_i$) à partir de la séquence audio originale $X_i$.
• Le prompt d'entrée pour le LLM remplace alors la séquence audio brute par ces $K$ tokens latents, tout en gardant le texte $Y_i$ intact.

C. Stratégie d'Entraînement en Deux Étapes

Pour surmonter la difficulté d'entraîner directement un modèle sur des entrées compressées, les auteurs adoptent une stratégie curriculum en deux étapes (inspirée de travaux récents) :

1. Étape 1 : Alignement Audio-Compressé vers LLM

   • Objectif : Rendre les tokens latents compatibles avec l'espace d'entrée du LLM.
   • Méthode : Entraînement d'un module de compression sur une tâche de RAL en tour unique (single-turn). Le modèle de base est figé ; seul le module de compression (requêtes et attention croisée) est optimisé pour reconstruire la transcription à partir des tokens compressés.
   • Données : LibriSpeech 960h + DefinedAI (pour l'alignement).

2. Étape 2 : Affinage Contextuel (Fine-tuning)

   • Objectif : Apprendre à utiliser le contexte compressé pour la transcription du tour courant.
   • Méthode : Affinage du modèle complet (module de compression + LoRA audio du LLM) sur des conversations multi-tours.
   • Stratégie Curriculum : L'entraînement commence sans contexte, puis augmente progressivement le nombre de tours de contexte disponibles (jusqu'à 10) pour stabiliser l'apprentissage.

3. Contributions Clés

1. Validation de l'utilité du contexte multimodal : L'étude démontre que le contexte conversationnel (audio + texte) améliore la RAL basée sur les LLM, mais uniquement après un affinage supervisé multi-tours. Les gains sont particulièrement nets pour les entités contextuelles (noms propres, termes de domaine).
2. Introduction de l'Abstract Compression : Une méthode efficace pour réduire l'empreinte des tokens de contexte en compressant l'audio tout en préservant le texte, permettant de récupérer une partie significative des gains de performance sans le coût des tokens audio bruts.
3. Analyse des compromis (Trade-offs) : Une étude approfondie des facteurs influençant la performance (taille du goulot d'étranglement, données d'entraînement, longueur du contexte).

4. Résultats Expérimentaux

Les expériences ont été menées sur deux jeux de données : DefinedAI (en domaine) et WoW (hors domaine, riche en entités).

Métriques

• WER (Word Error Rate) : Taux d'erreur global.
• Bias-WER : Taux d'erreur calculé uniquement sur les entités contextuelles (noms, lieux, produits).

Principales Observations

• Contexte Brut (Raw Context) :
  • Sans affinage multi-tours, l'ajout de contexte dégrade les performances.
  • Avec affinage multi-tours, les performances s'améliorent, surtout sur le Bias-WER (ex: sur WoW, le Bias-WER passe de 25,6 % à 23,3 % avec 10 tours de contexte).
• Compression Abstraite :
  • La méthode compressée récupère une grande partie des gains du contexte brut avec une empreinte token bien plus faible.
  • Sur WoW, le modèle compressé atteint un Bias-WER de 24,5 % (contre 25,6 % pour le modèle sans contexte et 23,3 % pour le contexte brut).
  • Le compromis qualité/efficacité est favorable : une compression modérée (ex: $K=16$ tokens latents par tour) suffit à capturer l'essentiel de l'information contextuelle utile.
• Analyse de la compression :
  • Le taux de compression global diminue et se stabilise à mesure que le nombre de tours augmente, rendant l'empreinte mémoire plus prévisible.
  • L'augmentation de la taille du goulot d'étranglement ($K$) améliore la performance, mais au-delà d'un certain seuil, les gains marginaux diminuent.

5. Signification et Conclusion

Ce travail démontre que l'intégration du contexte conversationnel dans les systèmes de RAL basés sur les LLM est non seulement possible, mais nécessaire pour une précision optimale, en particulier pour les entités rares.

Cependant, l'utilisation directe de l'audio brut comme contexte est prohibitif en termes de ressources. La méthode Abstract Compression propose une solution pragmatique : elle offre un compromis pratique entre la qualité de reconnaissance et l'efficacité computationnelle. En distillant l'information audio essentielle en un petit nombre de tokens latents tout en conservant le texte explicite, les auteurs permettent aux systèmes de RAL de fonctionner dans des contextes conversationnels longs sans saturer la mémoire ou la latence.

Limitations notées : L'évaluation se concentre sur la réduction du budget de tokens d'entrée et n'a pas mesuré directement la latence d'inférence ou l'utilisation de la mémoire vive (RAM) en production, bien que la réduction des tokens implique une amélioration de ces métriques.