Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking

Résumé technique : Entraînement conjoint de la parole et du texte pour le suivi d'état de dialogue de bout en bout basé sur les LLM

Énoncé du problème
Le suivi d'état de dialogue (DST) de bout en bout (E2E) fait face à un goulot d'étranglement important : la rareté des données de dialogue parlé annotées nécessaires pour entraîner des modèles robustes à travers divers domaines. Bien que l'approche consistant à cascader la reconnaissance automatique de la parole (ASR) avec des modules de DST textuels soit traditionnelle, elle souffre de la propagation d'erreurs et de la latence. Les méthodes E2E récentes qui prédisent directement les états de dialogue à partir de la parole en utilisant des modèles de langage de grande taille (LLM) et des encodeurs de parole ont montré des promesses, mais peinent à se généraliser à de nouveaux domaines sans données d'entraînement parlées spécifiques à ces domaines. La collecte de telles données parlées spécifiques au domaine est coûteuse et exigeante en main-d'œuvre. À l'inverse, les données de DST textuelles sont abondantes et plus faciles à acquérir, pourtant les modèles de parole E2E standards ne peuvent pas exploiter directement les données textuelles non appariées pour améliorer leurs performances sur les entrées parlées.

Méthodologie
Les auteurs proposent un cadre de DST E2E conjoint Parole et Texte conçu pour permettre la généralisation trans-domaine sans nécessiter de données d'entraînement parlées pour les domaines cibles. L'architecture de base repose sur un modèle E2E (comprenant un encodeur de parole, un connecteur et un LLM) en l'augmentant d'un encodeur de texte.

• Architecture : Le modèle accepte deux types d'entrées pendant l'entraînement :
  1. Pipeline de parole : La parole de l'utilisateur est encodée par un encodeur de parole pré-entraîné (ex. : WavLM), passée à travers un connecteur, et prépendue aux plongements de l'historique du dialogue avant d'entrer dans le LLM.
  2. Pipeline de texte : Les requêtes en langage naturel de l'utilisateur sont encodées par un encodeur de texte dédié (un Transformer dont les dimensions correspondent à celles du connecteur), passées par le même connecteur, et injectées dans le LLM.
• Stratégie d'entraînement : Le système utilise un processus d'entraînement en deux phases :
  1. Pré-entraînement ASR : L'encodeur de parole et le connecteur sont pré-entraînés sur des données de parole diverses en utilisant un objectif d'entropie croisée, avec le LLM gelé.
  2. Finetuning conjoint : L'encodeur de texte est introduit, et des couches LoRA (Low-Rank Adaptation) sont insérées dans le LLM. Le connecteur, l'encodeur de texte et les paramètres LoRA sont ajustés conjointement.
• Fonction de perte : À chaque étape d'entraînement, le modèle traite un lot de parole et un lot de texte. L'optimisation minimise la somme de trois pertes d'entropie croisée :
  1. Perte DST sur les données parlées.
  2. Perte DST sur les données textuelles non appariées.
  3. Perte DST sur la transcription du lot de parole (pour garantir que l'encodeur de texte aide le pipeline de parole à comprendre le domaine cible).
• Inférence : Crucialement, l'encodeur de texte est écarté lors de l'inférence. Le modèle fonctionne uniquement avec une entrée de parole, n'entraînant aucune latence d'inférence supplémentaire par rapport au modèle de base.

Contributions clés et résultats
L'article présente des expériences sur les jeux de données SpokenWOZ et Speech-aware MultiWOZ, démontrant l'efficacité de la méthode proposée :

• Généralisation trans-domaine : La méthode adapte avec succès des modèles entraînés sur la parole d'un domaine source pour effectuer le DST sur des domaines cibles où seules les données textuelles sont disponibles. Par exemple, l'entraînement sur la parole de SpokenWOZ combiné au texte de MultiWOZ a considérablement amélioré la précision des objectifs conjoints (JGA) sur l'ensemble de validation de MultiWOZ par rapport à un modèle de base entraîné uniquement sur la parole de SpokenWOZ.
• Comparaison avec les alternatives : Les auteurs ont comparé leur approche à une stratégie utilisant la synthèse de la parole par texte (TTS) pour générer des données parlées à partir de texte. Ils ont constaté que l'entraînement textuel conjoint obtenait des résultats comparables à l'approche TTS, mais sans la complexité et la dépendance ajoutées à des systèmes TTS de haute qualité, ce qui est particulièrement avantageux pour les langues à faibles ressources.
• Mécanisme d'amélioration : Les études d'ablation ont révélé que les améliorations proviennent de deux facteurs : (1) l'exposition du LLM aux états de dialogue du domaine cible via le texte, et (2) l'aide active de l'encodeur de texte au pipeline de parole pour apprendre à extraire ces états à partir du langage naturel. Le simple finetuning de LoRA sur le texte sans l'encodeur de texte donnait des performances inférieures à l'approche conjointe complète.
• Scalabilité : Les bénéfices de l'entraînement textuel conjoint ont été observés de manière plus marquée avec des LLM plus larges (ex. : Gemma-3-12B-it). Dans certains cas, les modèles plus larges entraînés avec le texte conjoint ont atteint des performances sur les domaines cibles presque identiques à celles des modèles entraînés avec des données de parole appariées de ces mêmes domaines.
• Reconnaissance de Slot vs Valeur : L'analyse a indiqué que si l'ajout de texte provenant d'une autre ville (ex. : données de New York de MultiWOZ pour un entraînement basé sur Cambridge dans SpokenWOZ) améliorait la reconnaissance des clés de slots, cela n'améliorait pas nécessairement la reconnaissance des valeurs de slots (ex. : noms de lieux spécifiques), soulignant la distinction entre la généralisation structurelle et celle basée sur le contenu.

Signification
L'article affirme que ce travail fournit une solution pratique au problème de la rareté des données en DST parlée. En exploitant l'abondance des données de DST textuelles non appariées, la méthode proposée permet la création de systèmes de dialogue parlés multi-domaines sans le coût prohibitif de la collecte de données parlées pour chaque domaine cible. Les auteurs soulignent que cette approche permet l'application des stratégies d'amélioration de DST textuelles établies (telles que l'augmentation de slots et la paraphrase) aux systèmes parlés de manière indirecte, ouvrant de nouvelles voies pour la recherche dans les scénarios de dialogue parlés à faibles ressources et multi-domaines.