Résumé Technique : Réduction de l'Écart de Modalité côté Entrée avec TextPro-SLM

1. Énoncé du Problème

Les Modèles de Langage à Grande Échelle pour la Parole (SLM) sont majoritairement construits en entraînant continuellement à partir de points de contrôle de Modèles de Langage à Grande Échelle pour le Texte (TLM) afin d'étendre les capacités de raisonnement et de compréhension du langage à l'interaction parlée. Malgré le partage d'une architecture de base avec des TLM puissants, les SLM souffrent d'un écart de modalité significatif, où les performances de réponse aux questions (QA) basées sur la parole sont nettement inférieures aux performances de QA basées sur le texte (par exemple, une baisse allant jusqu'à 20 % sur des benchmarks comme GLM-4-Voice).

Les recherches antérieures ont principalement tenté de combler cet écart du côté de la sortie, évoluant d'une génération de tokens de parole de bout en bout vers des architectures « penseur-parleur » où le LLM génère des tokens de texte et un module séparé synthétise la parole. Bien que ces approches améliorent les performances en alignant le processus de génération sur les paradigmes des TLM, l'écart de modalité persiste. Les auteurs soutiennent que le goulot d'étranglement restant réside du côté de l'entrée : contrairement aux TLM, les SLM doivent inférer à la fois le contenu linguistique et les indices paralinguistiques (prosodie, émotion, identité du locuteur) directement à partir de représentations de la parole, qui sont souvent présentées au LLM dans un format qu'il ne peut pas pleinement exploiter.

2. Méthodologie

L'article propose TextPro-SLM, un cadre conçu pour minimiser l'écart de modalité en transformant l'entrée parlée en une représentation qui ressemble étroitement à celle d'un LLM textuel conscient de la prosodie. La philosophie centrale consiste à séparer « ce qui est dit » (contenu sémantique) de « comment c'est dit » (informations paralinguistiques) au stade de l'entrée, plutôt que de compresser la parole en un seul flux latent.

2.1 WhisperPro : Un Encodeur de Parole Unifié

Le premier composant est WhisperPro, un encodeur de parole basé sur Whisper-large-v3. Contrairement aux modèles de RAS (Reconnaissance Automatique de la Parole) standards qui privilégient le contenu lexical, WhisperPro est entraîné pour produire deux sorties synchronisées :

1. Tokens de Texte : Transcriptions précises du contenu de l'énoncé.
2. Embeddings de Prosodie : Embeddings alignés sur les tokens encodant les informations paralinguistiques (style de parole, émotion, timbre).

Architecture et Entraînement :

• Encodeur : Utilise l'encodeur-décodeur Transformer à 32 couches de Whisper-large-v3.
• Extraction : Les embeddings de prosodie sont extraits des états cachés de la 16e couche du décodeur, alignés sur les tokens de texte générés.
• Objectif de Reconstruction : Pour garantir que l'encodeur conserve les détails paralinguistiques, un reconstructeur Mel (décodeur) est attaché. Il tente de reconstruire le spectrogramme log-Mel original à partir des tokens de texte appariés et des embeddings de prosodie.
• Fonction de Perte : Le modèle est optimisé avec un objectif multi-tâches :
  $$L = L_{ASR} + \lambda L_{mel}$$
  où $L_{ASR}$ est la perte d'entropie croisée pour la transcription et $L_{mel}$ est la perte d'erreur quadratique moyenne (MSE) pour la reconstruction du spectrogramme. $\lambda$ est fixé à 1,0.
• Données : Entraîné sur 1 000 heures d'audio (LibriSpeech et CommonsenseQA), utilisant des transcriptions ponctuées et des données QA synthétisées par TTS pour améliorer la robustesse.

2.2 Squelette LLM Conscient de la Prosodie

Le deuxième composant est un squelette LLM (Qwen2.5-3B ou 7B-Instruct) entraîné pour préserver les capacités sémantiques tout en apprenant la compréhension paralinguistique.

Format d'Entrée :
Le LLM reçoit la transcription textuelle comme entrée principale, les informations de prosodie étant injectées via deux stratégies :

1. Préfixage Global (Par Défaut) : Les embeddings de prosodie sont moyennés en un seul vecteur au niveau de l'énoncé, projetés via un MLP, et préfixés à la séquence de texte.
2. Entrelacement : Les embeddings de prosodie compressés sont insérés à intervalles fixes parmi les tokens de texte pour capturer des variations prosodiques plus fines.

Pipeline d'Entraînement :
Le LLM est entraîné à l'aide d'un pipeline en deux étapes avec deux objectifs couplés :

1. Préservation de l'Intelligence Sémantique (Distillation de Connaissances) : Le modèle est distillé à partir de TLM enseignants en utilisant des ensembles de données uniquement textuels (UltraChat, CommonsenseQA) convertis en parole via TTS. L'élève reçoit l'entrée texte+prosodie de WhisperPro mais apprend à imiter les réponses uniquement textuelles de l'enseignant.
2. Compréhension Paralinguistique : Le modèle est entraîné sur des tâches impliquant l'émotion du locuteur (SER), le genre, l'âge et la détection d'accent en utilisant des ensembles de données tels que IEMOCAP, CREMA-D et Common Voice.

3. Contributions Clés

1. Réduction de l'Écart de Modalité côté Entrée : L'article déplace le focus des stratégies de génération côté sortie vers la représentation côté entrée, soutenant que faire ressembler l'entrée parlée à un « LLM textuel conscient de la prosodie » est la clé pour réduire l'écart.
2. Encodeur WhisperPro : Introduit un encodeur unifié qui produit simultanément des transcriptions précises et des embeddings de prosodie riches et alignés sur les tokens, entraîné via un objectif de reconstruction pour préserver les détails acoustiques sans sacrifier la précision de la RAS.
3. Efficacité des Données : Démontre que des gains significatifs peuvent être obtenus avec seulement ~1 000 heures de données d'entraînement audio pour le LLM, contrairement aux ensembles de données massifs souvent requis pour les modèles de parole de bout en bout.
4. Représentation à Double Flux : Propose une conception où les informations sémantiques et paralinguistiques sont explicitement séparées et synchronisées, permettant au LLM de conserver ses forces natives de traitement du texte tout en acquérant une conscience prosodique.

4. Résultats Expérimentaux

Des expériences ont été menées aux échelles de 3 milliards et 7 milliards de paramètres, comparant TextPro-SLM aux SLM de pointe (par exemple, GLM-4-Voice, Qwen2.5-Omni, Kimi-Audio) et aux bases de référence en cascade.

• Écart de Modalité : TextPro-SLM a atteint l'écart de modalité moyen le plus faible parmi tous les SLM comparés.
  • TextPro-SLM-7B a atteint un écart moyen de 0,7 %, surpassant nettement SALAD-7B (7,1 %) et Qwen2.5-Omni-7B (3,1 %).
  • Sur des benchmarks axés sur le raisonnement (MMSU, OBQA), TextPro-SLM a réduit l'écart à près de zéro (par exemple, 0,7 % sur OBQA), tandis que d'autres modèles luttaient avec des écarts dépassant 10-30 %.
• Compréhension Paralinguistique : TextPro-SLM a atteint des performances de pointe sur les tâches paralinguistiques (Émotion, Genre, Âge, Accent) parmi les bases de référence, le modèle 7B atteignant une précision moyenne de 64,8 %.
• Études d'Ablation :
  • La suppression de la distillation de connaissances (KD) a provoqué une baisse substantielle des performances, confirmant la nécessité de préserver les capacités sémantiques des TLM.
  • La suppression de l'objectif de reconstruction dans WhisperPro a dégradé les performances paralinguistiques, validant l'importance de la perte de reconstruction pour l'encodage de la prosodie.
  • L'utilisation de l'entrée entrelacée (rapport 5:1) a produit des résultats comparables au préfixage global, suggérant qu'un vecteur de prosodie global compact est souvent suffisant.

5. Importance et Revendications

L'article revendique que TextPro-SLM valide l'hypothèse selon laquelle la voie la plus efficace vers des SLM plus performants est de les transformer en LLM textuels conscients de la prosodie. En alignant les entrées de parole sur des représentations de style texte tout en préservant explicitement les indices paralinguistiques, le modèle atteint :

• Écart de Modalité Minimal : Les performances basées sur la parole approchent les performances basées sur le texte, en particulier dans les tâches de raisonnement.
• Haute Efficacité des Données : L'approche nécessite significativement moins de données audio (~1 000 heures) par rapport aux méthodes précédentes, suggérant que le goulot d'étranglement est l'alignement architectural plutôt que le volume de données.
• Utilité Pratique : La méthode maintient les fortes capacités de raisonnement du TLM sous-jacent, rendant les SLM plus fiables pour des tâches générales sans l'oubli catastrophique souvent observé dans l'entraînement continu sur des données de parole.

Les auteurs notent des limitations, notamment l'absence actuelle d'un module de synthèse vocale (les évaluations sont basées sur une sortie textuelle), l'utilisation d'une RAS non streaming (introduisant une latence) et le focus sur un sous-ensemble spécifique d'attributs paralinguistiques plutôt que sur le spectre complet des indices parlés. Cependant, ils postulent que cette stratégie d'alignement côté entrée offre une direction prometteuse et efficace pour le développement futur des SLM.