Résumé technique : Libérer les pouvoirs de composition texte-parole via SPEECHCOMBINE

Énoncé du problème

L'ajustement d'instructions (instruction tuning) pour les modèles de langage de parole (SLM) présente des défis nettement plus importants que pour les modèles de langage textuels (LLM). Alors que les LLM textuels suivent un paradigme d'entraînement standard impliquant le pré-entraînement et l'ajustement d'instructions, les SLM doivent maîtriser une nouvelle modalité (la parole) ainsi qu'un spectre plus large d'instructions, incluant la compréhension de la parole (ex: détection d'émotions) et la génération de parole (ex: synthèse expressive).

Les approches actuelles d'entraînement des SLM reproduisent largement le pipeline des LLM textuels : un pré-entraînement sur de massifs corpus de parole suivi d'un ajustement supervisé (SFT) ou d'un apprentissage par renforcement (RL) sur des jeux de données d'instructions de parole. Cette stratégie souffre de deux goulots d'étranglement critiques :

1. Inflation des données : Les séquences de parole sont nettement plus longues que les séquences de texte (par exemple, une phrase de 5 jetons textuels s'étend à 60–200 jetons de parole), ce qui rend difficile l'augmentation de la taille des jeux de données efficaces.
2. Oubli catastrophique : L'entraînement intensif sur les jetons de parole provoque souvent l'oubli des capacités de connaissance et de raisonnement du LLM textuel de base, forçant le modèle à réapprendre ces compétences dans une représentation de parole plus difficile à apprendre.

Les tentatives existantes pour atténuer cela, comme le gel du LLM textuel avec l'entraînement de seuls adaptateurs, échouent souvent à supporter les instructions spécifiques à la parole (compréhension et génération), limitant le modèle aux tâches orientées vers le texte.

Méthodologie : SPEECHCOMBINE

Le papier propose SPEECHCOMBINE, un SLM respectant les instructions entraîné sans ajustement d'instructions itératif. L'hypothèse centrale est que les capacités de suivi d'instructions encodées dans un LLM textuel peuvent être directement transférées à un modèle adapté à la parole via la combinaison de poids, inspirée par les récentes avancées en fusion de modèles (model merging).

1. Cadre et combinaison de poids

La méthode opère en trois étapes dans l'espace des paramètres :

• Modèle de base ($\theta_{base}$) : Un LLM textuel pré-entraîné.
• Modèle ajusté aux instructions ($\theta_{inst}$) : Le LLM textuel affiné pour le suivi d'instructions.
• Modèle adapté à la parole ($\theta_{speech}$) : Le modèle de base ($\theta_{base}$) soumis à un cycle unique de pré-entraînement continu sur des données de parole.

Les paramètres finaux du modèle ($\theta_{SC}$) sont construits par une combinaison linéaire des différences de poids :
$$\theta_{SC} = \theta_{base} + \lambda \Delta\theta_{speech} + \Delta\theta_{inst}$$
Où :

• $\Delta\theta_{inst} = \theta_{inst} - \theta_{base}$ encode le comportement de suivi d'instructions.
• $\Delta\theta_{speech} = \theta_{speech} - \theta_{base}$ capture la connaissance de la modalité de parole.
• $\lambda \in (0, 1]$ est un poids doux équilibrant l'intégration des connaissances de parole avec la préservation des capacités textuelles.

Distinction cruciale : Le pré-entraînement de la parole doit partir de $\theta_{base}$, et non de $\theta_{inst}$. Partir du modèle ajusté aux instructions perturbe la structure compositionnelle requise pour une fusion réussie.

2. Structure des données de pré-entraînement

Pour atteindre les doubles objectifs de familiariser le modèle avec les séquences de jetons de parole et de comprendre l'information de parole (contenu et prosodie), les auteurs conçoivent une structure de données de pré-entraînement spécifique :
[S1 cap] [S1 text] [S1 speech] [S1 cap] ...

• [cap] : Descriptions en langage naturel des attributs de la parole (contenu, hauteur, débit, accentuation, émotion).
• [text] : La transcription exacte de la parole.
• [speech] : Jetons de prosodie discrets représentant l'énoncé de parole.

L'inclusion de [text] aux côtés de [speech] est essentielle pour ancrer le transfert des capacités de suivi d'instructions textuelles. La section [cap] est randomisée (apparaissant avant, après ou omise) pour enseigner la génération, la compréhension et les schémas multi-tours.

3. Tokenisation et inférence

• Tokenisation : Les auteurs utilisent un schéma de tokenisation de la prosodie (basé sur Qian et al., 2025) qui encode uniquement les caractéristiques prosodiques (hauteur, durée, énergie) plutôt que des formes d'onde complètes, réduisant considérablement la longueur et la redondance des jetons.
• Inférence : Le modèle suit un template similaire au LLM textuel mais inclut des sections [speech]. Un système ASR externe transcrit la parole d'entrée dans la section [text]. Des techniques de "forçage de format" (format forcing) sont employées pour stabiliser la génération des jetons de parole et garantir que le modèle respecte la structure de sortie requise.
• Long Thinking (Pensée longue) : Le modèle hérite des capacités de "chaîne de pensée" (Chain of Thought) du LLM textuel simplement en modifiant le template de réponse pour inclure une section <thought>, sans entraînement supplémentaire.

Contributions clés

1. Entraînement de SLM sans ajustement d'instructions : Démontre qu'un SLM doté de fortes capacités de suivi d'instructions à travers le texte, la compréhension de la parole et la génération de parole peut être construit en utilisant uniquement un cycle de pré-entraînement (30 000 heures de données) et une combinaison de poids, éliminant le besoin de massifs jeux de données d'ajustement d'instructions de parole.
2. Généralisation compositionnelle : Montre que les capacités de suivi d'instructions ($\Delta\theta_{inst}$) se généralisent au domaine de la parole lors de la combinaison avec l'adaptation à la parole ($\Delta\theta_{speech}$), permettant au modèle de gérer des tâches spécifiques à la parole non vues (ex: détection d'émotion, génération d'accentuation) sans entraînement explicite sur ces tâches.
3. Préservation des capacités textuelles : La stratégie préserve avec succès les connaissances et les capacités de raisonnement originales du LLM textuel, évitant l'oubli catastrophique typique des pipelines d'entraînement de SLM standards.
4. Efficacité : Atteint des performances de pointe ou compétitives en utilisant moins de 1 % des données d'entraînement requises par les SLM existants (ex: FUN-AUDIO-CHAT entraîné sur des millions d'heures).

Résultats expérimentaux

Les auteurs évaluent SPEECHCOMBINE sur deux catégories de tâches : la Combinaison superficielle (tâches orientées texte dans la modalité de parole) et la Combinaison profonde (tâches spécifiques à la parole).

• Tâches orientées texte (QA, Raisonnement) : SPEECHCOMBINE est au niveau ou supérieur à la ligne de base "ASR + Text LLM" (qui ne souffre d'aucun oubli) et surpasse significativement les autres SLM entraînés sur des jeux de données massifs (ex: GLM-4-Voice, Step-Audio). Il obtient les meilleurs résultats ou le deuxième meilleur sur des jeux de données comme OpenbookQA, GSM8k et MLC.
• Compréhension de la parole (Émotion, Accentuation) :
  • Émotion : Atteint une performance modérée, limitée par la rareté des légendes d'émotion dans les données de pré-entraînement.
  • Détection d'accentuation : Atteint des performances de pointe avec des marges substantielles sur les lignes de base, démontrant la capacité du modèle à inférer l'accentuation à partir des indices prosodiques.
• Génération de parole (Expressive, Accentuation) :
  • Génération expressive : Atteint la deuxième meilleure performance sur la génération d'émotion.
  • Génération d'accentuation : Atteint la meilleure performance parmi les modèles comparables.
  • Notamment, ces capacités émergent sans entraînement spécifique à la tâche, reposant uniquement sur le transfert compositionnel des compétences.
• Études d'ablation :
  • Poids $\lambda$ : Un point d'équilibre (ex: $\lambda=0,85$) équilibre la préservation du texte et l'acquisition de la parole.
  • Structure des données : Supprimer [cap] ou [text] dégrade considérablement les performances, confirmant leur nécessité pour le transfert de connaissances et l'ancrage.
  • Long Thinking : Activer le mode de pensée améliore les performances sur les tâches de raisonnement complexe et de parole.

Signification et affirmations

Le papier affirme que SPEECHCOMBINE offre une nouvelle direction scalable pour l'entraînement des SLM qui évite "l'épreuve indue de l'accumulation inefficace de données". En exploitant la fusion de modèles, l'approche permet aux SLM d'hériter rapidement des capacités émergentes des LLM textuels en évolution sans nécessiter de ré-entraînement sur de massifs jeux de données de parole.

Les auteurs reconnaissent des limites, notamment la dépendance à un ASR externe pour l'inférence, l'absence d'encodage du timbre/qualité de la voix dans le schéma de tokenisation actuel, et la nécessité du forçage de format pour assurer la stabilité de la sortie. Cependant, ils postulent que ce paradigme fournit une base robuste pour construire des modèles de parole puissants, capables de suivre des instructions, qui soient à la fois économes en données et capables de raisonnements complexes.