🤖 machine learning

Interpreting and Steering a Text-to-Speech Language Model with Sparse Autoencoders

Cet article démontre que l'entraînement d'autoencodeurs parcimonieux sur le cœur d'un modèle de langage de synthèse vocale produit des caractéristiques interprétables et sensibles à la modalité qui peuvent être pilotées de manière causale pour contrôler des attributs de synthèse spécifiques tels que le rire, le genre du locuteur et le débit de parole tout en préservant le contenu.

Auteurs originaux : Nikita Koriagin, Georgii Aparin, Nikita Balagansky, Daniil Gavrilov

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikita Koriagin, Georgii Aparin, Nikita Balagansky, Daniil Gavrilov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un système de synthèse vocale (TTS) comme CosyVoice3 tel un chef d'orchestre hautement qualifié, mais quelque peu mystérieux. Ce chef d'orchestre lit un script écrit (le texte) puis dirige un orchestre invisible pour jouer les sons exacts de la parole humaine. Pendant longtemps, nous savions que le chef d'orchestre pouvait faire le travail, mais nous ne comprenions pas comment le cerveau du chef d'orchestre fonctionnait lorsqu'il passait de la lecture des notes à l'écoute de la musique.

Ce document est comme si l'on plaçait des « lunettes à rayons X » sur le cerveau de ce chef d'orchestre pour voir exactement ce qui s'y passe.

Voici une décomposition de ce que les chercheurs ont fait, en utilisant des analogies simples :

1. Le Problème : Un Cerveau Mélangé

D'ordinaire, les modèles d'IA pour le texte et les modèles d'IA pour la parole sont séparés. Mais les systèmes modernes comme CosyVoice3 utilisent un seul gros cerveau (un Modèle de Langage) pour faire les deux. Il lit votre consigne textuelle puis génère des jetons audio (de minuscules fragments de son) un par un.

L'Analogie : Imaginez un chef qui cuisine un repas tout en écrivant simultanément une recette. Le cerveau du chef fait deux choses très différentes à la fois : penser aux mots (la recette) et penser aux saveurs (la cuisson). Les chercheurs voulaient savoir : Quelle partie du cerveau du chef pense aux mots, et quelle partie pense au grésillement de la poêle ?

2. L'Outil : Le « Trieur de Caractéristiques » (Autoencodeurs Creux)

Pour résoudre cela, les chercheurs ont utilisé un outil appelé Autoencodeur Creux (Sparse Autoencoder - SAE).

L'Analogie : Pensez au cerveau de l'IA comme à un immense entrepôt désordonné où des millions d'idées sont entassées en un seul tas. Il est difficile de s'y retrouver. Le SAE est comme un bibliothécaire super organisé qui prend ce tas désordonné et trie chaque article dans sa propre boîte étiquetée.
Au lieu d'une boîte contenant « tout ce qui concerne la parole », le bibliothécaire crée des boîtes spécifiques comme : « Boîte pour le son du rire », « Boîte pour la lettre B », ou « Boîte pour un accent britannique ».
Ils ont entraîné ce bibliothécaire sur environ 250 millions de mots et de sons pour s'assurer que le tri soit précis.

3. La Découverte : Trier par « Saveur »

Une fois qu'ils ont obtenu ces boîtes triées (les caractéristiques), ils devaient savoir ce que chaque boîte faisait réellement. Ils ont utilisé un assistant IA pour examiner le contenu de chaque boîte et rédiger une étiquette.

Le Résultat : Ils ont trouvé trois types de boîtes :
- Boîtes de Texte : Elles ne s'allument que lorsque l'IA lit les instructions écrites (par exemple, en voyant le mot « Britannique » ou un signe de ponctuation spécifique).
- Boîtes Audio : Elles ne s'allument que lorsque l'IA génère du son (par exemple, en entendant un rire, un bégaiement ou un son de voyelle spécifique).
- Boîtes Mixtes : Elles s'allument lorsque le texte et le son sont directement liés (par exemple, le texte dit « rire » et l'IA génère un rire).

Le Voyage Étage par Étage :
Les chercheurs ont observé l'IA étage par étage (comme si l'on regardait les différents étages d'un gratte-ciel).

Étages inférieurs : Principalement mixtes (lecture et pensée du son ensemble).
Étages du milieu : Principalement concentrés sur le son réel produit (les boîtes « audio » dominent).
Étages supérieurs : Étonnamment, cela revient à être principalement axé sur la structure du texte à nouveau.
La Conclusion : L'IA ne se contente pas de transmettre le texte vers l'avant ; elle le transforme activement en son au fur et à mesure qu'elle descend en profondeur, puis elle organise la sortie finale.

4. Le Tour de Magie : « Piloter » l'IA

La partie la plus excitante est qu'ils ne se sont pas contentés de regarder ces boîtes ; ils les ont poussées.

L'Analogie : Imaginez que l'IA est une voiture. Habituellement, vous appuyez simplement sur la pédale d'accélérateur (donnez-lui une consigne). Mais avec cet outil, les chercheurs ont trouvé les boutons spécifiques sur le tableau de bord qui contrôlent des choses précises.
Ce qu'ils ont fait :
- Le Bouton du Rire : Ils ont poussé la boîte « Rire ». Soudain, l'IA s'est mise à rire, même si le texte ne le demandait pas. Ils pouvaient faire rire l'IA 79 % du temps simplement en tournant ce bouton.
- Le Bouton du Genre : Ils ont tourné un bouton qui changeait le genre de la voix. Ils pouvaient prendre une voix masculine et la faire passer pour féminine, ou vice versa, sans changer les mots prononcés.
- Le Bouton de la Vitesse : Ils ont tourné un bouton pour rendre la parole très lente ou très rapide, tout en gardant les mots exactement les mêmes.

Pourquoi cela compte

Avant cela, nous pensions que ces caractéristiques d'IA n'étaient que des descriptions (comme un miroir reflétant ce que l'IA fait). Ce document prouve qu'elles sont des contrôles causaux (comme un volant).

La Conclusion : En trouvant ces « boîtes » spécifiques dans le cerveau de l'IA, nous pouvons non seulement comprendre ce que l'IA pense, mais aussi la piloter physiquement pour qu'elle fasse exactement ce que nous voulons — la faire rire, changer sa voix ou accélérer — sans casser le reste du système.

En bref : Les chercheurs ont construit une carte du cerveau de l'IA, ont étiqueté chaque pièce, puis nous ont montré comment entrer dans ces pièces et actionner les interrupteurs pour contrôler la voix du robot.

Résumé Technique : Interprétation et Pilotage d'un Modèle de Langage de Synthèse Vocale avec des Auto-encodeurs Creux

Énoncé du Problème

Les grands modèles de langage (LLM) servent de plus en plus de colonne vertébrale aux systèmes de synthèse vocale (TTS), tels que CosyVoice3. Cependant, les représentations internes de ces modèles restent mal comprises, particulièrement parce qu'ils traitent des séquences mixtes où les instructions textuelles (préfixe) et les jetons de parole discrets partagent un flux résiduel unique. Contra à les modèles de texte standards, les modèles TTS doivent simultanément encoder des informations syntaxiques/sémantiques issues du préfixe textuel et des propriétés acoustiques/prosodiques de la parole générée. Actuellement, il n'existe aucune méthode de principe pour identifier quels traits internes correspondent au traitement du texte, à la génération de la parole, ou à l'interaction entre les deux.

Méthodologie

Les auteurs proposent un pipeline pour entraîner, interpréter et piloter des auto-encodeurs creux (Sparse Autoencoders - SAE) sur le flux résiduel d'un modèle de langage TTS.

1. Modèle et Entraînement de l'SAE

Modèle de base : L'étude utilise CosyVoice3, qui emploie une architecture Qwen2.5-0.5B (28 couches, taille cachée 896). Le modèle prend un prompt textuel tokenisé et génère de manière autorégressive des jetons de parole discrets à 25 Hz.
Architecture SAE : Des SAE BatchTopK (taille du dictionnaire $d=16\,384$ , $k=50$ traits actifs par jeton) sont entraînés sur environ 250 millions de jetons provenant du jeu de données Emilia.
Objectif d'entraînement : Perte de reconstruction standard combinée à des contraintes de parcimonie et une perte auxiliaire de "trait mort" (dead-feature loss).

2. Pipeline d'Auto-Interp Sensible à la Modalité

Pour répondre à la nature mixte des entrées TTS, les auteurs adaptent le flux de travail d'interprétation automatique (auto-interp) :

Extraction de preuves : Pour chaque trait, le système identifie les positions de jetons à plus forte activation. Celles-ci sont converties en preuves spécifiques à la modalité :
- Modale-Texte : Fenêtres de jetons marquées dans le préfixe d'instruction/transcription.
- Modale-Audio : Clips audio de 1 seconde centrés sur le jeton de parole actif.
- Mixte : À la fois le contexte textuel et les clips audio.
Étiquetage des traits : Les traits sont catégorisés selon la composition empirique de leurs plus fortes activations :
- Modale-Audio : $\ge 80\%$ des positions de jetons de parole.
- Modale-Texte : $\le 20\%$ des positions de jetons de parole.
- Mixte : Ratios intermédiaires.
Étiquetage automatique : Un prompt sensible à la modalité est envoyé à Gemini 3.0 Pro. Le prompt fournit des preuves spécifiques à la modalité du trait (texte, audio ou les deux) et demande une description concise de la propriété cohérente associée à l'activation.
Évaluation : Les étiquettes sont évaluées via un protocole de détection où un évaluateur tenu à l'écart (également Gemini 3.0 Pro) évalue si les éléments de preuves positifs et négatifs mélangés correspondent bien à l'étiquette proposée. Les métriques incluent l'AUROC et la précision équilibrée.

3. Mécanisme de Pilotage (Steering)

Pour tester la causalité, les auteurs interviennent dans l'espace latent de l'SAE pendant la génération :

Les états résiduels des jetons de parole sont encodés par l'SAE gelé.
Les activations des traits sélectionnés sont décalées par une quantité signée et normalisée contrôlée par un scalaire $\alpha$ .
L'état latent modifié est décodé pour revenir dans le flux résiduel du modèle.
Les prompts de texte et de parole d'entrée restent inchangés.

Contributions Clés

Entraînement de SAE sur la TTS : La première application des SAE au flux résiduel de l'architecture d'un modèle de langage TTS génératif.
Auto-Interp Sensible à la Modalité : Un nouveau pipeline qui étiquette les traits en fonction de leur activation sur les préfixes textuels, les clips audio, ou les deux, permettant l'interprétation des représentations à modalités mixtes.
Analyse par Couche : Une caractérisation de l'évolution des modalités des traits à travers les couches, révélant l'émergence de directions ancrées linguistiquement et acoustiquement.

Résultats

Évolution des Traits par Couche

Couches Précoces/Intermédiaires : Contiennent une proportion élevée de traits mixtes, suggérant une intégration des informations textuelles et de parole.
Couches 16–20 : Dominées par des traits modaux-audio, indiquant que les directions creuses deviennent liées au flux de jetons de parole générés à mesure que la prédiction acoustique se forme.
Couches Finales : L'état caché revient brusquement vers un sous-espace majoritairement modal-texte.

Qualité de l'Interprétabilité

Les traits modaux-texte sont les plus faciles à vérifier (AUROC 0,921), capturant les éléments lexicaux, la ponctuation, les années et les attributs du prompt vocal.
Les traits modaux-audio restent au-dessus du hasard (AUROC 0,653), identifiant les phonèmes, le genre du locuteur, le rire, les bégaiements, les respirations et les indices d'accent.
Les traits mixtes sont les plus difficiles à étiqueter de manière agrégée (AUROC 0,558) mais lient avec succès des mots spécifiques ou des événements de type phonémique à travers le texte et la parole.

Expériences de Pilotage (Steering)

Des interventions ciblées sur des traits de la couche 20 ont démontré un contrôle causal sur des propriétés perceptuelles de la parole :

Rire (Trait 14834) : Augmenter le coefficient de pilotage ( $\alpha = +60$ ) a fait passer la probabilité de rire de 0,015 à 0,791.
Genre du Locuteur (Trait 11402) : Le pilotage a déplacé le genre perçu. À $\alpha = -50$ , la probabilité de "masculin" est passée de 0,629 à 0,944 ; à $\alpha = +50$ , elle est tombée à 0,063. Cet effet s'est maintenu quel que soit le genre du locuteur du prompt original.
Débit de Parole (Trait 3024) : Le pilotage a contrôlé la durée des segments ponctués (passant d'une ligne de base de 3,96s à 10,57s pour $\alpha = -50$ et 2,75s pour $\alpha = +50$ ) tout en préservant le contenu parlé.

Signification et Revendications

L'article affirme que les traits SAE dans les modèles TTS servent un double usage :

Objets d'Interprétabilité : Ils fournissent une vue granulaire de la manière dont les backbones TTS séparent et combinent la sémantique textuelle et les propriétés acoustiques.
Directions de Contrôle : Les traits ne sont pas seulement descriptifs ; intervenir sur leurs activations latentes permet le contrôle causal d'attributs perceptuels spécifiques (rire, genre, vitesse) sans modifier le texte ou le contenu d'entrée.

Les auteurs notent que ce travail représente la première analyse par SAE d'un backbone de modèle de langage TTS génératif, offrant une voie scalable pour comprendre et contrôler la génération à modalités mixtes.

Limites

Les auteurs reconnaissent plusieurs contraintes :

Spécificité du Modèle : Les résultats sont limités à CosyVoice3-0.5B et pourraient ne pas se transférer à des modèles plus grands.
Circularité de l'Évaluation : L'étiqueteur et l'évaluateur utilisent tous deux le même modèle Gemini, ce qui peut gonfler les scores en raison d'hallucinations systématiques ; une évaluation humaine est nécessaire.
Balayage Partiel : Les scores d'auto-interp de type détection ne sont disponibles que pour un sous-ensemble de couches achevées.
Résolution Temporelle : Les horodatages des jetons de parole sont à 25 Hz, ce qui ne permet pas de localiser précisément les déclenchements acoustiques sous-jeton (40 ms).
Échantillonnage Négatif : Les exemples négatifs sont tirés d'autres traits, testant la spécificité de l'étiquette mais pas la robustesse face aux confusions de voisinage de représentation.