💬 NLP

Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling

Ce papier propose une méthode appelée « Multimodal Depth Upscaling » qui insère et entraîne uniquement de nouvelles couches dans un LLM textuel gelé pour l'adapter à la reconnaissance vocale, permettant ainsi d'atteindre des performances ASR comparables au fine-tuning complet tout en préservant significativement les capacités textuelles d'origine.

Auteurs originaux : Kazuki Yano, Jun Suzuki, Shinji Watanabe

Publié 2026-04-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kazuki Yano, Jun Suzuki, Shinji Watanabe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef cuisinier de classe mondiale (le modèle de langage textuel) qui connaît parfaitement la cuisine française, italienne et japonaise. Il peut écrire des recettes, raconter des histoires et traduire des menus avec brio.

Le problème ? Ce chef est muet. Il ne sait pas écouter la voix humaine.

L'objectif de cette recherche est d'apprendre à ce chef à comprendre la parole (comme un dictaphone intelligent) sans qu'il oublie comment cuisiner ou écrire.

Voici comment les chercheurs ont résolu ce problème, expliqué simplement :

1. Le problème : "L'oubli catastrophique"

Jusqu'à présent, pour apprendre à un chef à écouter, on lui faisait réviser des milliers d'heures d'enregistrements audio.

La méthode classique (Affinage complet) : On lui fait réviser tout son cerveau pour l'audio. Résultat ? Il devient excellent pour transcrire la parole, mais il oublie comment écrire des recettes ou traduire des textes. C'est comme si, en apprenant à parler, il avait perdu la mémoire de ses livres de cuisine.
La méthode "LoRA" (Adaptation légère) : On essaie de lui apprendre l'audio avec de petits "post-it" collés sur son cerveau. Ça aide un peu, mais le chef reste souvent confus et oublie quand même une grande partie de ses compétences textuelles.

2. La solution magique : "L'Extension de Profondeur" (Depth Up-scaling)

Les chercheurs ont eu une idée brillante : au lieu de modifier le cerveau existant du chef, on lui ajoute un nouveau module spécialisé.

Imaginez que vous ajoutez une nouvelle paire d'oreilles (des couches de neurones supplémentaires) directement connectées au cerveau du chef, mais que vous gèlez (verrouillez) son cerveau original.

Le cerveau original : Il reste intact, figé dans le temps. Il garde toutes ses connaissances en texte, ses recettes, ses traductions. Il ne change jamais.
Les nouvelles oreilles : Elles sont seules à apprendre à écouter la parole. Elles apprennent à transformer les sons en mots.

L'astuce géniale :
Si vous avez besoin que le chef écrive un texte, vous retirez simplement les nouvelles oreilles. Le chef redevient instantanément le chef parfait d'avant, sans aucune perte de mémoire.
Si vous avez besoin qu'il écoute, vous remettez les oreilles. Il devient un expert de l'audio.

C'est comme si vous aviez un smartphone avec un module photo amovible. Vous pouvez l'ajouter pour faire de superbes photos, et le retirer pour que le téléphone redevienne léger et rapide pour le texte, sans jamais avoir abîmé le téléphone de base.

3. L'ingrédient secret : Les "Oreilles E-Branchformer"

Les chercheurs ont testé différents types de nouvelles oreilles. Ils ont découvert que les oreilles standard fonctionnaient bien, mais qu'un type spécial appelé E-Branchformer (déjà utilisé dans la reconnaissance vocale) était encore meilleur.

C'est comme si, au lieu d'ajouter de simples écouteurs, on ajoutait un système auditif de haute technologie capable de capter à la fois les sons lointains (comme une mélodie) et les détails locaux (comme un mot prononcé rapidement).
Résultat : Avec ce système sur le grand modèle, le chef devient aussi bon (voire meilleur) que s'il avait révisé tout son cerveau, tout en oubliant 75% de moins de ses compétences en écriture.

En résumé

Cette méthode permet de transformer un expert du texte en expert de la parole sans sacrifier son expertise originale.

Avant : Apprendre la parole = Oublier le texte.
Maintenant : Apprendre la parole = Ajouter un module spécial. Si on l'enlève, le texte est intact.

C'est une victoire majeure pour l'avenir de l'IA : nous pouvons enfin avoir des assistants qui parlent et comprennent la voix, tout en restant d'excellents écrivains et traducteurs, le tout sans avoir besoin de "réviser" constamment des livres pour ne pas oublier leur métier.

1. Problématique

L'adaptation des grands modèles de langage (LLM) textuels pré-entraînés vers le domaine de la parole (pour créer des "Speech LMs") est une approche prometteuse pour réaliser des tâches comme la reconnaissance automatique de la parole (ASR). La méthode standard consiste à effectuer un pré-entraînement continu (CPT) sur des données de parole.

Cependant, cette approche présente un défaut majeur : elle entraîne souvent une dégradation sévère des capacités textuelles originales du modèle (phénomène d'oubli catastrophique). Les solutions existantes tentent de pallier ce problème par :

Le rejeu de données textuelles (text data replay) : coûteux en données et en calcul, et souvent impossible car les données de pré-entraînement originales ne sont pas toujours publiques.
Le fine-tuning efficace en paramètres (PEFT) comme LoRA : bien que plus économe, les auteurs montrent que cela ne fournit pas une capacité suffisante pour apprendre une nouvelle modalité (la parole) sans sacrifier les performances, surtout sur des modèles de taille modeste.

2. Méthodologie : Multimodal Depth Up-Scaling

Les auteurs proposent une nouvelle stratégie appelée Multimodal Depth Up-Scaling (mise à l'échelle de la profondeur multimodale). L'idée centrale est d'ajouter de nouvelles capacités au modèle sans modifier les poids existants.

Architecture et Insertion de Couches : Au lieu de fine-tuner les paramètres existants, l'approche consiste à insérer $m$ nouvelles couches de transformeurs dans un LLM textuel dont les $n$ couches originales sont gelées (frozen). Seules les nouvelles couches ajoutées sont entraînées sur les données de parole.
Initialisation Fonctionnelle (Function Preserving Initialization) : Pour éviter de perturber les représentations pré-entraînées dès le début, les nouvelles couches sont initialisées comme des fonctions identité. Les matrices de projection de sortie sont initialisées à zéro (ou via une stratégie spécifique pour E-Branchformer), garantissant que la sortie initiale est identique à l'entrée ( $Y=X$ ).
Architecture des Couches Ajoutées :
- Les auteurs testent des couches de transformeur standard.
- Ils proposent également d'utiliser l'E-Branchformer, une architecture conçue spécifiquement pour la reconnaissance de la parole (combinant attention globale et extraction locale par convolution), comme couches ajoutées.
Stratégies de Placement : L'étude examine l'impact de l'emplacement des nouvelles couches : entrelacées (INTERLEAVED), en bas (BOTTOM), au milieu (MIDDLE), en haut (TOP), ou en sandwich (SANDWICH).
Gestion de l'Inférence (Layer Dropping) : Un avantage clé est que les couches ajoutées peuvent être supprimées à l'inférence. Si le modèle doit traiter du texte, on retire les couches ajoutées pour récupérer exactement le modèle pré-entraîné d'origine, garantissant une dégradation nulle des tâches textuelles. Si la parole est requise, le modèle complet est utilisé.
Expansion du Vocabulaire : Le vocabulaire est étendu pour inclure des tokens de parole (discrétisés via des tokens sémantiques et acoustiques), et la couche d'embedding est redimensionnée (partiellement entraînée).

3. Contributions Clés

Proposition du Depth Up-Scaling Multimodal : Une extension de la mise à l'échelle de la profondeur à l'adaptation inter-modale, permettant d'apprendre la parole sans toucher aux poids textuels.
Preuve de Supériorité sur le "Forgetting" : Démonstration que cette méthode préserve les capacités textuelles bien mieux que le fine-tuning complet et LoRA, tout en maintenant des performances ASR compétitives.
Intégration de l'E-Branchformer : L'utilisation d'architectures spécialisées pour la parole dans les couches ajoutées améliore les performances ASR, surpassant parfois le fine-tuning complet sur les grands modèles.
Flexibilité d'Inférence : Capacité à basculer dynamiquement entre un modèle "Texte pur" (couches ajoutées retirées) et un modèle "Multimodal" (couches ajoutées activées).

4. Résultats Expérimentaux

Les expériences ont été menées sur les modèles SmolLM2-360M et SmolLM2-1.7B avec 48 000 heures de données ASR anglaises (OWSM v3.2).

Performance ASR (WER) :
- Le Depth Up-Scaling avec placement INTERLEAVED atteint un taux d'erreur de mots (WER) comparable au full fine-tuning.
- Sur le modèle 1.7B, l'utilisation de E-Branchformer permet d'égaler ou de dépasser le full fine-tuning tout en ayant 60 % de paramètres entraînables en moins.
- LoRA performe nettement moins bien, surtout sur le modèle 360M, indiquant un manque de capacité d'apprentissage.
Préservation des Capacités Textuelles :
- Le full fine-tuning et LoRA entraînent une dégradation massive des tâches textuelles (baisse de ~22 % à ~35 % sur les benchmarks).
- Le Depth Up-Scaling réduit cette dégradation de manière drastique (ex: -1,9 % à -10,5 % selon la configuration).
- Point crucial : En retirant les couches ajoutées à l'inférence, le modèle retrouve exactement ses performances textuelles d'origine ( $\Delta = 0.0$ ).
Suivi d'Instructions (Zero-Shot) :
- Le modèle adapté par Depth Up-Scaling conserve sa capacité à suivre des instructions textuelles complexes (traduction, résumé, simplification) même lorsqu'il reçoit une entrée de parole.
- À l'inverse, le full fine-tuning échoue complètement sur ces tâches, produisant souvent des boucles de tokens répétitifs.

5. Signification et Impact

Cet article apporte une solution élégante au compromis classique entre l'acquisition de nouvelles modalités (parole) et la préservation des connaissances existantes (texte).

Efficacité des Ressources : Elle permet d'adapter des LLMs à la parole sans nécessiter de données textuelles de replay ni de modifier les poids fondamentaux du modèle.
Déploiement Flexible : La possibilité de "désactiver" les couches de parole à l'inférence offre une flexibilité opérationnelle unique, permettant d'utiliser le même modèle pour des tâches purement textuelles ou multimodales selon le besoin.
Direction Future : Les résultats suggèrent que l'ajout de capacité via des architectures spécialisées (E-Branchformer) est plus efficace que l'adaptation de poids existants via des méthodes paramétriquement efficaces comme LoRA pour les tâches multimodales complexes.

En résumé, cette méthode offre une voie robuste pour transformer des LLMs textuels en modèles de parole performants sans sacrifier leur intelligence linguistique d'origine.