⚡ electrical engineering

Closing the Gap Between Text and Speech Understanding in LLMs

Ce papier présente SALAD, une méthode économe en données qui comble l'écart de compréhension entre le texte et la parole dans les grands modèles de langage en combinant la distillation intermodale et une sélection active de données synthétiques pour prévenir l'oubli des capacités textuelles tout en alignant les représentations audio et textuelles.

Auteurs originaux : Santiago Cuervo, Skyler Seto, Maureen de Seyssel, Richard He Bai, Zijin Gu, Tatiana Likhomanenko, Navdeep Jaitly, Zakaria Aldeneh

Publié 2026-02-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Santiago Cuervo, Skyler Seto, Maureen de Seyssel, Richard He Bai, Zijin Gu, Tatiana Likhomanenko, Navdeep Jaitly, Zakaria Aldeneh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎤 Le Défi : Pourquoi les IA "entendent" moins bien qu'elles ne "lisent" ?

Imaginez que vous avez un génie littéraire (un Grand Modèle de Langage ou LLM) qui est capable de lire des livres entiers, de résoudre des énigmes complexes et de raconter des histoires avec brio. C'est un champion de la lecture.

Maintenant, vous voulez que ce même génie puisse écouter votre voix et répondre à l'oral. C'est là que le problème survient : dès qu'on lui donne des sons au lieu de mots écrits, il devient soudainement beaucoup plus bête. Il oublie ses connaissances, il fait des erreurs de logique et il ne comprend plus aussi bien que quand il lit.

Les chercheurs appellent cela le "fossé entre la parole et le texte". C'est comme si vous donniez des lunettes de soleil très sombres à votre génie : il voit toujours, mais tout est flou et déformé.

🔍 Pourquoi cela arrive-t-il ? (L'analyse)

L'équipe d'Apple et de l'Université de Toulon a découvert que ce fossé est causé par deux problèmes principaux :

L'Amnésie (Oubli) : Pour apprendre à écouter, le modèle doit être rééduqué. Pendant ce processus, il commence à oublier tout ce qu'il savait déjà en lisant. C'est comme un étudiant qui, en apprenant à jouer de la guitare, oublie tout ce qu'il savait de l'histoire de l'art.
La Mauvaise Traduction (Désalignement) : Le modèle ne fait pas le lien entre le son et le sens. Quand il entend "chat", il ne pense pas exactement à la même chose que quand il lit "chat". C'est comme si deux traducteurs différents travaillaient sur le même livre : l'un traduit le texte, l'autre traduit le son, mais ils ne s'entendent pas sur le résultat final.

💡 La Solution : SALAD (La Recette Magique)

Pour combler ce fossé sans avoir besoin de millions d'heures d'enregistrements (ce qui coûterait une fortune), ils ont créé une méthode appelée SALAD.

Imaginez que vous voulez entraîner un chien à obéir à des ordres en français, mais vous n'avez que quelques phrases enregistrées. Au lieu de lui faire répéter des milliers de fois les mêmes phrases (ce qui est long et coûteux), SALAD utilise une approche en deux étapes :

Étape 1 : Le Miroir (Distillation Croisée)

Au lieu d'essayer d'apprendre au modèle à deviner le mot suivant par lui-même (ce qui est difficile), on lui donne un professeur.

L'analogie : Imaginez un élève (le modèle) qui écoute un enregistrement. Au lieu de deviner la suite, il regarde ce que le Professeur (le modèle original qui lit très bien) aurait dit dans la même situation.
Le modèle apprend à imiter le professeur. Cela l'empêche d'oublier ses connaissances (pas d'amnésie) et l'oblige à faire le lien exact entre le son et le sens (pas de désalignement). C'est comme apprendre à nager en regardant un champion nager à côté de vous.

Étape 2 : Le Chasseur de Lacunes (Sélection Active)

Le problème, c'est que les enregistrements de voix naturels (comme des livres audio ou des conversations) ne parlent que de sujets simples (histoire, vie quotidienne). Ils ne parlent pas assez de biologie, de droit ou de physique quantique.

L'analogie : Si vous n'entraînez votre chien qu'avec des ordres simples ("assis", "couché"), il ne saura pas obéir à des ordres complexes ("récupère le document juridique").
SALAD utilise une astuce intelligente : il regarde où le modèle fait le plus d'erreurs. Il identifie les sujets que le modèle ne connaît pas bien (les "trous" dans sa culture).
Au lieu de synthétiser des millions d'heures de voix sur ces sujets (ce qui est cher), il synthétise juste ce qu'il faut pour combler ces trous précis. C'est comme un médecin qui ne vous donne pas un stock de médicaments, mais seulement les pilules exactes dont vous avez besoin pour guérir une maladie spécifique.

🏆 Les Résultats : Gagner avec moins

Grâce à SALAD, les chercheurs ont pu entraîner des modèles (de 3 et 7 milliards de paramètres) qui :

Comprennent la parole aussi bien que le texte. Le fossé a presque disparu.
N'oublient pas leurs connaissances. Ils restent aussi intelligents qu'avant.
Utilisent 10 fois moins de données que les autres méthodes actuelles.

En résumé :
Au lieu de nourrir l'IA avec des montagnes de données brutes et coûteuses (comme si on essayait de remplir un lac avec des seaux d'eau), SALAD utilise un guide intelligent (le professeur) et une stratégie de précision (le chasseur de lacunes) pour apprendre à l'IA à écouter avec la même finesse qu'elle lit.

C'est une victoire pour l'efficacité : on obtient un résultat de haute qualité avec beaucoup moins d'effort et de ressources.

1. Problématique : Le fossé de compréhension texte-parole

Les Grands Modèles de Langage (LLM) démontrent des capacités impressionnantes en compréhension textuelle, mais lorsqu'ils sont adaptés pour traiter des entrées vocales (modèles LLM adaptés à la parole), ils souffrent d'une baisse de performance significative par rapport à leurs homologues textuels ou même aux pipelines en cascade (ASR + LLM).

Les auteurs nomment ce phénomène le "text–speech understanding gap" (fossé de compréhension texte-parole). L'analyse de cet article identifie deux facteurs principaux responsables de cette dégradation :

L'oubli (Forgetting) : La perte des capacités textuelles pré-entraînées lors de l'adaptation au domaine de la parole (changement de domaine).
Le désalignement intermodal (Cross-modal misalignment) : L'inconsistance des prédictions du modèle lorsqu'il reçoit une entrée textuelle par rapport à une entrée vocale sémantiquement équivalente.

Les approches existantes pour combler ce fossé reposent soit sur la synthèse massive de données (coûteuse et dépendante de données synthétiques), soit sur l'utilisation de jeux de données propriétaires massifs (non reproductibles). Il existe donc un besoin urgent de méthodes plus économes en données (sample-efficient).

2. Méthodologie : SALAD

Pour répondre à ce défi, les auteurs proposent SALAD (Sample-efficient Alignment with Learning through Active selection and cross-modal Distillation). Cette méthode repose sur une analyse approfondie des facteurs d'échelle et de l'alignement, et se déroule en deux étapes :

A. Analyse préliminaire

Les auteurs ont quantifié l'oubli et le désalignement en mesurant la divergence de Kullback-Leibler (KL) entre les sorties d'un LLM adapté à la parole et son modèle texte de base. Ils ont établi que :

Le désalignement intermodal est fortement corrélé à la baisse de performance sur les tâches vocales.
L'oubli est corrélé à la baisse de performance sur les tâches textuelles.
L'entraînement sur des corpus de parole à domaine étroit (ex: livres audio) avec un objectif de vraisemblance maximale (NLL) aggrave le désalignement et l'oubli.
L'utilisation d'un objectif de distillation de connaissances intermodale (où le modèle texte agit comme enseignant) améliore l'alignement et réduit l'oubli, même avec des données limitées.

B. Architecture et Entraînement (SALAD)

La méthode SALAD combine deux insights clés : la distillation pour la robustesse et la sélection active pour l'efficacité des données.

Étape I : Distillation sur la parole naturelle
- Le modèle est entraîné sur des corpus de parole naturelle (LibriHeavy, Emilia) en minimisant la divergence KL entre les prédictions du modèle adapté ( $P_\theta$ ) et celles du modèle texte de base ( $Q_\phi$ ) pour les mêmes entrées.
- Cela permet d'aligner les représentations vocales sur les connaissances textuelles tout en préservant les capacités originales du modèle.
Étape II : Sélection Active pour l'expansion de domaine
- Reconnaissant que les corpus de parole naturels couvrent moins de domaines que les corpus textuels (ex: sciences, citations académiques), SALAD introduit une petite quantité de données synthétiques ciblées.
- Un algorithme de sélection active (inspiré de CRISP) identifie les "trous" dans la couverture des domaines. Il partitionne un large corpus textuel en clusters, mesure le désalignement du modèle sur chaque cluster, et pondère l'échantillonnage pour synthétiser de la parole uniquement sur les clusters où le modèle performe le moins (c'est-à-dire là où le désalignement est le plus élevé).
- Cela permet de combler les lacunes de domaine sans avoir besoin de synthétiser l'intégralité du corpus textuel.

Architecture du modèle :

Utilise un encodeur de parole léger et causal (Mimi tokenizer) pour une faible latence.
Un adaptateur (stack de couches de transformateurs) mappe les représentations vocales dans l'espace d'entrée du LLM.
Le LLM de base utilisé est Qwen2.5 (3B et 7B paramètres).

3. Contributions Clés

Quantification du fossé : Démonstration que l'oubli et le désalignement intermodal sont des prédicteurs statistiques forts de la performance globale sur des benchmarks larges.
Efficacité de la distillation : Preuve que l'objectif de distillation intermodale est supérieur à la vraisemblance maximale (NLL) pour réduire le désalignement et l'oubli, même sur des données à domaine étroit.
Sélection Active Adaptative : Introduction d'un algorithme qui utilise le signal de désalignement du modèle lui-même pour guider la synthèse de données, permettant d'atteindre une couverture de domaine optimale avec une fraction des données synthétiques habituellement requises.
Performance avec peu de données : Une méthode qui atteint des performances compétitives avec des modèles fermés massifs tout en utilisant plus d'un ordre de grandeur de moins de données vocales d'entraînement.

4. Résultats Expérimentaux

Les modèles SALAD (3B et 7B) ont été évalués sur six benchmarks larges de connaissances et de raisonnement (StoryCloze, MMSU, OpenBookQA, HellaSwag, ARC-Challenge, PIQA) en version vocale.

Performance Globale : SALAD-7B obtient des résultats compétitifs avec le modèle le plus fort de la littérature (Qwen2.5-Omni-7B), tout en étant entraîné sur beaucoup moins de données.
Réduction du fossé : SALAD réduit significativement l'écart entre la performance textuelle et vocale. Par exemple, sur les tâches de raisonnement scientifique (MMSU, ARC-C), la sélection active apporte des gains notables par rapport à un échantillonnage uniforme.
Préservation des capacités textuelles : Contrairement aux autres modèles adaptés à la parole qui souffrent d'un "oubli" important (baisse de performance sur le texte), SALAD maintient des performances textuelles quasi identiques à celles du modèle de base (Qwen2.5), grâce à l'objectif de distillation.
Efficacité des données : Les modèles SALAD surpassent la plupart des modèles end-to-end existants tout en utilisant moins de 10% des données vocales nécessaires aux approches concurrentes (qui reposent souvent sur des centaines de millions d'heures de données ou des données propriétaires).

5. Signification et Impact

Ce travail est significatif car il démontre que la performance des LLMs adaptés à la parole ne dépend pas nécessairement de l'accumulation massive de données synthétiques ou propriétaires. En comprenant les mécanismes fondamentaux de l'oubli et du désalignement, et en appliquant des stratégies d'apprentissage actif et de distillation, il est possible de créer des systèmes de dialogue vocal naturels, performants et économes en ressources.

Cela ouvre la voie à des méthodes reproductibles et accessibles pour le développement de modèles vocaux de nouvelle génération, réduisant la barrière à l'entrée pour les chercheurs et les organisations qui ne disposent pas de budgets de données massifs.