⚡ electrical engineering

MEUSLI: a Multilingual Projector for LLM-based ASR and Beyond

L'article présente MEUSLI, la première famille de projecteurs multilingues en science ouverte qui connecte un encodeur de parole Whisper avec des LLM open-source pour permettre une reconnaissance automatique de la parole et d'autres tâches de compréhension de la parole de bout en bout et à grande échelle à travers 28 langues européennes.

Auteurs originaux : Lorenzo Concina, Seraphina Fong, Marco Matassoni, Alessio Brutti

Publié 2026-07-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Lorenzo Concina, Seraphina Fong, Marco Matassoni, Alessio Brutti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un cerveau de robot super intelligent capable de lire et d'écrire n'importe quel texte au monde, mais qu'il est complètement sourd. Il ne peut entendre aucun mot prononcé. D'un autre côté, vous avez une super-oreille capable d'entendre les sons parfaitement, mais qui n'en comprend pas le sens. Pendant longtemps, pour les faire communiquer, les ingénieurs ont dû construire un intermédiaire maladroit : le son allait vers un traducteur, puis vers un convertisseur de texte, et enfin vers le cerveau. C'était lent, et si le traducteur faisait une erreur, le cerveau était confus.

Récemment, des scientifiques ont trouvé comment construire un pont direct entre la « super-oreille » et le « super-cerveau ». Ce pont s'appelle un projecteur. Voyez cela comme un adaptateur universel. Il prend les signaux électriques bruts du son et les traduit instantanément dans la langue que le cerveau comprend, permettant aux deux de discuter directement. C'est le monde des Modèles de Langage de la Parole (SLM). La grande question que se posent les chercheurs est la suivante : pouvons-nous construire l'un de ces adaptateurs qui fonctionne pour tout le monde, et pas seulement pour les anglophones ? Si nous le pouvons, nous pourrions enfin donner une voix à des milliers de langues qui ont été laissées de côté dans la conversation numérique, en particulier celles qui ont très peu de locuteurs ou pas assez de données enregistrées.

Entrez en scène MEUSLI, un nouveau projet qui agit comme une clé maîtresse pour 28 langues européennes. Les chercheurs ont construit une famille de ces « adaptateurs » qui connectent une oreille sonore puissante (appelée Whisper) à des cerveaux de robots multilingues en open-source. Leur principale conclusion est que ce système fonctionne incroyablement bien, non seulement pour les langues communes comme l'espagnol ou l'allemand, mais aussi pour des langues rares comme le breton ou le maltais. Ils ont découvert que si vous partez de leur adaptateur multilingue pré-fabriqué, vous pouvez lui enseigner une nouvelle langue avec une infime quantité de données — parfois seulement 46 minutes d'audio.

Cependant, il y a un piège. Si vous essayez d'enseigner cette adaptateur une nouvelle langue sans aucune précaution, il a tendance à « oublier » tout ce qu'il savait sur les 28 langues originales, comme un étudiant qui étudie pour un nouvel examen et oublie instantanément ses anciens devoirs. Le document suggère que pour corriger cela, vous devez utiliser une technique appelée « rejeu de données » (data replay), où vous pratiquez occasionnellement les anciennes langues tout en apprenant la nouvelle, afin de maintenir la mémoire vivante.

Au-delà de la simple transcription de ce que les gens disent, l'équipe a montré que cet adaptateur peut être ajusté pour accomplir d'autres tâches, comme traduire des paroles en anglais ou deviner le sujet d'une conversation (comme le sport ou la politique). Ils ont constaté qu'avec seulement quelques heures d'entraînement spécifique pour chaque nouvelle tâche, le système pouvait apprendre à faire ces choses aussi.

Le document écarte explicitement l'idée selon laquelle vous auriez besoin de quantités massives de données ou d'informations propriétaires (secrètes) pour construire ces systèmes. Ils s'opposent à la notion selon laquelle il serait impossible de prendre en charge les langues à faibles ressources, montrant au contraire qu'un bon point de départ (leur projecteur multilingue) permet de « démarrer » (bootstrapping) de nouvelles langues à partir de très peu de données. Bien qu'ils ne prétendent pas avoir résolu tous les problèmes du monde, ils fournissent une preuve solide que cette approche est évolutive, ouverte et efficace. Ils ont mesuré ces résultats à l'aide de tests standards sur des données réelles, montant que leur méthode surpasse systématiquement un départ de zéro, surtout pour les langues les plus difficiles et les plus rares.

En bref, MEUSLI est une boîte à outils qui prouve que nous pouvons construire une technologie vocale inclusive et open-source qui ne fonctionne pas seulement pour quelques-uns, mais pour le plus grand nombre, transformant un cerveau de robot sourd en un auditeur polyglotte grâce à l'aide d'un adaptateur ingénieux et léger.

Résumé Technique : MEUSLI – Un projecteur multilingue pour l'ASR basé sur les LLM et au-delà

1. Énoncé du Problème

Bien que les modèles de langage de grande taille (LLM) aient révolutionné le traitement du langage naturel (NLP) textuel, étendre ces capacités à la parole pour une interaction multimodale naturelle reste un défi. Les systèmes traditionnels de parole activés par les LLM reposent sur des pipelines en cascade (ASR $\to$ LLM $\to$ TTS), qui souffrent de la propagation d'erreurs, de la perte d'indices paralinguistiques et d'une latence accrue. Bien que des modèles de langage de parole (SLM) unifiés récents tentent de connecter directement des encodeurs de parole aux LLM via des projecteurs entraînables, les solutions existantes sont principalement centrées sur l'anglais, limitées aux langues à hautes ressources, ou reposent sur des données et des poids propriétaires. Il existe un fossé significatif dans les SLM multilingues en science ouverte, capables de supporter efficacement les langues à faibles ressources et d'offrir des architectures reproductibles et scalables pour diverses langues européennes.

2. Méthodologie

Le document présente MEUSLI (Multilingual EU Speech LInear projector), un cadre conçu pour relier des encodeurs de parole pré-entraînés à des LLM multilingues open-source.

Architecture : MEUSLI adopte l'architecture SLAM-ASR. Il utilise un encodeur Whisper-large-v3-turbo gelé pour convertir l'audio en caractéristiques acoustiques de haute dimension. Ces caractéristiques sont projetées dans l'espace d'embedding du LLM via un projecteur linéaire léger. Les LLM utilisés sont EuroLLM 1.7B-Instruct, EuroLLM 9B et Apertus-8B. L'encodeur et le LLM restent tous deux gelés pendant l'entraînement ; seul le projecteur (et optionnellement des adaptateurs LoRA sur le LLM) est entraîné.
Conception du projecteur : Le projecteur consiste en une couche cachée unique avec une activation ReLU suivie d'une couche de régression, contenant environ 17,31 millions de paramètres entraînables. L'adaptation de bas rang (LoRA) est appliquée au LLM avec un rang $r=8$ et un facteur d'échelle $\alpha=32$ pour introduire 1,38 million de paramètres ajustables supplémentaires.
Données d'entraînement : Le modèle est entraîné sur 7 622 heures d'audio couvrant 28 langues européennes (incluant l'anglais, le français, l'allemand, l'italien et des langues à faibles ressources comme le breton, le maltais et le basque). Les données proviennent de Common Voice 17.0, FLEURS et VoxPopuli. Pour gérer le déséquilibre des données, les échantillons audio sont plafonnés à 100 000 par langue et par jeu de données.
Configuration d'entraînement : L'audio est converti en spectrogrammes de Mel à 128 bandes. Les embeddings de parole sont sous-échantillonnés par un facteur de $k=5$ . L'entraînement utilise l'optimiseur Adam avec un taux d'apprentissage initial de $1 \times 10^{-4}$ , un warmup linéaire de 1 000 étapes, et une perte d'entropie croisée sur les sorties du LLM.
Apprentissage continu : Pour traiter l'oubli catastrophique lors de l'ajout de nouvelles langues, les auteurs emploient des stratégies de rejeu de données (data replay), en intercalant un tampon d'échantillons des langues originales lors de l'ajustement fin sur les nouvelles.

3. Contributions Clés

Première famille de projecteurs multilingues en open-source : MEUSLI est la première famille de projecteurs entièrement open-source reliant Whisper à des LLM multilingues open-source, supportant 28 langues européennes. Les projecteurs sont publiés sur HuggingFace.
Adaptation aux faibles ressources : Le document démontre que MEUSLI sert de point d'initialisation robuste pour l'ajustement fin sur des langues à faibles ressources. Il montre que le pré-entraînement multilingue permet un amorçage efficace de nouvelles langues avec un minimum de données (ex: 2,5 heures pour le breton, 46 minutes pour l'albanais).
Apprentissage continu pour les nouvelles langues : Les auteurs montrent que de nouvelles langues peuvent être ajoutées en utilisant des méthodologies d'apprentissage continu de pointe (rejeu de données) sans provoquer l'effondrement des performances sur les langues précédemment apprises.
Au-delà de l'ASR : Le cadre est étendu à la Traduction Automatique (ST) et à l'Identification de Sujet (TID). Les auteurs démontrent que le projecteur multilingue peut être adapté à ces tâches avec seulement quelques heures de supervision spécifique par paire langue-tâche.

4. Résultats

Performance ASR multilingue : MEUSLI atteint des résultats de taux d'erreur de mots (WER) solides sur 28 langues. Les langues à hautes ressources présentent des WER faibles, tandis que les langues à ressources moyennes montrent des améliorations constantes. Bien que les langues à très faibles ressources (ex: breton, irlandais) restent difficiles, MEUSLI surpasse les systèmes monolingues entraînés à partir de zéro dans ces scénarios.
Efficacité de l'ajustement fin (Fine-tuning) :
- Breton (2,5h de données) : L'ajustement fin de MEUSLI a réduit le WER de 95,7 % (baseline multilingue) à 24,5 % (avec un encodeur spécialisé), surpassant un système monolingue entraîné à partir de zéro (27,7 %).
- Albanais (46 min de données) : L'ajustement fin de MEUSLI a atteint un WER de 75,61 %, alors qu'un projecteur entraîné à partir de zéro n'a pas réussi à converger (389,12 % de WER).
Atténuation de l'oubli catastrophique : Un ajustement fin naïf sur l'ukrainien a provoqué une dégradation significative du WER sur les langues de base (ex: l'espagnol passant de 4,09 % à 90,34 %). L'utilisation d'un tampon de rejeu de données (1 000 échantillons par langue) a restauré les performances des langues de base à des niveaux proches de l'original tout en maintenant la performance de l'ukrainien (17,56 % de WER).
Transfert multitâche : Lorsqu'il est étendu à la ST et à la TID avec moins de 5 heures de données par paire langue-tâche, l'ajustement fin amorcé par MEUSLI a significativement surpassé l'entraînement à partir de zéro. Par exemple, pour le finnois, le WER de l'ASR est passé de 53,0 % (à partir de zéro) à 18,6 % (avec MEUSLI), et la précision de l'ID de sujet est passée de 57,5 % à 81,7 %.

5. Signification et Revendications

Le document affirme que MEUSLI fournit une base solide pour les tâches de compréhension de la parole multilingue, supportant des modèles de parole (SpeechLLMs) open-source scalables et inclusifs.

Scalabilité : L'approche prouve que le pré-entraînement multilingue permet un transfert de connaissances efficace, permettant d'amorcer des systèmes ASR fonctionnels pour des langues non vues avec des données extrêmement limitées.
Ouverture : En utilisant des modèles entièrement open-source (Whisper, EuroLLM, Apertus) et des jeux de données ouverts, ce travail répond au manque de transparence et de reproductibilité dans la littérature actuelle des SLM.
Polyvalence : Le système n'est pas limité à la transcription ; il sert de point de départ solide pour d'autres tâches de traitement de la parole (traduction, classification) dans des environnements pauvres en données.

Les auteurs concluent que, bien que l'ajustement fin spécifique à une langue reste avantageux pour l'ASR, l'ajustement fin multilingue fournit des représentations sémantiques partagées robustes pour les tâches de compréhension de la parole en aval, posant ainsi les jalons de technologies de parole universelles pilotées par les LLM.