⚡ electrical engineering

MEUSLI: a Multilingual Projector for LLM-based ASR and Beyond

El artículo presenta MEUSLI, la primera familia de proyectores multilingües de ciencia abierta que conecta un codificador de voz Whisper con LLMs de código abierto para permitir el reconocimiento automático de voz y otras tareas de comprensión de voz escalables de extremo a extremo en 28 lenguas europeas.

Autores originales: Lorenzo Concina, Seraphina Fong, Marco Matassoni, Alessio Brutti

Publicado 2026-07-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Lorenzo Concina, Seraphina Fong, Marco Matassoni, Alessio Brutti

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un cerebro de robot superinteligente que puede leer y escribir cualquier texto del mundo, pero es completamente sordo. No puede oír ni una sola palabra hablada. Por otro lado, tienes un superoído que puede escuchar sonidos perfectamente, pero no entiende lo que significan. Durante mucho tiempo, para hacer que se comunicaran entre sí, los ingenieros tuvieron que construir un intermediario tosco: el sonido pasaba a un traductor, luego a un convertidor de texto y finalmente al cerebro. Esto era lento, y si el traductor cometía un error, el cerebro se confundía.

Recientemente, los científicos descubrieron cómo construir un puente directo entre el "superoído" y el "supercerebro". Este puente se llama proyector. Piensa en ello como un adaptador universal. Toma las señales eléctricas puras del sonido e instantáneamente las traduce al lenguaje que el cerebro entiende, permitiendo que ambos charlen directamente. Este es el mundo de los Modelos de Lenguaje de Voz (SLM, por sus siglas en inglés). La gran pregunta que se hacen los investigadores es: ¿Podemos construir uno de estos adaptadores que funcione para todos, no solo para los angloparlantes? Si podemos lograrlo, finalmente podríamos dar voz a miles de lenguas que han quedado fuera de la conversación digital, especialmente aquellas con muy pocos hablantes o con insuficientes datos grabados.

Aquí entra MEUSLI, un nuevo proyecto que actúa como una llave maestra para 28 lenguas europeas. Los investigadores construyeron una familia de estos "adaptadores" que conectan un oído sonoro muy potente (llamado Whisper) con cerebros robóticos multilingües de código abierto. Su principal hallazgo es que este sistema funciona increíblemente bien, no solo para lenguas comunes como el español o el alemán, sino también para otras más raras como el bretón o el maltés. Descubrieron que, si empiezas con su adaptador multilingüe prefabricado, puedes enseñarle un nuevo idioma con una cantidad mínima de datos, a veces tan solo 46 minutos de audio.

Sin embargo, hay un inconveniente. Si intentas enseñarle este adaptador un nuevo idioma sin ningún cuidado, tiende a "olvidar" todo lo que sabía sobre las 28 lenguas originales, como un estudiante que estudia para un examen nuevo e instantáneamente olvida su tarea anterior. El artículo sugiere que, para solucionar esto, necesitas usar una técnica llamada "reproducción de datos" (data replay), donde practicas ocasionalmente los idiomas antiguos mientras aprendes el nuevo, manteniendo viva la memoria.

Más allá de simplemente transcribir lo que la gente dice (transcripción), el equipo demostró que este adaptador puede ajustarse para realizar otros trabajos, como traducir palabras habladas al inglés o adivinar el tema de una conversación (como deportes o política). Descubrieron que, con solo unas pocas horas de entrenamiento específico para cada nueva tarea, el sistema podía aprender a hacer estas cosas también.

El artículo descarta explícitamente la idea de que necesites cantidades masivas de datos o información propietaria (secreta) para construir estos sistemas. Argumentan en contra de la noción de que los idiomas de bajos recursos son imposibles de apoyar, mostrando en cambio que un buen punto de partida (su proyector multilingüe) hace posible "arrancar" nuevos idiomas a partir de muy pocos datos. Aunque no pretenden haber resuelto todos los problemas del mundo, aportan pruebas sólidas de que este enfoque es escalable, abierto y eficaz. Midieron estos resultados utilizando pruebas estándar con datos del mundo real, demostrando que su método supera consistentemente al empezar desde cero, especialmente para las lenguas más difíciles y raras.

En resumen, MEUSLI es un kit de herramientas que demuestra que podemos construir tecnología de voz inclusiva y de código abierto que no solo funcione para unos pocos, sino para la mayoría, convirtiendo un cerebro de robot sordo en un oyente políglota con la ayuda de un adaptador inteligente y ligero.

Resumen Técnico: MEUSLI – Un Proyector Multilingüe para ASR basado en LLM y más allá

1. Planteamiento del Problema

Si bien los Modelos de Lenguaje Extensos (LLMs) han revolucionado el procesamiento de lenguaje natural (NLP) basado en texto, extender estas capacidades al habla para una interacción multimodal natural sigue siendo un desafío. Los sistemas tradicionales de habla habilitados para LLM dependen de procesos en cascada (ASR $\to$ LLM $\to$ TTS), los cuales sufren de propagación de errores, pérdida de claves paralingüísticas y un aumento en la latencia. Aunque las soluciones recientes de Modelos de Lenguaje de Voz (SLMs) unificados intentan conectar codificadores de voz directamente con LLMs mediante proyectores entrenables, las soluciones existentes son predominantemente centradas en el inglés, limitadas a idiomas de altos recursos o dependen de datos y pesos propietarios. Existe una brecha significativa en los SLMs de ciencia abierta y multilingües que puedan apoyar eficazmente a los idiomas de bajos recursos y ofrecer arquitecturas reproducibles y escalables para diversas lenguas europeas.

2. Metodología

El artículo presenta MEUSLI (Multilingual EU Speech LInear projector), un marco diseñado para conectar codificadores de voz preentrenados con LLMs multilingües de código abierto.

Arquitectura: MEUSLI adopta la arquitectura SLAM-ASR. Utiliza un codificador Whisper-large-v3-turbo congelado para convertir el audio en características acústicas de alta dimensión. Estas características se mapean en el espacio de incrustación (embedding) del LLM a través de un proyector lineal ligero. Los LLMs utilizados son EuroLLM 1.7B-Instruct, EuroLLM 9B y Apertus-8B. Tanto el codificador como el LLM permanecen congelados durante el entrenamiento; solo se entrena el proyector (y opcionalmente adaptadores LoRA en el LLM).
Diseño del Proyector: El proyector consiste en una única capa oculta con activación ReLU seguida de una capa de regresión, que contiene aproximadamente 17.31 millones de parámetros entrenables. Se aplica la Adaptación de Bajo Rango (LoRA) al LLM con un rango $r=8$ y un factor de escala $\alpha=32$ para introducir 1.38 millones de parámetros ajustables adicionales.
Datos de Entrenamiento: El modelo se entrena con 7,622 horas de audio que abarcan 28 idiomas europeos (incluyendo inglés, francés, alemán, italiano e idiomas de bajos recursos como bretón, maltés y vasco). Los datos provienen de Common Voice 17.0, FLEURS y VoxPopuli. Para gestionar el desequilibrio de datos, las muestras de audio se limitan a 100,000 por idioma por conjunto de datos.
Configuración de Entrenamiento: El audio se convierte en espectrogramas de mel de 128 bandas. Las incrustaciones de voz se submuestrean por un factor de $k=5$ . El entrenamiento utiliza el optimizador Adam con una tasa de aprendizaje inicial de $1 \times 10^{-4}$ , un calentamiento (warmup) lineal de 1,000 pasos y pérdida de entropía cruzada sobre las salidas del LLM.
Aprendizaje Continuo: Para abordar el olvido catastrófico al añadir nuevos idiomas, los autores emplean estrategias de reproducción de datos (data replay), intercalando un búfer de muestras de los idiomas originales durante el ajuste fino de los nuevos.

3. Contribuciones Clave

Primera Familia de Proyectores Multilingües Abiertos: MEUSLI es la primera familia de proyectores de código abierto que vincula Whisper con LLMs multilingües de código abierto, soportando 28 idiomas europeos. Los proyectores se publican en HuggingFace.
Adaptación de Bajos Recursos: El artículo demuestra que MEUSLI sirve como un punto de inicialización robusto para el ajuste fino en idiomas de bajos recursos. Muestra que el preentrenamiento multilingüe permite un arranque efectivo de nuevos idiomas con datos mínimos (por ejemplo, 2.5 horas para el bretón, 46 minutos para el albanés).
Aprendizaje Continuo para Nuevos Idiomas: Los autores demuestran que se pueden añadir nuevos idiomas utilizando metodologías de aprendizaje continuo de vanguardia (reproducción de datos) sin colapsar el rendimiento en los idiomas previamente aprendidos.
Más allá del ASR: El marco se extiende a la Traducción de Voz (ST) y la Identificación de Temas (TID). Los autores demuestran que el proyector multilingüe puede adaptarse a estas tareas con solo unas pocas horas de supervisión específica por par idioma-tarea.

4. Resultados

Rendimiento de ASR Multilingüe: MEUSLI logra resultados sólidos de Tasa de Error de Palabra (WER) en 28 idiomas. Los idiomas de altos recursos muestran WER bajos, mientras que los de recursos medios muestran mejoras consistentes. Aunque los idiomas de muy bajos recursos (ej. bretón, irlandés) siguen siendo un desafío, MEUSLI supera a los sistemas monolingües entrenados desde cero en estos escenarios.
Eficiencia del Ajuste Fino (Fine-tuning):
- Bretón (2.5h de datos): El ajuste fino de MEUSLI redujo el WER del 95.7% (línea base multilingüe) al 24.5% (con un codificador especializado), superando a un sistema monolingüe entrenado desde cero (27.7%).
- Albanés (46 min de datos): El ajuste fino de MEUSLI logró un 75.61% de WER, mientras que un proyector entrenado desde cero no logró converger (389.12% de WER).
Mitigación del Olvido Catastrófico: El ajuste fino ingenuo en ucraniano causó que el WER en los idiomas base (ej. español, polaco) se degradara significativamente (ej. español del 4.09% al 90.34%). El uso de un búfer de reproducción de datos (1,000 muestras por idioma) restauró el rendimiento de los idiomas base a niveles cercanos al original, manteniendo el rendimiento en ucraniano (17.56% de WER).
Transferencia Multitarea: Al extenderse a ST y TID con menos de 5 horas de datos por par idioma-tarea, el ajuste fino impulsado por MEUSLI superó significativamente al entrenamiento desde cero. Por ejemplo, en finlandés, el WER de ASR cayó de 53.0% (desde cero) a 18.6% (con MEUSLI), y la precisión de Identificación de Temas aumentó del 57.5% al 81.7%.

5. Significado y Reivindicaciones

El artículo afirma que MEUSLI proporciona una base sólida para tareas de comprensión de voz multilingüe, apoyando la escalabilidad e inclusión de los SLMs de código abierto.

Escalabilidad: El enfoque demuestra que el preentrenamiento multilingüe permite una transferencia de conocimiento efectiva, permitiendo que sistemas de ASR funcionales se inicien para idiomas no vistos con datos extremadamente limitados.
Apertura: Al utilizar modelos totalmente de código abierto (Whisper, EuroLLM, Apertus) y conjuntos de datos abiertos, este trabajo aborda la falta de transparencia y reproducibilidad en la literatura actual de SLM.
Versatilidad: El sistema no se limita a la transcripción; sirve como un punto de partida sólido para otras tareas de procesamiento de voz (traducción, clasificación) en entornos de escasez de datos.

Los autores conclen que, si bien el ajuste fino específico de cada idioma sigue siendo ventajoso para el ASR, el ajuste fino multilingüe proporciona representaciones semánticas compartidas robustas para tareas de comprensión descendentes, sentando las bases para tecnologías de voz universales impulsadas por LLM.