The Eloquence team submission for task 1 of MLC-SLM challenge

Imagina que estás intentando enseñarle a un robot superinteligente a escuchar una fiesta bulliciosa y ruidosa donde la gente habla diferentes idiomas, gritándose unos a otros y contando chistes que solo tienen sentido si recuerdas lo que se dijo hace cinco minutos. Este es el mundo del reconocimiento de voz conversacional multilingüe. Durante mucho tiempo, las computadoras manejaron esto actuando como una carrera de relevos: un humano (o una máquina) primero escribía exactamente lo que se decía (transcripción), y luego una segunda máquina leía ese texto para entender el significado. Pero esta carrera de relevos tiene un fallo: si el primer corredor tropieza y escribe la palabra equivocada, el segundo corredor se confunde y todo el mensaje se distorsiona. Además, el segundo corredor se pierde la sensación de la voz —el tono, la velocidad y la emoción— porque solo recibe el texto.

Para solucionar esto, los científicos están construyendo Modelos de Lenguaje de Voz (SLM, por sus siglas en inglés). Piensa en ellos como un cerebro único y omnisciente que puede escuchar las ondas sonoras directamente y entender el significado al mismo tiempo, sin necesidad de un intermediario que escriba las cosas primero. Es como actualizar de un robot que necesita que un humano traduzca un idioma extranjero antes de poder entender un chiste, a un robot que puede escuchar el chiste en el idioma original y reírse en el momento adecuado. La gran pregunta que los investigadores se plantean es: ¿Cómo hacemos que estos robots sean realmente buenos entendiendo conversaciones desordenadas y de la vida real en muchos idiomas a la vez?

En este artículo, un equipo de investigadores del proyecto "Eloquence" (un grupo financiado por la Unión Europea) decidió organizar una fiesta para estos cerebros de IA para ver cuál escuchaba mejor. Participaron en una competición llamada MLC-SLM Challenge, que fue diseñada específicamente para probar qué tan bien puede la IA manejar conversaciones multilingües. Su objetivo no era solo construir un robot que pueda oír; querían construir uno que entendiera el contexto de una conversación, como saber que "hace frío" puede significar "enciende la calefacción" en una situación, pero "llevo un abrigo" en otra.

El equipo probó tres estrategias diferentes para ver qué enfoque haría de su IA la mejor oyente.

Primero, revisaron las reglas del juego.
Antes de intentar inventar algo nuevo, examinaron el "línea base oficial" (baseline)—la configuración estándar proporcionada por los organizadores de la competición. Piensa en esto como el "kit de inicio" que todos reciben. Probaron este kit con diferentes tipos de "cerebros" (Grandes Modelos de Lenguaje) y diferentes formas de conectar los oídos (codificadores de audio) al cerebro. Descubrieron que simplemente ajustar la conexión no marcaba una gran diferencia. Era como intentar arreglar un coche lento cambiando el color de las ruedas; el motor era el mismo, por lo que la velocidad no cambiaba mucho. También probaron un método de conexión sofisticado llamado "Q-Former", pero tampoco solucionó el problema mágicamente.

Segundo, construyeron su propio motor personalizado.
Este fue su intento más exitoso. Utilizaron un marco de trabajo llamado SLAM-ASR, que es como un taller de alta tecnología para construir robots de voz. Combinaron un potente oyente de audio (Whisper Large V3 Turbo) con un tipo específico de cerebro llamado EuroLLM 1.7B. Para que este cerebro entendiera el audio, construyeron un "traductor" personalizado (un proyector lineal) que convierte el sonido en un lenguaje que el cerebro comprende.

Aquí es donde se pusieron creativos: intentaron enseñar al robot dándole datos de práctica "con ruido". Simularon condiciones de audio deficientes —como añadir estática, acelerar las voces o cambiar el tono de voz— para hacer que el robot practicara en un entorno difícil. Esperaban que esto hicera al robot más resistente, como un boxeador entrenando con pesas pesadas. Sin embargo, los resultados fueron un poco mixtos. Aunque el entrenamiento con ruido ayudó en algunos casos específicos, no hizo que su mejor robot fuera mejor de lo que ya era. De hecho, su mejor sistema, que utilizaba el cerebro EuroLLM 1.7B con una técnica de entrenamiento especial llamada LoRA (que es como añadir un chaleco de entrenamiento ligero y ajustable al cerebro en lugar de reconstruir todo el cuerpo), terminó en el puesto 13 de 24 equipos. No fue el ganador, pero demostró que un cerebro más pequeño y congelado con un traductor inteligente aún podía hacer un gran trabajo.

Tercero, intentaron darle al robot "memoria".
Las conversaciones reales no son solo una frase a la vez; son un flujo de ideas. Si alguien dice: "Está lloviendo", y luego dice: "Olvidé mi paraguas", la segunda frase solo tiene sentido gracias a la primera. El equipo intentó dar a su IA este tipo de memoria alimentándola con la frase anterior de la conversación como contexto. También probaron una técnica llamada aprendizaje contrastivo, que es como un juego de "encuentra las diferencias". Les mostraron a la IA pares de frases que deberían ir juntas y pares de frases que no deberían ir juntas, obligando a la IA a aprender la diferencia entre una conversación lógica y un revoltijo de palabras aleatorias.

Los resultados aquí fueron interesantes. Cuando añadieron la "memoria" (contexto) y el juego de "encuentra las diferencias" (aprendizaje contrastivo), la IA mejoró su comprensión de la conversación, reduciendo su tasa de error al 17.18% en su conjunto de prueba. Sin embargo, notaron algo extraño: cuando intentaron usar el "chaleco de entrenamiento" (LoRA) junto con la memoria y el aprendizaje contrastivo, el rendimiento en realidad empeoró. Sospechan que esto se debe a que no le dieron al robot suficiente tiempo para aprender (solo dos sesiones de entrenamiento), por lo que la complejidad adicional lo confundió.

¿Qué aprendieron?
El equipo descubrió que no siempre necesitas el cerebro más grande y caro para entender el habla. Un cerebro más pequeño y congelado (EuroLLM 1.7B) combinado con un traductor inteligente y bien entrenado puede ser muy efectivo. También aprendieron que darle a la IA un poco de "historial de conversación" ayuda a entender mejor la historia, pero hay que tener cuidado de no complicar demasiado el entrenamiento.

Al final, el equipo de Eloquence sugiere que el futuro del reconocimiento de voz reside en combinar estas arquitecturas inteligentes y eficientes con una comprensión más profunda de cómo hablan realmente los humanos, teniendo en cuenta el flujo de la conversación, en lugar de solo escuchar palabras aisladas. Planean seguir explorando cómo mezclar idiomas y manejar tareas aún más complejas en el futuro, con la esperanza de construir robots que no solo nos oigan, sino que realmente nos entiendan.