🤖 AI

MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages

El artículo presenta MERaLiON-GR, un modelo de reconocimiento de género en el habla que aprovecha el ajuste fino mediante LoRA del MERaLiON-SpeechEncoder-2 y un clasificador ECAPA-TDNN multiescala para lograr un rendimiento de vanguardia en la identificación de hablantes masculinos y femeninos a través del inglés y múltiples idiomas del sudeste asiático.

Autores originales: Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh

Publicado 2026-08-06

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh Duc, Sailor Hardik Bhupendra, Siti Umairah Binte Mohammad Salleh, Shuo Sun, Tarun Kumar Vangani, Jeremy H. M. Wong, Jinyang Wu, Longyin Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una fiesta bulliciosa y ruidosa donde la gente habla diferentes idiomas, riendo, gritando y susurrando todo al mismo tiempo. Si cierras los ojos, a menudo puedes distinguir quién es hombre y quién es mujer solo por el sonido de su voz. Tu cerebro hace esto automáticamente, mezclando pistas como el tono, la textura y el ritmo. Pero enseñar a una computadora a hacer lo mismo es como intentar enseñarle a un robot a reconocer la voz de un amigo en medio de un huracán. Este campo de la ciencia se llama reconocimiento de género por voz. Es una rama de la inteligencia artificial que intenta averiguar si un hablante es hombre o mujer solo escuchando su voz, sin verlo.

Para entender cómo las computadoras aprenden esto, piensa en dos herramientas diferentes. La primera es como un detective especializado. Esta herramienta ha sido entrenada específicamente para escuchar las pistas de la voz. Ignora lo que la persona está diciendo y se concentra enteramente en cómo lo dice. La segunda herramienta es como una enciclopedia de conocimientos generales. Esta es una IA masiva que ha leído casi todo y puede responder preguntas sobre el mundo, pero no ha sido entrenada específicamente para ser un detective de voces. Durante mucho tiempo, los científicos se preguntaron: "¿Necesitamos un detective especializado, o es la enciclopedia lo suficientemente inteligente como para descubrirlo por su cuenta?". Esta es la gran pregunta que los investigadores de este artículo se propusieron responder. Querían construir un detective de voz que no solo funcionara en inglés, sino también en los muchos idiomas que se hablan en el sudeste asiático, y querían ver si podía superar a las mejores herramientas disponibles actualmente.

El Nuevo Detective de Voces: MERaLiON-GR

El equipo detrás de este artículo, conocido como el Equipo MERaLiON, ha construido un nuevo detective de voces llamado MERaLiON-GR. Piensa en este modelo como un oído de robot superinteligente que ha sido entrenado con una biblioteca masiva de voces en inglés y ocho idiomas diferentes del sudeste asiático, incluyendo chino, malayo, tamil, tailandés, vietnamita, indonesio y jemer.

Cómo funciona (La Receta)
Imagina que el cerebro del robot está construido en tres capas:

El Gran Cerebro (El Backbone): En el núcleo hay un cerebro gigante preentrenado llamado MERaLiON-SpeechEncoder-2. Este cerebro ya ha escuchado millones de horas de habla y sabe cómo funcionan los sonidos. Sin embargo, el equipo no quería reentrenar todo el cerebro desde cero porque eso sería como intentar reescribir una enciclopedia entera solo para añadir un nuevo capítulo sobre "género de voz". Eso consume demasiada energía y tiempo.
El Adaptador Inteligente (LoRA): En lugar de reescribir todo el cerebro, utilizaron un truco ingenioso llamado LoRA (Adaptación de Bajo Rango). Imagina que el gran cerebro es una biblioteca gigante y pesada. LoRA es como añadir un conjunto pequeño y ligero de notas adhesivas a los estantes. Estas notas le dicen a la biblioteca cómo reorganizar su conocimiento existente específicamente para la tarea de detectar voces masculinas frente a femeninas. Es eficiente, rápido y no altera el resto del conocimiento de la biblioteca.
El Juez Final (ECAPA-TDNN): El cerebro luego pasa sus hallazgos a un juez especializado llamado ECAPA-TDNN. Este juez observa las pistas de diferentes capas del cerebro, las combina y toma la decisión final: "¿Masculino?" o "¿Femenino?".

La Gran Prueba
El equipo puso a prueba a su nuevo detective contra otros dos contendientes:

Vox-Profile: El actual campeón del reconocimiento de género por voz.
MERaLiON-v2: Una IA de propósito general (un Audio-LLM) que puede hablar y escuchar, pero no es un detective de voces especializado.

Probaron a todos en una gran variedad de voces: grabaciones claras de estudio, ruidos de calle desordenados, clips cortos de 2 segundos y conversaciones largas. Los idiomas variaron desde el inglés estándar hasta la mezcla única de Singlish y varios dialectos del sudeste asiático.

Los Resultados: El Especialista Gana
Los resultados fueron claros. El detective especializado, MERaLiON-GR, aplastó a la competencia en casi todas las categorías.

Venciendo al Campeón: En 12 de los 15 diferentes conjuntos de prueba, MERaLiON-GR fue más preciso que el actual campeón, Vox-Profile. En algunos casos, como con voces de personas mayores en tamil y tailandés, obtuvo una puntuación perfecta de 100.00%.
La Prueba "Salvaje": El verdadero desafío fueron las grabaciones "en la naturaleza" (in-the-wild)—clips cortos y desordenados de la vida real (de 10 a 30 segundos de duración). Aquí, MERaLiON-GR siguió siendo el ganador, superando a Vox-Profile por hasta un 4.32% de puntos porcentuales. Esto es importante porque el audio del mundo real está lleno de ruido de fondo y fragmentos cortos que confunden a otros modelos.
La Lucha de la Enciclopedia: La IA de propósito general (la "enciclopedia") lo hizo bien, pero perdió consistentemente contra el detective especializado. Sin un entrenamiento específico, le costaba captar los detalles finos. Por ejemplo, en la prueba FLEURS de inglés, la enciclopedia solo acertó el 49.61%, mientras que el detective especializado obtuvo el 100.00%.

El Truco de Magia: Ayudando a la Enciclopedia
Aquí es donde se pone interesante. El equipo descubrió que, aunque la IA de propósito general (la "enciclopedia") no es un gran detective de voces por sí sola, se vuelve mucho más inteligente si simplemente le dices la respuesta primero.
Cuando tomaron la suposición de género de su detective especializado (MERaLiON-GR) y se la dieron a la enciclopedia como una "pista" (metadato), el rendimiento de la enciclopedia se disparó.

En el Common Voice de Vietnam, la enciclopedia saltó del 36.08% al 96.08% de precisión solo por haber recibido la información del género primero.
En el FLEURS de inglés, saltó del 49.61% al 97.31%.

Esto sugiere que, aunque los modelos de IA general son potentes, todavía necesitan un "asistente" especializado para manejar tareas específicas como identificar el género. Una vez que tienen esa pista, pueden usar su enorme conocimiento para entender mucho mejor el resto de la conversación.

Por qué esto es importante
El artículo concluye que para tareas como el reconocimiento de género en una mezcla de idiomas y entornos ruidosos, realmente necesitas una herramienta dedicada y especializada. No puedes confiar solo en una IA general para resolverlo. El modelo MERaLiON-GR demuestra que, al utilizar un método inteligente y eficiente (LoRA) para adaptar un gran cerebro a un trabajo específico, podemos construir sistemas que entiendan las diversas voces del sudeste asiático mejor que nunca. Es un recordatorio de que, a veces, la mejor manera de resolver un problema específico es construir un especialista, no solo confiar en un generalista.

Resumen Técnico: MERaLiON-GR

Declaración del Problema

El reconocimiento de género (GR) en el habla es una tarea paralingüística fundamental, esencial para la diarización de locutores, la creación de perfiles y las aplicaciones forenses. Mientras que los oyentes humanos pueden inferir el género a partir de emisiones breves, los sistemas automáticos tienen dificultades para generalizar a través de diversas condiciones de grabación, idiomas, acentos, grupos de edad y características de canal. Los enfoques existentes enfrentan dos desafíos principales:

Generalización: Los métodos tradicionales que dependen de características diseñadas a mano (p. ej., F0, formantes) o incluso los modelos modernos de aprendizaje profundo suelen fallar al intentar mantener la robustez a través de la amplia diversidad lingüística del sudeste asiático (SEA) y el inglés.
Eficiencia vs. Rendimiento: El ajuste fino completo (fine-tuning) de grandes modelos de habla preentrenados (p. ej., 24+ capas) para tareas específicas de descenso es computacionalmente costoso y conlleva el riesgo de olvido catastrófico de las representaciones preentrenadas.

Metodología

Los autores proponen MERaLiON-GR, un sistema de clasificación binaria (femenino/masculino) diseñado para el inglés y lenguas del sudeste asiático. La arquitectura integra un gran backbone preentrenado con una estrategia de adaptación de parámetros eficientes y una red de descenso especializada.

1. Backbone: MERaLiON-SpeechEncoder-2 con LoRA

El núcleo del sistema es MERaLiON-SpeechEncoder-2, un transformador basado en Conformer de gran tamaño preentrenado en un corpus multilingüe que presenta intensamente inglés de Singapur y otras lenguas del sudeste asiático.

Ajuste Fino de Parámetros Eficientes (PEFT): En lugar de actualizar todas las 24 capas del transformador, los autores emplean Adaptación de Bajo Rango (LoRA). Los adaptadores LoRA se insertan en las capas de proyección de atención, parametrizando las actualizaciones de peso mediante factores de bajo rango (rango y factor de escala establecidos en 16). Esto reduce el costo computacional y los riesgos de sobreajuste.
Normalización y Regularización: El modelo utiliza normalización rsLoRA y una tasa de dropout de LoRA de 0.05.
Agregación de Capas: Se retienen las 25 salidas de estado oculto (embeddings de entrada + 24 capas). Un mecanismo de atención suave aprendido agrega estas representaciones de media por capa en una combinación ponderada ( $H = \sum a_l h_l$ ), capturando pistas fonéticas y de locutor complementarias.

2. Red de Descenso: ECAPA-TDNN

La representación agregada es procesada por una red ECAPA-TDNN adaptada para el reconocimiento de género:

Arquitectura: La entrada se proyecta a 512 dimensiones y pasa a través de tres bloques SE-Res2Net con dilataciones $\{1, 2, 3\}$ y un factor de reducción SE de 8.
Normalización: Todas las capas BatchNorm se reemplazan con capas GroupNorm para coincidir con la estructura original de ECAPA-TDNN.
Pooling y Clasificación: El pooling de atención agrega los fotogramas temporales en un embedding de longitud fija, que se proyecta a 256 dimensiones. Una cabeza de clasificación lineal con RMSNorm y activación GELU mapea esto a dos logits de clase.

3. Estrategia de Entrenamiento

Conjuntos de Datos: El entrenamiento utiliza seis particiones: VoxCeleb1 (etiquetado por género) y cinco particiones del corpus de habla IMDA de Singapur (que cubren guiones inducidos, conversación espontánea, alternancia de código y habla estilizada).
Optimización: El modelo utiliza una estrategia de entrenamiento de múltiples conjuntos de datos con pérdida de entropía cruzada ponderada y balanceada por clase para abordar el desequilibrio de clases.
Hiperparámetros: Los adaptadores LoRA y la red de descenso utilizan tasas de aprendizaje distintas ( $5\times10^{-5}$ y $6\times10^{-4}$ , respectivamente). El entrenamiento emplea un programador de coseno con calentamiento lineal (linear warm-up) y suavizado de etiquetas ( $\epsilon=0.1$ ).
Ensemble: Para mejorar la robustez sin sobrecarga de inferencia, los parámetros del modelo final son el promedio de los cuatro checkpoints con la menor pérdida categórica en el conjunto de desarrollo.

Principales Contribuciones

El artículo describe tres contribuciones primarias:

Un Modelo de GR Multilingüe de Parámetros Eficientes: Un modelo construido sobre MERaLiON-SpeechEncoder-2 usando LoRA y ECAPA-TDNN que supera al estado del arte Vox-Profile en 12 de 15 benchmarks públicos a través de ocho idiomas.
Reconocimiento Robusto a Nivel de Segmento: Capacidad demostrada para realizar un reconocimiento de género preciso en segmentos de habla cortos y "en el mundo real" (10–30 segundos), logrando ganancias de hasta 4.32 puntos porcentuales (pp) sobre Vox-Profile en los conjuntos de lenguas de Singapur.
Mejora del Rendimiento de Audio-LLM: Una demostración de que la inyección de estimaciones de GR como metadatos paralingüísticos mejora sustancialmente el rendimiento de los Audio-LLM de propósito general en el cuestionamiento relacionado con el género, validando la utilidad de las pistas paralingüísticas explícitas.

Resultados

Rendimiento en Benchmarks Públicos

Evaluado a través de ocho idiomas (inglés, chino, malayo, tamil, tailandés, vietnamita, indonesio, jemer) en 15 conjuntos de prueba:

Precisión: MERaLiON-GR logró una mayor precisión que Vox-Profile en 12 de 15 conjuntos de prueba e igualó el rendimiento en el benchmark de FLEURS de jemer.
Puntuaciones Perfectas: El modelo alcanzó una precisión del 100.00% en English FLEURS, Tamil OpenSLR y Thai Elderly.
Ganancias Significativas: Se observaron mejoras notables en Tamil EmoTa (+4.71 pp), Vietnamese Common Voice (+3.14 pp) e Indonesian IndoWave (+3.00 pp).
Limitaciones: El rendimiento disminuyó en Malay SMALDUSC (-4.40 pp) y Thai SER (-2.09 pp), atribuido a desajustes de dominio en las condiciones de grabación y estilos de habla en comparación con los datos de entrenamiento.

Rendimiento "In-the-Wild"

En un conjunto de evaluación de Singapur curado manualmente (SG-ECMT) que consiste en segmentos de 10–30 segundos:

MERaLiON-GR superó consistentemente a Vox-Profile en los cuatro idiomas (Singlish, chino, malayo, tamil).
La mayor mejora fue en malayo (+4.32 pp), seguido de tamil (+4.16 pp), resaltando la robustez del modelo para el etiquetado pseudo de nivel de segmento fino.

Integración con Audio-LLM

Cuando el género predicho se inyectó como metadato en el Audio-LLM (GR-AudioLLM):

La precisión mejoró significativamente en todos los conjuntos de datos evaluados en comparación con el Audio-LLM base.
Las ganancias fueron particularmente dramáticas en Vietnamese Common Voice (+60.00 pp), English FLEURS (+47.70 pp) y Malay SMALDUSC (+41.20 pp), confirmando que las pistas paralingüísticas explícitas actúan como señales de condicionamiento efectivas para la comprensión del habla y el lenguaje.

Significado y Reivindicaciones

El artículo sostiene que MERaLiON-GR subraya el valor continuo de los modelos de habla dedicados para lograr una comprensión paralingüística precisa y una fuerte generalización translingüística. Los resultados sugieren que:

La Especialización Importa: Los Audio-LLM de propósito general son menos efectivos para el reconocimiento de género de grano fino sin una optimización específica de la tarea.
La Eficiencia es Viable: El ajuste fino de parámetros eficientes (LoRA) en codificadores preentrenados de gran tamaño puede producir un rendimiento de estado del arte sin el costo computacional del ajuste fino completo.
Utilidad de los Metadatos: Proporcionar explícitamente metadatos paralingüísticos (como el género) mejora significativamente las capacidades de los modelos multimodales para comprender el contexto del habla, apoyando la integración de codificadores especializados en flujos de trabajo de IA más amplios.

El trabajo posiciona a MERaLiON-GR como un reemplazo práctico para los modelos de GR externos, particularmente para aplicaciones que requieren un rendimiento robusto a través de diversos idiomas del sudeste asiático y entornos de grabación no restringidos.