🤖 AI

MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages

L'article présente MERaLiON-GR, un modèle de reconnaissance du genre de la parole qui exploite le réglage fin par LoRA de MERaLiON-SpeechEncoder-2 et un classificateur ECAPA-TDNN multi-échelle pour atteindre des performances de pointe dans l'identification des locuteurs masculins et féminins à travers l'anglais et plusieurs langues d'Asie du Sud-Est.

Auteurs originaux : Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh

Publié 2026-08-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh Duc, Sailor Hardik Bhupendra, Siti Umairah Binte Mohammad Salleh, Shuo Sun, Tarun Kumar Vangani, Jeremy H. M. Wong, Jinyang Wu, Longyin Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez à une fête animée et bruyante où les gens parlent différentes langues, rient, crient et chuchotent tous en même temps. Si vous fermez les yeux, vous pouvez souvent reconnaître si une personne est un homme ou une femme simplement au son de sa voix. Votre cerveau fait cela automatiquement, en mélangeant des indices comme la hauteur, la texture et le rythme. Mais apprendre à un ordinateur à faire la même chose, c'est comme essayer d'apprendre à un robot à reconnaître l'ami d'un autre dans un ouragan. Ce domaine scientifique est appelé la reconnaissance du genre par la parole. C'est une branche de l'intelligence artificielle qui tente de déterminer si un locuteur est un homme ou une femme simplement en écoutant sa voix, sans le voir.

Pour comprendre comment les ordinateurs apprennent cela, pensez à deux outils différents. Le premier est comme un détective spécialisé. Cet outil a été entraîné spécifiquement pour écouter les indices vocaux. Il ignore ce que la personne dit et se concentre entièrement sur la manière dont elle le dit. Le second outil est comme une encyclopédie de culture générale. C'est une IA massive qui a lu presque tout et peut répondre à des questions sur le monde, mais elle n'a pas été spécifiquement entraînée pour être un détective de la voix. Pendant longtemps, les scientifiques se sont demandé : « Avons-nous besoin d'un détective spécialisé, ou l'encyclopédie est-elle assez intelligente pour le découvrir par elle-même ? » C'est la grande question à laquelle les chercheurs de ce document ont cherché à répondre. Ils voulaient construire un détective de la voix qui fonctionne non seulement en anglais, mais aussi dans les nombreuses langues parlées en Asie du Sud-Est, et ils voulaient voir s'il pouvait battre les meilleurs outils actuels.

Le nouveau détective vocal : MERaLiON-GR

L'équipe derrière ce document, connue sous le nom de l'équipe MERaLiON, a construit un nouveau détective vocal appelé MERaLiON-GR. Considérez ce modèle comme une oreille de robot super intelligente qui a été entraînée sur une immense bibliothèque de voix provenant de l'anglais et de huit langues différentes d'Asie du Sud-Est, incluant le chinois, le malais, le tamoul, le thaï, le vietnamien, l'indonésien et le khmer.

Comment ça marche (La Recette)
Imaginez que le cerveau du robot est construit en trois couches :

Le Grand Cerveau (Le Backbone) : Au cœur se trouve un cerveau géant pré-entraîné appelé MERaLiON-SpeechEncoder-2. Ce cerveau a déjà écouté des millions d'heures de parole et sait comment les sons fonctionnent. Cependant, l'équipe ne voulait pas réentraîner tout le cerveau à partir de zéro, car cela reviendrait à essayer de réécrire une encyclopédie entière juste pour ajouter un nouveau chapitre sur le « genre de la voix ». Cela demande trop d'énergie et de temps.
L'Adaptateur Intelligent (LoRA) : Au lieu de réécrire tout le cerveau, ils ont utilisé une astuce ingénieuse appelée LoRA (Low-Rank Adaptation). Imaginez que le grand cerveau est une immense et lourde bibliothèque. LoRA est comme l'ajout de petits post-it légers sur les étagères. Ces notes indiquent à la bibliothèque comment réorganiser ses connaissances existantes spécifiquement pour la tâche de repérer les voix masculines versus féminines. C'est efficace, rapide, et cela ne perturbe pas les autres connaissances de la bibliothèque.
Le Juge Final (ECAPA-TDNN) : Le cerveau transmet ensuite ses conclusions à un juge spécialisé appelé ECAPA-TDNN. Ce juge examine les indices provenant des différentes couches du cerveau, les combine, et prend la décision finale : « Homme » ou « Femme ».

Le Grand Test
L'équipe a mis son nouveau détective à l'épreuve face à deux autres concurrents :

Vox-Profile : L'actuel champion de la reconnaissance du genre vocal.
MERaLiON-v2 : Une « encyclopédie » IA à usage général (un Audio-LLM) qui peut parler et écouter mais qui n'est pas un détective vocal spécialisé.

Ils ont testé tout le monde sur une grande variété de voix : des enregistrements clairs en studio, du bruit de rue désordonné, des clips courts de 2 secondes et de longues conversations. Les langues allaient de l'anglais standard au mélange unique du Singlish et de divers dialectes d'Asie du Sud-Est.

Les Résultats : La Spécialisation Gagne
Les résultats ont été clairs. Le détective spécialisé, MERaLiON-GR, a écrasé la compétition dans presque toutes les catégories.

Battre le Champion : Sur 12 des 15 ensembles de tests différents, MERaLiON-GR était plus précis que l'actuel champion, Vox-Profile. Dans certains cas, comme pour les voix âgées en tamoul et en thaï, il a obtenu un score parfait de 100,00 %.
Le Test du « Monde Réel » : Le véritable défi était les enregistrements « in-the-wild » (dans la nature) — des clips courts et désordonnés de la vie réelle (10 à 30 secondes de long). Ici, MERaLiON-GR était toujours le vainqueur, battant Vox-Profile jusqu'à 4,32 points de pourcentage. C'est important car l'audio du monde réel est plein de bruits de fond et de fragments courts qui déroutent les autres modèles.
La Lutte de l'Encyclopédie : L'IA à usage général (l'« encyclopédie ») s'en est bien sortie, mais elle a systématiquement perdu face au détective spécialisé. Sans entraînement spécifique, elle avait du mal à saisir les détails fins. Par exemple, sur le test FLEURS en anglais, l'encyclopédie n'a réussi que 49,61 % des cas, tandis que le détective spécialisé a atteint 100,00 %.

Le Tour de Magie : Aider l'Encyclopédie
Voici la partie la plus intéressante. L'équipe a découvert que même si l'IA à usage général (l'encyclopédie) n'est pas un excellent détective vocal par elle-même, elle devient beaucoup plus intelligente si vous lui donnez la réponse d'abord.
Lorsqu'ils ont pris l'estimation du genre de leur détective spécialisé (MERaLiON-GR) et l'ont donnée à l'encyclopédie comme un « indice » (métadonnée), la performance de l'encyclopédie a grimpé en flèche.

Sur le Common Voice vietnamien, l'encyclopédie est passée de 36,08 % à 96,08 % de précision simplement en étant informée du genre au préalable.
Sur le FLEURS anglais, elle est passée de 49,61 % à 97,31 %.

Cela suggère que même si les modèles d'IA généraux sont puissants, ils ont toujours besoin d'un « assistant » spécialisé pour gérer des tâches spécifiques comme l'identification du genre. Une fois qu'ils ont cet indice, ils peuvent utiliser leur immense connaissance pour mieux comprendre le reste de la conversation.

Pourquoi cela compte
Le document conclut que pour des tâches comme la reconnaissance du genre dans un mélange de langues et d'environnements bruyants, vous avez réellement besoin d'un outil dédié et spécialisé. On ne peut pas simplement compter sur une IA générale pour le découvrir. Le modèle MERaLiON-GR montre qu'en utilisant une méthode intelligente et efficace (LoRA) pour adapter un grand cerveau à un travail spécifique, nous pouvons construire des systèmes qui comprennent les diverses voix de l'Asie du Sud-Est mieux que jamais auparavant. C'est un rappel que parfois, la meilleure façon de résoudre un problème spécifique est de construire un spécialiste, plutôt que de simplement compter sur un généraliste.

Résumé Technique : MERaLiON-GR

Énoncé du Problème

La reconnaissance du genre de la parole (GR - Gender Recognition) est une tâche paralinguistique fondamentale, essentielle pour la diarisation du locuteur, le profilage et les applications forensiques. Bien que les auditeurs humains puissent inférer le genre à partir de brèves énoncations, les systèmes automatiques peinent à se généraliser à travers diverses conditions d'enregistrement, langues, accents, groupes d'âge et caractéristiques de canaux. Les approches existantes font face à deux défis principaux :

Généralisation : Les méthodes traditionnelles reposant sur des caractéristiques extraites manuellement (ex. : F0, formants) ou même les modèles modernes de deep learning échouent souvent à maintenir une robustesse à travers la grande diversité linguistique de l'Asie du Sud-Est (SEA) et de l'anglais.
Efficacité vs Performance : Le réglage fin complet (fine-tuning) de grands modèles de parole pré-entraînés (ex. : 24+ couches) pour des tâches en aval spécifiques est coûteux en termes de calcul et risque un oubli catastrophique des représentations pré-entraînées.

Méthodologie

Les auteurs proposent MERaLiON-GR, un système de classification binaire (femme/homme) conçu pour l'anglais et les langues d'Asie du Sud-Est. L'architecture intègre un large encodeur pré-entraîné avec une stratégie d'adaptation efficace en paramètres et un réseau spécialisé en aval.

1. Backbone : MERaLION-SpeechEncoder-2 avec LoRA

Le cœur du système est MERaLiON-SpeechEncoder-2, un large transformeur basé sur Conformer pré-entraîné sur un corpus multilingue comprenant fortement l'anglais singapourien et d'autres langues de l'Asie du Sud-Est.

Réglage fin efficace en paramètres (PEFT) : Au lieu de mettre à jour les 24 couches de transformeurs, les auteurs emploient l'adaptation de bas rang (LoRA). Des adaptateurs LoRA sont insérés dans les couches de projection d'attention, paramétrant les mises à jour de poids via des facteurs de bas rang (rang et facteur d'échelle fixés à 16). Cela réduit le coût computationnel et les risques de surapprentissage.
Normalisation et Régularisation : Le modèle utilise une normalisation rsLoRA et un taux de dropout LoRA de 0,05.
Agrégation de Couches : Les 25 sorties d'états cachés (embeddings d'entrée + 24 couches) sont conservées. Un mécanisme d'attention douce appris agrège ces représentations moyennes par couche en une combinaison pondérée ( $H = \sum a_l h_l$ ), capturant des indices phonétiques et de locuteur complémentaires.

2. Réseau en Aval : ECAPA-TDNN

La représentation agrégée est traitée par un réseau ECAPA-TDNN adapté à la reconnaissance du genre :

Architecture : L'entrée est projetée en 512 dimensions et passe par trois blocs SE-Res2Net avec des dilatations $\{1, 2, 3\}$ et un facteur de réduction SE de 8.
Normalisation : Toutes les couches BatchNorm sont remplacées par des couches GroupNorm pour correspondre à la structure originale de l'ECAPA-TDNN.
Pooling et Classification : Un pooling d'attention agrège les trames temporelles en un embedding de longueur fixe, qui est projeté en 256 dimensions. Une tête de classification linéaire avec RMSNorm et activation GELU mappe cela vers deux logits de classe.

3. Stratégie d'Entraînement

Jeux de Données : L'entraînement utilise six partitions : VoxCeleb1 (étiqueté par genre) et cinq partitions du corpus de parole IMDA Singapour (couvrant les scripts provoqués, la conversation spontanée, le code-switching et la parole stylisée).
Optimisation : Le modèle utilise une stratégie d'entraînement multi-jeu de données avec une perte cross-entropy pondérée et équilibrée par classe pour traiter le déséquilibre des classes.
Hyperparamètres : Les adaptateurs LoRA et le réseau en aval utilisent des taux d'apprentissage distincts ( $5\times10^{-5}$ et $6\times10^{-4}$ , respectivement). L'entraînement emploie un scheduler cosinus avec un warm-up linéaire et un lissage de labels ( $\epsilon=0,1$ ).
Ensemble : Pour améliorer la robustesse sans surcoût d'inférence, les paramètres du modèle final sont une moyenne des quatre checkpoints ayant la plus faible perte catégorielle sur l'ensemble de développement.

Principales Contributions

L'article présente trois contributions majeures :

Un Modèle de GR Multilingue à Paramètres Efficaces : Un modèle construit sur MERaLiON-SpeechEncoder-2 utilisant LoRA et ECAPA-TDNN qui surpasse l'état de l'art Vox-Profile sur 12 des 15 benchmarks publics à travers huit langues.
Reconnaissance Robuste au Niveau du Segment : Capacité démontrée à effectuer une reconnaissance de genre précise sur de courts segments de parole "in-the-wild" (10–30 secondes), atteignant des gains allant jusqu'à 4,32 points de pourcentage (pp) par rapport à Vox-Profile sur les ensembles linguistiques de Singapour.
Performance Accrue des Audio-LLM : Démonstration que l'injection des estimations de GR en tant que métadonnées paralinguistiques améliore substantiellement les performances des Audio-LLM à usage général sur les questions liées au genre, validant l'utilité des indices paralinguistiques explicites.

Résultats

Performance sur les Benchmarks Publics

Évalué sur huit langues (anglais, chinois, malais, tamoul, thaï, vietnamien, indonésien, khmer) sur 15 jeux de tests :

Précision : MERaLiON-GR a atteint une précision supérieure à Vox-Profile sur 12 des 15 jeux de tests et a égalé la performance sur le benchmark Khmer FLEURS.
Scores Parfaits : Le modèle a obtenu une précision de 100,00 % sur l'anglais FLEURS, le tamoul OpenSLR et le benchmark thaïlandais pour personnes âgées (Thai Elderly).
Gains Significatifs : Des améliorations notables ont été observées sur le Tamil EmoTa (+4,71 pp), le Vietnamien Common Voice (+3,14 pp) et l'Indonésien IndoWave (+3,00 pp).
Limites : La performance a diminué sur le Malais SMALDUSC (-4,40 pp) et le Thaï SER (-2,09 pp), attribuée à des décalages de domaine dans les conditions d'enregistrement et les styles de parole par rapport aux données d'entraînement.

Performance "In-the-Wild"

Sur un ensemble d'évaluation singapourien manuellement curaté (SG-ECMT) composé de segments de 10 à 30 secondes :

MERaLiON-GR a systématiquement surpassé Vox-Profile pour les quatre langues (Singlish, Chinois, Malais, Tamoul).
L'amélioration la plus importante a été observée sur le Malais (+4,32 pp), suivie du Tamoul (+4,16 pp), soulignant la robustesse du modèle pour le pseudo-étiquetage fin au niveau du segment.

Intégration aux Audio-LLM

Lorsque le genre prédit a été injecté comme métadonnée dans l'Audio-LLM (GR-AudioLLM) :

La précision s'est considérablement améliorée sur tous les jeux de données évalués par rapport à l'Audio-LLM de base.
Les gains ont été particulièrement spectaculaires sur le Vietnamien Common Voice (+60,00 pp), l'Anglais FLEURS (+47,70 pp) et le Malais SMALDUSC (+41,20 pp), confirmant que les indices paralinguistiques explicites agissent comme des signaux de conditionnement efficaces pour la compréhension du langage par la parole.

Signification et Revendications

L'article affirme que MERaLiON-GR souligne la valeur continue des modèles de parole dédiés pour atteindre une compréhension paralinguistique précise et une forte généralisation translingue. Les résultats suggèrent que :

La Spécialisation Compte : Les Audio-LLM à usage général sont moins efficaces pour la reconnaissance de genre fine sans optimisation spécifique à la tâche.
L'Efficacité est Viable : Le réglage fin efficace en paramètres (LoRA) sur de grands encodeurs pré-entraînés peut produire des performances de pointe sans le coût computationnel d'un réglage fin complet.
Utilité des Métadonnées : Fournir explicitement des métadonnées paralinguistiques (comme le genre) améliore considérablement les capacités des modèles multimodaux à comprendre le contexte de la parole, soutenant l'intégration d'encodeurs spécialisés dans des pipelines d'IA plus larges.

Ce travail positionne MERaLiON-GR comme un remplacement pratique des modèles de GR externes, particulièrement pour les applications nécessitant des performances robustes à travers diverses langues d'Asie du Sud-Est et des environnements d'enregistrement non contraints.