🤖 AI

MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages

O artigo apresenta o MERaLiON-GR, um modelo de reconhecimento de gênero de fala que utiliza o ajuste fino via LoRA do MERaLiON-SpeechEncoder-2 e um classificador ECAPA-TDNN multiescala para alcançar o estado da arte em desempenho na identificação de locutores masculinos e femininos em inglês e em múltiplos idiomas do Sudeste Asiático.

Autores originais: Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh

Publicado 2026-08-06

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh Duc, Sailor Hardik Bhupendra, Siti Umairah Binte Mohammad Salleh, Shuo Sun, Tarun Kumar Vangani, Jeremy H. M. Wong, Jinyang Wu, Longyin Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma festa movimentada e barulhenta, onde as pessoas estão falando diferentes idiomas, rindo, gritando e sussurrando tudo ao mesmo tempo. Se você fechar os olhos, muitas vezes consegue identificar se uma pessoa é homem ou mulher apenas pelo som de sua voz. Seu cérebro faz isso automaticamente, misturando pistas como tom, textura e ritmo. Mas ensinar um computador a fazer o mesmo é como tentar ensinar um robô a reconhecer a voz de um amigo em um furacão. Este campo da ciência é chamado de reconhecimento de gênero de fala. É um ramo da inteligência artificial que tenta descobrir se um falante é homem ou mulher apenas ouvindo sua voz, sem vê-lo.

Para entender como os computadores aprendem isso, pense em duas ferramentas diferentes. A primeira é como um detetive especializado. Esta ferramenta foi treinada especificamente para ouvir pistas de voz. Ela ignora o que a pessoa está dizendo e foca inteiramente em como ela fala. A segunda ferramenta é como uma enciclopédia de conhecimento geral. Esta é uma IA massiva que leu quase tudo e pode responder perguntas sobre o mundo, mas não foi especificamente treinada para ser um detetive de voz. Por muito tempo, os cientistas se perguntaram: "Precisamos de um detetive especializado ou a enciclopédia é inteligente o suficiente para descobrir sozinha?" Esta é a grande questão que os pesquisadores deste artigo se propuseram a responder. Eles queriam construir um detetive de voz que funcionasse não apenas em inglês, mas também nos muitos idiomas falados em todo o Sudeste Asiático, e queriam ver se ele poderia vencer as melhores ferramentas disponíveis atualmente.

O Novo Detetive de Voz: MERaLiON-GR

A equipe por trás deste artigo, conhecida como Equipe MERaLiON, construiu um novo detetive de voz chamado MERaLiON-GR. Pense neste modelo como um ouvido de robô superinteligente que foi treinado em uma enorme biblioteca de vozes de inglês e oito diferentes idiomas do Sudeste Asiático, incluindo chinês, malaio, tâmil, tailandês, vietnamita, indonésio e khmer.

Como funciona (A Receita)
Imagine que o cérebro do robô é construído em três camadas:

O Grande Cérebro (O Backbone): No núcleo está um cérebro gigante pré-treinado chamado MERaLiON-SpeechEncoder-2. Este cérebro já ouviu milhões de horas de fala e sabe como os sons funcionam. No entanto, a equipe não quis treinar todo o cérebro do zero porque isso seria como tentar reescrever uma enciclopédia inteira apenas para adicionar um novo capítulo sobre "gênero de voz". Isso consome muita energia e tempo.
O Adaptador Inteligente (LoRA): Em vez de reescrever todo o cérebro, eles usaram um truque inteligente chamado LoRA (Low-Rank Adaptation). Imagine que o grande cérebro é uma biblioteca gigante e pesada. O LoRA é como adicionar um conjunto pequeno e leve de notas adesivas às prateleiras. Essas notas dizem à biblioteca como reorganizar seu conhecimento existente especificamente para a tarefa de identificar vozes masculinas vs. femininas. É eficiente, rápido e não bagunça o outro conhecimento da biblioteca.
O Juiz Final (ECAPA-TDNN): O cérebro então passa suas descobertas para um juiz especializado chamado ECAPA-TDNN. Este juiz analisa as pistas de diferentes camadas do cérebro, combina-as e toma a decisão final: "Masculino" ou "Feminino".

O Grande Teste
A equipe colocou seu novo detetive à prova contra outros dois contendores:

Vox-Profile: O atual campeão de reconhecimento de gênero de voz.
MERaLiON-v2: Uma "enciclopédia" de IA de propósito geral (um Audio-LLM) que pode falar e ouvir, mas não é um detetive de voz especializado.

Eles testaram todos em uma enorme variedade de vozes: gravações de estúdio claras, ruídos de rua desordenados, clipes curtos de 2 segundos e conversas longas. Os idiomas variavam desde o inglês padrão até a mistura única de Singlish e vários dialetos do Sudeste Asiático.

Os Resultados: O Especializado Vence
Os resultados foram claros. O detetive especializado, MERaLiON-GR, esmagou a competição em quase todas as categorias.

Vencendo o Campeão: Em 12 de 15 diferentes conjuntos de teste, o MERaLiON-GR foi mais preciso que o atual campeão, o Vox-Profile. Em alguns casos, como com vozes de idosos em tâmil e tailandês, ele obteve uma pontuação perfeita de 100,00%.
O Teste "Selvagem": O verdadeiro desafio foram as gravações "in-the-wild" (na natureza/mundo real) — clipes curtos e bagunçados de situações reais (de 10 a 30 segundos de duração). Aqui, o MERaLiON-GR ainda foi o vencedor, superando o Vox-Profile em até 4,32 pontos percentuais. Isso é importante porque o áudio do mundo real é cheio de ruídos de fundo e trechos curtos que confundem outros modelos.
A Luta da Enciclopédia: A IA de propósito geral (a "enciclopédia") teve um desempenho aceitável, mas perdeu consistentemente para o detetive especializado. Sem treinamento específico, ela teve dificuldade em captar os detalhes finos. Por exemplo, no teste FLEURS de inglês, a enciclopédia acertou apenas 49,61%, enquanto o detetive especializado obteve 100,00%.

O Truque de Mágica: Ajudando a Enciclopédia
Aqui está a parte mais interessante. A equipe descobriu que, embora a IA de propósito geral (a "enciclopédia") não seja um ótimo detetive de voz por conta própria, ela se torna muito mais inteligente se você apenas lhe disser a resposta primeiro.
Quando pegaram o palpite de gênero do seu detetive especializado (MERaLiON-GR) e o deram à enciclopédia como uma "dica" (metadados), o desempenho da enciclopédia disparou.

No Common Voice de vietnamita, a precisão da enciclopédia saltou de 36,08% para 96,08% apenas sendo informada sobre o gênero primeiro.
No FLEURS de inglês, saltou de 49,61% para 97,31%.

Isso sugere que, embora os modelos de IA generais sejam poderosos, eles ainda precisam de um "assistente" especializado para lidar com tarefas específicas como identificar o gênero. Uma vez que possuem essa pista, eles podem usar seu vasto conhecimento para entender muito melhor o resto da conversa.

Por Que Isso Importa
O artigo conclui que, para tarefas como o reconhecimento de gênero em uma mistura de idiomas e ambientes ruidosos, você realmente precisa de uma ferramenta dedicada e especializada. Você não pode apenas confiar em uma IA geral para descobrir isso. O modelo MERaLiON-GR mostra que, ao usar um método inteligente e eficiente (LoRA) para adaptar um grande cérebro a um trabalho específico, podemos construir sistemas que entendem as diversas vozes do Sudeste Asiático melhor do que nunca. É um lembrete de que, às vezes, a melhor maneira de resolver um problema específico é construir um especialista, não apenas confiar em um generalista.

Resumo Técnico: MERaLiON-GR

Declaração do Problema

O reconhecimento de gênero (GR) de fala é uma tarefa paralinguística fundamental, essencial para a diarização de locutores, perfilamento e aplicações forenses. Embora ouvintes humanos possam inferir o gênero a partir de enunciados breves, sistemas automáticos lutam para generalizar através de diversas condições de gravação, idiomas, sotaques, grupos etários e características de canal. As abordagens existentes enfrentam dois desafios primários:

Generalização: Métodos tradicionais que dependem de características manuais (ex: F0, formantes) ou mesmo modelos modernos de aprendizagem profunda frequentemente falham em manter a robustez através da ampla diversidade linguística do Sudeste Asiático (SEA) e do Inglês.
Eficiência vs. Desempenho: O ajuste fino completo (fine-tuning) de grandes modelos de fala pré-treinados (ex: 24+ camadas) para tarefas específicas de downstream é computacionalmente caro e corre o risco de esquecimento catastrófico das representações pré-treinadas.

Metodologia

Os autores propõem o MERaLiON-GR, um sistema de classificação binária (feminino/masculino) projetado para Inglês e línguas do Sudeste Asiático. A arquitetura integra um grande backbone pré-treinado com uma estratégia de adaptação eficiente em parâmetros e uma rede especializada de downstream.

1. Backbone: MERaLiON-SpeechEncoder-2 com LoRA

O núcleo do sistema é o MERaLiON-SpeechEncoder-2, um grande codificador baseado em Conformer, pré-treinado em um corpus multilíngue que apresenta fortemente o Inglês de Singapura e outras línguas do SEA.

Ajuste Fino Eficiente em Parâmetros (PEFT): Em vez de atualizar todas as 24 camadas do transformer, os autores empregam Low-Rank Adaptation (LoRA). Adaptadores LoRA são inseridos nas camadas de projeção de atenção, parametrizando as atualizações de peso via fatores de baixo rank (rank e fator de escala definidos como 16). Isso reduz o custo computacional e os riscos de sobreajuste (overfitting).
Normalização e Regularização: O modelo utiliza normalização rsLoRA e uma taxa de dropout de LoRA de 0,05.
Agregação de Camadas: Todas as 25 saídas de estado oculto (embeddings de entrada + 24 camadas) são retidas. Um mecanismo de atenção suave aprendido agrega essas representações médias por camada em uma combinação ponderada ( $H = \sum a_l h_l$ ), capturando pistas fonéticas e de locutor complementares.

2. Rede de Downstream: ECAPA-TDNN

A representação agregada é processada por uma rede ECAPA-TDNN adaptada para reconhecimento de gênero:

Arquitetura: A entrada é projetada para 51ções 512 dimensões e passa por três blocos SE-Res2Net com dilatações $\{1, 2, 3\}$ e um fator de redução SE de 8.
Normalização: Todas as camadas BatchNorm são substituídas por camadas GroupNorm para corresponder à estrutura original do ECAPA-TDNN.
Pooling e Classificação: O pooling de atenção agrega quadros temporais em um embedding de comprimento fixo, que é projetado para 256 dimensões. Uma cabeça de classificação linear com RMSNorm e ativação GELU mapeia isso para dois logits de classe.

3. Estratégia de Treinamento

Datasets: O treinamento utiliza seis partições: VoxCeleb1 (rotulada por gênero) e cinco partições do corpus de fala IMDA Singapura (cobrindo roteiros induzidos, conversação espontânea, alternância de código (code-switching) e fala estilizada).
Otimização: O modelo utiliza uma estratégia de treinamento de múltiplos datasets com perda de entropia cruzada ponderada e balanceada por classe para lidar com o desequilíbrio de classes.
Hiperparâmetros: Os adaptadores LoRA e a rede de downstream utilizam taxas de aprendizado distintas ( $5\times10^{-5}$ e $6\times10^{-4}$ , respectivamente). O treinamento emprega um agendador de cosseno com warm-up linear e suavização de rótulo ( $\epsilon=0.1$ ).
Ensemble: Para melhorar a robustez sem sobrecarga de inferência, os parâmetros finais do modelo são uma média dos quatro checkpoints com a menor perda categórica no conjunto de desenvolvimento.

Principais Contribuições

O artigo delineia três contribuições primárias:

Um Modelo de GR Multilíngue com Parâmetros Eficientes: Um modelo construído sobre o MERaLiON-SpeechEncoder-2 usando LoRA e ECAPA-TDNN que supera o estado da arte Vox-Profile em 12 de 15 benchmarks públicos em oito línguas.
Reconhecimento Robusto ao Nível de Segmento: Demonstração da capacidade de realizar reconhecimento de gênero preciso em segmentos de fala curtos e "em ambiente real" (in-the-wild) (10–30 segundos), alcançando ganhos de até 4,32 pontos percentuais (pp) sobre o Vox-Profile em conjuntos de línguas de Singapura.
Desempenho Aprimorado de Audio-LLM: Uma demonstração de que a injeção de estimativas de GR como metadados paralinguísticos melhora substancialmente o desempenho de Audio-LLMs de propósito geral em perguntas e respostas relacionadas a gênero, validando a utilidade de pistas paralinguísticas explícitas.

Resultados

Desempenho em Benchmarks Públicos

Avaliado em oito línguas (Inglês, Chinês, Malaio, Tâmil, Tailandês, Vietnamita, Indonésio, Khmer) em 15 conjuntos de teste:

Acurácia: O MERaLiON-GR alcançou maior acurácia que o Vox-Profile em 12 de 15 conjuntos de teste e igualou o desempenho no benchmark Khmer FLEURS.
Pontuações Perfeitas: O modelo obteve 100,00% de acurácia no English FLEURS, Tamil OpenSLR e Thai Elderly.
Ganhos Significativos: Observaram-se melhorias notáveis no Tamil EmoTa (+4,71 pp), Vietnamese Common Voice (+3,14 pp) e Indonesian IndoWave (+3,00 pp).
Limitações: O desempenho diminuiu no Malay SMALDUSC (-4,40 pp) e Thai SER (-2,09 pp), atribuído a desajustes de domínio nas condições de gravação e estilos de fala em comparação com os dados de treinamento.

Desempenho "In-the-Wild"

No conjunto de avaliação de Singapura (SG-ECMT) curado manualmente, consistindo em segmentos de 10–30 segundos:

O MERaLiON-GR superou consistentemente o Vox-Profile em todas as quatro línguas (Singlish, Chinês, Malaio, Tâmil).
A maior melhoria foi no Malaio (+4,32 pp), seguido pelo Tâmil (+4,16 pp), destacando a robustez do modelo para rotulagem pseudo (pseudo-labeling) de nível de segmento mais refinada.

Integração com Audio-LLM

Quando o gênero previsto foi injetado como metadados no Audio-LLM (GR-AudioLLM):

A acurácia melhorou significativamente em todos os datasets avaliados em comparação com o Audio-LLM base.
Os ganhos foram particularmente dramáticos no Vietnamese Common Voice (+60,00 pp), English FLEURS (+47,70 pp) e Malay SMALDUSC (+41,20 pp), confirmando que pistas paralinguísticas explícitas atuam como sinais de condicionamento eficazes para a compreensão de fala-linguagem.

Significância e Alegações

O artigo alega que o MERaLiON-GR reforça o valor contínuo de modelos de fala dedicados para alcançar compreensão paralinguística precisa e forte generalização translingual. Os resultados sugerem que:

Especialização Importa: Audio-LLMs de propósito geral são menos eficazes para o reconhecimento de gênero refinado sem otimização específica da tarefa.
Eficiência é Viável: O ajuste fino eficiente em parâmetros (LoRA) em grandes codificadores pré-treinados pode gerar desempenho de estado da arte sem o custo computacional do ajuste fino total.
Utilidade de Metadados: Fornecer explicitamente metadados paralinguísticos (como o gênero) melhora significativamente as capacidades dos modelos multimodais na compreensão do contexto da fala, apoiando a integração de codificadores especializados em pipelines de IA mais amplos.

O trabalho posiciona o MERaLiON-GR como um substituto prático para modelos externos de GR, particularmente para aplicações que exigem desempenho robusto através de diversas línguas do Sudeste Asiático e ambientes de gravação não controlados.