Tone-Conditioned Curriculum Learning for Low-Resource Bantu Speech Recognition

Resumo Técnico: Aprendizado de Currículo Condicionado ao Tom para Reconhecimento de Fala de Línguas Bantu de Baixos Recursos

Definição do Problema
As línguas Bantu do sul (ex: isiZulu, isiXhosa, Sesotho, Setswana, Tshivenda, Xitsonga) são faladas por mais de 80 milhões de pessoas, mas permanecem sub-representadas no Reconhecimento Automático de Fala (ASR). Os modelos de fundação atuais, como o Whisper e o MMS, produzem taxas de erro de palavra (WER) zero-shot superiores a 100% nessas línguas, tornando-os impraticáveis para a educação e serviços públicos. Um desafio primário é que essas línguas dependem fortemente do tom e da prosódia para codificar relações gramaticais e significado lexical, embora as ortografias padrão omitam o tom. Diferente do Mandarim, onde o tom é frequentemente local à sílaba, os sistemas Bantu do sul exibem alta propagação tonal e contornos frasais. As abordagens padrão de aprendizado de currículo, que tipicamente ordenam os dados por erro de reconhecimento (WER) ou duração, falham em considerar essas complexidades fonológicas e morfotonais específicas.

Metodologia
Os autores propõem uma Estrutura de Aprendizado de Currículo Condicionada ao Tom projetada para abordar a escassez de dados e a complexidade tonal através de três fases integradas:

1. Pontuação de Dificuldade Híbrida:
   Em vez de depender apenas do erro de reconhecimento, os autores definem uma pontuação de dificuldade híbrida $s(u)$ para cada enunciado $u$:
   $$s(u) = \alpha \cdot \text{WER}_{\text{norm}}(u) + \beta \cdot \text{Tonal}_{\text{norm}}(u)$$
   Com pesos $\alpha=0,7$ e $\beta=0,3$, esta métrica equilibra o desempenho empírico do modelo com a complexidade linguística. O componente tonal agrega características morfotonais (densidade de transição, variedade de padrões únicos) extraídas de contornos de F0 sem exigir transcrição fonética manual. Os enunciados são mapeados para quintis de dificuldade para direcionar o treinamento em estágios.

2. Adaptadores de Portão Condicionados ao Tom (Tone-Conditioned Gated Adapters):
   Para injetar contexto tonal no modelo, os autores introduzem adaptadores de portão leves (adicionando ~2,1 milhões de parâmetros, ou 0,3% do modelo base). Um MLP de 2 camadas mapeia um vetor tonal de 5 dimensões (derivado de estatísticas de F0 como taxa e amplitude de transição) para valores de portão. Esses portões modulam as representações do codificador, permitindo que o modelo aumente dinamicamente a contribuição do adaptador para enunciados com perfis tonais complexos, enquanto retém representações pré-treinadas para os mais simples.

3. Treinamento de Currículo em Estágios:
   O treinamento segue um cronograma de três estágios inspirado no CL-DM para evitar o sobreajuste (overfitting) em amostras ruidosas e difíceis no início do treinamento:

   • Estágio 1: Treina nos 40% de amostras mais fáceis.
   • Estágio 2: Expande para os 80% mais fáceis.
   • Estágio 3: Utiliza o conjunto de treinamento completo.
     Esta fusão progressiva visa preservar o desempenho em padrões estáveis enquanto se adapta a estruturas tonais mais difíceis.

Principais Contribuições

1. Função de Pontuação Híbrida: Uma métrica de dificuldade inovadora que combina WER com características mortotonais especificamente adaptadas para línguas Bantu.
2. Adaptadores de Tom com Portão (Gated Tone Adapters): Um mecanismo eficiente em parâmetros (2,1 milhões de parâmetros) que condiciona as representações do codificador em estatísticas tonais por enunciado.
3. Avaliação Abrangente: Uma análise de três arquiteturas de fundação (Whisper, W2V-BERT, MMS) em dois conjuntos de dados (Swivuriso e NCHLT), revelando preferências distintas entre arquitetura e língua.
4. Análise de Generalização: Evidência de que a transferibilidade do modelo varia significamente por família linguística, com o W2V-BERT mostrando uma transferência superior para línguas Nguni em comparação ao Whisper.

Resultos
O estudo avaliou 12 configurações das três famílias de modelos em seis línguas Bantu do sul:

• Desempenho de Linha de Base (Baseline): As linhas de base zero-shot (Whisper, MMS) falharam com WERs >100%. O ajuste fino (fine-tuning) reduziu substancialmente os erros, mas nenhum modelo único superou os outros em todas as línguas.
• Divergência de Arquitetura:
  • Línguas Nguni (isiZulu, isiXosa): O W2V-BERT superou significativamente o Whisper (ex: 24,79% vs. 28,12% de WER no Swivuriso para isiZulu).
  • Línguas Sotho-Tswana (Sesotho, Setswana): O Whisper superou o W2V-BERT (ex: Setswana atingiu 18,60% de WER com Whisper Tone+Curr.).
• Impacto do Condicionamento de Tom:
  • W2V-BERT: O condicionamento de tom proporcionou um ganho relativo significativo (redução de 7,2% no WER médio de 25,65% para 23,81%), beneficiando particularmente a decodificação CTC.
  • Whisper & MMS: O condicionamento de tom ofereceu benefícios mínimos ou mistos. Para o MMS, a ordenação de currículo baseada apenas em WER foi mais eficaz do que a abordagem híbrida.
• Robustez de Transferência: O desempenho variou ao transferir do conjunto de dados gravado pela comunidade Swivuriso para o conjunto de dados gravado em estúdio NCHLT. Por exemplo, o Tshivenda mostrou um grande hiato de desempenho (22 pontos de WER) entre os conjuntos de dados, enquanto o Xitsonga demonstrou maior estabilidade com o condicionamento de tom do W2V-BERT.

Significância e Alegações
O artigo afirma que nenhuma arquitetura de modelo única é universalmente ideal para todas as seis línguas Bantu do sul. A adequação de uma arquitetura é contingente à família linguística (Nguni vs. Sotho-Tswana). Consequentemente, os autores argumentam que o implantação confiável requer:

1. Seleção de modelo específica para a língua, em vez de uma abordagem de tamanho único.
2. Validação entre corpora para contabilizar mudanças de distribuição entre gravações comunitárias e de estúdio.
3. Integração da estrutura tonal nas estratégias de adaptação, demonstrando que a adaptação eficiente em parâmetros pode aproveitar a estrutura linguística sem necessidade de anotação fonológica manual.

O trabalho destaca que, embora o aprendizado de currículo e o condicionamento de tom melhorem a robustez, sua eficácia é altamente dependente da interação entre a arquitetura específica e as propriedades linguísticas da língua alvo.