WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data

Resumo Técnico: WARDEN – Transcrição e Tradução de Língua Indígena Ameaçada com 6 Horas de Dados de Treinamento

Declaração do Problema
A documentação de línguas ameaçadas, como a Wardaman (uma língua indígena australiana com apenas dois falantes fluentes em 2025), é um processo intensivo em mão de obra que exige que linguistas produzam manualmente transcrições e traduções alinhadas temporalmente. Embora o reconhecimento automático de fala (ASR) e a tradução automática (MT) ofereçam aceleração potencial, abordagens padrão de aprendizado profundo são inviáveis para cenários de tão poucos recursos. Modelos existentes tipicamente exigem dezenas a centenas de horas de dados anotados para alcançar desempenho aceitável, ao passo que o conjunto de dados Wardaman disponível consiste em apenas 6 horas de pares áudio-transcrição-tradução alinhados temporalmente. Além disso, modelos unificados que tentam realizar transcrição e tradução simultaneamente frequentemente falham em regimes de dados extremamente baixos devido à falta de sinal de treinamento suficiente.

Metodologia
Os autores propõem o WARDEN (Wardaman Decoding ENgine), um framework de dois estágios projetado para desacoplar transcrição e tradução, permitindo assim aprendizado eficaz com dados mínimos.

1. Estágio de Transcrição (ASR):

   • Modelo: O sistema ajusta finamente o modelo Whisper-large-v3.
   • Inicialização Cross-Linguística: Para abordar a escassez de dados Wardaman, os autores identificam uma língua "proxy" foneticamente similar para inicializar os tokens de língua do modelo. Usando o banco de dados PHOIBLE, calcularam as distâncias de Hamming entre o inventário fonêmico do Wardaman e seis línguas candidatas (Sundanês, Uzbeque, Hausa, Croata, Occitano, Inglês).
   • Seleção: O Sundanês foi identificado como tendo a menor distância fonêmica. O modelo é inicializado usando o token de língua Sundanês (<su>) antes do ajuste fino nos 6 horas de dados Wardaman. Esta estratégia visa transferir conhecimento fonológico e acelerar a convergência.

2. Estágio de Tradução (MT):

   • Desafio: O ajuste fino direto de grandes modelos de linguagem (LLMs) ou tradutores baseados em ASR em 6 horas de dados produz resultados pobres devido ao sobreajuste e à falta de conhecimento específico do domínio.
   • Fluxo de Trabalho Aumentado por Léxico: Os autores compilam um dicionário Wardaman-Inglês (aproximadamente 2.300 entradas) a partir de anotações de especialistas.
   • Correspondente de Léxico: Antes da tradução, um correspondente baseado em regras recupera entradas de dicionário relevantes para palavras na transcrição do ASR. A correspondência é realizada via:
     • Taxa de Erro de Caracteres (CER): Correspondência de palavras da transcrição com entradas de dicionário com um limiar de CER ($\tau = 0,2$).
     • Correspondência de Afixos: Correspondência posicional de prefixos e sufixos para lidar com formas derivadas.
   • Integração com LLM: As entradas de léxico recuperadas (formatadas como palavra, CER, classe gramatical e glossa) são concatenadas com a transcrição do ASR e alimentadas em um LLM (especificamente Qwen3-8B).
   • Treinamento: O LLM é ajustado finamente usando Adaptação de Baixo Rank (LoRA). A entrada inclui a transcrição e as pistas de léxico correspondidas, transformando o LLM em um intérprete fundamentado em conhecimento em vez de um tradutor puramente orientado por dados.
   • Aumento de Dados: Os dados de treinamento são aumentados concatenando enunciados curtos em sequências mais longas e usando as próprias saídas de transcrição ruidosas do Whisper como entrada para simular erros de ASR do mundo real.

Principais Contribuições

• Arquitetura de Dois Estágios: O artigo demonstra que separar transcrição e tradução é superior a abordagens unificadas em configurações de recursos extremamente baixos (6 horas de dados).
• Inicialização por Proxy Fonético: A introdução da inicialização de modelos ASR com tokens de uma língua foneticamente similar (Sundanês) para superar a escassez de dados.
• Tradução Fundamentada em Léxico: Um pipeline inovador que integra dicionários compilados por especialistas diretamente no processo de inferência e ajuste fino do LLM, permitindo que o modelo aproveite conhecimento externo em vez de depender exclusivamente de parâmetros internos.
• Estabelecimento de Linha de Base: A criação de uma linha de base forte para processamento de Wardaman usando apenas 6 horas de dados anotados, superando modelos de código aberto e proprietários maiores.

Resultados Experimentais

• Transcrição: O sistema WARDEN (Whisper ajustado finamente com inicialização Sundanês) alcançou uma Taxa de Erro de Palavras (WER) de 0,52. Isso superou o ajuste fino padrão do Whisper (0,64) e as linhas de base zero-shot (1,62). O uso do token Sundanês reduziu a WER em 0,12 comparado ao ajuste fino padrão.
• Tradução: Usando o modelo Qwen3-8B com condicionamento de léxico e ajuste fino, o WARDEN alcançou uma pontuação BLEU-4 de 12,40.
  • Isso superou significativamente o melhor resultado do GPT-5 (7,54) e outras linhas de base ajustadas finamente.
  • Estudos de ablação mostraram que remover o léxico ou o ajuste fino reduziu a pontuação BLEU em 6,28 e 9,57, respectivamente.
  • O sistema também demonstrou robustez, mantendo o desempenho mesmo quando alimentado com saídas ruidosas de ASR.

Significado e Alegações
O artigo afirma que o WARDEN escapa com sucesso da "maldição dos dados limitados" que impede sistemas existentes. Ao aproveitar insights linguísticos (similaridade fonética) e conhecimento especializado (dicionários), o sistema alcança alto desempenho com uma fração dos dados tipicamente necessários. Os autores posicionam o WARDEN não como um substituto para linguistas, mas como uma ferramenta para acelerar o processo de documentação, reduzindo o compromisso de tempo de dias para horas no processamento de gravações de áudio. O trabalho enfatiza que tais ferramentas podem apoiar a revitalização de línguas liderada pela comunidade, desde que desenvolvidas com respeito à propriedade dos dados e às preferências da comunidade de falantes. Os autores afirmam explicitamente que a eficácia do design é verificada por sua capacidade de superar modelos maiores e famintos por dados neste contexto específico de poucos recursos.