Thaka at KSAA-2026 Task 2: Regularized Fine-Tuning for Arabic Speech Diacritization

Resumo Técnico: Thaka na KSAA-2026 Tarefa 2: Ajuste Fino Regularizado para Diacritização de Fala Árabe

Definição do Problema
O artigo aborda a Tarefa 2 da Competição KSAA-2026, que foca na Transcrição de Fala Árabe com Diacritização Automática. O objetivo é gerar texto árabe totalmente diacritizado a partir de áudio de fala e transcrições sem diacríticos. Esta tarefa é particularmente desafiadora devido à ambiguidade inerente da ortografia árabe, onde vogais curtas e marcadores fonológicos (diacríticos) são tipicamente omitidos, levando a múltiplos significados potenciais para uma única sequência de caracteres. Embora os sinais de fala forneçam pistas prosódicas e fonéticas para resolver essas ambiguidades, a competição apresenta um cenário de poucos recursos: apenas 2.327 amostras de treinamento estão disponíveis em vários dialetos árabes, e o uso de dados externos é estritamente proibido.

Metodologia
O sistema dos autores é construído sobre a arquitetura CATT-Whisper, um modelo multimodal que funde um codificador de texto CATT em nível de caractere com um codificador de fala Whisper. A abordagem técnica enfatiza a regularização rigorosa do treinamento e o ensemble no momento da inferência, em vez de mudanças arquiteturais complexas.

• Arquitetura:

  • Codificador de Texto: Um Transformer CATT de 6 camadas (512 dimensões, 16 cabeças) pré-treinado em diacritização árabe, prevendo uma das 15 classes de diacríticos por letra.
  • Codificador de Fala: Um codificador Whisper-base congelado (6 blocos, 512 dimensões).
  • Fusão: O sistema emprega adição de prefixo. 1.500 quadros de fala Whisper são agrupados por média em 150 tokens, projetados e inseridos como 150 tokens de prefixo dedicados precedendo a entrada de texto. O modelo contém aproximadamente 39M de parâmetros, com cerca de 19M treináveis.

• Estratégia de Treinamento:

  • Regularização: A inovação central reside na receita de treinamento. O sistema utiliza regularização de consistência R-Drop, onde cada entrada passa pelo modelo duas vezes com máscaras de dropout diferentes, penalizando previsões divergentes através de uma penalidade de divergência KL simétrica ($\alpha = 2.08$).
  • Função de Perda: A perda supervisionada combina Focal Loss ($\gamma = 0.34$) com suavização de rótulos ($\epsilon = 0.018$) para lidar com desequilíbrio de classes e exemplos difíceis.
  • Otimização de Hiperparâmetros: Todos os hiperparâmetros (taxa de aprendizado, decaimento de peso, taxas de dropout, etc.) foram selecionados via Optuna em 30 tentativas. Notavelmente, o sistema emprega alto decaimento de peso (0,098) e taxas de dropout específicas para embeddings de fala.
  • Aumento de Dados: As técnicas incluem SpecAugment (mascaramento de frequência e tempo) e injeção de ruído gaussiano.
  • Checkpoints: Quatro checkpoints distintos de modelo foram treinados: três usando a configuração principal com diferentes sementes aleatórias (42, 7, 123) e um quarto usando uma configuração alternativa (diferente taxa de aprendizado, tamanho de lote e blocos Whisper parcialmente descongelados) para aumentar a diversidade do ensemble.

• Inferência:

  • O sistema emprega ensemble de Dropout de Monte Carlo (MC). Durante a inferência, o dropout permanece ativo no codificador CATT.
  • Cada um dos quatro checkpoints realiza 50 passagens forward estocásticas (totalizando 200 passagens).
  • A previsão final é derivada pela média das probabilidades softmax em todas as 200 passagens antes de tomar o argmax.
  • Pós-processamento: Um método de inserção posicional direta garante que a saída mantenha uma correspondência 1:1 com os caracteres de entrada, impondo invariantes como recuperar a entrada original ao remover os diacríticos.

Principais Contribuições

1. Sistema Vencedor: O sistema proposto alcançou o 1º lugar na Competição KSAA-2026.
2. Regularização sobre Arquitetura: Os autores demonstram que, em cenários de poucos recursos (2.187 amostras de treinamento efetivas), estratégias de otimização (R-Drop, Focal Loss, alto decaimento de peso) produzem ganhos de desempenho significativamente maiores do que modificações arquiteturais (por exemplo, atenção cruzada, decodificação CRF ou ajuste fino por RL).
3. Ensemble de Inferência: A aplicação de ensemble de Dropout de Monte Carlo no momento da inferência forneceu uma melhoria mensurável, embora os autores observem o custo computacional (200 passagens forward).

Resultados
O sistema foi avaliado no conjunto de teste usando a Taxa de Erro de Palavra (WER) com finais de caso (incluindo posições sem diacríticos) como métrica principal.

• Desempenho: O sistema alcançou uma WER de 23,26%, superando o participante em segundo lugar (24,39%) e a linha de base apenas de texto (49,85%).
• Estudo de Ablação: Uma ablação cumulativa no conjunto de desenvolvimento revelou a fonte das melhorias:
  • O ajuste fino do CATT-Whisper pré-treinado com uma receita padrão resultou em 30,43% de WER.
  • A adição da receita regularizada (R-Drop, Focal Loss, alto decaimento de peso) reduziu a WER para 27,18% (um ganho de 3,25 pontos percentuais).
  • A adição de ensemble de Dropout de Monte Carlo reduziu ainda mais a WER para 26,02% (um ganho adicional de 1,16 pontos percentuais).
  • Os autores concluem que a receita de treinamento foi o principal motor de melhoria.

Significado e Alegações
O artigo afirma que, para as restrições específicas da Tarefa 2 da KSAA-2026 (dados limitados, sem recursos externos), o caminho mais eficaz para alto desempenho não é a complexidade arquitetural, mas sim a regularização robusta de treinamento. Os autores afirmam que sua abordagem aproveita com sucesso a natureza complementar dos sinais de fala para resolver ambiguidades ortográficas, confirmando que a entrada de áudio é crítica para esta tarefa. Eles sugerem modestamente que trabalhos futuros devem focar em desvendar as contribuições individuais de cada componente de regularização e analisar o desempenho por dialeto para identificar desafios remanescentes, em vez de reivindicar superioridade universal em todos os cenários de diacritização árabe.