WhisperAlign: Word-Boundary-Aware ASR and WhisperX-Anchored Pyannote Diarization for Long-Form Bengali Speech

Este artigo apresenta a solução "WhisperAlign" para o DL Sprint 4.0, que combina uma estratégia de fragmentação de áudio baseada em WhisperX para reconhecimento de fala e um modelo de diarização de fala ajustado especificamente para o dataset da competição, resultando em reduções significativas nas taxas de erro para transcrição e identificação de falantes em longas gravações de áudio em bengali.

O essencial

Imagine que você tem uma conversa de uma hora de duração entre várias pessoas falando em bengali, mas a gravação é um caos: as pessoas se sobrepõem, falam rápido, e há muito silêncio ou barulho de fundo. O objetivo deste trabalho foi ensinar um computador a fazer duas coisas difíceis com essa gravação:

1. Transcrever o que foi dito (escrever o texto).
2. Identificar quem falou o quê (separar as vozes).

Os autores, estudantes de engenharia, criaram um sistema chamado WhisperAlign para resolver isso. Vamos usar algumas analogias para entender como eles fizeram isso de forma simples:

1. O Problema do "Sanduíche Grande Demais" (Transcrição)

Imagine que você tenta comer um sanduíche gigante de uma hora de uma só vez. É impossível. Você vai engasgar, perder pedaços e não vai saber o que está comendo.

• O Erro Comum: A maioria dos sistemas tenta cortar a gravação em pedaços de tempo fixo (ex: 30 segundos). O problema é que, se a palavra "casa" começar aos 29 segundos e terminar aos 31, o sistema corta a palavra ao meio. O computador fica confuso e começa a inventar palavras (alucinações).
• A Solução Criativa (Corte Inteligente): Os autores não cortaram por tempo, mas por palavras. Eles usaram uma ferramenta que sabe exatamente onde cada palavra começa e termina.
  • A Analogia: Em vez de cortar o sanduíche com uma faca aleatória, eles usaram uma tesoura mágica que só corta exatamente entre uma palavra e outra. Assim, cada pedaço de áudio que o computador analisa contém palavras inteiras e completas. Isso evita que o computador "alucine" e invente frases que não existem.

2. O Detetive de Vozes (Diarização)

Agora imagine que você tem uma sala cheia de gente conversando e precisa saber quem disse o quê. O problema é que, às vezes, duas pessoas falam ao mesmo tempo.

• O Erro Comum: Sistemas antigos tentam adivinhar quem fala, mas muitas vezes confundem os momentos de silêncio com fala, ou dizem que duas pessoas estão falando ao mesmo tempo quando o sistema exige que apenas uma fale por vez.
• A Solução Criativa (Treinamento Específico e "Regra de Ouro"):
  • Treinamento Local: Eles pegaram um modelo de inteligência artificial genérico (que foi treinado com vozes de todo o mundo) e deram a ele um "curso intensivo" apenas com vozes bengalis. Foi como ensinar um detetive internacional a entender as gírias e o ritmo específico de uma cidade local.
  • A Regra de Ouro (Sem Sobreposição): O concurso exigia que as vozes não se sobrepusessem (apenas uma pessoa falando por vez). O sistema deles usa uma função especial que, quando duas vozes parecem se cruzar, decide automaticamente: "Ok, a voz mais forte e clara vence, e a outra fica em silêncio". Isso evita confusão.
  • O Cruzamento de Dados (A Interseção): Eles usaram dois sistemas diferentes para detectar silêncio e fala. Um sistema diz "aqui tem voz", o outro diz "aqui tem voz". O sistema final só aceita a voz se ambos os sistemas concordarem. É como ter dois guardas na porta: se um diz que você pode entrar, mas o outro diz que não, você fica de fora. Isso elimina erros onde o computador acha que há fala quando só há barulho de fundo.

3. O Resultado

Ao combinar esses truques:

• Transcrição: O erro de leitura caiu drasticamente (de 67,5% para 25,2%). O computador aprendeu a ler melhor porque as "fatias" de áudio que ele recebia eram perfeitas.
• Identificação de Vozes: O erro de identificar quem falou também caiu muito (de 40% para cerca de 24-28%). O sistema aprendeu a dinâmica das conversas em bengali e ignorou os ruídos.

Resumo da Ópera

Pense nisso como a diferença entre tentar ler um livro rasgado e aleatoriamente (método antigo) e ter um livro impresso com margens perfeitas e um tradutor que conhece a cultura local (método deles).

Eles não inventaram uma nova linguagem, mas criaram uma metodologia inteligente para organizar o caos de uma longa conversa, garantindo que o computador nunca perca uma palavra no meio do caminho e que nunca confunde o silêncio com uma voz. Isso é especialmente importante para idiomas como o bengali, onde há menos ferramentas prontas disponíveis do que para o inglês.

Resumo técnico

Resumo Técnico: WhisperAlign

1. Problema e Contexto

O artigo aborda os desafios críticos no processamento de áudio de fala longa (long-form) e multi-falante em línguas de recursos limitados, especificamente o Bengali. Os principais obstáculos identificados são:

• Reconhecimento de Fala (ASR): Modelos padrão (como o Whisper) sofrem com a preservação de contexto em áudios longos, alucinações (gêneros de texto sem correspondência no áudio) e truncamento de palavras quando o áudio é dividido em segmentos fixos arbitrários.
• Diarização de Falantes: Modelos existentes frequentemente falham em capturar a dinâmica conversacional específica do Bengali, têm dificuldade em lidar com fala sobreposta e geram desalinhamento temporal entre as transcrições e as etiquetas dos falantes.
• Falta de Ferramentas: A ausência de dicionários fonéticos robustos e ferramentas de alinhamento forçado para o Bengali dificulta a preparação de dados de treinamento de alta qualidade.

2. Metodologia

A solução proposta, WhisperAlign, consiste em um pipeline de duas etapas principais: um sistema de ASR focado em limites de palavras e um sistema de diarização ancorado no WhisperX.

A. Reconhecimento de Fala (ASR) - WhisperAlign

• Estratégia de "Chunking" Consciente de Limites de Palavras: Em vez de dividir o áudio em janelas de tempo fixas (o que corta palavras), o sistema utiliza o Silero VAD para isolar regiões de fala e o whisper-timestamped para extrair timestamps nível-palavra.
• Alinhamento com Ground-Truth: Os timestamps do Whisper são mapeados para as palavras do ground-truth (anotação original) usando correspondência de sequência (difflib.SequenceMatcher). Palavras mal transcritas mantêm a ortografia correta, mas herdam o timestamp do Whisper; palavras omitidas têm seus timestamps interpolados.
• Segmentação Inteligente: O áudio é particionado em segmentos estritamente respeitando os limites das palavras, garantindo que nenhum segmento exceda o limite seguro de decodificação do Whisper (28 segundos) e que nenhuma palavra seja cortada.
• Fine-tuning: Um modelo Whisper-medium adaptado para Bengali (tugstugi_bengaliai-asr-whisper-medium) é fine-tuned exclusivamente nos segmentos gerados (20-28 segundos), utilizando teacher forcing para estabilidade.
• Inferência: Utiliza VAD para criar janelas de inferência, com pós-processamento para remover repetições de n-gramas e frases em inglês indesejadas.

B. Diarização de Falantes - Pyannote-Anchored

• Adaptação de Domínio Eficiente: Em vez de re-treinar todo o pipeline pesado, apenas o módulo de segmentação temporal do Pyannote (aprox. 1,4M de parâmetros) foi fine-tuned em dados de áudio Bengali. Isso ensinou ao modelo a prosódia e a sintaxe de troca de turno específica da língua.
• Manuseio de Sobreposição Exclusiva: Utilização nativa do recurso exclusive_speaker_diarization do Pyannote, que atribui sobreposições ao falante dominante mais provável, garantindo faixas mutuamente exclusivas conforme exigido pela competição, sem destruir dados acústicos com heurísticas manuais.
• Interseção VAD (WhisperX + Pyannote): Para resolver o desalinhamento temporal comum entre o ASR (WhisperX) e a diarização (Pyannote), aplica-se uma interseção lógica (AND) entre os limites de fala do Silero VAD (usado pelo WhisperX) e os clusters do Pyannote. Isso elimina alucinações de limites e garante que as etiquetas de falante coincidam perfeitamente com a fala transcrita.

3. Contribuições Chave

1. Pipeline de Chunking Sem Dependência Externa: Uma estratégia computacionalmente leve que gera segmentos de treinamento alinhados a palavras sem necessidade de dicionários fonéticos ou ferramentas de alinhamento forçado externas (como o Montreal Forced Aligner).
2. Fine-tuning Específico para Bengali: Adaptação eficiente de parâmetros do modelo de segmentação do Pyannote para capturar nuances conversacionais do Bengali, melhorando significativamente a precisão em cenários de fala sobreposta.
3. Solução de Desalinhamento Temporal: A técnica de interseção VAD dupla (Silero + Pyannote) que elimina a deriva temporal e as alucinações de limites, um problema comum ao combinar sistemas de ASR e diarização independentes.
4. Otimização de Recursos: Demonstração de que é possível obter resultados de ponta em tarefas de fala longa em línguas de baixo recurso com fine-tuning seletivo e inferência otimizada em GPUs de consumo (Kaggle T4/P100).

4. Resultados

Os resultados foram avaliados nas métricas de Taxa de Erro de Palavra (WER) para ASR e Taxa de Erro de Diarização (DER) para diarização.

• ASR (Bengali):

  • O modelo base (tugstugi sem processamento) apresentou um WER de 67,5%.
  • Após a aplicação do pipeline completo (VAD, normalização, fine-tuning com chunking inteligente e limpeza manual), o WER caiu para 25,2% (Leaderboard Privado).
  • O ganho mais significativo veio do fine-tuning com a estratégia de chunking baseada em limites de palavras.
  • O sistema superou o baseline Hishab TITU-BN em aproximadamente 23 pontos absolutos.

• Diarização (Bengali):

  • O modelo base Pyannote 3.1 (sem ajuste) teve um DER de 47,7%.
  • Após o fine-tuning do módulo de segmentação, a migração para o modelo community-1 e a interseção VAD, o DER caiu para 26,0%.
  • Comparado ao benchmark acadêmico Bengali-Loop (DER de 40,08% para modelos base), a solução proposta reduziu o erro em 12-16 pontos absolutos.

5. Significado e Conclusão

O trabalho WhisperAlign estabelece um novo estado da arte para processamento de fala longa em Bengali, demonstrando que:

• A qualidade dos dados de treinamento (segmentação precisa baseada em palavras) é tão crítica quanto a arquitetura do modelo para reduzir alucinações em ASR.
• A adaptação de modelos de diarização para línguas específicas, combinada com a resolução nativa de sobreposições e o alinhamento temporal rigoroso via VAD, é essencial para a precisão em ambientes multi-falantes.
• A abordagem proposta oferece um blueprint robusto e escalável para aplicar tecnologias de fala avançadas em ambientes de recursos limitados, superando significativamente as soluções "prontas para uso" (out-of-the-box) e pipelines modulares tradicionais.