SloPal: A 60-Million-Word Slovak Parliamentary Corpus with Aligned Speech and Fine-Tuned ASR Models

O artigo apresenta o SloPal, um corpus abrangente de discursos parlamentares eslovacos com 66 milhões de palavras e um conjunto de dados de áudio alinhado de 2.806 horas, que permitiu o desenvolvimento de modelos de reconhecimento de fala (ASR) ajustados finamente baseados no Whisper, reduzindo a taxa de erro de palavras em até 70% e oferecendo recursos de código aberto para uma língua de baixos recursos.

O essencial

Imagine que a Inteligência Artificial (IA) que entende a fala humana é como um aluno universitário muito inteligente, mas que só estudou em inglês, alemão e russo. Se você tentar falar com ele em eslovaco, ele fica confuso, entende metade das coisas e comete muitos erros. Isso acontece porque, para aprender, ele precisa de "livros de texto" (dados) e, no caso do eslovaco, havia muito poucos livros disponíveis na biblioteca pública.

Os autores deste artigo decidiram resolver esse problema criando a SloPal.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: A Biblioteca Vazia

Até agora, para treinar esses "alunos de IA" a falar eslovaco, só havia cerca de 100 horas de áudio disponível. É como tentar ensinar alguém a cozinhar um banquete completo usando apenas uma receita de sanduíche. O resultado? A IA errava muito (falava palavras erradas).

2. A Solução: O "Grande Livro" do Parlamento

Os pesquisadores foram até o Parlamento Eslovaco. Imagine que o parlamento é uma sala gigante onde políticos falam por horas, todos os dias, desde 2001.

• O que eles fizeram: Eles pegaram todas as gravações de áudio e os textos escritos (transcrições) dessas reuniões.
• O resultado: Criaram um "super livro" chamado SloPal. Ele tem 330.000 páginas (transcrições) com 66 milhões de palavras. É como se eles tivessem lido todos os discursos do parlamento eslovaco das últimas duas décadas.

3. O Desafio: O Áudio e o Texto não Batiam

Aqui está a parte difícil. O parlamento tem o áudio e o texto, mas eles não estavam perfeitamente sincronizados.

• A Analogia: Imagine que você tem um filme (áudio) e um roteiro (texto), mas o roteiro diz que o personagem fala "Olá" no minuto 10, e no filme ele fala "Olá" no minuto 12. Se você tentar ensinar a IA com isso, ela vai ficar louca.
• A Invenção (SloPalSpeech): Eles criaram um sistema inteligente (chamado de "alinhamento baseado em âncoras") que funcionou como um detetive. O sistema olhava para o áudio, tentava entender o que estava sendo dito (mesmo que não fosse perfeito) e usava essas palavras como "âncoras" para prender o texto correto no momento exato do áudio.
• Eles cortaram tudo em pedaços de 30 segundos (como capítulos curtos de um livro), perfeitos para a IA estudar. No final, tinham 2.806 horas de áudio perfeitamente alinhado com o texto.

4. O Treinamento: A "Escola de Verão" para a IA

Com esse novo material de estudo, eles pegaram um modelo de IA famoso chamado Whisper (que já é bom, mas não era ótimo em eslovaco) e o mandaram para uma "escola de verão" intensiva usando apenas os dados do parlamento.

• O Resultado: A IA aprendeu muito rápido.
  • Antes, ela errava muitas palavras.
  • Depois do treino, os erros caíram em 70%.
  • A Mágica: Eles conseguiram treinar um modelo "pequeno" (que é rápido e leve) para ter quase o mesmo desempenho de um modelo "gigante" (que é lento e pesado). É como transformar um carro popular em um esportivo apenas trocando o motor, sem precisar construir um carro novo do zero.

5. O Presente para Todos

O melhor de tudo é que eles não guardaram esse segredo. Eles colocaram tudo na internet (no site Hugging Face) de graça:

1. O Texto Completo: Para quem quer estudar política, história ou linguagem.
2. O Áudio Alinhado: Para quem quer criar aplicativos de ditado ou legendas automáticas em eslovaco.
3. Os Modelos Treinados: A "IA pronta" que já fala eslovaco muito bem.

Resumo em uma frase

Os autores pegaram o "gigante esquecido" dos discursos do parlamento eslovaco, organizaram-no como um livro didático perfeito, ensinaram a IA a ler esse livro e agora entregaram a chave da biblioteca para todo mundo usar, permitindo que a tecnologia entenda o eslovaco tão bem quanto entende o inglês.

Resumo técnico

1. O Problema

O eslovaco é classificado como uma língua de baixa recursos (low-resource) para Reconhecimento Automático de Fala (ASR). Existem menos de 100 horas de dados de treinamento publicamente disponíveis, o que resulta em desempenho inferior dos modelos de ponta (como o Whisper) em comparação com línguas de alto recurso (como inglês ou alemão). A lacuna de desempenho é impulsionada principalmente pela escassez de dados, e não pela capacidade do modelo. Além disso, os recursos existentes muitas vezes carecem de alinhamento áudio-texto preciso ou são proprietários, limitando a pesquisa reprodutível.

2. Metodologia

Os autores desenvolveram uma abordagem sistemática para criar e alinhar dados a partir de registros parlamentares públicos:

• Coleta de Dados (SloPal):

  • Fonte: Utilizaram o MediaPortál (portal oficial do Conselho Nacional da Eslováquia) para áudio e a Biblioteca Digital Parlamentar Conjunta Checa e Eslovaca para transcrições textuais.
  • Escala: Coletaram 4.096 horas de áudio e 2.199 arquivos de transcrição (DOCX), cobrindo o período de 2001 a 2024.
  • Processamento de Texto: Desenvolveram um pipeline de parseamento heurístico para converter DOCX em XHTML e segmentar o texto. O sistema identifica anotações de oradores (nomes e cargos em negrito) usando regras baseadas em contagem de palavras e correspondência com uma lista de membros do parlamento raspada da web. Isso resultou em um corpus de 330.000 transcrições segmentadas por orador (66 milhões de palavras).

• Alinhamento e Segmentação (SloPalSpeech):

  • Desafio: As transcrições oficiais cobriam sessões inteiras (manhã e tarde), enquanto o áudio disponível cobria apenas a parte da manhã. Além disso, as segmentações originais eram imprecisas.
  • Pipeline de Alinhamento: Em vez de usar alinhamento forçado tradicional (que falha em textos longos e com discrepâncias), os autores criaram uma pipeline de alinhamento baseada em "âncoras" (anchors):
    1. Geraram uma transcrição de referência usando o WhisperX em blocos de 30 segundos.
    2. Identificaram palavras comuns entre a transcrição de referência e a transcrição "verdadeira" (ground truth) dentro de uma janela de contexto.
    3. Usaram a distância de Levenshtein e correspondência de contexto para alinhar as palavras e gerar carimbos de tempo precisos.
  • Filtragem: Aplicaram um filtro de qualidade baseado na Taxa de Erro de Palavra (WER) da transcrição de referência. Segmentos com WER > 40% foram removidos.
  • Resultado Final: Um conjunto de dados de 2.806 horas de áudio alinhado, segmentado em blocos de até 30 segundos (otimizado para a arquitetura do Whisper).

• Ajuste Fino (Fine-Tuning):

  • Foram ajustados quatro modelos do Whisper (Small, Medium, Turbo e Large-v3) usando o conjunto SloPalSpeech.
  • Para o modelo Large-v3, foi necessário usar treinamento distribuído (FSDP) em múltiplas GPUs e ajustes de hiperparâmetros (como weight decay e taxa de aprendizado reduzida) para evitar overfitting e instabilidade.

3. Principais Contribuições

1. SloPal (Corpus de Texto): O maior recurso linguístico parlamentar eslovaco disponível, contendo 66 milhões de palavras com metadados ricos (nomes, cargos, informações de sessão), permitindo análises de discurso político e estudos linguísticos diacrônicos.
2. SloPalSpeech (Corpus de Áudio): O primeiro conjunto de dados de fala parlamentar eslovaca alinhado e segmentado especificamente para treinamento de ASR, com 2.806 horas de áudio.
3. Modelos Ajustados: Quatro modelos Whisper fine-tuned (de 244M a 1,5B de parâmetros) otimizados para o eslovaco.
4. Pipeline de Alinhamento Agnóstico à Língua: Uma metodologia de alinhamento baseada em âncoras que não requer treinamento de modelos de alinhamento forçado dedicados, aplicável a qualquer língua suportada pelo Whisper.
5. Acesso Aberto: Todos os recursos (texto, áudio e modelos) foram lançados publicamente no Hugging Face sob licenças permissivas (CC BY 4.0 e MIT).

4. Resultados

• Redução de WER: O ajuste fino reduziu a Taxa de Erro de Palavra (WER) em até 70% em comparação com os modelos base do Whisper.
  • O modelo Whisper Small ajustado (244M parâmetros) alcançou um desempenho comparável ao modelo Whisper Large-v3 base (1,5B parâmetros), mas com 6 vezes menos parâmetros.
  • No conjunto de testes FLEURS, o modelo Small-Tuned reduziu o WER de 36,1% para 10,6%.
• Comparação com o Estado da Arte: O modelo Large-v3 Tuned superou modelos proprietários recentes da NVIDIA (Canary-1B-v2 e Parakeet) em benchmarks eslovacos, mesmo considerando que os modelos da NVIDIA foram treinados com dados de testes públicos (FLEURS/Common Voice).
• Eficiência: O modelo Turbo-v3 Tuned oferece o melhor compromisso entre eficiência e precisão, sendo recomendado para implantação prática.

5. Significado e Impacto

• Democratização do ASR para o Eslovaco: O trabalho preenche uma lacuna crítica de dados, transformando o eslovaco de uma língua de baixa recursos para uma com um dos maiores corpora parlamentares alinhados disponíveis.
• Viabilidade de Modelos Pequenos: Demonstra que, com dados de domínio específico de alta qualidade, modelos menores e mais eficientes podem rivalizar com modelos massivos, facilitando a implantação em ambientes com restrições de hardware.
• Reprodutibilidade e Pesquisa Futura: O pipeline de alinhamento baseado em âncoras oferece um método escalável para criar corpora de fala alinhada em outras línguas eslavas e de baixa recursos que possuem registros parlamentares transcritos.
• Aplicações Multidisciplinares: Além do ASR, o corpus textual rico em metadados abre novas fronteiras para análise de discurso político, modelagem de linguagem específica de oradores e estudos sociolinguísticos.

Em resumo, o projeto SloPal não apenas fornece dados e modelos prontos para uso, mas também estabelece um novo padrão para a construção de recursos de fala em línguas de baixa recursos, combinando engenharia de dados robusta com estratégias de ajuste fino eficientes.