Swiss Parliaments Corpus Re-Imagined (SPC_R): Enhanced Transcription with RAG-based Correction and Predicted BLEU

1. O Problema

O desenvolvimento de sistemas de Reconhecimento Automático de Fala (ASR) para domínios de baixa recursos, especificamente para o alemão suíço, ainda enfrenta desafios significativos devido à escassez de dados de alta qualidade.

• Limitações de Dados Anteriores: O corpus original SPC (Plüss et al., 2021) continha apenas 176 horas de áudio, segmentado ao nível de frases. Essa segmentação não reflete bem cenários do mundo real (conversas longas) e limita a eficácia dos modelos de ASR modernos.
• Qualidade e Alinhamento: Dados existentes muitas vezes possuem alinhamentos imperfeitos entre o áudio (alemão suíço) e o texto (alemão padrão) ou não são adequados para uso comercial.
• Necessidade: Há uma necessidade urgente de conjuntos de dados de longo prazo (long-form), com alta precisão de transcrição e alinhamento, para treinar modelos robustos de ASR e NLP para o alemão suíço.

2. Metodologia

Os autores propõem o SPC_R, uma extensão do corpus original que abrange 801 horas de gravações de debates parlamentares do Grosser Rat Kanton Bern. O pipeline de processamento segue três etapas principais:

A. Transcrição Inicial com Whisper Large-v3

• Modelo: Utilização do Whisper Large-v3 em configurações de alto desempenho (high-compute).
• Configurações: Beam size = 10, best_of = 10, log_prob_threshold = –2.
• Hardware: NVIDIA A4500 GPU (20 GB VRAM), precisão float16, batch_size = 8.
• Saída: Gera transcrições em Alemão Padrão a partir do áudio em Alemão Suíço, armazenando também a métrica de confiança do modelo (avg_log_prob).

B. Predição de BLEU (Filtragem Baseada em Confiança)

• Os autores identificaram uma relação linear entre a métrica de confiança do Whisper e o escore BLEU.
• Foi desenvolvido um modelo de regressão linear para prever o escore BLEU (Predicted BLEU) com base apenas na confiança do Whisper, sem necessidade de uma "verdadeira base" (ground truth) manual para cada segmento.
• Objetivo: Identificar e filtrar segmentos de baixa qualidade antes da correção manual ou por LLM.

C. Correção e Avaliação com LLMs (GPT-4o e RAG)

Um processo de duas etapas foi implementado para refinar as transcrições:

1. Correção (GPT-4o):
   • Utiliza RAG (Retrieval-Augmented Generation) para injetar contexto factual.
   • Os resumos manuais oficiais das sessões parlamentares são indexados (usando Faiss e text-embedding-3-large) e recuperados em janelas deslizantes para fornecer contexto ao modelo.
   • O GPT-4o corrige erros de reconhecimento (especialmente entidades nomeadas) com base no áudio, na transcrição bruta e no contexto recuperado.
2. Avaliação (GPT-4o-mini-as-a-Judge):
   • Um segundo modelo avalia a qualidade da correção, categorizando os segmentos em:
     • 3: Totalmente correto.
     • 2: Erro menor (não afeta termos-chave).
     • 1: Erro em termo-chave (nome, número, etc.).
     • 0: Sem conteúdo relevante.
   • Para aumentar a precisão da avaliação, as categorias foram agrupadas (3+2 e 1+0), alcançando 92,2% de confiabilidade.

3. Principais Contribuições

• Novo Corpus de Longo Prazo: Lançamento de um dataset de 555 horas de áudio de alta qualidade (filtrado das 801 horas originais) com transcrições em Alemão Padrão alinhadas, superando a limitação de nível de frase do SPC original.
• Pipeline Híbrido ASR + LLM: Demonstração de como combinar transcrição robusta (Whisper) com correção baseada em LLM e RAG para corrigir entidades nomeadas e erros semânticos.
• Método de Predição de Qualidade: Introdução do Predicted BLEU, uma métrica derivada da confiança do Whisper que permite filtrar dados de alta qualidade sem custo de anotação manual massiva.
• Melhoria de Entidades Nomeadas: A correção com GPT-4o elevou a precisão de entidades nomeadas (nomes, lugares, partidos) de 72,2% para 100% em amostras testadas.

4. Resultados

• Redução da Taxa de Erro de Palavra (WER): A combinação de configurações de alto desempenho do Whisper e a correção com GPT-4o reduziu o WER de 15,7% para 11,1%.
• Melhoria no BLEU: O dataset final (longo prazo) alcançou uma melhoria de 6 pontos no escore BLEU em comparação com a versão original do corpus SPC (nível de frase).
• Filtragem Eficiente:
  • Dados brutos: 801 horas.
  • Dados finais (SPC_R): 555 horas (passaram pelos filtros de Predicted BLEU > 65 e avaliação do LLM).
  • Divisão Train/Test: 525 horas para treino e 30 horas para teste (com requisitos de qualidade ainda mais rigorosos para o teste).

5. Significado e Impacto

• Avanço para o Alemão Suíço: O SPC_R é um recurso crítico para superar a escassez de dados em um dialeto complexo e de baixa recursos, permitindo o treinamento de modelos de ASR mais robustos e precisos.
• Validação de Pipeline Automatizado: O trabalho prova que é possível criar datasets de alta qualidade para domínios específicos utilizando uma combinação de modelos de transcrição modernos, LLMs para correção e filtragem baseada em dados, reduzindo a dependência de anotação manual extensiva.
• Acessibilidade: O dataset e o código-fonte (incluindo prompts) foram disponibilizados publicamente no Hugging Face e GitHub sob licença CC BY 4.0, permitindo uso comercial e de pesquisa, o que é uma vantagem significativa sobre outros datasets existentes que possuem restrições de licença.
• Direção Futura: O estudo sugere que a integração de dados pseudo-rotulados de alta qualidade com dados anotados manualmente pode melhorar significativamente os modelos de ASR, e abre caminho para o uso de métricas de avaliação mais nuanceadas (como Paraboth) que capturam melhor a fidelidade semântica.