Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs

Resumo Técnico: Cuidado com a Pausa

Declaração do Problema
Sistemas de Reconhecimento Automático de Fala (ASR) frequentemente preservam disfluências da fala espontânea, como preenchimentos (por exemplo, "uh", "um"), repetições, falsos inícios e autorreparos. Embora esses artefatos sejam naturais na conversa humana, sua presença em transcrições de ASR degrada a legibilidade e dificulta significativamente aplicações subsequentes de Processamento de Linguagem Natural (NLP), incluindo chatbots, assistentes de voz e tradução automática.

As abordagens existentes tratam principalmente o tratamento de disfluências como um problema de detecção seguido de deleção. Embora eficazes na identificação de tokens disfluentes, esses métodos frequentemente perturbam a estrutura gramatical e a coerência semântica, resultando em frases não gramaticais ou quebradas. Além disso, embora Modelos de Linguagem de Grande Porte (LLMs) tenham sido explorados para detecção de disfluências ou aumento de dados, eles não foram totalmente integrados a um pipeline de correção abrangente que preserve o significado enquanto remove artefatos. A análise empírica no artigo revela que até mesmo sistemas de ASR mais avançados (por exemplo, Whisper v3 Large, AI4Bharat Indic Conformer) falham em normalizar consistentemente essas disfluências, deixando aproximadamente 30% das frases transcritas contendo pelo menos uma disfluência. Essa persistência causa degradação mensurável em tarefas subsequentes, reduzindo a precisão de perguntas e respostas em 0,5–1,6 pontos e a qualidade da tradução automática em 2–4,7 pontos BLEU.

Metodologia
Os autores propõem um pipeline de correção de disfluências multilíngue que unifica a detecção em nível de token com a geração de LLMs ajustados por instruções, aprimorada por um novo objetivo de aprendizado contrastivo. O framework opera em três etapas principais:

1. Detecção de Disfluências (MuRIL): Um tagger de sequência baseado em codificador multilíngue, especificamente o MuRIL (Representações Multilíngues para Línguas Indianas), é ajustado para classificar tokens como fluentes (0) ou disfluentes (1). Este modelo fornece sinais em nível de token indicando quais partes da transcrição de ASR são ruidosas.
2. Ajuste Fino por Instrução: Um LLM (testado com Llama-3.2-3B-Instruct e Qwen2.5-3B-Instruct) é ajustado finamente usando um paradigma de seguimento de instruções. A entrada para o LLM consiste em:
   • Uma instrução em linguagem natural definindo a tarefa.
   • A transcrição original disfluente do ASR.
   • Os rótulos em nível de token previstos pelo MuRIL.
   • Uma lista de tokens disfluentes identificados.
     A saída alvo é a frase de referência fluente correspondente. Essa configuração guia o LLM a reescrever o texto enquanto condiciona explicitamente aos sinais de disfluência detectados.
3. Objetivo de Aprendizado Contrastivo: Para abordar a limitação onde modelos treinados apenas com perda de entropia cruzada ocasionalmente regeneram tokens disfluentes apesar de receberem rótulos, os autores introduzem um componente de perda contrastiva. Este objetivo penaliza explicitamente o modelo se a saída gerada contiver tokens identificados como disfluentes. A função de perda total combina a entropia cruzada padrão ($L_{CE}$) com uma penalidade contrastiva ($L_{contrastive}$):
   $$L_{total} = L_{CE} + \lambda \cdot L_{contrastive}$$
   O termo contrastivo calcula a probabilidade de gerar tokens disfluentes conhecidos e aplica uma penalidade, efetivamente afastando a geração do modelo de padrões disfluentes enquanto a atrai para alvos fluentes.

Principais Contribuições

• Perda Contrastiva para Ajuste Sensível a Disfluências: O artigo introduz um objetivo de múltiplas perdas que combina entropia cruzada com uma penalidade contrastiva. Isso desencoraja explicitamente a regeneração de tokens disfluentes conhecidos, uma capacidade frequentemente ausente no ajuste de instruções padrão.
• Primeiro Pipeline de Correção Baseado em LLM: Diferentemente de trabalhos anteriores focados apenas em detecção ou arquiteturas codificador-decodificador (por exemplo, mBART), este trabalho apresenta o primeiro pipeline completo integrando sinais de detecção em nível de token com LLMs ajustados por instruções para correção multilíngue.
• Detecção e Correção Conjuntas em Cenários Multilíngues: O framework treina o MuRIL para tagging de sequência e alimenta tanto a transcrição disfluente quanto os rótulos previstos em um LLM. Isso evita as armadilhas da deleção manual de tokens, garantindo a geração de frases bem formadas que preservam a integridade semântica.

Resultados
O sistema foi avaliado em três línguas indianas: hindi, bengali e marata, usando tanto dados sintéticos editados manualmente quanto transcrições reais de ASR.

• Ganhos de Desempenho: A abordagem contrastiva proposta superou consistentemente bases fortes, incluindo ajuste fino de instruções multilíngue e mBART.
  • Comparado ao treinamento sem contraste, o método alcançou uma melhoria de +1,97 BLEU (média entre modelos e línguas).
  • Comparado ao ajuste fino de instruções multilíngue, alcançou uma melhoria de +6,16 BLEU.
  • Comparado ao mBART, alcançou uma melhoria de +8,54 BLEU.
• Comparação de Modelos: A base Qwen2.5-3B-Instruct beneficiou-se significativamente mais do objetivo contrastivo do que a Llama-3.2-3B-Instruct, mostrando ganhos maiores nas pontuações BLEU e chrF2.
• Impacto Subsequente: As saídas corrigidas recuperaram a maioria da lacuna de desempenho entre entradas disfluentes e fluentes em tarefas subsequentes (Perguntas e Respostas, Tradução Automática e Texto para Fala), confirmando a utilidade prática.
• Comparação com Modelos Proprietários: O modelo contrastivo de 3 bilhões de parâmetros igualou ou superou o GPT-4o (sob prompts zero-shot e few-shot) em 4 de 6 condições de avaliação e superou substancialmente o Gemini 2.5 Pro em todas as três línguas.

Significado e Alegações
O artigo alega que estratégias de detecção exclusiva são insuficientes para correção de alta qualidade de disfluências. Ao combinar dicas em nível de token com ajuste de instruções e aprendizado contrastivo, os autores fornecem uma solução escalável e agnóstica à linguagem para sistemas de NLP acionados por fala multilíngue. O trabalho demonstra que o treinamento contrastivo específico da tarefa é necessário para lidar com a riqueza morfológica e a complexidade sintática das disfluências indianas, um desafio que escalar o tamanho do modelo ou prompts avançados isoladamente não podem resolver. Os autores enfatizam que sua abordagem efetivamente preenche a lacuna entre detecção e geração, produzindo texto fluente e que preserva o significado, o que aumenta a confiabilidade de aplicações subsequentes.