Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs

Resumen Técnico: Cuida la Pausa

Declaración del Problema
Los sistemas de Reconocimiento Automático del Habla (ASR) preservan frecuentemente las disfluencias del habla espontánea, como muletillas (por ejemplo, "eh", "um"), repeticiones, comienzos falsos y autocorrecciones. Si bien estos artefactos son naturales en la conversación humana, su presencia en las transcripciones de ASR degrada la legibilidad y obstaculiza significativamente las aplicaciones posteriores de Procesamiento del Lenguaje Natural (NLP), incluidos los chatbots, los asistentes de voz y la traducción automática.

Los enfoques existentes tratan principalmente el manejo de disfluencias como un problema de detección seguido de eliminación. Aunque son efectivos para identificar tokens disfluentes, estos métodos a menudo alteran la estructura gramatical y la coherencia semántica, dando como resultado oraciones agramaticales o rotas. Además, aunque se han explorado los Modelos de Lenguaje Grandes (LLM) para la detección de disfluencias o la augmentación de datos, no se han integrado completamente en una pipeline de corrección integral que preserve el significado mientras elimina los artefactos. El análisis empírico en el artículo revela que incluso los sistemas ASR más avanzados (por ejemplo, Whisper v3 Large, AI4Bharat Indic Conformer) no logran normalizar consistentemente estas disfluencias, dejando aproximadamente el 30% de las oraciones transcritas con al menos una disfluencia. Esta persistencia causa una degradación medible en las tareas posteriores, reduciendo la precisión en la respuesta a preguntas en 0.5–1.6 puntos y la calidad de la traducción automática en 2–4.7 puntos BLEU.

Metodología
Los autores proponen una pipeline de corrección de disfluencias multilingüe que unifica la detección a nivel de token con la generación mediante LLMs ajustados con instrucciones, potenciada por un nuevo objetivo de aprendizaje contrastivo. El marco opera en tres etapas principales:

1. Detección de Disfluencias (MuRIL): Un etiquetador de secuencias basado en codificadores multilingües, específicamente MuRIL (Representaciones Multilingües para Idiomas Indios), se ajusta finamente para clasificar los tokens como fluidos (0) o disfluentes (1). Este modelo proporciona señales a nivel de token que indican qué partes de la transcripción de ASR son ruidosas.
2. Ajuste Fino con Instrucciones: Un LLM (probado con Llama-3.2-3B-Instruct y Qwen2.5-3B-Instruct) se ajusta finamente utilizando un paradigma de seguimiento de instrucciones. La entrada al LLM consiste en:
   • Una instrucción en lenguaje natural que define la tarea.
   • La transcripción original disfluente de ASR.
   • Las etiquetas a nivel de token predichas por MuRIL.
   • Una lista de tokens disfluentes identificados.
     La salida objetivo es la oración de referencia fluida correspondiente. Esta configuración guía al LLM para reescribir el texto mientras se condiciona explícitamente a las señales de disfluencia detectadas.
3. Objetivo de Aprendizaje Contrastivo: Para abordar la limitación donde los modelos entrenados únicamente con pérdida de entropía cruzada a veces regeneran tokens disfluentes a pesar de recibir etiquetas, los autores introducen un componente de pérdida contrastiva. Este objetivo penaliza explícitamente al modelo si la salida generada contiene tokens identificados como disfluentes. La función de pérdida total combina la entropía cruzada estándar ($L_{CE}$) con una penalización contrastiva ($L_{contrastive}$):
   $$L_{total} = L_{CE} + \lambda \cdot L_{contrastive}$$
   El término contrastivo calcula la probabilidad de generar tokens disfluentes conocidos y aplica una penalización, empujando efectivamente la generación del modelo lejos de los patrones disfluentes mientras lo atrae hacia objetivos fluidos.

Contribuciones Clave

• Pérdida Contrastiva para Ajuste Consciente de Disfluencias: El artículo introduce un objetivo de pérdida múltiple que combina la entropía cruzada con una penalización contrastiva. Esto desalienta explícitamente la regeneración de tokens disfluentes conocidos, una capacidad a menudo ausente en el ajuste fino de instrucciones estándar.
• Primera Pipeline de Corrección Basada en LLM: A diferencia de trabajos anteriores centrados únicamente en la detección o en arquitecturas codificador-decodificador (por ejemplo, mBART), este trabajo presenta la primera pipeline completa que integra señales de detección a nivel de token con LLMs ajustados con instrucciones para corrección multilingüe.
• Detección y Corrección Conjuntas en Entornos Multilingües: El marco entrena a MuRIL para el etiquetado de secuencias y alimenta tanto la transcripción disfluente como las etiquetas predichas a un LLM. Esto evita las trampas de la eliminación manual de tokens, asegurando la generación de oraciones bien formadas que preservan la integridad semántica.

Resultados
El sistema fue evaluado en tres idiomas indios: hindi, bengalí y maratí, utilizando tanto datos sintéticos editados manualmente como transcripciones reales de ASR.

• Ganancias de Rendimiento: El enfoque contrastivo propuesto superó consistentemente a líneas base sólidas, incluido el ajuste fino de instrucciones multilingüe y mBART.
  • En comparación con el entrenamiento no contrastivo, el método logró una mejora de +1.97 BLEU (promediada entre modelos e idiomas).
  • En comparación con el ajuste fino de instrucciones multilingüe, logró una mejora de +6.16 BLEU.
  • En comparación con mBART, logró una mejora de +8.54 BLEU.
• Comparación de Modelos: El backbone Qwen2.5-3B-Instruct se benefició significativamente más del objetivo contrastivo que Llama-3.2-3B-Instruct, mostrando ganancias mayores en las puntuaciones BLEU y chrF2.
• Impacto Posterior: Las salidas corregidas recuperaron la mayoría de la brecha de rendimiento entre las entradas disfluentes y fluidas en tareas posteriores (Respuesta a Preguntas, Traducción Automática y Texto a Voz), confirmando su utilidad práctica.
• Comparación con Modelos Propietarios: El modelo contrastivo de 3 mil millones de parámetros igualó o superó a GPT-4o (bajo indicaciones de cero disparos y pocos disparos) en 4 de 6 condiciones de evaluación y superó sustancialmente a Gemini 2.5 Pro en los tres idiomas.

Significado y Afirmaciones
El artículo afirma que las estrategias de solo detección son insuficientes para una corrección de disfluencias de alta calidad. Al combinar señales a nivel de token con ajuste fino de instrucciones y aprendizaje contrastivo, los autores proporcionan una solución escalable y agnóstica al idioma para sistemas de NLP impulsados por habla multilingüe. El trabajo demuestra que el entrenamiento contrastivo específico de la tarea es necesario para manejar la riqueza morfológica y la complejidad sintáctica de las disfluencias indias, un desafío que escalar el tamaño del modelo o el uso de indicaciones avanzadas por sí solos no pueden resolver. Los autores enfatizan que su enfoque cierra efectivamente la brecha entre la detección y la generación, produciendo texto fluido y que preserva el significado, lo cual mejora la fiabilidad de las aplicaciones posteriores.