Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition

Resumen Técnico: Entrenamiento Contrastivo con Near-Misses Generados por LLM para el Reconocimiento de Voz de Cambio de Código Robusto

Planteamiento del Problema
Los sistemas de Reconocimiento Automático del Habla (ASR) tienen dificultades con el cambio de código (CS, por sus siglas en inglés), donde los hablantes alternan entre idiomas dentro de una misma elocución. Aunque el ajuste fino (fine-tuning) estándar reduce las tasas de error generales, los errores de reconocimiento siguen concentrados desproporcionadamente en regiones críticas de CS, específicamente en palabras de lenguaje incrustado y vecindarios de límites de cambio. Los enfoques existentes suelen carecer de señales explícitas para apuntar a estos intervalos confusos, y los objetivos estándar no logran distinguir entre la transcripción de verdad (ground-truth) y las alternativas acústicamente plausibles pero incorrectas ("near-misses" o casi aciertos).

Metodología
Los autores proponen un marco de entrenamiento contrastivo consciente de los Puntos de Interés (POI), centrado en un proceso denominado CS-NMG (Generación de Near-Misses para Cambio de Código). La metodología consta de tres etapas principales:

1. Identificación de POI y Generación de Near-Misses:

   • Detección de POI: El sistema identifica los intervalos de CS (segmentos de lenguaje incrustado) y sus vecindarios inmediatos de límites de cambio en las transcripciones de referencia.
   • Construcción de Candidatos: Los near-misses se construyen perturbando únicamente los POI identificados. Esto implica:
     • Extraer hipótesis N-best de un modelo ASR semilla fijo.
     • Utilizar un Modelo de Lenguaje Grande (LLM) externo para generar candidatos de reemplazo de POI adicionales, asegurando que se preserve la estructura de la oración mientras se introducen confusiones fonéticas localizadas en el POI.
   • Filtrado de Tres Niveles: Para asegurar que los near-misses generados sean "difíciles pero plausibles", se aplica una puerta de filtrado mediante tres restricciones:
     • Acústica: El near-miss debe tener una puntuación de log-probabilidad cercana a la mejor hipótesis N-best.
     • Fonética: El reemplazo debe ser fonéticamente similar al original (medido mediante la distancia de Levenshtein en secuencias de fonemas).
     • Textual: El reemplazo debe ser suficientemente diferente en su forma superficial para constituir un negativo desafiante.

2. Entrenamiento de Alineación Contrastiva:

   • El modelo ASR (Whisper-small ajustado con LoRA) se optimiza utilizando una función de pérdida de doble objetivo:
     • Objetivo de Ancla: Una pérdida de Entropía Cruzada ponderada por POI (WCE) que aumenta el peso de los tokens dentro de los intervalos de POI.
     • Pérdida de Clasificación (Ranking) Contrastiva: Una pérdida de tipo InfoNCE que clasifica explícitamente la transcripción de verdad por encima de los near-misses negativos difíciles seleccionados. Esto fomenta que el modelo prefiera los términos de CS correctos sobre las transcripciones acústicamente plausibles pero incorrectas.

3. Métricas de Evaluación:

   • El rendimiento se mide utilizando la Tasa de Error de Palabra (WER) estándar y la Tasa de Error de Punto de Interés (PIER), que aísla los errores que ocurren específicamente dentro de los intervalos de CS identificados.

Contribuciones Clave

• Pipeline CS-NMG: Un mecanismo consciente de la acústica para la generación de near-misses locales de POI, sembrado desde listas N-best y expandido por LLMs, preservando la plausibilidad acústica mientras introduce confusiones dirigidas.
• Objetivo de Entrenamiento Contrastivo: Una estrategia de entrenamiento novedosa que combina la entropía cruzada ponderada por POI con un ranking contrastivo de múltiples negativos. A diferencia del simple reponderado de tokens, este enfoque separa explícitamente las confusiones comunes de los POI mediante el aprendizaje de la clasificación de la referencia por encima de las alternativas plausibles.
• Validación Empírica: El marco demuestra mejoras consistentes sobre bases sólidas (incluyendo el ajuste fino estándar, WCE y MWER a nivel de secuencia) tanto en benchmarks generales como de dominio específico de cambio de código.

Resultados Experimentales
El método fue evaluado en dos benchmarks: CS-FLEURS (Mandarín-Inglés) y ViMedCSS (Vietnamita-Inglés, dominio médico).

• Ganancias de Rendimiento: El modelo completo (WCE + Pérdida Contrastiva con filtrado de tres niveles) logró las tasas de error más bajas en ambos conjuntos de datos.
  • En CS-FLEURS, redujo el WER al 14.06% y el PIER al 15.10%, superando al mejor baseline (MWR) que tuvo un WER de 15.75% y un PIER de 16.41%.
  • En ViMedCSS, redujo el WER al 21.87% y el PIER al 18.74%, comparado con el baseline MWER de WER 23.82% y PIER 20.84%.
• Perspectivas de Ablación:
  • Simplemente aumentar el peso de los tokens de POI (WCE) produjo solo mejoras marginales.
  • La expansión por LLM por sí sola (sin filtrado) aumentó el número de negativos pero no mejoró consistentemente el rendimiento, degradando en ocasiones el WER o el PIER.
  • El filtro de tres niveles (Acústico + Fonético + Textual) fue crítico; seleccionó un conjunto de negativos más pequeño pero de mayor calidad (~3.8 por elocución), lo que condujo a los mejores resultados generales. Esto confirmó que el aprendizaje contrastivo efectivo requiere negativos que sean acústicamente plausibles, fonéticamente similares, pero textualmente distintos.

Significancia y Reivindicaciones
El artículo sostiene que la fuente principal de errores de CS radica en la incapacidad de los modelos para desambiguar entre los términos incrustados correctos y las alternativas acústicamente similares. Al pasar de un objetivo de verosimilitud estándar a un objetivo de clasificación contrastiva enfocado en near-misses locales de POI, el marco propuesto proporciona una señal de entrenamiento más informativa.

Los autores enfatizan que su enfoque mejora la robustez en las regiones de CS sin requerir módulos auxiliares durante la inferencia, manteniendo un proceso de decodificación estándar de solo ASR. Reconocen las limitaciones respecto a la dependencia de APIs de LLM externos para la generación de datos fuera de línea y el alcance actual limitado a dos pares de idiomas y un único backbone, sugiriendo trabajos futuros en la expansión de candidatos de código abierto y una cobertura lingüística más amplia.