Whisper: Courtside Edition Enhancing ASR Performance Through LLM-Driven Context Generation

Resumen Técnico: Whisper: Courtside Edition

1. El Problema

Los sistemas de reconocimiento automático de voz (ASR) de vanguardia, como Whisper de OpenAI, han logrado una precisión cercana a la humana en dominios generales. Sin embargo, enfrentan desafíos persistentes en dominios específicos que contienen terminología técnica, nombres propios densos y patrones de habla contextual rápida.

• Caso de estudio: El artículo se centra en la comentaría de baloncesto de la NBA.
• Fallas comunes: El modelo base comete errores sistemáticos como:
  • Sustitución fonética de nombres: Ej. "Giannis Antetokounmpo" → "yanis anteto kumbo".
  • Corrupción de jerga: Ej. "pick and roll" → "picker roll".
  • Sensibilidad a acentos y habla rápida: Errores en la segmentación y reconocimiento de jugadores internacionales.
• Limitación de enfoques actuales: Las estrategias tradicionales (ajuste fino/acoustic model fine-tuning) requieren reentrenamiento costoso y grandes corpus anotados. Las correcciones posteriores (post-processing) fallan porque los LLM no tienen acceso a la señal de audio original para corregir lo que el ASR "malinterpretó".

2. Metodología

La propuesta introduce un pipeline de múltiples agentes LLM que mejora las transcripciones de Whisper sin reentrenar el modelo, utilizando su mecanismo de initial_prompt (prompt inicial).

Arquitectura del Pipeline (6 Agentes Especializados):
El sistema intercepta la transcripción inicial de Whisper y genera un prompt contextualizado para una segunda pasada de decodificación:

1. Agente de Clasificación de Temas: Identifica el contexto (ej. "comentaría NBA") para activar bases de conocimiento relevantes.
2. Agente de Reconocimiento de Entidades Nombradas (NER): Extrae nombres de personas y realiza coincidencia difusa (Levenshtein) contra listas oficiales de jugadores de la NBA (umbral optimizado τ = 0.75).
3. Agente de Extracción de Jerga: Identifica terminología específica del baloncesto usando extracción de palabras clave y diccionarios oficiales.
4. Lógica de Filtrado de Decisiones: Valida que las correcciones propuestas sean reales y no introduzcan ruido, asegurando que la longitud del prompt no exceda el límite de 224 tokens de Whisper.
5. Selector de Candidatos: Resuelve conflictos entre fuentes y poda la lista a un conjunto compacto.
6. Constructor de Oraciones: Sintetiza el tema, los nombres y la jerga en una sola oración natural y concisa.
   • Nota técnica: Se usa una oración natural en lugar de una lista para aprovechar la sintaxis coherente del decodificador de Whisper y colocar los tokens de mayor valor (nombres raros/jerga) al final del prompt, donde tienen mayor influencia.

Variaciones Evaluadas:

• P1 (Solo Tema): Solo inyecta el contexto general (ineficaz para nombres).
• P2 (Corrección Post-LLM): El LLM edita el texto final sin acceso al audio (limitado).
• P3 (Mejorado con Nombres): Añade nombres de jugadores al prompt.
• P4 (Multi-Agente Completo): La versión completa con filtrado de decisiones y construcción de oraciones.

3. Contribuciones Clave

1. Arquitectura Multi-Agente: Un diseño novedoso que combina clasificación de temas, corrección de entidades y manejo de jerga mediante agentes colaborativos.
2. Adaptación sin Reentrenamiento: Demuestra que la inyección de conocimiento externo mediante prompts inteligentes es una alternativa escalable y económica al ajuste fino (fine-tuning) de modelos.
3. Evaluación Exhaustiva: Análisis estadístico riguroso sobre un conjunto de datos de 421 segmentos de NBA, incluyendo taxonomía de errores y análisis de modos de fallo.
4. Mecanismo de Prompting Contextual: Aprovecha la capacidad de Whisper de sesgar la decodificación hacia vocabulario preferido mediante el parámetro initial_prompt, reconciliando la evidencia acústica con el conocimiento del dominio.

4. Resultados

El pipeline completo (P4) fue evaluado en 421 segmentos de comentaría de la NBA:

• Reducción de Tasa de Error de Palabra (WER): Logró una reducción relativa del 17.0% (de 0.217 a 0.180), con una significancia estadística de p < 0.001.
• Impacto por Segmento:
  • 40.1% de los segmentos mostraron mejora.
  • Solo 7.1% mostraron degradación (el resto se mantuvo estable).
• Comparación con Baselines:
  • Superó significativamente a la corrección post-procesamiento (P2), que tuvo un impacto mínimo.
  • Superó a la aproximación de solo nombres (P3), que tenía tasas de degradación más altas debido a la falta de filtros de decisión.
  • La aproximación de solo tema (P1) incluso aumentó el WER, demostrando que el contexto general sin correcciones específicas puede confundir al modelo.
• Casos de Éxito: Recuperación exitosa de nombres complejos ("Antetokounmpo") y restauración de términos técnicos ("fast break", "pick and roll").

5. Significado e Impacto

• Viabilidad Práctica: Ofrece una solución escalable para la adaptación de dominios en ASR, evitando los costos y tiempos asociados al reentrenamiento de modelos masivos.
• Aplicaciones Reales:
  • Subtitulado en vivo de deportes: Mejora la precisión en transmisiones con latencia aceptable (sobrecarga de ~3.3 segundos por segmento).
  • Servicios de transcripción especializados: Permite ofrecer opciones de "impulso de dominio" para medicina, derecho o tecnología.
  • Asistentes de voz: Facilita la creación de asistentes que entienden jerga técnica sin depender de un proveedor específico.
• Futuro: El marco es agnóstico al modelo y sugiere que los sistemas híbridos que combinan modelado acústico con razonamiento contextual (LLM) serán el estándar para aplicaciones de IA complejas.

En conclusión, "Whisper: Courtside Edition" demuestra que la ingeniería de prompts inteligente y coordinada puede cerrar la brecha de rendimiento de los modelos ASR generales en dominios especializados, ofreciendo una mejora robusta y estadísticamente significativa.