Contextual Earnings-22: A Speech Recognition Benchmark with Custom Vocabulary in the Wild

Este artículo presenta Contextual Earnings-22, un nuevo conjunto de datos de código abierto diseñado para evaluar y mejorar el reconocimiento de voz en entornos reales mediante vocabulario personalizado contextual, superando las limitaciones de los benchmarks académicos actuales.

Lo esencial

Imagina que tienes un traductor de voz a texto (como Siri o Google Assistant) que es un genio. En las pruebas de la escuela (los "benchmarks" académicos), este traductor obtiene casi un 10/10. Es excelente entendiendo palabras comunes como "gato", "correr" o "comida".

Pero, cuando lo llevas a la vida real, a una reunión de negocios seria, las cosas se ponen feas. Si el traductor no entiende el nombre de tu empresa, el de tu jefe o el de un producto nuevo, la reunión se vuelve inútil, aunque el resto de la conversación esté perfecta. Es como tener un chofer de lujo que sabe conducir perfectamente, pero que se pierde si no le das el nombre exacto de la calle.

Aquí es donde entra este paper, que es como crear un nuevo examen de conducir diseñado específicamente para situaciones reales.

1. El Problema: El "Diccionario Aburrido" vs. La "Lista de la Compra Real"

Los exámenes actuales de reconocimiento de voz usan palabras muy comunes. Es como si te enseñaran a conducir en un circuito vacío. Pero en la vida real (como en las llamadas de ganancias de empresas), necesitas que el sistema entienda nombres raros y específicos.

Los autores dicen: "Oye, el sistema es bueno en general, pero falla estrepitosamente con los nombres importantes". Y lo peor es que no había un examen estandarizado para medir si un sistema puede aprender esos nombres nuevos.

2. La Solución: "Contextual Earnings-22" (El Nuevo Examen)

Los autores crearon un nuevo banco de pruebas llamado Contextual Earnings-22.

• ¿Qué es? Son trozos de audio reales de llamadas de empresas (donde se habla de dinero y negocios).
• El truco: A cada trozo de audio le acompañan dos cosas:
  1. La lista de "nombres importantes": Quiénes están hablando, qué empresas mencionan, etc.
  2. Dos escenarios de prueba:
     • Escenario "Ideal" (Contexto Local): Le das al sistema solo los nombres que realmente se mencionan en ese trozo de audio. Es como darle al chofer solo la calle exacta a la que va.
     • Escenario "Realista" (Contexto Global): Le das una lista gigante con todos los nombres de toda la reunión (incluyendo los que no se mencionan en ese trozo). Es como darle al chofer un mapa de toda la ciudad y decirle: "Busca la calle X, pero cuidado, hay 100 calles con nombres parecidos que no son la tuya".

3. Las Dos Estrategias (Cómo enseñar al sistema)

El paper prueba dos formas de ayudar al sistema a entender estos nombres:

• El "Recordatorio" (Keyword Prompting): Es como si le susurraras al sistema: "Oye, en esta frase va a hablar de 'Apple' y 'Tim', así que presta atención".
• El "Empujón" (Keyword Boosting): Es como si le dieras un empujón mágico a esas palabras en el cerebro del sistema para que, si suena algo parecido, piense inmediatamente en "Apple" en lugar de "Aple".

4. Lo que Descubrieron (Los Resultados)

Hicieron el examen con 6 sistemas de voz diferentes (algunos comerciales, otros de código abierto) y encontraron cosas interesantes:

• Mejora en los nombres: Cuando les daban la lista de nombres, los sistemas aprendieron mucho mejor a decir los nombres correctos. ¡El "chofer" ya no se perdía!
• El dilema de la precisión:
  • En el escenario ideal (solo los nombres correctos), todos mejoraron mucho.
  • En el escenario realista (con la lista gigante de distracciones), algunos sistemas se confundieron. Empezaron a inventar nombres que no se habían dicho (alucinaciones) porque la lista era tan larga que el sistema se puso nervioso.
• No todo es perfecto: A veces, al intentar corregir un nombre, el sistema arruinaba el resto de la frase. Es como si el chofer, al intentar ir a la calle correcta, se saltara un semáforo y chocara. Por eso, no basta con mirar si entendió el nombre, hay que ver si la frase completa tiene sentido.

5. ¿Por qué es importante esto?

Este paper es como abrir una caja de herramientas pública para que todos los ingenieros puedan probar sus sistemas de voz en condiciones reales.

Antes, cada empresa probaba sus sistemas a su manera (a veces con datos falsos). Ahora, todos pueden usar este mismo "examen de la vida real" para ver quién es realmente bueno entendiendo nombres difíciles sin alucinar.

En resumen:
El paper nos dice que los sistemas de voz son muy inteligentes, pero necesitan un "entrenamiento especial" para entender los nombres específicos de cada situación. Han creado un nuevo campo de entrenamiento (el dataset) y un nuevo examen (las métricas) para asegurarse de que, cuando hables de tu empresa o tu producto, el sistema te escuche de verdad, y no solo adivine.

Resumen técnico

Resumen Técnico: Contextual Earnings-22

1. El Problema: La Brecha entre Benchmarks Académicos y la Realidad Industrial

El artículo identifica una desconexión crítica en el campo de la transcripción de voz a texto (STT).

• Estancamiento en Benchmarks Académicos: La precisión de los sistemas STT ha alcanzado un punto de saturación en los benchmarks académicos tradicionales (medidos principalmente por la Tasa de Error de Palabras o WER), donde las mejoras son marginales.
• Fallo en Escenarios Reales: En aplicaciones de alto impacto (como llamadas de resultados financieros), la utilidad de una transcripción depende desproporcionadamente de la precisión en un conjunto pequeño de vocabulario personalizado (nombres de personas, empresas y productos).
• La Causa Raíz: La falta de condicionamiento contextual. Los benchmarks actuales se basan en vocabulario general frecuente, ignorando que los errores en términos específicos del dominio (aunque sean raros) pueden hacer que una transcripción sea inutilizable, incluso si el WER general es bajo.
• Falta de Estandarización: No existe un benchmark estandarizado y público que evalúe métodos de condicionamiento contextual (como keyword prompting o keyword boosting) en escenarios realistas con distractores.

2. Metodología y Creación del Dataset

Los autores presentan Contextual Earnings-22, un conjunto de datos abierto construido sobre el corpus Earnings-22, diseñado para simular errores contextuales críticos.

• Pipeline de Creación (Figura 2):
  1. Extracción de Palabras Clave: Se utiliza un LLM (GPT-5) para identificar entidades (personas, empresas, productos) en las transcripciones de llamadas de resultados. Se aplica un post-procesamiento determinista (desduplicación, normalización) para crear listas de vocabulario personalizado.
  2. Segmentación: Se extraen ventanas de texto de 15 segundos centradas en cada mención de palabra clave.
  3. Alineación Forzada: Se utiliza un alineador basado en wav2vec para mapear los segmentos de texto a los archivos de audio originales y extraer clips de audio de 15 segundos.
  4. Revisión Manual: Se realiza una corrección manual exhaustiva para eliminar artefactos (etiquetas <unk>, nombres mal escuchados, inconsistencias de mayúsculas). El 98.7% de las muestras están libres de errores de inaudibilidad y el 29.5% recibió correcciones a nivel de palabra.
• Regímenes de Contexto: El benchmark evalúa dos escenarios distintos:
  • Contexto Local: Solo incluye las palabras clave que aparecen en el clip específico (sin distractores). Mide la capacidad de aprovechar el contexto relevante.
  • Contexto Global: Incluye el inventario completo de palabras clave de la llamada completa (1 hora), lo que introduce distractores (términos plausibles pero no hablados en el clip). Mide la robustez y el equilibrio entre precisión y recuperación en despliegues reales.

3. Contribuciones Clave

1. Nuevo Benchmark Estándar: Contextual Earnings-22 es el primer dataset público que combina clips de audio cortos con contextos de vocabulario personalizado realistas, evaluando tanto regímenes ideales como realistas.
2. Protocolos de Evaluación Robustos: Se introduce un harness de evaluación de código abierto que permite la comparación justa entre diferentes enfoques.
3. Métricas Complementarias: Se propone evaluar no solo el WER, sino también métricas centradas en palabras clave (Precisión, Recall y F-score de palabras clave) para medir la utilidad real de la transcripción.
4. Líneas Base Sólidas: Se establecen seis sistemas de referencia que cubren las dos familias dominantes de condicionamiento contextual:
   • Keyword Prompting: Deepgram, OpenAI (Whisper), AssemblyAI, Whisper OSS.
   • Keyword Boosting: CTC-WS (STT-FastConformer) y Argmax (Parakeet-v2 + CTC-WS).

4. Resultados Experimentales

• Mejora en la Reconocimiento de Términos Contextuales: Todos los sistemas mostraron un aumento significativo en el F-score de palabras clave al utilizar condicionamiento contextual, superando el rendimiento sin contexto.
• Discrepancia con el WER: La mejora en el WER general fue inconsistente. Algunos sistemas mejoraron ligeramente, otros no cambiaron, y algunos (como OpenAI en este setup) incluso empeoraron su WER general a pesar de mejorar la precisión en las palabras clave. Esto sugiere que el condicionamiento puede introducir artefactos (alucinaciones) que afectan el WER global.
• Trade-off Local vs. Global:
  • El contexto local es sistemáticamente más fácil, logrando mayor precisión y recuperación al eliminar distractores.
  • El contexto global pone a prueba la precisión. La presencia de distractores provoca falsos positivos (inserción de palabras que no se hablaron), reduciendo la precisión en sistemas que no son lo suficientemente robustos.
• Análisis de Errores: Se identificaron modos de fallo cualitativos:
  • Confusiones por similitud fonética en nombres propios sin contexto.
  • Inserciones falsas inducidas por distractores en el contexto global.
  • Cambios de comportamiento del modelo (alucinaciones, cambios de idioma o salidas vacías) al usar prompting.

5. Significado e Impacto

• Cambio de Paradigma en la Evaluación: El paper argumenta que el WER por sí solo ya no es un proxy suficiente para la utilidad de la transcripción en la industria. Se requiere una evaluación centrada en el vocabulario personalizado.
• Validación de Escalabilidad: Demuestra que tanto el prompting como el boosting pueden escalar de conceptos a sistemas de gran escala con mejoras significativas en la usabilidad.
• Recurso para la Comunidad: Al liberar los clips de audio, las transcripciones revisadas, las listas de contexto y el código de evaluación, los autores facilitan la comparación "manzana con manzana" y aceleran la investigación en reconocimiento de voz contextual, un área crítica para aplicaciones financieras, legales y médicas.

En conclusión, Contextual Earnings-22 establece un nuevo estándar para medir el progreso real en STT, demostrando que la capacidad de manejar vocabulario personalizado en entornos ruidosos y con distractores es el siguiente gran desafío para la industria.