Resumen Técnico: MURMUR – Un sistema de inferencia eficiente para ASR de larga duración

Planteamiento del problema

El reconocimiento automático del habla (ASR) de larga duración se enfrenta a un compromiso fundamental entre precisión y latencia. Los enfoques existentes se dividen en dos categorías, cada una con limitaciones significativas:

1. Pipelines basados en fragmentos (p. ej., WhisperX): Estos sistemas procesan el audio en ventanas cortas y fijas (p. ej., 30 segundos) para permitir la inferencia en paralelo y una baja latencia. Sin embargo, sufren de fragmentación de contexto, lo que provoca errores en la atribución de hablantes y la generación de marcas de tiempo en los límites de los fragmentos. Dependen de heurísticas frágiles y módulos externos (como la diarización separada) para unir los segmentos, lo que a menudo resulta en un rendimiento degradado en métricas como el WER con restricción temporal (tcpWER).
2. Modelos de un solo paso de contexto largo (p. ej., VibeVoice-ASR): Estos modelos procesan grabaciones completas en una sola pasada autorregresiva, manteniendo el contexto entre fragmentos para una precisión superior y una salida nativa de hablante/marca de tiempo. Sin embargo, son computacionalmente costosos, sufriendo de una alta latencia de inferencia debido al escalado cuadrático de la atención y los costos de gestión del caché KV. Además, son propensos a fallos catastróficos, como bucles de repetición, que pueden hacer que toda la solicitud de inferencia falle.

El desafío central es lograr la alta precisión y la robusta alineación de hablante/marca de tiempo de los modelos de un solo paso, manteniendo al mismo tiempo la baja latencia y la robustez de los sistemas basados en fragmentos.

Metodología

Los autores proponen MURMUR, un sistema de inferencia que opera a dos granularidades para superar este compromiso:

1. Optimización Inter-Fragmento: Tamaño de Fragmento Ajustable

En lugar de adherirse a ventanas cortas fijas o procesar la grabación completa a la vez, MURMUR trata el tamaño del fragmento como un hiperparámetro ajustable.

• Análisis: Los autores analizaron la relación entre el tamaño del fragmento y el rendimiento en el conjunto de datos AMI-IHM. Encontraron que la precisión se estanca más allá de una longitud de contexto moderada, mientras que los contextos extremadamente largos pueden degradar el rendimiento en condiciones ruidosas debido a la confusión acústica acumulada.
• Estrategia: MURMUR adopta un tamaño de fragmento intermedio de 300 segundos. Este tamaño logra un equilibrio, igualando o superando la precisión de un solo paso en diversas condiciones, al tiempo que permite la inferencia paralela por lotes (batches).
• Unión (Stitching): El sistema utiliza Detección de Actividad de Voz (VAD) para identificar los límites del habla, fusiona los segmentos en fragmentos de 300s y los procesa en paralelo. Tras la inferencia, realiza una realineación entre fragmentos. Crucialmente, en lugar de forzar etiquetas de diarización externas, trata las asignaciones de hablantes internas del modelo dentro de los fragmentos como la verdad de referencia (ground truth) y solo utiliza la diarización para reconciliar las identidades de los hablantes a través de los límites de los fragmentos.

2. Optimización Intra-Fragmento: Evicción de Caché KV de Ventana Deslizante

Para reducir aún más la latencia dentro de los fragmentos de 300s, MURMUR explota la escasez de atención mediante una política personalizada de evicción del caché KV.

• Observación: El perfilado reveló que los tokens de habla exhiben una escasez de atención extrema. En VibeVoice-ASR, menos del 25% de los tokens de habla representan el 99% de los pesos de atención totales en la mayoría de las capas. Además, los patrones de atención muestran una escasez diagonal que se desplaza a medida que avanza la decodificación.
• Política: El sistema implementa una estrategia de evicción de ventana deslizante aplicada por separado a los tokens de salida y a los tokens de habla:
  • Tokens de Salida: Sigue un enfoque de estilo StreamingLLM, reteniendo tokens "sumidero" (sink tokens) y una ventana deslizante de tokens recientes.
  • Tokens de Habla: Introduce una política de "retraso y desplazamiento" (delay-and-shift). Se retiene inicialmente una ventana fija de tokens de habla para permitir que el modelo atienda al contexto de audio temprano. A medida que la decodificación progresa, la ventana se desplaza hacia adelante, evacuando los tokens de habla más antiguos que quedan fuera de la banda de atención activa.
• Implementación: Esto requiere una gestión personalizada del caché KV para manejar la lógica de evicción distinta para los tokens de habla pre-completados frente a los tokens de texto generados.

Contribuciones Clave

1. Análisis Sistemático del Tamaño de Fragmento: El artículo proporciona una caracterización detallada del tamaño de fragmento como un hiperparámetro para el ASR de contexto largo, demostrando que los tamaños intermedios (300s) optimizan el compromiso entre la precisión de la transcripción, la atribución de hablantes, la alineación temporal y la latencia.
2. Arquitectura MURMUR: El diseño de un sistema de inferencia que combina la inferencia paralela guiada por VAD con la evicción del caché KV intra-fragmento. Este sistema produce transcripciones de extremo a extremo con marcas de tiempo y etiquetas de hablante sin depender de módulos de post-procesamiento externos para la alineación.
3. Explotación de la Escasez de Tokens de Habla: La identificación y utilización de la extrema escasez de atención en los tokens de habla dentro de los modelos de ASR de contexto largo, permitiendo una nueva política de evicción que reduce los costos de inferencia con una degradación mínima de la precisión.

Resultados

Evaluado en el modelo VibeVoice-ASR a través de los conjuntos de datos AMI-IHM, AMI-SDM, Tedlium3 y Earnings21:

• Precisión vs. Latencia: En el conjunto de datos AMI-IHM, MURMUR iguala la precisión de un solo paso (un tcpWER de ~25.29% con la evicción de tokens de habla frente al 25.68% de la línea base) mientras reduce la latencia en 4.2× (de 370.7s a 88.43s).
• Robustez: A diferencia de la inferencia de un solo paso, que falló catastróficamente (bucles de repetición) en 2 de las 14 grabaciones de AMI-IHM, MURMUR contiene los fallos en fragmentos individuales, asegurando que la solicitud completa no falle.
• Impacto de la Evicción:
  • La evicción de tokens de salida por sí sola produjo una aceleración de 3.85×.
  • La evicción de tokens de habla por sí sola produjo una aceleración de 4.20×.
  • Combinar ambas produjo una aceleración de 3.79× (ligeramente menor debido a la sobrecarga de gestión).
  • La estrategia de evicción de tokens de habla resultó en menos del 1% de degradación relativa en el tcpWER en comparación con la línea base sin evicción.
• Comparación: MURMUR supera significativamente a las líneas base basadas en fragmentos como WhisperX en tcpWER (25.73% frente a 35.54%) manteniendo una latencia comparable.

Significado y Reivindicaciones

El artículo afirma que el reconocimiento de voz posee una "longitud de contexto óptima aguda y bien definida" (alrededor de 300 segundos), impulsada por los efectos compuestos del ruido acústico y la complejidad del hablante. Esto contrasta con los LLM de texto, donde los contextos más largos suelen ser estrictamente beneficiosos.

La importancia de MURMUR radica en demostrar que la inferencia de un solo paso no es necesaria para lograr la precisión de un solo paso. Al identificar el punto de operación óptimo para el tamaño del fragmento y explotar los patrones específicos de escasez de atención de los tokens de habla, MURMUR logra lo mejor de ambos mundos: la alta fidelidad de los modelos de contexto largo y la eficiencia de los pipelines por fragmentos. Los autores posicionan este trabajo como un paso hacia estrategias de inferencia conscientes del contexto para el ASR de larga duración, sugiriendo que los sistemas futuros pueden generalizar estos hallazgos a medida que los modelos de ASR de contexto largo de extremo a extremo se vuelvan más prevalentes.

El documento señala modestamente sus limitaciones, incluyendo su aplicabilidad actual solo a modelos que producen nativamente transcripciones con atribución de hablante y que su evaluación se limita al inglés. No pretende resolver todos los desafíos del ASR de larga duración, sino ofrecer una arquitectura de inferencia específica y eficiente para la clase emergente de modelos de ASR de contexto largo.