WhisperAlign: Word-Boundary-Aware ASR and WhisperX-Anchored Pyannote Diarization for Long-Form Bengali Speech

Este artículo presenta la solución WhisperAlign para el DL Sprint 4.0, que aborda el reconocimiento de voz y la diarización en audio largo en bengalí mediante una estrategia de fragmentación basada en WhisperX y el ajuste fino específico del dominio del modelo de segmentación de Pyannote para mejorar la precisión en entornos de bajos recursos.

Lo esencial

¡Claro que sí! Imagina que tienes una grabación de audio de una hora de duración donde varias personas están hablando en bengalí, a veces se superponen, se ríen, hacen pausas y el fondo tiene ruido. Tu trabajo es hacer dos cosas:

1. Transcribir todo lo que se dice (convertir el audio en texto).
2. Identificar quién dijo qué (separar las voces).

Hacer esto en un idioma con pocos recursos digitales como el bengalí es como intentar armar un rompecabezas gigante en la oscuridad. Los autores de este paper (Aurchi, Rubaiyat y Nafees) crearon un sistema inteligente, al que llamaron WhisperAlign, para resolver este acertijo.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: El "Sándwich" Roto

Imagina que intentas leer un libro muy largo, pero la máquina que lo lee solo puede procesar páginas de 30 segundos a la vez. Si cortas el libro al azar (como hacen los métodos antiguos), podrías cortar una palabra a la mitad (ej: "es...tudio"). La máquina se confunde, empieza a inventar cosas que no existen (alucinaciones) y pierde el hilo de la historia.

Su solución (El Cortador de Palabras):
En lugar de cortar el audio por tiempo fijo, usaron un "cortador inteligente".

• La analogía: Imagina que tienes una cinta de audio y un cuchillo mágico. Este cuchillo no corta donde le da la gana; espera a que una persona termine de decir una palabra completa antes de cortar.
• Usaron una herramienta llamada Whisper-timestamped que actúa como un guía de tiempo. Le dice al sistema exactamente cuándo empieza y termina cada palabra.
• Luego, cortan el audio justo en los espacios entre palabras. Así, la máquina nunca lee una palabra a medias y nunca se pierde en el silencio.

2. El Entrenamiento: El Estudiante que Aprende a Escuchar

Tener el audio cortado bien no es suficiente; necesitas enseñarle a la máquina a entender el bengalí específico de estas conversaciones.

• La analogía: Imagina que tienes un estudiante brillante que ya sabe un poco de bengalí (un modelo base), pero nunca ha escuchado a gente hablar en una cafetería ruidosa.
• Los autores tomaron ese estudiante y le dieron solo los trozos de audio perfectos (los que cortaron en el paso anterior) para que estudiara.
• Al entrenarlo solo con fragmentos de 20 a 28 segundos (ni muy cortos para que no se aburra, ni muy largos para que no se confunda), el estudiante aprendió a entender el contexto y a no inventar palabras falsas.
• Resultado: La tasa de errores al escribir bajó drásticamente (de un 67% de errores a solo un 25%).

3. El Identificador de Voces: El Director de Orquesta

La segunda tarea es saber quién habla. A veces dos personas hablan a la vez, o una voz se mezcla con otra. Los sistemas normales a veces se vuelven locos y dicen que dos personas hablan al mismo tiempo en el mismo segundo, lo cual está prohibido en las reglas del concurso.

• La analogía: Imagina un director de orquesta (el modelo de diarización) que intenta asignar a cada músico su instrumento.
• El problema: A veces el director se confunde con el ruido de fondo o con los acentos bengalíes.
• Su solución:
  1. Entrenamiento específico: En lugar de comprar un director nuevo y caro, tomaron uno existente y le dieron un "curso intensivo" de 1 hora solo con voces bengalíes. Ahora el director entiende perfectamente la entonación y el ritmo de esa cultura.
  2. La regla de oro (Exclusividad): El director tiene una regla estricta: "Solo una persona puede hablar a la vez". Si dos voces se cruzan, el sistema decide automáticamente quién tiene la prioridad (generalmente quien empezó primero) y asigna el tiempo a esa persona, evitando que las voces se solapen en el texto final.
  3. El filtro de seguridad (Intersección VAD): A veces el director dice que alguien habla cuando en realidad solo hay ruido de tráfico. Para evitar esto, cruzaron la información del director con un "guardián del silencio" (Silero VAD) que solo deja pasar los sonidos que son realmente voz humana. Si el guardián dice "silencio", el director no puede asignar una voz.

4. Los Resultados: De Caos a Claridad

Al final, combinaron todo en una tubería (pipeline) muy eficiente:

• Para el texto: Redujeron los errores a la mitad comparado con los sistemas anteriores.
• Para las voces: Mejoraron la identificación de quién habla en un 12-16% más que los mejores sistemas académicos existentes.

En resumen:
Ellos no inventaron una nueva máquina desde cero. En su lugar, tomaron herramientas existentes, las "afinaron" como un instrumento musical para que suenen perfectas en bengalí, y crearon reglas inteligentes para cortar el audio y asignar las voces sin cometer errores. Es como pasar de intentar adivinar qué dice una canción en una fiesta ruidosa, a tener un traductor experto que te escribe la letra exacta mientras te dice quién está cantando cada parte.

Resumen técnico

Resumen Técnico: WhisperAlign para Reconocimiento de Voz y Diarización en Bengali

1. Problema Definido

El artículo aborda los desafíos críticos en el procesamiento de audio de larga duración (más de una hora) y múltiples hablantes en el idioma bengalí, una lengua con recursos limitados. Los principales obstáculos identificados son:

• Reconocimiento Automático de Voz (ASR): Los modelos estándar (como Whisper) sufren al procesar segmentos largos, perdiendo contexto y generando "alucinaciones" (texto inventado) cuando el audio excede su ventana de decodificación (30 segundos). Además, la división fija del audio a menudo corta palabras a la mitad, arruinando la coherencia semántica.
• Diarización de Hablantes: Los modelos existentes no capturan bien las dinámicas conversacionales específicas del bengalí (prosodia, turnos de habla) y fallan al manejar solapamientos de voz, violando las reglas de competencia que exigen pistas de hablantes mutuamente excluyentes.
• Falta de Herramientas: Escasez de diccionarios fonéticos y herramientas de alineación forzada específicas para el bengalí.

2. Metodología Propuesta

La solución propuesta, WhisperAlign, es un pipeline de doble flujo que trata por separado la transcripción (ASR) y la diarización, integrando técnicas de segmentación inteligente y ajuste fino (fine-tuning).

A. Reconocimiento de Voz (ASR) de Larga Duración

El objetivo es generar transcripciones precisas sin alucinaciones y respetando los límites de las palabras.

1. Segmentación Semántica (Chunking): En lugar de dividir el audio por tiempo fijo, el sistema utiliza Silero VAD para aislar regiones de voz y eliminar silencios. Luego, emplea whisper-timestamped para extraer marcas de tiempo a nivel de palabra.
2. Alineación con Ground Truth: Se utiliza difflib.SequenceMatcher para alinear las palabras transcritas por Whisper con las anotaciones de texto reales (ground truth).
   • Las palabras correctas heredan sus marcas de tiempo.
   • Las palabras mal transcritas mantienen la ortografía correcta pero toman la marca de tiempo de Whisper.
   • Las palabras omitidas se interpolan linealmente.
3. Creación de Lotes (Chunks): El audio se divide en segmentos estrictamente respetando los límites de las palabras, asegurando que ningún segmento supere los 28 segundos (límite seguro de Whisper) y que no haya cortes a mitad de palabra. Se descartan segmentos menores a 20 segundos por falta de contexto acústico.
4. Fine-Tuning: Se ajusta el modelo bengaliAI/tugstugi_bengaliai-asr-whisper-medium (307M parámetros) utilizando estos pares (audio, texto) alineados.
5. Inferencia: Se aplica un pipeline guiado por VAD con decodificación "greedy" y post-procesamiento para eliminar repeticiones de n-gramas y frases en inglés residuales.

B. Diarización de Hablantes

El objetivo es asignar correctamente cada segmento de voz a un hablante específico, resolviendo solapamientos.

1. Ajuste Fino Eficiente: En lugar de reentrenar todo el pipeline, se ajustó únicamente el módulo de segmentación temporal de Pyannote (aprox. 1.4M parámetros) utilizando audio bengalí. Esto permitió al modelo aprender la prosodia y la sintaxis de turnos de habla específicos del bengalí.
2. Manejo de Solapamientos Exclusivos: Se utiliza la función nativa exclusive_speaker_diarization de Pyannote. En lugar de scripts manuales para cortar solapamientos, el modelo asigna probabilísticamente los solapamientos al hablante dominante más temprano, cumpliendo estrictamente con la regla de pistas mutuamente excluyentes.
3. Intersección de VAD (WhisperX + Pyannote): Para evitar la deriva temporal (drift) entre el ASR y la diarización, se realiza una intersección lógica (AND) entre las fronteras de voz detectadas por Silero VAD (usado por WhisperX) y las salidas de clustering de Pyannote. Esto elimina alucinaciones en los límites temporales.

3. Contribuciones Clave

• Segmentación Consciente de Límites de Palabras: Una estrategia de "chunking" autocontenida que no requiere diccionarios fonéticos externos ni herramientas de alineación forzada (como MFA), resolviendo el problema de la pérdida de contexto en modelos de larga duración.
• Adaptación de Dominio Eficiente: El ajuste fino selectivo del módulo de segmentación de Pyannote para el bengalí, logrando una alta precisión con un costo computacional bajo.
• Pipeline de Intersección VAD: Una solución innovadora para alinear temporalmente la diarización y la transcripción, eliminando errores de frontera causados por el uso de modelos de detección de voz diferentes.
• Resolución Nativa de Solapamientos: Uso de la funcionalidad exclusive_speaker_diarization para manejar superposiciones de voz sin destruir datos acústicos valiosos mediante cortes manuales.

4. Resultados y Evaluación

ASR (Reconocimiento de Voz)

• Mejora en WER (Tasa de Error de Palabra):
  • Línea base (Whisper sin procesar): 67.5% (Público).
  • Con VAD y post-procesamiento: 41.9%.
  • Con ajuste fino y estrategia de chunking: 26.5%.
  • Resultado Final (con limpieza manual de datos): 25.2% en la tabla de clasificación pública.
• El mayor salto de rendimiento se obtuvo al introducir la estrategia de ajuste fino basada en segmentos respetuosos de los límites de palabras.

Diarización

• Mejora en DER (Tasa de Error de Diarización):
  • Modelo base Pyannote 3.1: 42.2% (Público).
  • Modelo Community-1 (base): 31.4%.
  • Con ajuste fino de segmentación: 20.0%.
  • Resultado Final (con intersección VAD): 19.4% en la tabla de clasificación pública.
• El pipeline propuesto reduce el error en un 12-16% absoluto en comparación con los modelos base de vanguardia en el conjunto de datos Bengali-Loop.

5. Significado e Impacto

Este trabajo demuestra que es posible lograr un rendimiento de alto nivel en tareas de procesamiento de voz de larga duración para idiomas de recursos limitados (como el bengalí) mediante:

1. Inteligencia en la Pre-procesamiento: La calidad de los datos de entrenamiento (segmentación precisa) es tan crítica como la arquitectura del modelo.
2. Eficiencia Computacional: Lograr mejoras significativas ajustando solo componentes ligeros (segmentación) en lugar de reentrenar modelos masivos.
3. Robustez en Escenarios Reales: La capacidad de manejar audio de múltiples hablantes, solapamientos y ruido ambiental, ofreciendo un blueprint escalable para la tecnología de voz en entornos de bajos recursos.

En conclusión, WhisperAlign establece un nuevo estándar para la transcripción y diarización en bengalí, superando a las líneas base existentes y demostrando la viabilidad de pipelines híbridos que combinan modelos de fundación (Foundation Models) con adaptaciones específicas de dominio.