Resumen Técnico: Pisets – Un Sistema Robusto de Reconocimiento de Voz para Conferencias y Entrevistas

Declaración del Problema

Los sistemas de reconocimiento de voz sostenibles son críticos para científicos y periodistas que procesan audio de conferencias y entrevistas. Si bien el modelo Whisper ha demostrado avances significativos en el reconocimiento automático del habla (ASR), sufre limitaciones inherentes en los modelos autorregresivos de secuencia a secuencia. Específicamente, Whisper es propenso a generar "alucinaciones" (salidas semánticamente inconsistentes o contextualmente implausibles) y exhibe ineficiencias computacionales debido a la decodificación secuencial de token por token. Además, los métodos estándar de Detección de Actividad de Voz (VAD) a menudo carecen de la sensibilidad requerida para segmentar con precisión el habla en entornos acústicos complejos, lo que conduce a errores en la transcripción posterior. El desafío radica en desarrollar un sistema que minimice estos errores y alucinaciones manteniendo la robustez a través de diversas condiciones acústicas y niveles de ruido.

Metodología

El sistema "Pisets" (derivado de la palabra rusa para "escriba") emplea una arquitectura offline de tres componentes diseñada para mejorar la precisión del reconocimiento mediante un flujo de trabajo de reconocimiento primario, filtrado y transcripción final.

1. Reconocimiento Primario y Segmentación (Wav2Vec2)

El primer componente utiliza el modelo Wav2Vec2 para identificar segmentos que contienen habla. A diferencia de los métodos VAD estándar que dependen de umbrales fijos, este enfoque se describe como un "VAD con esteroides", aprovechando la información contextual de entrenamientos de audio a gran escala para determinar con mayor precisión los límites del habla.

• Estrategia de Entrenamiento: El modelo fue entrenado utilizando aprendizaje por currículo (curriculum learning), un método informado por la "Teoría Formal de la Diversión, la Creatividad y la Motivación Intrínseca". Este enfoque aumenta progresivamente la complejidad de la tarea comenzando con datos bien anotados e introduciendo gradualmente entradas diversas, incluyendo varios acentos, ruidos de fondo y condiciones acústicas.
• Corpus: El entrenamiento utilizó corpus de habla en lengua rusa abiertos, incluyendo Golos, Russian Librispeech y RuDevices.

2. Filtrado de Falsos Positivos (Transformador de Espectrograma de Audio)

El segundo componente aborda los falsos positivos generados por el detector de habla inicial. Se emplea un Transformador de Espectrograma de Audio (AST), entrenado con la ontología de Audioset, para filtrar fragmentos de habla inexistentes que podrían malinterpretarse como habla real.

• Función: El AST proporciona un análisis más profundo de las señales de audio, resaltando características acústicas significativas. Este paso es particularmente beneficioso en entornos ruidosos o condiciones acústicas espaciales complejas, asegurando que solo los segmentos válidos pasen a la etapa de reconocimiento final.

3. Reconocimiento de Voz Final (Whisper)

El componente final utiliza el modelo Whisper para realizar la etapa conclusiva del reconocimiento de voz sobre el audio filtrado y segmentado.

• Mejoras: Para mejorar la precisión, el sistema incorpora el algoritmo BIRM (Minimización de Riesgo Invariante Bayesiana) y un concepto personalizado de "entorno de habla". Esto implica la construcción de corpus de habla anotados con tasas de error mínimas para entrenar mejor al modelo en diversos entornos lingüísticos y acústicos.
• Corpus: El modelo final fue entrenado utilizando Russian Librispeech, Taiga Speech y Podlodka Speech.

Modelado de Incertidumbre

El artículo introduce técnicas avanzadas de modelado de incertidumbre para identificar transcripciones poco fiables. Se comparan tres métodos principales:

1. Puntuaciones de Token: Utilizando las probabilidades de salida de Whisper.
2. Desacuerdo del Modelo: Comparando las predicciones entre el modelo base (Whisper) y un modelo adicional (Wav2Vec2), lo que implica alineación de secuencias, división/fusión lingüística de diferencias y heurísticas opcionales (por ejemplo, manejo de transliteraciones) y validación de modelo de lenguaje.
3. Estiramiento de Audio: Comparando las predicciones de Whisper en el audio original frente al audio estirado (estiramiento del 33% mediante remuestreo) como un método de Aumento de Tiempo de Prueba (TTA).

Contribuciones Clave

• Arquitectura de Tres Componentes: La integración de Wav2Vec2 para una segmentación robusta, AST para el filtrado de falsos positivos y Whisper para la transcripción final crea una cadena de transformación que reduce significativamente los errores y las alucinaciones en comparación con el uso de solo Whisper.
• Implementación de Aprendizaje por Currículo: La aplicación de aprendizaje por currículo en diversos corpus de habla rusa para entrenar progresivamente el segmentador Wav2Vec2, mejorando su capacidad para manejar condiciones acústicas complejas.
• Cuantificación de la Incertidumbre: El desarrollo de un marco para estimar la incertidumbre de la transcripción, permitiendo a los usuarios identificar y corregir manualmente secciones dudosas sin revisar todo el texto.
• Disponibilidad de Código Abierto: El código fuente y los modelos están disponibles públicamente en GitHub y Hugging Face bajo la licencia Apache 2.0.

Resultados Experimentales

El sistema fue evaluado en un conjunto de prueba de siete grabaciones de audio largas (20–40 minutos) que cubren conferencias científicas en campos como la filología, las matemáticas y la historia. La evaluación incluyó tanto entornos silenciosos como condiciones de ruido simuladas (Relación Señal-Ruido de 1 dB con ruido de tipo habla y musical).

• Rendimiento vs. WhisperX: En el conjunto de datos de conferencias de audio largo, Pisets logró una Tasa de Error de Palabra (WER) de 0.1065 y un BERT-score de 0.9652. En comparación, WhisperX logró un WER de 0.1683 y un BERT-score de 0.9479.
• Robustez al Ruido: Aunque la variante Whisper-Podlodka dentro de la arquitectura de Pisets se desempeñó ligeramente por debajo del modelo Whisper-Large original en condiciones de silencio, demostró ventajas superiores a medida que aumentaban los niveles de ruido de fondo.
• Modelado de Incertidumbre: Los experimentos indicaron que marcar aproximadamente solo el 5% de las palabras como inciertas permite al sistema capturar el 35% de todos los errores de transcripción (excluyendo errores causados por palabras omitidas). Si bien los métodos de desacuerdo de modelos no superaron consistentemente a las puntuaciones de token de Whisper como fuente de incertidumbre debido al tamaño limitado del conjunto de prueba, el enfoque resultó práctico para resaltar lugares dudosos en las transcripciones.

Significado

El artículo afirma que la arquitectura propuesta de tres componentes asegura una transcripción robusta de datos de audio largos a través de diversas condiciones acústicas, superando tanto al modelo Whisper estándar como a WhisperX. Al abordar sistemáticamente las limitaciones de los modelos autorregresivos —específicamente las alucinaciones y las ineficiencias computacionales— el sistema Pisets ofrece una herramienta más fiable para científicos y periodistas. La integración del modelado de incertidumbre mejora aún más la utilidad al permitir una revisión manual dirigida, mejorando así la confiabilidad general y la precisión de los resultados para la toma de decisiones y la comunicación.