A Comprehensive Analysis of Tokenization and Self-Supervised Learning in End-to-End Automatic Speech Recognition applied on French Language

Resumen Técnico: Un Análisis Exhaustivo de la Tokenización y el Aprendizaje Auto-supervisado en el Reconocimiento Automático del Habla de Extremo a Extremo aplicado al Idioma Francés

Enunciado del Problema
Si bien los sistemas de Reconocimiento Automático del Habla (ASR) de extremo a extremo se integran cada vez más en aplicaciones como la transcripción y los asistentes de voz, su evaluación del rendimiento sigue siendo limitada. La investigación actual depende predominantemente de la Tasa de Error de Palabra (WER) y la Tasa de Error de Carácter (CER). Sin embargo, estas métricas suelen ser insuficientes para describir la calidad de las transcripciones para aplicaciones posteriores. Además, los impactos específicos de los algoritmos de tokenización de subpalabras y las elecciones de modelos de Aprendizaje Auto-supervisado (SSL) en el rendimiento léxico, acústico y semántico —particularmente para el idioma francés— permanecen poco explorados en el contexto de las arquitecturas de extremo a extremo.

Metodología
Los autores realizaron un estudio cualitativo sobre ASR en francés utilizando un conjunto exhaustivo de métricas de evaluación más allá de las tasas de error estándar.

• Arquitectura del Sistema: El estudio utilizó 28 sistemas ASR de extremo a extremo construidos sobre el toolkit Speechbrain. Cada sistema consta de un codificador de modelo SSL seguido por una Red Neuronal Profunda (DNN) con tres capas lineales y una capa de Clasificación Temporal Conectivista (CTC) para la decodificación.
• Estrategias de Tokenización: Los autores compararon diversos métodos de tokenización, incluidos Carácter, Codificación de Pares de Bytes (BPE), SentencePiece y Unigram. Variaron los tamaños de vocabulario (desde 150 hasta 1000 tokens) e investigaron el uso de inicialización basada en grafemas (144 grafemas) para respetar las características lingüísticas y acústicas.
• Modelos de Aprendizaje Auto-supervisado (SSL): El estudio empleó múltiples modelos basados en wav2vec 2.0:
  • Modelos monolingües franceses entrenados con 1.000, 3.000 y 7.000 horas de datos.
  • Un modelo multilingüe (XLSR) entrenado con 53 idiomas, incluido el francés.
  • Un modelo solo en inglés entrenado con 53.000 horas para probar la transferencia interlingüística.
• Corpus: Los sistemas se entrenaron con aproximadamente 356 horas de datos de difusión en francés (ESTER 1 y 2, EPAC, ETAPE, REPERE) y se evaluaron en el corpus de prueba REPERE de 10 horas.
• Métricas de Evaluación: Además de WER y CER, el estudio introdujo o utilizó:
  • Tasa de Error de Palabras No Vistas (UWER): Mide la precisión en palabras ausentes del corpus de entrenamiento.
  • SemDist: Distancia semántica basada en incrustaciones de oraciones (SentenceBERT/CamemBERT) para evaluar la similitud semántica.
  • Tasa de Error de Fonemas (PhonER): Métrica acústica que mide la distancia de Levenshtein entre las secuencias de fonemas de referencia e hipótesis.

Resultados Clave

• Impacto de los Modelos SSL:
  • Especificidad del Idioma: Los modelos SSL preentrenados con datos franceses superaron significativamente a aquellos entrenados con datos en inglés o multilingües. El modelo francés entrenado con 7.000 horas logró una WER del 16,56 %, mientras que el modelo en inglés (53k horas) resultó en una WER del 36,41 %.
  • Tamaño de los Datos: Se observó una correlación directa entre el tamaño de los datos de entrenamiento en francés y las mejoras de rendimiento en todas las métricas.
  • Transferencia Multilingüe: Aunque el modelo multilingüe XLSR (WER 21,48 %) superó al modelo solo en inglés, rindió por debajo del modelo monolingüe francés, lo que sugiere que la información específica del idioma puede diluirse en el entrenamiento multilingüe.
• Impacto de la Tokenización:
  • Subpalabras vs. Carácter: Los tokenizadores de subpalabras (BPE, SentencePiece, Unigram) superaron consistentemente a la tokenización por carácter en todas las métricas, capturando información lingüística y contextual más matizada.
  • Configuración Óptima: El tokenizador Unigram con un vocabulario reducido de 150 tokens logró consistentemente los mejores resultados en WER, CER, SemDist, UWER y PhonER.
  • Inicialización por Grafemas: Contrariamente a la hipótesis de que la tokenización basada en grafemas mejoraría la alineación acústica, los sistemas que utilizaban BPE inicializado con grafemas arrojaron resultados inferiores en comparación con los tokenizadores de subpalabras estándar. El sistema de mejor rendimiento tuvo, de hecho, el porcentaje más bajo de grafemas en su vocabulario.
• Discrepancia de Métricas:
  • El estudio encontró que diferentes métricas a menudo producen clasificaciones contradictorias para el "mejor" sistema. Por ejemplo, un sistema óptimo según WER podría no ser óptimo según CER o SemDist.
  • El análisis de correlación de Spearman reveló correlaciones bajas a moderadas entre las métricas (por ejemplo, una correlación de 0,87 entre WER y SemDist, pero correlaciones más bajas con UWER), lo que indica que ninguna métrica individual captura completamente el rendimiento del sistema.

Significado y Contribuciones
El artículo realiza cuatro contribuciones principales al campo del ASR en francés:

1. Generalización mediante Reducción de Vocabulario: Establece que los tamaños de vocabulario reducidos mejoran las capacidades de generalización de los sistemas ASR, particularmente para palabras no vistas (UWER).
2. Eficacia de Unigram: Proporciona evidencia de que el tokenizador Unigram con un vocabulario reducido es altamente efectivo para el ASR en francés, superando a otras estrategias, incluidos los enfoques basados en grafemas.
3. Limitaciones de las Métricas: Demuestra que los criterios de evaluación impactan significativamente las evaluaciones a nivel de sistema. Un sistema considerado óptimo por WER no es necesariamente el mejor desde una perspectiva humana, semántica o fonética.
4. Ineficacia de los Grafemas: Sugiere que los tokens adaptados fonéticamente (grafemas) no producen mejoras de rendimiento sobre los métodos de tokenización tradicionales en este contexto de extremo a extremo.

Los autores concluyen que la inconsistencia entre las métricas de evaluación hace necesaria la exploración de enfoques alternativos tanto para evaluaciones intrínsecas como posteriores, adaptados a tareas específicas, en lugar de depender exclusivamente de las tasas de error tradicionales.