Fine-tuning Whisper for Pashto ASR: strategies and scale

1. Planteamiento del Problema

El idioma pashto es predominantemente oral, con una rica tradición de poesía y conocimiento cultural transmitido por voz, pero carece de una presencia significativa en los corpus de texto digital. A pesar de ser una de las colecciones más grandes en CommonVoice, el pashto está ausente del corpus de pre-entrenamiento de Whisper (680.000 horas de audio en 99 idiomas).

• Fallo del modelo "Zero-shot": Los modelos Whisper estándar (base, small, large-v3-turbo) fallan catastróficamente al intentar transcribir pashto sin ajuste fino. En lugar de generar texto en pashto, los modelos producen guiones en árabe, dari o urdu, ya que no han visto los fonemas específicos del pashto durante el pre-entrenamiento.
• Métricas de error: Sin ajuste fino, la Tasa de Error de Palabras (WER) supera el 100% (171.4% para whisper-base en el conjunto de pruebas CV24), lo que indica que los errores de inserción y sustitución superan la cantidad de palabras de referencia.
• Desafíos fonéticos: El pashto utiliza un alfabeto Perso-Árabe extendido de 44 letras, que incluye consonantes retroflexas (/ṭ/, /ḍ/, /ṣ/, /ḷ/) y una fricativa faríngea (/ħ/) que no existen en árabe, persa o urdu, lo que impide que los modelos pre-entrenados reconozcan estos sonidos.

2. Metodología

El estudio compara cuatro estrategias de ajuste fino (fine-tuning) en el modelo whisper-base utilizando el corpus CommonVoice Pashto v20 (CV20), y luego escala el enfoque de "ajuste fino completo" (vanilla) a modelos más grandes (whisper-small y whisper-large-v3-turbo) utilizando el corpus CommonVoice Pashto v24 (CV24, ~113 horas).

Estrategias comparadas (CV20):

1. Ajuste fino completo (Vanilla): Actualización de gradientes en todos los 74.4M de parámetros del modelo.
2. LoRA (Low-Rank Adaptation): Congelación de pesos originales y entrenamiento de matrices de rango bajo (rank 64) en las proyecciones de consulta y valor de las capas de atención. Solo el 3.15% de los parámetros son entrenables.
3. Capas de codificador congeladas: Congelación de las 2 capas inferiores del codificador (de 6 totales), entrenando solo las capas superiores y el decodificador.
4. Transferencia multietapa (Urdu → Pashto): Inicialización desde un modelo previamente ajustado a urdu (sharjeel103/whisper-base-urdu) antes de ajustar al pashto.

Configuración de datos:

• CV20: ~57.7 horas de datos de entrenamiento (pre-aumentados offline con 5 transformaciones: cambio de velocidad, tono, ruido, etc.).
• CV24: ~113.4 horas de datos de entrenamiento (con aumento de datos online en el experimento base).
• Evaluación: Se utilizan WER normalizado (tras limpieza de texto), WER ortográfico y Tasa de Error de Caracteres (CER) en conjuntos de prueba retenidos (held-out).

3. Contribuciones Clave

1. Comparación sistemática: Primer estudio que evalúa simultáneamente cuatro estrategias de ajuste fino para Whisper en pashto bajo condiciones controladas.
2. Refutación de la congelación de capas en modelos pequeños: Demuestra que congelar capas del codificador en whisper-base (6 capas) es contraproducente, contradiciendo recomendaciones previas basadas en modelos de 12+ capas.
3. Análisis de fallo en transferencia lingüística: Identifica tres mecanismos por los cuales la transferencia desde urdu falla: checkpoint intermedio no verificado, desajuste fonológico (urdu carece de fonemas retroflexos del pashto) y entrenamiento insuficiente en la segunda etapa.
4. Análisis de escala: Evalúa la relación costo-rendimiento entre whisper-base, small y large-v3-turbo con ~113 horas de datos, mostrando rendimientos decrecientes.
5. Recursos abiertos: Publicación de checkpoints ajustados, corpus de entrenamiento aumentado y scripts de evaluación en HuggingFace.

4. Resultados Principales

Comparación de Estrategias (whisper-base en CV20)

• Mejor rendimiento: El ajuste fino completo (Vanilla) obtuvo un WER normalizado de 21.22%.
• Rendimiento de LoRA: Fue el segundo peor (54.58%), con una diferencia de +33.36 puntos porcentuales (pp) respecto al ajuste completo. La capacidad limitada de los adaptadores (rank 64) fue insuficiente para aprender el inventario fonético del pashto.
• Rendimiento de Capas Congeladas: Obtuvo un WER de 35.98% (+14.76 pp peor que Vanilla). Al congelar 1/3 de la capacidad de entrenamiento en un modelo de solo 6 capas, se impidió que las capas inferiores se adaptaran a los fonemas únicos del pashto.
• Transferencia Urdu: Fue la peor estrategia (65.78%, +44.56 pp peor), debido a la falta de fonemas retroflexos en el urdu y la mala calidad del modelo intermedio.

Escala de Modelos (CV24, ~113 horas)

• Whisper-base: 27.13% WER (con aumento de datos).
• Whisper-small: 24.89% WER. Mejora de 2.24 pp con un aumento de 3.3x en parámetros.
• Whisper-large-v3-turbo: 23.37% WER. Mejora adicional de 1.52 pp con otro aumento de 3.3x en parámetros.
• Conclusión de escala: Los rendimientos son decrecientes. Para un corpus de ~100 horas, whisper-small se identifica como el punto óptimo práctico, ofreciendo el mejor equilibrio entre precisión y costo computacional.

Aumento de Datos

El aumento de datos online (cambio de velocidad y ruido) proporcionó una mejora de 7.25 pp en WER sobre el entrenamiento sin aumento, incluso con un corpus grande (113 horas).

5. Análisis de Errores

El análisis de 100 muestras reveló los modos de fallo dominantes:

1. Confusión de sufijos morfológicos: Errores en la distinción entre género masculino y femenino o formas verbales al final de la palabra, donde la diferencia es un solo carácter o vocal corta no escrita.
2. Sustitución de fonemas retroflexos: Confusión entre consonantes retroflexas y sus equivalentes no retroflexos, especialmente el fonema /ts/ (ʈ), que es único del pashto y ausente en los datos de pre-entrenamiento.
3. Eliminación de palabras funcionales: Pérdida de partículas cortas y no acentuadas (genitivo, futuro) debido a la incertidumbre acústica.
4. Alucinación: En casos raros, el modelo genera más tokens de los que existen en la referencia, llenando el contexto con frases probables no relacionadas.

6. Significado y Conclusiones

Este trabajo establece que para idiomas de recursos bajos con características fonéticas únicas como el pashto:

• El ajuste fino completo (Vanilla) es la estrategia superior para modelos base, superando ampliamente a LoRA y a la congelación de capas en arquitecturas pequeñas.
• Las recomendaciones de congelar capas inferiores (basadas en modelos grandes) no se aplican a modelos pequeños como whisper-base, ya que la separación funcional entre capas acústicas y lingüísticas no está tan definida.
• La transferencia desde idiomas "hermanos" (como urdu) es riesgosa si no se verifica la calidad del modelo intermedio y si existen desajustes fonológicos significativos.
• Para conjuntos de datos de ~100 horas, aumentar el tamaño del modelo más allá de whisper-small ofrece mejoras marginales, sugiriendo que la optimización de datos y estrategias de entrenamiento es más crítica que simplemente escalar parámetros.

El estudio proporciona una base sólida y recursos abiertos para el desarrollo futuro de sistemas ASR en pashto y otros idiomas con características fonéticas similares no cubiertas por los grandes modelos multilingües.