Thaka at KSAA-2026 Task 2: Regularized Fine-Tuning for Arabic Speech Diacritization

Resumen Técnico: Thaka en KSAA-2026 Tarea 2: Ajuste Fino Regularizado para la Diacritización del Habla Árabe

Definición del Problema
El artículo aborda la Tarea 2 de la Tarea Compartida KSAA-2026, que se centra en la Dictado de Habla Árabe con Diacritización Automática. El objetivo es generar texto árabe completamente diacritizado a partir de audio de habla y transcripciones sin diacríticos. Esta tarea es particularmente desafiante debido a la ambigüedad inherente de la ortografía árabe, donde las vocales cortas y los marcadores fonológicos (diacríticos) se omiten típicamente, lo que conduce a múltiples significados potenciales para una sola cadena de caracteres. Si bien las señales de habla proporcionan claves prosódicas y fonéticas para resolver estas ambigüedades, la tarea compartida presenta un escenario de recursos limitados: solo hay disponibles 2.327 muestras de entrenamiento a través de múltiples dialectos árabes, y el uso de datos externos está estrictamente prohibido.

Metodología
El sistema de los autores se basa en la arquitectura CATT-Whisper, un modelo multimodal que fusiona un codificador de texto CATT a nivel de caracteres con un codificador de habla Whisper. El enfoque técnico enfatiza la regularización rigurosa del entrenamiento y la combinación de inferencia en lugar de cambios arquitectónicos complejos.

• Arquitectura:

  • Codificador de Texto: Un Transformer CATT de 6 capas (512 dimensiones, 16 cabezas) preentrenado en diacritización árabe, que predice una de 15 clases de diacríticos por letra.
  • Codificador de Habla: Un codificador Whisper-base congelado (6 bloques, 512 dimensiones).
  • Fusión: El sistema emplea adición de prefijos. 1.500 cuadros de habla Whisper se promedian en 150 tokens, se proyectan e insertan como 150 tokens de prefijo dedicados que preceden a la entrada de texto. El modelo contiene aproximadamente 39 millones de parámetros, de los cuales unos 19 millones son entrenables.

• Estrategia de Entrenamiento:

  • Regularización: La innovación central reside en la receta de entrenamiento. El sistema utiliza regularización de consistencia R-Drop, donde cada entrada pasa por el modelo dos veces con diferentes máscaras de dropout, penalizando predicciones divergentes mediante una penalización de divergencia KL simétrica ($\alpha = 2.08$).
  • Función de Pérdida: La pérdida supervisada combina Focal Loss ($\gamma = 0.34$) con suavizado de etiquetas ($\epsilon = 0.018$) para manejar el desequilibrio de clases y los ejemplos difíciles.
  • Optimización de Hiperparámetros: Todos los hiperparámetros (tasa de aprendizaje, decaimiento de peso, tasas de dropout, etc.) fueron seleccionados mediante Optuna en 30 intentos. Cabe destacar que el sistema emplea un alto decaimiento de peso (0.098) y tasas de dropout específicas para las incrustaciones de habla.
  • Aumento de Datos: Las técnicas incluyen SpecAugment (enmascaramiento de frecuencia y tiempo) e inyección de ruido gaussiano.
  • Puntos de Control: Se entrenaron cuatro puntos de control de modelo distintos: tres utilizando la configuración principal con diferentes semillas aleatorias (42, 7, 123) y un cuarto utilizando una configuración alternativa (diferente tasa de aprendizaje, tamaño de lote y bloques Whisper parcialmente descongelados) para aumentar la diversidad de la combinación.

• Inferencia:

  • El sistema emplea combinación de Dropout Monte Carlo (MC). Durante la inferencia, el dropout permanece activo en el codificador CATT.
  • Cada uno de los cuatro puntos de control realiza 50 pasadas forward estocásticas (un total de 200 pasadas).
  • La predicción final se deriva promediando las probabilidades softmax a través de las 200 pasadas antes de tomar el argmax.
  • Post-procesamiento: Un método de inserción posicional directa asegura que la salida mantenga una correspondencia 1:1 con los caracteres de entrada, haciendo cumplir invariantes como recuperar la entrada original al eliminar los diacríticos.

Contribuciones Clave

1. Sistema Ganador: El sistema propuesto logró el 1er lugar en la Tarea Compartida KSAA-2026.
2. Regularización sobre Arquitectura: Los autores demuestran que en entornos de recursos limitados (2.187 muestras de entrenamiento efectivas), las estrategias de optimización (R-Drop, Focal Loss, alto decaimiento de peso) producen ganancias de rendimiento significativamente mayores que las modificaciones arquitectónicas (por ejemplo, atención cruzada, decodificación CRF o ajuste fino con RL).
3. Combinación en Inferencia: La aplicación de combinación de Dropout Monte Carlo en el momento de la inferencia proporcionó una mejora medible, aunque los autores señalan el costo computacional (200 pasadas forward).

Resultados
El sistema fue evaluado en el conjunto de prueba utilizando la Tasa de Error de Palabra (WER) con terminaciones de caso (incluyendo posiciones sin diacríticos) como métrica principal.

• Rendimiento: El sistema logró una WER del 23,26%, superando al participante en segundo lugar (24,39%) y a la línea base solo de texto (49,85%).
• Estudio de Ablación: Una ablación acumulativa en el conjunto de desarrollo reveló la fuente de las mejoras:
  • El ajuste fino del CATT-Whisper preentrenado con una receta estándar arrojó una WER del 30,43%.
  • La adición de la receta regularizada (R-Drop, Focal Loss, alto decaimiento de peso) redujo la WER al 27,18% (una ganancia de 3,25 puntos porcentuales).
  • La adición de combinación de Dropout Monte Carlo redujo aún más la WER al 26,02% (una ganancia adicional de 1,16 puntos porcentuales).
  • Los autores concluyen que la receta de entrenamiento fue el principal impulsor de la mejora.

Significado y Afirmaciones
El artículo afirma que, para las restricciones específicas de la Tarea 2 de KSAA-2026 (datos limitados, sin recursos externos), el camino más efectivo hacia un alto rendimiento no es la complejidad arquitectónica, sino la regularización robusta del entrenamiento. Los autores afirman que su enfoque aprovecha con éxito la naturaleza complementaria de las señales de habla para resolver ambigüedades ortográficas, confirmando que la entrada de audio es crítica para esta tarea. Sugerir modestamente que el trabajo futuro debería centrarse en desentrañar las contribuciones individuales de cada componente de regularización y analizar el rendimiento por dialecto para identificar los desafíos restantes, en lugar de afirmar una superioridad universal en todos los escenarios de diacritización árabe.