Curriculum Learning and Pseudo-Labeling Improve the Generalization of Multi-Label Arabic Dialect Identification Models

Título: Aprendizaje Curricular y Etiquetado Pseudo Mejoran la Generalización de Modelos de Identificación de Dialectos Árabes Multi-etiqueta

1. El Problema

La Identificación de Dialectos Árabes (ADI) ha sido tradicionalmente modelada como una tarea de clasificación de una sola etiqueta (single-label), donde cada oración se asigna a un único país o dialecto. Sin embargo, el lenguaje árabe es inherentemente complejo: una misma frase puede sonar natural y ser aceptable en múltiples dialectos simultáneamente (superposición dialectal).

El desafío principal identificado en el trabajo es la mismatch (desajuste) entre la naturaleza multi-etiqueta del uso real de los dialectos y la estructura de los datos de entrenamiento disponibles. Las bases de datos existentes (como NADI 2020-2023) son de una sola etiqueta y se basan en la geolocalización del usuario, no en anotaciones lingüísticas manuales. Al intentar reutilizar estos datos para una tarea Multi-Label Arabic Dialect Identification (MLADI), surge un problema crítico:

• La selección de muestras negativas es defectuosa. Muchas oraciones etiquetadas como "negativas" (inaceptables) para un dialecto específico, en realidad son aceptables en ese dialecto debido a la superposición. Esto introduce ruido sistemático en el entrenamiento de clasificadores binarios.

2. Metodología

Los autores proponen un enfoque en tres etapas para construir un conjunto de datos de entrenamiento robusto y entrenar un modelo mejorado:

A. Análisis de la Dinámica de Entrenamiento:

• Entrenaron 18 clasificadores binarios de aceptabilidad dialectal (uno por país) utilizando datos de una sola etiqueta.
• Utilizaron métricas de dinámica de entrenamiento (confianza, variabilidad y corrección) para identificar muestras que el modelo encuentra difíciles de aprender.
• Hallazgo clave: Un subconjunto significativo de muestras etiquetadas como negativas mostraba una "corrección" imperfecta, lo que indicaba que los hablantes nativos las consideraban aceptables. Esto confirmó que las muestras negativas en los datos originales estaban mal asignadas.

B. Creación de un Conjunto de Datos Multi-etiqueta (Pseudo-etiquetado):
Para superar la falta de datos multi-etiqueta manuales, generaron un conjunto de datos pseudo-etiquetado combinando dos fuentes heterogéneas:

1. Clasificadores Binarios: 18 clasificadores entrenados en datos equilibrados (NADI 2023). Se aplicó un filtro estricto para las muestras negativas (solo se consideraron negativas si provenían de regiones no vecinas y tenían un alto nivel de dialectalidad).
2. GPT-4o: Se utilizó un modelo de lenguaje grande para evaluar la aceptabilidad de cada oración en los 18 dialectos de forma independiente.
3. Agregación Guiada por ALDi: Se utilizó la métrica Arabic Level of Dialectness (ALDi) para combinar las predicciones:
   • Para muestras con ALDi muy bajo (MSA) o muy alto (dialecto puro), se priorizaron los clasificadores binarios (mayor precisión en extremos).
   • Para el rango intermedio de ALDi (donde hay mayor superposición), se priorizaron las etiquetas de GPT-4o (mayor recall).

C. Entrenamiento con Aprendizaje Curricular (Curriculum Learning):
Se entrenó un modelo basado en BERT (LAHJATBERT) utilizando estrategias de aprendizaje curricular para exponer progresivamente al modelo a ejemplos de mayor complejidad:

• Curriculum basado en Cardinalidad: Entrenar primero con oraciones que tienen pocas etiquetas activas (1-2 dialectos) e introducir gradualmente oraciones con mayor superposición (más etiquetas).
• Curriculum basado en ALDi: Entrenar primero con muestras de dialectalidad clara (MSA o dialectos puros) y luego introducir muestras con ALDi intermedio (más ambiguas).

3. Contribuciones Clave

1. Análisis de Limitaciones: Demostraron empíricamente que la reutilización de datos de ADI de una sola etiqueta para tareas multi-etiqueta falla principalmente debido a la selección incorrecta de muestras negativas.
2. Construcción de Datos: Crearon un nuevo conjunto de datos de entrenamiento pseudo-etiquetado para MLADI, agregando señales complementarias de GPT-4o y clasificadores binarios, mitigando el ruido mediante la métrica ALDi.
3. Modelo LAHJATBERT: Introdujeron una familia de modelos basados en BERT entrenados con estrategias de aprendizaje curricular. El mejor modelo supera a los sistemas anteriores y a modelos de lenguaje masivos (como Aya-32B) en la tarea de identificación de dialectos.

4. Resultados

Los experimentos se realizaron en el conjunto de desarrollo y prueba de la tarea compartida NADI2024 (MLADI):

• Rendimiento en Desarrollo: El modelo entrenado con etiquetas híbridas y aprendizaje curricular basado en ALDi logró un F1 macro de 0.703, superando al modelo sin curriculum (0.674) y al modelo entrenado solo con GPT-4o (0.662).
• Rendimiento en Prueba (Test Set):
  • LAHJATBERT + ALDi Curriculum: Logró un F1 macro de 0.6904.
  • Comparativa: Esto representa una mejora significativa frente al sistema más fuerte reportado anteriormente (NADI 2024 Baseline), que obtuvo un F1 macro de 0.55.
  • También superó a modelos de lenguaje grandes multilingües y específicos del árabe (como Aya-32B y Elyadata).
• Impacto del Curriculum: El aprendizaje curricular aumentó consistentemente el Recall (capacidad de detectar múltiples dialectos válidos) a costa de una ligera reducción en la Precisión, lo cual es deseable en tareas de superposición dialectal donde es crucial no perder etiquetas válidas.

5. Significado e Impacto

• Avance en la Tarea MLADI: Este trabajo establece un nuevo estado del arte (SOTA) para la identificación de dialectos árabes multi-etiqueta, demostrando que es posible lograr alta generalización incluso sin grandes conjuntos de datos manuales multi-etiqueta.
• Validación de Enfoques Híbridos: Demuestra la viabilidad de combinar la intuición lingüística de modelos de IA generativa (GPT-4o) con clasificadores tradicionales y métricas de dialectalidad (ALDi) para crear datos de entrenamiento de alta calidad.
• Estrategia de Entrenamiento: La aplicación de aprendizaje curricular alineado con la complejidad lingüística (ALDi) y la cardinalidad de etiquetas se presenta como una técnica esencial para mejorar la generalización en tareas de clasificación multi-etiqueta con datos ruidosos o desequilibrados.
• Recursos Abiertos: Los autores han liberado el código y los modelos (LAHJATBERT), facilitando la reproducibilidad y el avance futuro en la investigación de dialectos árabes.

En resumen, el artículo resuelve el problema de la escasez de datos multi-etiqueta de alta calidad mediante la ingeniería de datos inteligente (pseudo-etiquetado híbrido) y optimiza el aprendizaje del modelo mediante estrategias curriculares, logrando un salto cualitativo en la capacidad de los sistemas para entender la complejidad y superposición de los dialectos árabes.