Resumen Técnico: AfriSUD – Una Colección de Árboles de Dependencia para la Evaluación de Modelos en Lenguas Africanas

1. Planteamiento del Problema

A pesar de representar casi un tercio de la diversidad lingüística mundial, las lenguas africanas siguen estando significativamente subrepresentadas en la investigación y los recursos de Procesamiento de Lenguaje Natural (PLN). Aunque las tareas fundamentales como la traducción automática y la extracción de información dependen en gran medida del análisis de dependencias (dependency parsing), la mayoría de las lenguas africanas carecen de árboles de dependencia (treebanks) de oro necesarios para el desarrollo y la evaluación de modelos sintácticos. Los esfuerzos a gran escala existentes, como Universal Dependencies (UD), cubren menos de 15 lenguas africanas de las 186 documentadas. Esta escasez crea una barrera para la construcción de herramientas conscientes de la gramática, la realización de transferencia translingüística y la evaluación de modelos multilingües de vanguardia en entornos de bajos recursos. Además, muchas lenguas africanas exhiben características morfológicas y fonológicas complejas —como la aglutinación, sistemas extensos de clases nominales y distinciones tonales— que están insuficientemente soportadas por los flujos de trabajo (pipelines) estándar de PLN y los corpus anotados existentes.

2. Metodología

Construcción del Conjunto de Datos: AfriSUD

Los autores presentan AfriSUD, la primera colección a gran escala y de base comunitaria de árboles de dependencia anotados sintácticamente para nueve lenguas africanas diversas. El conjunto de datos abarca África Occidental, Oriental y Meridional, cubriendo tres grandes familias lingüísticas:

• Níger-Congo: Swahili, Kinyarwanda, Runyankore, isiXhosa (subgrupo Bantú); Wolof (Senegambiano); Yorùbá y Efik (Volta–Níger y Cross River).
• Afroasiática: Hausa (rama Chádica).
• Criollo: Naija (Pidgin nigeriano, basado en el inglés).

El corpus incluye aproximadamente entre 8.000 y 1.500 oraciones por lengua, procedentes de noticias, manuales educativos y textos traducidos. Las lenguas varían tipológicamente, desde aglutinantes (p. ej., lenguas bantúes) hasta aislantes (p. ej., Yorùbá, Naija) y fusionales (p. ej., Hausa).

Marco de Anotación:
Los árboles de dependencia se anotan utilizando el marco de Surface-Syntactic Universal Dependencies (SUD). Se seleccionó SUD por su capacidad para representar relaciones morfológicas y sintácticas con alta fidelidad manteniendo la consistencia translingüística, y su compatibilidad con la conversión a UD.

• Flujo de trabajo (Pipeline): El proceso incluye la lematización, el etiquetado de Partes de la Oración Universales (UPOS), la anotación de la cabeza de la dependencia y el etiquetado de la relación de dependencia.
• Herramientas: La anotación se realizó mediante Arborator-Grew. Las pre-anotaciones iniciales fueron generadas mediante una interfaz de análisis basada en BertForDeprel, seguidas de corrección manual.
• Control de Calidad: Cada lengua fue anotada por tres lingüistas nativos (un coordinador y dos anotadores). Un procedimiento de adjudicación basado en el consenso resolvió los desacuerdos. Verificaciones de validación automática aseguraron la integridad estructural (p. ej., sin ciclos, raíz única).

Desafíos de Anotación:
El artículo detalla desafíos específicos al aplicar SUD a estas lenguas:

• Vinculación Morfológica: Se tomaron decisiones entre la descomposición morfológica (segmentación de raíces y afijos) y la preservación de un solo token. Por ejemplo, los tokens de Efik y Yorùbá fueron segmentados, mientras que isiXhosa y Hausa mantuvieron la integridad léxica para alinearse con el enfoque orientado a la superficie de SUD.
• Ambigüedad: La resolución de ambigüedades léxicas y sintácticas (p. ej., morfemas multifuncionales en Yorùbá) dependió del análisis basado en el contexto y las convenciones del equipo.
• Relaciones Específicas de la Lengua: La adaptación de las relaciones de SUD para fenómenos como las construcciones de verbos seriales, auxiliares de Tiempo-Aspecto-Modo (TAM) y marcadores posesivos requirió una adaptación cuidadosa, desviándose a veces ligeramente de las directrices estándar para reflejar la realidad lingüística.

Configuración Experimental

Los autores evaluaron una gama diversa de modelos sobre AfriSG para el etiquetado de Partes de la Oración (POS) y el análisis de dependencias:

1. Líneas Base (Baselines): Stanza (analizador de dependencias neuronal) inicializado con incrustaciones (embeddings) fastText.
2. Codificadores Multilingües: Analizadores end-to-end de afinidad biafia ajustados (fine-tuned) utilizando modelos generales (mBERT, XLM-RoBERTa) y modelos centrados en África (AfriBERTa, AfroXLMR, AfroXLMR-large-76L).
3. Modelos de Lenguaje de Gran Escala (LLMs): Experimentos de prompting de cero disparos (zero-shot) y pocos disparos (few-shot) con Gemini-3.1-Pro, GPT-5.2, GPT-4o y Gemma-3 (12B/27B). También se estableció una línea base de ajuste fino supervisado (SFT) para Gemma-3-12B.
4. Transferencia Translingüística: Se evaluó la transferencia zero-shot desde siete lenguas de origen (incluyendo inglés, francés y lenguas africanas como Wolof y Naija) hacia las nueve lenguas objetivo.

3. Resultados Clave

Rendimiento de la Línea Base

• Etiquetado de POS: Los codificadores basados en Transformer generalmente superaron a Stanza. El modelo centrado en África AfroXLMR-large-76L alcanzó la mayor precisión de promedio macro (90,6%), comparado con el 88,4% de Stanza.
• Análisis de Dependencias: Stanza se mantuvo como la línea base más fuerte para el análisis de dependencias, logrando el mayor promedio de Puntuación de Adjunción No Etiquetada (UAS: 84,4) y Puntuación de Adjunción Etiquetada (LAS: 77,5). Entre los transformers, los codificadores centrados en África (AfroXLMR-large-76L) superaron a los modelos multilingües generales, alcanzando 83,1 UAS y 73,9 LAS.
• Brecha UAS vs. LAS: En todos los modelos, el LAS fue consistentmente menor que el UAS, lo que indica que, si bien los modelos pueden identificar las cabezas de dependencia, asignar las etiquetas de relación sintáctica correctas sigue siendo significativamente más difícil.

Rendimiento de los LLM

• Prompting: Las demostraciones de contexto (in-context demonstrations) o few-shot prompting mejoraron consistentemente el rendimiento en todos los LLM y métricas, observándose las ganancias más significativas en el LAS. Por ejemplo, el LAS de GPT-5.2 mejoró de 16,5 (0-shot) a 52,5 (5-shot).
• Comparación: A pesar de las mejoras, los LLM (incluso con 5-shot prompting) generalmente rindieron por debajo de los analizadores supervisados como Stanza. Gemini-3.1-Pro fue el que mejor desempeñó entre los LLM (5-shot LAS: 59,2), pero aún rezagado respecto a Stanza (LAS: 77,5).
• SFT vs. Prompting: El ajuste fino supervisado (SFT) de Gemma-3-12B superó significativamente al few-shot prompting, reduciendo la brecha con el mejor modelo de prompting (Gemini-3.1-Pro) a solo 1,2 puntos de LAS.

Transferencia Translingüística

Los resultados de transferencia zero-shot utilizando AfroXLMR-large-76L mostraron que el rendimiento de la transferencia depende altamente del par origen-objetivo. El uso de Naija (pcm) aumentado con árboles de dependencia existentes (pcm+nsc) produjo los mejores resultados de transferencia general. Entre las fuentes no africanas, el rumano funcionó mejor. Las lenguas objetivo como el Swahili fueron más fáciles de analizar, mientras que el Efik y el isiXhosa siguieron siendo desafiantes.

Análisis de Errores

El análisis de los errores de los LLM (específicamente Gemini-3.1-Pro) reveló una "brecha sintáctica":

• Desajuste de Cabeza vs. Etiqueta: Los modelos fueron mejores prediciendo cabezas de dependencia que etiquetas de relación. Por ejemplo, en construcciones de verbos seriales (comp:svc), el modelo logró 0% de LAS pero 46% de UAS.
• Fallos Específicos: Los errores se concentraron en:
  • Construcciones de Verbos Seriales: A menudo aplanadas en relaciones genéricas mod o comp:obj.
  • Auxiliares TAM: Las cadenas de múltiples tokens (p. ej., en Naija) fueron a menudo aplanadas en lugar de modeladas como dependencias en cascada.
  • Posesivos: Frecuentemente etiquetados erróneamente como mod o comp:obj.
  • Relaciones Subespecificadas (udep): Los modelos tuvieron dificultades para distinguir entre argumentos y modificadores en contextos ambiguos.

4. Contribuciones y Significado

El artículo realiza las siguientes contribuciones primarias:

1. Creación de Recursos: El lanzamiento de AfriSUD, la primera colección de árboles de dependencia SUD a gran escala y verificada por la comunidad para nueve lenguas africanas tipológicamente diversas.
2. Documentación Metodológica: Un relato detallado de los desafíos y soluciones de anotación específicos para las lenguas africanas, incluyendo estrategias para manejar la aglutinación, los clíticos y el tono dentro del marco SUD.
3. Benchmarking Exhaustivo: Una evaluación sistemática de analizadores supervisados, codificadores multilingües y LLM, estableciendo nuevas líneas base para el PLN sintáctico de las lenguas africanas.
4. Identificación de Brechas: El trabajo destaca una persistente "brecha sintáctica" donde las arquitecturas actuales, incluidos los LLM, luchan por capturar la diversidad estructural de las lenguas africanas, particularmente en relación con el etiquetado de relaciones y construcciones complejas como los verbos seriales y las cadenas TAM.

Significado:
Los autores posicionan a AfriSUD como un recurso fundacional para una evaluación y un modelado sintáctico más fundamentado lingüísticamente de las lenguas africanas. Al demostrar que las arquitecturas existentes (tanto los transformers como los LLM) muestran limitaciones claras para capturar las estructuras sintácticas africanas, el artículo argumenta la necesidad de un desarrollo continuo de recursos y de la adaptación arquitectónica. El conjunto de datos y los benchmarks están destinados a facilitar la investigación reproducible y apoyar el desarrollo de herramientas conscientes de la gramática para millones de hablantes en el África subsahariana.

Limitaciones:
Los autores señalan que el conjunto de datos cubre un número limitado de ejemplos para ciertas relaciones de dependencia raras. Además, los experimentos de LLM están restringidos a modelos y configuraciones específicas, y la reproducibilidad de los resultados de modelos cerrados puede verse afectada por futuras actualizaciones de los modelos. El análisis de errores se centra en relaciones SUD específicas y en el mejor modelo de prompting.