Sintesi Tecnica: AfriSUD – Una collezione di alberi di dipendenza per la valutazione dei modelli sulle lingue africane

1. Definizione del problema

Nonostante l'Africa rappresenti quasi un terzo della diversità linguistica globale, le lingue africane rimangono significativamente sottorappresentate nella ricerca e nelle risorse di Elaborazione del Linguaggio Naturale (NLP). Mentre compiti fondamentali come la traduzione automatica e l'estrazione di informazioni si basano pesantemente sull'analisi delle dipendenze (dependency parsing), la maggior parte delle lingue africane manca di treebank "gold-standard" necessari per lo sviluppo e la valutazione di modelli sintattici. Gli sforzi su larga scala esistenti, come Universal Dependencies (UD), coprono meno di 15 lingue africane su 186 documentate. Questa scarsità crea una barriera alla costruzione di strumenti consapevoli della grammatica, alla conduzione del trasferimento cross-linguistico e alla valutazione di modelli multilingue allo stato dell'arte in contesti a basse risorse. Inoltre, molte lingue africane presentano caratteristiche morfologiche e fonologiche complesse — come l'agglutinazione, estesi sistemi di classi nominali e distinzioni tonali — che sono scarsamente supportate dai normali pipeline NLP e dalle corpora annotate esistenti.

2. Metodologia

Costruzione del dataset: AfriSUD

Gli autori introducono AfriSUD, la prima collezione su larga scala e guidata dalla comunità di alberi di dipendenza (treebanks) annotati sintatticamente per nove diverse lingue africane. Il dataset abbraccia l'Africa occidentale, orientale e meridionale, coprendo tre grandi famiglie linguistiche:

• Niger-Congo: Swahili, Kinyarwanda, Runyankore, isiXhosa (sottogruppo Bantu); Wolof (Senegambia); Yorùbá ed Efik (Volta–Niger e Cross River).
• Afro-Asiatico: Hausa (ramo Chadic).
• Creolo: Naija (Pidgin nigeriano, basato sull'inglese).

Il corpus include circa da 8.000 a 1.500 frasi per lingua, provenienti da notizie, manuali educativi e testi tradotti. Le lingue variano tipologicamente, spaziando dall'agglutinante (es. lingue Bantu) all'isolante (es. Yorùbá, Naija) e al fusionale (es. Hausa).

Framework di annotazione:
I treebank sono annotati utilizzando il framework Surface-Syntactic Universal Dependencies (SUD). SUD è stato selezionato per la sua capacità di rappresentare le relazioni morfologiche e sintattiche con alta fedeltà mantenendo al contempo la coerenza cross-linguistica, e per la sua compatibilità con la conversione in UD.

• Pipeline: Il processo include lemmatizzazione, tagging della Part-of-Speech Universale (UPOS), annotazione della testa della dipendenza e labeling della relazione di dipendenza.
• Strumenti: L'annotazione è stata eseguita tramite Arborator-Grew. Le pre-annotazioni iniziali sono state generate utilizzando un'interfaccia di parsing basata su BertForDeprel, seguite da correzione manuale.
• Controllo Qualità: Ogni lingua è stata annotata da tre linguisti madrelingua (un coordinatore, due annotatori). Una procedura di aggiudicazione basata sul consenso ha risolto i disaccordi. Controlli di validazione automatica hanno garantito l'integrità strutturale (es. assenza di cicli, radice singola).

Sfide di annotazione:
Il documento dettaglia sfide specifiche nell'applicazione di SUD a queste lingue:

• Legame Morfologico (Morphological Binding): Sono state prese decisioni tra decomposizione morfologica (segmentazione di radici e affissi) e preservazione del singolo token. Ad esempio, i token di Efik e Yorùbá sono stati segmentati, mentre isiXhosa e Hausa hanno mantenuto l'integrità lessicale per allinearsi all'approccio orientato alla superficie di SUD.
• Ambiguità: La risoluzione delle ambiguità lessicali e sintattiche (es. morfemi multifunzionali in Yorùbá) si è basata sull'analisi guidata dal contesto e sulle convenzioni del team.
• Relazioni specifiche della lingua: L'adattamento delle relazioni SUD per fenomeni come le costruzioni verbali seriali, gli ausiliari di Tempo-Aspetto-Modo (TAM) e i marcatori possessivi ha richiesto un adattamento attento, talvolta deviando leggermente dalle linee guida standard per riflettere la realtà linguistica.

Configurazione Sperimentale

Gli autori hanno valutato una gamma diversificata di modelli su AfriSUD per il POS tagging e il dependency parsing:

1. Baseline: Stanza (parser di dipendenza neurale) inizializzato con embedding fastText.
2. Encoder Multilingue: Parser biaffine fine-tuned end-to-end utilizzando modelli generali (mBERT, XLM-RoBERTa) e modelli centrici per l'Africa (AfriBERTa, AfroXLMR, AfroXLMR-large-76L).
3. Large Language Models (LLM): Esperimenti di prompting zero-shot e few-shot con Gemini-3.1-Pro, GPT-5.2, GPT-4o e Gemma-3 (12B/27B). È stata inoltre stabilita una baseline di Supervised Fine-Tuning (SFT) per Gemma-3-12B.
4. Trasferimento Cross-lingue: Valutazione dello zero-shot transfer da sette lingue sorgente (incluse inglese, francese e lingue africane come Wolof e Naija) alle nove lingue target.

3. Risultati Chiave

Prestazioni Baseline

• POS Tagging: Gli encoder basati su Transformer hanno generalmente superato Stanza. Il modello centrico per l'Africa AfroXLMR-large-76L ha raggiunto la più alta accuratezza macro-media (90,6%), rispetto all'88,4% di Stanza.
• Dependency Parsing: Stanza è rimasto la baseline più forte per il dependency parsing, raggiungendo il punteggio medio più alto di Unlabeled Attachment Score (UAS: 84,4) e Labeled Attachment Score (LAS: 77,5). Tra i transformer, gli encoder africocentrici (AfroXLMR-large-76L) hanno superato i modelli multilingue generali, raggiungendo 83,1 UAS e 73,9 LAS.
• Gap UAS vs. LAS: In tutti i modelli, il LAS è stato costantemente inferiore al UAS, indicando che mentre i modelli possono identificare le teste di dipendenza, assegnare l'etichetta corretta della relazione sintattica rimane significativamente più difficile.

Prestazioni degli LLM

• Prompting: Le dimostrazioni in-context (few-shot prompting) hanno migliorato costantemente le prestazioni in tutti gli LLM e le metriche, con i guadagni più significativi osservati nel LAS. Ad esempio, il LAS di GPT-5.2 è migliorato da 16,5 (0-shot) a 52,5 (5-shot).
• Confronto: Nonostante i miglioramenti, gli LLM (anche con 5-shot prompting) sono generalmente stati inferiori ai parser supervisionati come Stanza. Gemini-3.1-Pro è stato il migliore tra gli LLM (5-shot LAS: 59,2), ma è rimasto comunque distante da Stanza (LAS: 77,5).
• SFT vs. Prompting: Il fine-tuning supervisionato (SFT) di Gemma-3-12B ha superato significativamente il few-shot prompting, riducendo il divario con il miglior modello di prompting (Gemini-3.1-Pro) a soli 1,2 punti di LAS.

Trasferimento Cross-lingue

I risultati dello zero-shot transfer utilizzando AfroXLMR-large-76L hanno mostato che la prestazione del trasferimento dipende fortemente dalla coppia sorgente-target. L'uso di Naija (pcm) aumentato con treebank esistenti (pcm+nsc) ha prodotto i migliori risultati di trasferimento complessivi. Tra le sorgenti non africane, il rumeno ha ottenuto i risultati migliori. Lingue target come lo Swahili sono risultate più facili da analizzare, mentre l'Efik e l'isiXhosa sono rimasti impegnativi.

Analisi degli Errori

L'analisi degli errori degli LLM (specificamente Gemini-3.1-Pro) ha rivelato un "gap sintattico":

• Mismatch Testa vs. Etichetta: I modelli sono stati migliori nel predire le teste di dipendenza rispetto alle etichette di relazione. Ad esempio, nelle costruzioni verbali seriali (comp:svc), il modello ha ottenuto lo 0% di LAS ma il 46% di UAS.
• Fallimenti Specifici: Gli errori si sono concentrati in:
  • Costruzioni Verbali Seriali: Spesso appiattite in relazioni generiche come mod o comp:obj.
  • Ausiliari TAM: Le catene multi-token (es. in Naija) sono state spesso appiattite invece di essere modellate come dipendenze a cascata.
  • Possessivi: Frequentemente etichettati erroneamente come mod o comp:obj.
  • Relazioni Sottospecificate (udep): I modelli hanno faticato a distinguere tra argomenti e modificatori in contesti ambigui.

4. Contributi e Significato

Il lavoro apporta i seguenti contributi primari:

1. Creazione di Risorse: Il rilascio di AfriSUD, la prima collezione su larga scala e verificata dalla comunità di treebank SUD per nove lingue africane tipologicamente diverse.
2. Documentazione Metodologica: Un resoconto dettagliato delle sfide di annotazione e delle soluzioni specifiche per le lingue africane, incluse le strategie per gestire agglutinazione, clitici e tono all'interno del framework SUD.
3. Benchmarking Completo: Una valutazione sistematica di parser supervisionati, encoder multilingue e LLM, stabilendo nuove baseline per la sintassi NLP delle lingue africane.
4. Identificazione dei Gap: Il lavoro evidenzia un persistente "gap sintattico" dove le attuali architetture, inclusi gli LLM, faticano a catturare la diversità strutturale delle lingue africane, in particolare in relazione al labeling delle relazioni e alle costruzioni complesse come le verbi seriali e le catene TAM.

Significato:
Gli autori posizionano AfriSUD come una risorsa fondamentale per una valutazione e una modellazione sintattica più fondata sulla linguistica delle lingue africane. Dimostrando che le architetture esistenti (sia transformer-based che LLM) mostrano chiari limiti nel catturare le strutture sintattiche africane, il paper sostiene la necessità di un continuo sviluppo di risorse e di un adattamento architettonico. Il dataset e i benchmark sono destinati a facilitare la ricerca riproducibile e a supportare lo sviluppo di strumenti consapevoli della grammatica per milioni di parlanti nell'Africa subsahariana.

Limitazioni:
Gli autori notano che il dataset copre un numero limitato di esempi per alcune relazioni di dipendenza rare. Inoltre, gli esperimenti sugli LLM sono limitati a modelli e setting specifici, e la riproducibilità dei risultati dei modelli chiusi può essere influenzata da futuri aggiornamenti dei modelli. L'analisi degli errori si concentra su specifiche relazioni SUD e sul miglior modello di prompting.