Building a Functional Machine Translation Corpus for Kpelle

Sintesi Tecnica: Costruzione di un Corpus Funzionale per la Traduzione Automatica del Kpelle

Problematica
Nonostante i più di un milione di parlanti tra la Liberia e la Guinea, la lingua Kpelle rimane gravemente sottorappresentata nella ricerca di Elaborazione del Linguaggio Naturale (NLP). In quanto lingua a basse risorse, il Kpelle soffre di scarsità di dati, mancanza di un'ortografia standardizzata e variazioni dialettali (specificamente tra il Kpelle liberiano e quello guineano). Sebbene iniziative come Masakhane, il Lacuna Fund e il progetto "No Language Left Behind" (NLLB) di Meta abbiano fatto avanzare le risorse per altre lingue africane, il Kpelle è stato ampiamente escluso, lasciando i parlanti senza l'accesso a strumenti digitali come la traduzione automatica (MT) o il riconoscimento vocale.

Metodologia
Per affrontare questa lacuna, gli autori hanno costruito il primo corpus bilingue inglese-kpelle pubblicamente disponibile. La metodologia ha previsto un processo in più fasi:

1. Raccolta dei Dati: Il dataset è stato compilato da tre fonti primarie:
   • Viaggi e Turismo: Frasi comuni tratte da siti web di apprendimento linguistico consolidati.
   • Testi Religiosi: Estratti da letteratura religiosa tradotta e di dominio pubblico.
   • Materiali Educativi: Contenuti da libri di testo e dizionari, inclusi A Learner Directed Approach to Kpelle e il English-Kpelle Dictionary.
2. Elaborazione e Allineamento:
   • Traduzione: Parlanti nativi del Kpelle con competenze linguistiche hanno tradotto paragrafi in inglese privi del corrispondente testo in Kpelle.
   • Segmentazione: I paragrafi sono stati segmentati in coppie di frasi per aumentare la granularità per i compiti di MT.
   • Pulizia e Normalizzazione: I dati grezzi sono stati sottoposti a controllo ortografico, rimozione dei duplicati e standardizzazione dell'ortografia basata sull'alfabeto latino. È stata prestata particolare attenzione ai segni diacritici per rappresentare accuratamente il sistema tonale del Kpelle (toni alti, medi, bassi e di contorno).
   • Verifica: Tutte le traduzioni sono state revisionate da esperti linguistici per garantirne la correttezza grammaticale e l'appropriatezza contestuale.
3. Configurazione Sperimentale:
   • Gli autori hanno utilizzato il modello NLLB-200 di Meta come baseline.
   • Sono state create due versioni del dataset: la Versione 1 (V1) con 1.518 coppie di traduzione (1.667 frasi in Kpelle/1.638 in inglese), e la Versione 2 (V2) con 2.005 coppie di traduzione (2.202 Kpelle/2.167 inglese), ottenuta tramite data augmentation.
   • I dataset sono stati suddivisi con un rapporto 9:1 per addestramento e test.
   • I modelli sono stati sottoposti a fine-tuning per 10k, 30k e 60k step utilizzando l'ottimizzatore Adafactor su una GPU Quadro RTX 6000.
   • È stato addestrato un tokenizer SentencePiece specifico per il Kpelle per gestire i token fuori vocabolario (out-of-vocabulary).
   • La valutazione è stata eseguita utilizzando sacreBLEU, chrF2++ e metriche di precisione.

Principali Contributi
Il documento delinea tre contributi primari:

1. Creazione del Dataset: Il rilascio di un corpus bilingue inglese-kpelle contenente in totale 3.234 coppie di traduzione uniche, comprendente oltre 30.000 parole. Questo è attualmente la più grande risorsa pubblicamente disponibile per il Kpelle.
2. Framework Metodologico: Gli autori forniscono un framework replicabile per la raccolta, la pulizia e l'allineamento dei dati, progettato specificamente per lingue a basse risorse con tradizioni scritte limitate e incongruenze ortografiche.
3. Benchmarking: Il dataset è stato testato rispetto al modello NLLB, stabilendo baseline di prestazione per la traduzione automatica del Kpelle.

Risultati
Gli esperimenti di fine-tuning hanno prodotto i seguenti risultati:

• Da Kpelle a Inglese (kpe_Latn → eng_Latn): La migliore prestazione è stata raggiunta con la Versione 2 del dataset a 60k step di addestramento, raggiungendo un punteggio BLEU di 30,28 (e un chrF2++ di 44,28).
• Da Inglese a Kpelle (eng_Latn → kpe_Latn): Il miglior risultato è stato un punteggio BLEU di 24,46, ottenuto con la Versione 1 a 30k step. Sebbene la Versione 2 abbia mostrato miglioramenti con un numero maggiore di step (raggiungendo 20,79 a 60k step), non ha superato la prestazione di picco della Versione 1 in questa direzione.
• Impatto della Data Augmentation: L'espansione del corpus dalla V1 alla V2 ha generalmente migliorato le prestazioni, in particolare nella direzione Kpelle-verso-Inglese con un numero maggiore di step di addestramento. Tuttavia, per la traduzione dall'Inglese al Kpelle, il documento nota che i guadagni sono stati modesti, con la V1 che supera la V2 al traguardo dei 30k step.
• Analisi Comparativa: I punteggi BLEU ottenuti (compresi approssimativamente tra 20 e 30) sono coerenti con le prestazioni di NLLB-200 su altre lingue africane a basse risorse (es. Wolof, Luo, Yoruba), sebbene rimangano inferiori alle lingue ad alte prestazioni come lo Swahili.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro pone le fondamenta per una ricerca intensiva sul Kpelle e su altre lingue liberiane a basse risorse. Dimostrando che una prestazione di MT competitiva è realizzabile nonostante lo stato di bassa risorsa della lingua, il documento sottolinea il potenziale per uno sviluppo tecnologico linguistico inclusivo.

La significatività del lavoro è inquadrata intorno a:

• Abilitare Applicazioni NLP: Il dataset serve come risorsa necessaria per lo sviluppo non solo della traduzione automatica, ma anche di strumenti di riconoscimento vocale e modellazione del linguaggio.
• Comunità e Inclusione: Il progetto contribuisce all'obiettivo più ampio di promuovere la diversità linguistica e l'inclusione per le lingue africane, affrontando specificamente la marginalizzazione delle lingue Mande nell'NLP.
• Roadmap Futura: Gli autori sottolineano che, sebbene i risultati attuali siano promettenti, il lavoro futuro dovrà concentrarsi sulla coerenza ortografica, sull'espansione della copertura dei domini (specificamente in ambito sanitario, educativo e religioso) e sulla validazione guidata dalla comunità per migliorare ulteriormente le prestazioni del modello.

Il documento si conclude con un appello all'azione rivolto a ricercatori e linguisti affinché collaborino per perfezionare il dataset e sviluppare nuove tecniche di NLP per colmare il divario digitale per i parlanti Kpelle.