Nsanku: Evaluating Zero-Shot Translation Performance of LLMs for Ghanaian Languages

Questo articolo presenta Nsanku, un benchmark completo che valuta le prestazioni di traduzione zero-shot di 19 grandi modelli linguistici su 43 lingue ghanesi, rivelando che, sebbene i modelli principali come Gemini-2.5-flash raggiungano punteggi moderati, nessun modello attuale dimostra contemporaneamente elevate prestazioni e coerenza, indicando che non sono ancora affidabilmente utilizzabili per la traduzione su larga scala in queste lingue.

L'essenziale

Il Rapporto Nsanku: Testare i Traduttori AI sulle Lingue del Ghana

Immagina di avere una gigantesca biblioteca di 19 diversi "super-cervelli" (modelli AI). Alcuni sono di proprietà di giganti tecnologici enormi, altri sono progetti open-source costruiti da comunità. Vuoi sapere: Qualsiasi di questi cervelli può tradurre l'inglese nelle 43 diverse lingue parlate in Ghana senza essere mai stato istruito su quelle specifiche lingue in precedenza?

Questo è esattamente ciò che ha fatto il documento Nsanku. Il nome "Nsanku" deriva dalla lingua Akan e significa "strumenti musicali". Proprio come una band ha bisogno di molti strumenti diversi per fare musica, questo progetto aveva bisogno di molti modelli AI diversi per testare quanto bene gestissero la diversificata "musica" delle lingue ghanesi.

Ecco la storia di ciò che hanno scoperto, spiegata in modo semplice.

---

1. La Preparazione: Un Rigido Test "Zero-Shot"

Pensa a questi modelli AI come a studenti che sostengono un esame a sorpresa.

• La Regola: Non era loro permesso studiare in anticipo. Non potevano essere "affinati" (ri-addestrati) su dati ghanesi. Dovevano fare affidamento interamente su ciò che già sapevano dal loro addestramento generale. Questo è chiamato test zero-shot.
• Il Materiale d'Esame: Le domande d'esame erano 300 frasi della Bibbia, tradotte in 43 diverse lingue ghanesi. I ricercatori hanno usato la Bibbia perché è uno dei pochi luoghi dove si possono trovare versioni scritte di quasi tutte queste lingue in un unico posto.
• La Valutazione: Hanno utilizzato due diversi sistemi di valutazione:
  • BLEU: Come un insegnante severo che controlla se lo studente ha usato le parole esatte giuste.
  • chrF: Come un insegnante più flessibile che controlla se lo studente ha colto il suono generale e la struttura della frase correttamente, anche se le parole esatte erano leggermente diverse.

2. I Risultati: Chi Ha Passato? Chi Ha Sconfitto?

Gli "Studenti Stellari" (Modelli Proprietari)

Tre modelli AI di grandi nomi di giganti tecnologici (Google, Anthropic e OpenAI) sono risultati in cima.

• Gemini-2.5-flash è stato il primo della classe con il punteggio più alto.
• Claude-sonnet-4-5 e GPT-4.1 erano subito dietro.
• L'Analogia: Questi sono come gli studenti che hanno frequentato le scuole private più costose. Hanno visto molti dati e possono indovinare le risposte meglio di chiunque altro, ma non sono ancora perfetti.

Gli "Studenti della Comunità" (Modelli Open-Weight)

Il resto dei modelli era open-source (liberi di usare e modificare).

• Il migliore di questo gruppo era kimi-k2-instruct, ma ha comunque ottenuto un punteggio significativamente inferiore rispetto agli "Studenti Stellari".
• Il Divario: C'è un divario chiaro tra i modelli privati costosi e quelli gratuiti della comunità. I modelli privati sono attualmente molto migliori nel comprendere queste lingue.

Il Fattore "Difficoltà della Lingua"

Non tutte le lingue erano ugualmente facili da tradurre.

• Siwu era la lingua "più facile" per l'AI da tradurre (punteggio più alto).
• Nkonya era la "più difficile" (punteggio più basso).
• Il Tocco di Genio: Sorprendentemente, le lingue più parlate (come il Twi) non hanno sempre ottenuto i punteggi più alti. A volte, lingue con meno parlanti ottenevano punteggi più alti. Perché? Perché la specifica traduzione biblica usata per quelle lingue era più chiara e completa rispetto a quelle per le lingue popolari. È come avere una mappa più chiara per un piccolo villaggio che per una grande città.

3. Il Grande Problema: Il Problema dell'"Amico Inaffidabile"

Questa è la scoperta più critica del documento. I ricercatori non hanno guardato solo il punteggio medio; hanno guardato la coerenza.

• L'Analogia: Immagina di avere un amico che è bravissimo a cucinare cibo italiano ma terribile nel cucinare cibo tailandese. Se gli chiedi di preparare un pasto a caso, non sai mai se otterrai una cena deliziosa o un disastro bruciato.
• La Scoperta: Nessun singolo modello AI era sia "Ad Alte Prestazioni" che "Coerente".
  • I migliori modelli erano "Ad Alte Prestazioni ma Incoerenti". Potrebbero tradurre Siwu perfettamente ma fallire miseramente su Nkonya.
  • I modelli coerenti erano "Coerenti ma Medi". Offrivano lo stesso risultato mediocre per ogni lingua, non fallendo mai terribilmente ma non facendo mai bene nemmeno.
  • Il Quadrante dei "Leader": I ricercatori hanno disegnato un grafico con quattro angoli. L'angolo in alto a destra è la zona dei "Leader" (Alta Qualità + Alta Coerenza). Nessun modello e nessuna lingua è finito in questa zona.

4. Cosa Significa (Secondo il Documento)

Il documento conclude che, sebbene questi modelli AI siano impressionanti, non sono ancora abbastanza affidabili per essere utilizzati in compiti del mondo reale (come tradurre documenti governativi, consigli medici o notizie) per le lingue ghanesi.

• Il Limite "Scritturale": Il test è stato condotto usando versetti biblici. Gli autori avvertono che questi modelli potrebbero andare ancora peggio nella conversazione quotidiana, nelle notizie o nei testi legali perché non hanno visto quei tipi di parole nel loro addestramento.
• Il Problema dei "Dati": I punteggi bassi non sono perché le lingue sono "difficili" o "rotte". È perché l'AI non ha visto abbastanza esempi di esse. È come cercare di imparare una lingua leggendo solo un libro; potresti cogliere il senso generale, ma perderai le sfumature.

Sintesi

Il progetto Nsanku ha costruito un gigantesco tabellone di punteggio per testare 19 modelli AI su 43 lingue ghanesi.

1. I modelli delle Grandi Tecnologie sono attualmente i migliori, ma i modelli gratuiti stanno recuperando.
2. La valutazione basata sui caratteri (chrF) è un modo migliore per giudicare queste lingue rispetto alla valutazione parola per parola (BLEU).
3. Più importante: Nessun AI è attualmente abbastanza affidabile per essere affidato con queste lingue. Sono come uno studente che a volte prende un A+ e a volte prende un F, a seconda della lingua specifica. Finché non vedremo un modello costantemente buono, non possiamo fidarci pienamente di loro per compiti importanti.

Il documento ha reso pubblici tutti i suoi dati e il suo codice affinché i ricercatori possano continuare a testare e migliorare questi modelli, sperando di riempire infine quel quadrante dei "Leader".

Sommario tecnico

Riepilogo Tecnico: Nsanku – Valutazione delle Prestazioni di Traduzione Zero-Shot degli LLM per le Lingue Ghanesi

Enunciato del Problema

Nonostante i rapidi progressi dei Modelli Linguistici di Grandi Dimensioni (LLM) nella traduzione automatica (MT) multilingue per le lingue ad alta risorsa, le loro capacità per le lingue africane a bassa risorsa rimangono poco comprese e in gran parte non valutate. Il Ghana, patria di oltre 80 lingue documentate, affronta un divario critico: i cittadini spesso non possono accedere a servizi digitali sanitari, governativi o educativi nelle loro lingue native perché gli strumenti di traduzione sono inesistenti o non verificati. I benchmark multilingue esistenti (ad esempio, FLORES-200, XTREME) coprono al massimo una lingua ghanese (Twi), lasciando la vasta maggioranza del panorama linguistico del paese senza una valutazione sistematica. Inoltre, la ricerca precedente si è concentrata in gran parte su modelli affinati che richiedono dati etichettati, lasciando inesplorate su larga scala le capacità "zero-shot" degli LLM all'avanguardia, dove i modelli traducono senza un addestramento esplicito sulla specifica coppia linguistica.

Metodologia

Il documento introduce Nsanku, un benchmark sistematico progettato per valutare le prestazioni di MT zero-shot di 19 LLM su 43 lingue ghanesi accoppiate con l'inglese. Il framework di valutazione è implementato come una pipeline Python modulare a quattro fasi:

1. Raccolta Dati: Coppie di frasi parallele sono state reperite dalla piattaforma YouVersion Bible, l'unica fonte digitale che offre un'ampiezza sufficiente per 43 lingue. Utilizzando uno scraper web, gli autori hanno allineato i versetti biblici per creare 300 coppie di frasi per lingua.
2. Campionamento Riproducibile: Un passaggio di campionamento deterministico (seed 42) ha selezionato 200 indici di frasi dal primo file linguistico e li ha applicati uniformemente su tutte le 43 lingue. Ciò ha garantito che tutti i 19 modelli fossero valutati sulle stesse identiche 200 frasi per lingua, eliminando la varianza del set di test.
3. Inferenza del Modello: Lo studio ha valutato 19 LLM (10 a peso aperto e 9 proprietari) tramite l'API NVIDIA Build. I modelli includevano sistemi all'avanguardia (ad esempio, gemini-2.5-flash, claude-sonnet-4-5, gpt-4.1) e alternative a peso aperto (ad esempio, kimi-k2-instruct-0905, llama-3.1-405b, deepseek-v3.1). Tutte le valutazioni sono state condotte in un contesto zero-shot rigoroso, senza esempi in contesto o affinamento.
4. Calcolo delle Metriche: Le prestazioni sono state misurate utilizzando due metriche automatiche:
   • BLEU (Bilingual Evaluation Understudy): Precisione standard n-gram.
   • chrF (Character n-gram F-Score): Robusto rispetto alla variazione morfologica e ai problemi di tokenizzazione.
   • Punteggio Medio: La media aritmetica di BLEU e chrF.
   • Coerenza: Calcolata come l'inverso della deviazione standard dei punteggi per lingua per un dato modello, visualizzata tramite diagrammi di dispersione a quadranti per identificare modelli che sono sia ad alte prestazioni che stabili.

Contributi Chiave

• Copertura Completa: Nsanku è la prima valutazione su larga scala che copre 43 lingue ghanesi, 42 delle quali non sono mai apparse in un importante benchmark di MT multilingue.
• Infrastruttura: Il progetto rilascia un'infrastruttura di valutazione estensibile dalla comunità, inclusi il codice completo della pipeline, gli script di raccolta dati e un notebook Google Colab, permettendo ai ricercatori di contribuire con nuovi modelli o sottoinsiemi linguistici.
• Analisi Multidimensionale: Oltre all'accuratezza aggregata, lo studio introduce una dimensione di coerenza cross-linguistica per determinare se le prestazioni del modello sono stabili tra le lingue o concentrate su un piccolo sottoinsieme.
• Benchmarking Zero-Shot: Fornisce la prima valutazione rigorosa delle capacità di traduzione zero-shot per questa specifica regione linguistica, affrontando il divario tra le prestazioni dei modelli proprietari e quelli a peso aperto.

Risultati

La valutazione, completata il 29 gennaio 2026, ha prodotto le seguenti scoperte:

• Prestazioni del Modello: I modelli proprietari all'avanguardia hanno superato significativamente le alternative a peso aperto.
  • Migliori Prestazioni: gemini-2.5-flash ha ottenuto il punteggio medio più alto (26,88), seguito da claude-sonnet-4-5 (24,87) e gpt-4.1 (23,20).
  • Leader a Peso Aperto: kimi-k2-instruct-0905 ha guidato la categoria a peso aperto con un punteggio medio di 20,87, seguito da deepseek-v3.1 (19,29).
  • Divario di Prestazioni: Esiste un divario significativo (circa 6 punti) tra il miglior modello proprietario e il miglior modello a peso aperto, sebbene il divario si stia restringendo rispetto alle tendenze storiche.
• Discrepanza delle Metriche: Per tutti i modelli, i punteggi chrF hanno superato sostanzialmente i punteggi BLEU. Per il modello con le prestazioni più basse (mistral-7b-instruct-v0.3), il divario è stato di 15,76 punti (BLEU 4,15 contro chrF 19,91). Ciò suggerisce che i modelli preservano la morfologia a livello di caratteri meglio delle corrispondenze esatte a livello di parole, validando chrF come metrica più appropriata per le lingue ghanesi ricche di morfologia.
• Varianza Linguistica: Le prestazioni sono variate notevolmente tra le lingue. Siwu ha ottenuto la media per lingua più alta (25,73), mentre Nkonya ha ottenuto il punteggio più basso (11,65). Interessantemente, alcune lingue con popolazioni di parlanti più piccole (ad esempio, Siwu, Chumburung) hanno superato lingue ampiamente parlate come il Twi (21,82), suggerendo che la qualità della traduzione biblica di riferimento nel dominio scritturale è un fattore critico.
• Analisi della Coerenza (Scoperta Critica): Nessun modello e nessuna lingua ha occupato il quadrante "Leader" (alta prestazione e alta coerenza).
  • I modelli migliori sono ricaduti nel quadrante "Alta Prestazione ma Incoerente", il che significa che la loro qualità su una lingua specifica è imprevedibile.
  • Nessuna lingua ghanese riceve attualmente una traduzione di alta qualità e coerente nell'insieme dei modelli valutati.

Significato e Affermazioni

Il documento afferma che Nsanku stabilisce una linea di base rigorosa per ciò che i LLM attuali possono e non possono fare per le lingue ghanesi. La sua principale importanza risiede nell'esporre il divario di affidabilità: nonostante i punteggi aggregati impressionanti dei modelli all'avanguardia, l'assenza di qualsiasi modello nel quadrante "Leader" indica che gli attuali LLM non sono ancora utilizzabili in modo affidabile per la traduzione delle lingue ghanesi su larga scala.

Gli autori sottolineano che i bassi punteggi riflettono la scarsità di risorse e gli squilibri nei dati di addestramento piuttosto che una complessità linguistica intrinseca. Sostengono che, senza benchmark sistematici come Nsanku, gli sviluppatori non possono prendere decisioni di deployment basate su prove e i responsabili politici non possono identificare le lacune critiche nelle capacità. Lo studio conclude che, sebbene lo sviluppo a peso aperto stia iniziando a colmare il divario con i modelli proprietari, il settore richiede ulteriori investimenti in dati e valutazione per raggiungere una traduzione affidabile e coerente per le lingue africane. Gli autori avvertono esplicitamente che questi risultati sono specifici del dominio scritturale e potrebbero non generalizzarsi a testi conversazionali o giornalistici senza ulteriori valutazioni.