Nsanku: Evaluating Zero-Shot Translation Performance of LLMs for Ghanaian Languages

Dit artikel introduceert Nsanku, een uitgebreide benchmark die de zero-shot vertaalprestaties van 19 grote taalmodellen evalueert over 43 Ghanaanse talen, en onthult dat hoewel toptalenmodellen zoals Gemini-2.5-flash gemiddelde scores behalen, geen enkel huidig model tegelijkertijd hoge prestaties en consistentie vertoont, wat aangeeft dat ze nog niet betrouwbaar inzetbaar zijn voor grootschalige vertaling in deze talen.

De kern

Het Nsanku-rapport: AI-vertalers testen op de talen van Ghana

Stel je een gigantische bibliotheek voor met 19 verschillende "superhersenen" (AI-modellen). Sommige zijn eigendom van enorme techreuzen, andere zijn open-sourceprojecten die door gemeenschappen zijn gebouwd. Je wilt weten: Kan een van deze hersenen Engels vertalen naar de 43 verschillende talen die in Ghana worden gesproken, zonder dat ze deze specifieke talen ooit eerder hebben geleerd?

Dit is precies wat het Nsanku-papier deed. De naam "Nsanku" komt uit de Akan-taal en betekent "muziekinstrumenten". Net zoals een band veel verschillende instrumenten nodig heeft om muziek te maken, had dit project veel verschillende AI-modellen nodig om te testen hoe goed ze de diverse "muziek" van de Ghanese talen aankunnen.

Hier is het verhaal van wat ze ontdekten, eenvoudig uitgelegd.

---

1. De Opzet: Een Strikte "Zero-Shot"-Test

Stel je deze AI-modellen voor als studenten die een onverwacht examen moeten afleggen.

• De Regel: Ze mochten van tevoren niet studeren. Ze konden niet worden "fine-tuned" (opnieuw getraind) op Ghanese data. Ze moesten volledig vertrouwen op wat ze al wisten uit hun algemene training. Dit heet een zero-shot-test.
• Het Toetsmateriaal: De examenvragen waren 300 zinnen uit de Bijbel, vertaald naar 43 verschillende Ghanese talen. De onderzoekers gebruikten de Bijbel omdat dit een van de weinige plaatsen is waar je geschreven versies van bijna al deze talen op één plek kunt vinden.
• Het Cijfergeven: Ze gebruikten twee verschillende cijfersystemen:
  • BLEU: Net als een strenge leraar die controleert of de student exact de juiste woorden heeft gebruikt.
  • chrF: Net als een flexibeler leraar die controleert of de student de algemene klank en structuur van de zin goed heeft, zelfs als de exacte woorden iets afwijken.

2. De Resultaten: Wie Haalde het? Wie Miste het?

De "Sterke Studenten" (Propriëtaire Modellen)

Drie grote AI-modellen van techreuzen (Google, Anthropic en OpenAI) staken bovenaan.

• Gemini-2.5-flash was de uitblinker van de klas met de hoogste score.
• Claude-sonnet-4-5 en GPT-4.1 volgden op korte afstand.
• De Analogie: Dit zijn als de studenten die naar de duurste particuliere scholen zijn gegaan. Ze hebben veel data gezien en kunnen de antwoorden beter raden dan wie dan ook, maar ze zijn nog steeds niet perfect.

De "Gemeenschapsstudenten" (Open-Weight Modellen)

De rest van de modellen waren open-source (gratis te gebruiken en aan te passen).

• De beste van deze groep was kimi-k2-instruct, maar het scoorde nog steeds aanzienlijk lager dan de "Sterke Studenten".
• De Kloof: Er is een duidelijke kloof tussen de dure, particuliere modellen en de gratis, gemeenschappelijke modellen. De particuliere modellen zijn momenteel veel beter in het begrijpen van deze talen.

De "Taalmoeilijkheid"-Factor

Niet alle talen waren even makkelijk te vertalen.

• Siwu was de "makkelijkste" taal voor de AI om te vertalen (hoogste score).
• Nkonya was de "moeilijkste" (laagste score).
• De Twist: Verrassend genoeg kregen de meest gesproken talen (zoals Twi) niet altijd de hoogste scores. Soms kregen talen met minder sprekers hogere scores. Waarom? Omdat de specifieke Bijbelvertaling die voor die talen werd gebruikt, duidelijker en vollediger was dan die voor de populaire talen. Het is alsof je een duidelijker kaart hebt voor een klein dorp dan voor een grote stad.

3. Het Grote Probleem: Het "Onbetrouwbare Vriend"-Probleem

Dit is de belangrijkste bevinding van het papier. De onderzoekers keken niet alleen naar het gemiddelde cijfer; ze keken naar consistentie.

• De Analogie: Stel je een vriend voor die geweldig is in het koken van Italiaans eten, maar vreselijk in het koken van Thais eten. Als je ze vraagt een willekeurige maaltijd te koken, weet je nooit of je een heerlijke maaltijd of een verbrande rommel krijgt.
• De Bevinding: Geen enkel AI-model was zowel "Hoog Presterend" ALS "Consistent".
  • De beste modellen waren "Hoog Presterend maar Inconsistent". Ze vertaalden Siwu misschien perfect, maar faalden erbarmelijk op Nkonya.
  • De consistente modellen waren "Consistent maar Gemiddeld". Ze gaven voor elke taal hetzelfde middelmatige resultaat, faalden nooit ernstig, maar deden het ook nooit goed.
  • Het "Leiders"-Kwadrant: De onderzoekers tekenden een grafiek met vier hoeken. De rechterbovenhoek is de "Leiders"-zone (Hoge Kwaliteit + Hoge Consistentie). Geen enkel model en geen enkele taal eindigde in deze zone.

4. Wat Dit Betekent (Volgens het Papier)

Het papier concludeert dat hoewel deze AI-modellen indrukwekkend zijn, ze nog niet betrouwbaar genoeg zijn om te worden gebruikt voor real-world taken (zoals het vertalen van overheidsdocumenten, medisch advies of nieuws) voor Ghanese talen.

• De "Schriftelijke" Limiet: De test werd uitgevoerd met Bijbelverzen. De auteurs waarschuwen dat deze modellen misschien nog slechter presteren op alledaags gesprek, nieuws of juridische tekst, omdat ze die soorten woorden niet in hun training hebben gezien.
• Het "Data"-Probleem: De lage scores zijn niet omdat de talen "moeilijk" of "gebroken" zijn. Het is omdat de AI niet genoeg voorbeelden van hen heeft gezien. Het is alsof je een taal probeert te leren door slechts één boek te lezen; je krijgt misschien de essentie, maar je mist de nuances.

Samenvatting

Het Nsanku-project bouwde een gigantisch scorebord om 19 AI-modellen te testen op 43 Ghanese talen.

1. Grote Tech-modellen zijn momenteel de besten, maar gratis modellen halen hen in.
2. Karakter-gebaseerde beoordeling (chrF) is een betere manier om deze talen te beoordelen dan woord-voor-woord beoordeling (BLEU).
3. Meest belangrijk: Geen enkele AI is momenteel betrouwbaar genoeg om met deze talen te worden vertrouwd. Ze zijn als een student die soms een A+ haalt en soms een F, afhankelijk van de specifieke taal. Totdat we een model zien dat consequent goed is, kunnen we ze niet volledig vertrouwen voor belangrijke taken.

Het papier heeft alle data en code openbaar gemaakt zodat onderzoekers deze modellen blijven testen en verbeteren, in de hoop om uiteindelijk dat "Leiders"-kwadrant te vullen.

Technische samenvatting

Technische Samenvatting: Nsanku – Evaluatie van Zero-Shot Vertaalsprestaties van LLM's voor Ghanaiaanse Talen

Probleemstelling

Ondanks de snelle vooruitgang van Large Language Models (LLM's) in meertalige machinevertaling (MT) voor goed gedocumenteerde talen, blijven hun capaciteiten voor taalkundig onderbelichte Afrikaanse talen slecht begrepen en grotendeels ongeëvalueerd. Ghana, met meer dan 80 gedocumenteerde talen, staat voor een kritieke kloof: burgers kunnen vaak geen digitale gezondheidszorg-, overheids- of onderwijsdiensten in hun moedertaal benaderen omdat vertaalgereedschappen ofwel niet bestaan ofwel niet zijn geverifieerd. Bestaande meertalige benchmarks (bijv. FLORES-200, XTREME) bestrijken ten hoogste één Ghanaiaanse taal (Twi), waardoor het overgrote deel van het taalkundige landschap van het land zonder systemische evaluatie blijft. Bovendien heeft eerdere research zich grotendeels gericht op fijngefineerde modellen die gelabelde data vereisen, waardoor de "zero-shot" capaciteiten van geavanceerde LLM's – waarbij modellen vertalen zonder expliciete training op het specifieke taalpaar – op grote schaal onontgonnen terrein blijven.

Methodologie

Het artikel introduceert Nsanku, een systematische benchmark ontworpen om de zero-shot MT-prestaties van 19 LLM's te evalueren over 43 Ghanaiaanse talen gekoppeld aan het Engels. Het evaluatiekader is geïmplementeerd als een modulaire, vierstaps Python-pijplijn:

1. Dataverzameling: Parallelle zinnenparen zijn verkregen van het YouVersion Bijbelplatform, de enige digitale bron die voldoende breedte biedt voor 43 talen. Met behulp van een web scraper hebben de auteurs Bijbelverzen uitgelijnd om 300 zinnenparen per taal te creëren.
2. Reproduceerbaar Sampling: Een deterministische samplingstap (seed 42) selecteerde 200 zinnen-indexen uit het eerste taalbestand en paste deze uniform toe op alle 43 talen. Dit zorgde ervoor dat alle 19 modellen werden geëvalueerd op exact dezelfde 200 zinnen per taal, waardoor variatie in de testset werd geëlimineerd.
3. Modelinference: De studie evalueerde 19 LLM's (10 open-weight en 9 propriëtaire) via de NVIDIA Build API. De modellen omvatten geavanceerde systemen (bijv. gemini-2.5-flash, claude-sonnet-4-5, gpt-4.1) en open-weight alternatieven (bijv. kimi-k2-instruct-0905, llama-3.1-405b, deepseek-v3.1). Alle evaluaties werden uitgevoerd in een strikte zero-shot setting zonder in-context voorbeelden of fijnfining.
4. Berekening van Metrieken: De prestaties werden gemeten met twee automatische metrieken:
   • BLEU (Bilingual Evaluation Understudy): Standaard n-gram precisie.
   • chrF (Character n-gram F-Score): Robuust tegen morfologische variatie en tokenisatieproblemen.
   • Gemiddelde Score: Het rekenkundig gemiddelde van BLEU en chrF.
   • Consistentie: Berekend als het omgekeerde van de standaardafwijking van scores per taal voor een gegeven model, gevisualiseerd via kwadrant-spreidingsdiagrammen om modellen te identificeren die zowel hoog presteren als stabiel zijn.

Belangrijkste Bijdragen

• Uitgebreide Dekking: Nsanku is de eerste grootschalige evaluatie die 43 Ghanaiaanse talen bestrijkt, waarvan 42 nooit eerder in een belangrijke meertalige MT-benchmark zijn verschenen.
• Infrastructuur: Het project publiceert een door de gemeenschap uitbreidbare evaluatie-infrastructuur, inclusief de volledige pijplijncode, scripts voor dataverzameling en een Google Colab-notebook, waardoor onderzoekers nieuwe modellen of taalsubsets kunnen bijdragen.
• Meerdimensionale Analyse: Naast aggregatie van nauwkeurigheid introduceert de studie een dimensie voor interlinguale consistentie om te bepalen of modelprestaties stabiel zijn over talen of geconcentreerd op een kleine subset.
• Zero-Shot Benchmarking: Het biedt de eerste rigoureuze beoordeling van zero-shot vertaalcapaciteiten voor dit specifieke taalkundige gebied, waardoor de kloof tussen de prestaties van propriëtaire en open-weight modellen wordt aangepakt.

Resultaten

De evaluatie, voltooid op 29 januari 2026, leverde de volgende bevindingen op:

• Modelprestaties: Propriëtaire geavanceerde modellen presteerden aanzienlijk beter dan open-weight alternatieven.
  • Toppresteerders: gemini-2.5-flash behaalde de hoogste gemiddelde score (26,88), gevolgd door claude-sonnet-4-5 (24,87) en gpt-4.1 (23,20).
  • Leiders in Open-Weight: kimi-k2-instruct-0905 leidde de open-weight categorie met een gemiddelde score van 20,87, gevolgd door deepseek-v3.1 (19,29).
  • Prestatiekloof: Er is een significante kloof (ongeveer 6 punten) tussen het beste propriëtaire model en het beste open-weight model, hoewel de kloof in vergelijking met historische trends aan het kleiner wordt.
• Metrisc Discrepantie: Bij alle modellen overtroffen chrF-scores de BLEU-scores aanzienlijk. Voor het slechtst presterende model (mistral-7b-instruct-v0.3) bedroeg de kloof 15,76 punten (BLEU 4,15 versus chrF 19,91). Dit suggereert dat modellen morfologie op karakterniveau beter behouden dan exacte woordniveau-overeenkomsten, wat chrF valideert als een geschiktere metriek voor morfologisch rijke Ghanaiaanse talen.
• Taalvariatie: De prestaties varieerden sterk per taal. Siwu behaalde het hoogste gemiddelde per taal (25,73), terwijl Nkonya de laagste score behaalde (11,65). Interessant is dat sommige talen met kleinere sprekende populaties (bijv. Siwu, Chumburung) beter presteerden dan wijdverspreide talen zoals Twi (21,82), wat suggereert dat de kwaliteit van de referentie-Bijbelvertaling in het scripturale domein een kritieke factor is.
• Consistentie-analyse (Kritieke Bevinding): Geen enkel model en geen enkele taal bezette het kwadrant "Leiders" (hoge prestaties en hoge consistentie).
  • Topmodellen vielen in het kwadrant "Hoge prestaties maar inconsistent", wat betekent dat hun kwaliteit op een specifieke taal onvoorspelbaar is.
  • Geen enkele Ghanaiaanse taal ontvangt momenteel hoogwaardige en consistente vertaling over het scala van geëvalueerde modellen.

Betekenis en Aanspraken

Het artikel stelt dat Nsanku een rigoureuze basislijn vestigt voor wat huidige LLM's wel en niet kunnen voor Ghanaiaanse talen. De primaire betekenis ligt in het blootleggen van de betrouwbaarheidskloof: ondanks indrukwekkende aggregatiescores van geavanceerde modellen, geeft het ontbreken van elk model in het "Leiders"-kwadrant aan dat huidige LLM's nog niet betrouwbaar inzetbaar zijn voor Ghanaiaanse taalvertaling op grote schaal.

De auteurs benadrukken dat de lage scores schaarste aan middelen en onevenwichtigheden in trainingsdata weerspiegelen, en niet intrinsieke taalkundige complexiteit. Zij betogen dat zonder systematische benchmarks zoals Nsanku, ontwikkelaars geen op bewijs gebaseerde implementatiebeslissingen kunnen nemen en beleidsmakers geen kritieke capaciteitskloven kunnen identificeren. De studie concludeert dat hoewel de ontwikkeling van open-weight modellen begint de kloof met propriëtaire modellen te dichten, het veld verdere investeringen vereist in data en evaluatie om betrouwbare, consistente vertaling voor Afrikaanse talen te bereiken. De auteurs waarschuwen uitdrukkelijk dat deze resultaten specifiek zijn voor het scripturale domein en mogelijk niet generaliseren naar conversatie- of journalistieke teksten zonder verdere evaluatie.