Nsanku: Evaluating Zero-Shot Translation Performance of LLMs for Ghanaian Languages

Dieser Beitrag stellt Nsanku vor, einen umfassenden Benchmark zur Bewertung der Zero-Shot-Übersetzungsleistung von 19 großen Sprachmodellen in 43 ghanaischen Sprachen, der zeigt, dass zwar führende Modelle wie Gemini-2.5-flash moderate Ergebnisse erzielen, kein aktuelles Modell jedoch gleichzeitig hohe Leistung und Konsistenz aufweist, was darauf hindeutet, dass sie für den großflächigen Einsatz in der Übersetzung dieser Sprachen noch nicht zuverlässig einsetzbar sind.

Das Wesentliche

Der Nsanku-Bericht: Testen von KI-Übersetzern an den Sprachen Ghanas

Stellen Sie sich eine riesige Bibliothek mit 19 verschiedenen „Superhirnen" (KI-Modellen) vor. Einige gehören riesigen Tech-Giganten, andere sind Open-Source-Projekte, die von Gemeinschaften entwickelt wurden. Sie wollen wissen: Kann eines dieser Hirne Englisch in die 43 verschiedenen Sprachen Ghanas übersetzen, ohne diese spezifischen Sprachen jemals zuvor gelernt zu haben?

Genau das hat die Nsanku-Studie getan. Der Name „Nsanku" stammt aus der Akan-Sprache und bedeutet „Musikinstrumente". Genau wie eine Band viele verschiedene Instrumente benötigt, um Musik zu machen, benötigte dieses Projekt viele verschiedene KI-Modelle, um zu testen, wie gut sie die vielfältige „Musik" der ghanaischen Sprachen bewältigen.

Hier ist die Geschichte dessen, was sie herausfanden, einfach erklärt.

---

1. Der Aufbau: Ein strikter „Zero-Shot"-Test

Stellen Sie sich diese KI-Modelle als Schüler vor, die an einer Überraschungsklausur teilnehmen.

• Die Regel: Sie durften sich nicht vorher vorbereiten. Sie konnten nicht auf ghanaischen Daten „feinabgestimmt" (nachtrainiert) werden. Sie mussten sich vollständig auf das verlassen, was sie bereits aus ihrer allgemeinen Ausbildung kannten. Dies nennt man einen Zero-Shot-Test.
• Das Prüfungsmaterial: Die Prüfungsfragen waren 300 Sätze aus der Bibel, übersetzt in 43 verschiedene ghanaische Sprachen. Die Forscher nutzten die Bibel, weil dies einer der wenigen Orte ist, an dem man schriftliche Versionen fast aller dieser Sprachen an einem Ort findet.
• Die Benotung: Sie verwendeten zwei verschiedene Benotungssysteme:
  • BLEU: Wie ein strenger Lehrer, der prüft, ob der Schüler genau die richtigen Wörter verwendet hat.
  • chrF: Wie ein flexiblerer Lehrer, der prüft, ob der Schüler den allgemeinen Klang und die Struktur des Satzes richtig erfasst hat, selbst wenn die genauen Wörter leicht abwichen.

2. Die Ergebnisse: Wer bestanden? Wer durchgefallen?

Die „Sternschüler" (Proprietäre Modelle)

Drei bekannte KI-Modelle von Tech-Giganten (Google, Anthropic und OpenAI) landeten an der Spitze.

• Gemini-2.5-flash war der Klassenbester mit der höchsten Punktzahl.
• Claude-sonnet-4-5 und GPT-4.1 folgten dicht auf.
• Die Analogie: Diese sind wie die Schüler, die die teuersten Privatschulen besuchten. Sie haben viele Daten gesehen und können die Antworten besser erraten als alle anderen, aber sie sind immer noch nicht perfekt.

Die „Gemeinschaftsschüler" (Open-Weight-Modelle)

Der Rest der Modelle war Open-Source (kostenlos nutzbar und modifizierbar).

• Das Beste dieser Gruppe war kimi-k2-instruct, erreichte aber immer noch deutlich niedrigere Punktzahlen als die „Sternschüler".
• Die Kluft: Es gibt eine klare Lücke zwischen den teuren, privaten Modellen und den kostenlosen, gemeinschaftlichen. Die privaten Modelle sind derzeit viel besser im Verständnis dieser Sprachen.

Der Faktor „Sprachschwierigkeit"

Nicht alle Sprachen waren gleichermaßen einfach zu übersetzen.

• Siwu war die „einfachste" Sprache für die KI zur Übersetzung (höchste Punktzahl).
• Nkonya war die „schwierigste" (niedrigste Punktzahl).
• Die Wendung: Überraschenderweise erhielten die am weitesten verbreiteten Sprachen (wie Twi) nicht immer die höchsten Punktzahlen. Manchmal erhielten Sprachen mit weniger Sprechern höhere Punktzahlen. Warum? Weil die spezifische Bibelübersetzung, die für diese Sprachen verwendet wurde, klarer und vollständiger war als die für die populären Sprachen. Es ist wie eine klarere Landkarte für ein kleines Dorf zu haben als für eine große Stadt.

3. Das große Problem: Das „unzuverlässige Freund"-Problem

Dies ist das wichtigste Ergebnis der Studie. Die Forscher schauten nicht nur auf den Durchschnittswert; sie schauten auf die Konsistenz.

• Die Analogie: Stellen Sie sich vor, Sie haben einen Freund, der großartig italienisch kochen kann, aber schrecklich thailändisch. Wenn Sie ihn bitten, ein zufälliges Essen zu kochen, wissen Sie nie, ob Sie ein köstliches Abendessen oder einen verbrannten Durcheinander bekommen.
• Das Ergebnis: Kein einzelnes KI-Modell war sowohl „hochleistungsfähig" ALS AUCH „konsistent".
  • Die besten Modelle waren „hochleistungsfähig, aber inkonsistent". Sie übersetzten Siwu vielleicht perfekt, versagten aber kläglich bei Nkonya.
  • Die konsistenten Modelle waren „konsistent, aber durchschnittlich". Sie lieferten für jede Sprache dasselbe mittelmäßige Ergebnis, scheiterten nie katastrophal, aber leisteten auch nie etwas Gutes.
  • Das Quadrant der „Führer": Die Forscher zeichneten ein Diagramm mit vier Ecken. Die obere rechte Ecke ist die Zone der „Führer" (Hohe Qualität + Hohe Konsistenz). Kein Modell und keine Sprache landete in dieser Zone.

4. Was dies bedeutet (laut der Studie)

Die Studie kommt zu dem Schluss, dass diese KI-Modelle zwar beeindruckend sind, sie aber noch nicht zuverlässig genug sind, um für reale Aufgaben (wie die Übersetzung von Regierungsunterlagen, medizinischen Ratschlägen oder Nachrichten) für ghanaische Sprachen eingesetzt zu werden.

• Die „Schriftliche" Grenze: Der Test wurde mit Bibelversen durchgeführt. Die Autoren warnen, dass diese Modelle im Alltagsgespräch, in Nachrichten oder juristischen Texten noch schlechter abschneiden könnten, da sie diese Wortarten in ihrer Ausbildung nicht gesehen haben.
• Das „Daten"-Problem: Die niedrigen Punktzahlen liegen nicht daran, dass die Sprachen „schwierig" oder „kaputt" sind. Es liegt daran, dass die KI nicht genug Beispiele davon gesehen hat. Es ist wie der Versuch, eine Sprache zu lernen, indem man nur ein einziges Buch liest; man bekommt vielleicht die Grundidee, aber verpasst die Nuancen.

Zusammenfassung

Das Nsanku-Projekt erstellte eine riesige Anzeigetafel, um 19 KI-Modelle an 43 ghanaischen Sprachen zu testen.

1. Big-Tech-Modelle sind derzeit die besten, aber kostenlose Modelle holen auf.
2. Zeichenbasierte Benotung (chrF) ist ein besserer Weg, diese Sprachen zu bewerten als eine wortwörtliche Benotung (BLEU).
3. Am wichtigsten: Kein KI-System ist derzeit zuverlässig genug, um mit diesen Sprachen vertraut zu werden. Sie sind wie ein Schüler, der manchmal eine Eins und manchmal eine Fünf bekommt, abhängig von der spezifischen Sprache. Bis wir ein Modell sehen, das konsistent gut ist, können wir ihnen für wichtige Aufgaben nicht vollständig vertrauen.

Die Studie hat alle ihre Daten und ihren Code öffentlich gemacht, damit Forscher diese Modelle weiter testen und verbessern können, in der Hoffnung, schließlich dieses Quadrant der „Führer" zu füllen.

Technische Zusammenfassung

Technische Zusammenfassung: Nsanku – Evaluierung der Zero-Shot-Übersetzungsleistung von LLMs für ghanaische Sprachen

Problemstellung

Trotz rascher Fortschritte bei Large Language Models (LLMs) im Bereich der mehrsprachigen maschinellen Übersetzung (MT) für gut verfügbare Sprachen bleiben deren Fähigkeiten für unterversorgte afrikanische Sprachen schlecht verstanden und weitgehend unevaluiert. Ghana, Heimat von über 80 dokumentierten Sprachen, steht vor einer kritischen Lücke: Bürger können häufig keine digitalen Gesundheits-, Regierungs- oder Bildungsdienste in ihrer Muttersprache nutzen, da Übersetzungstools entweder nicht existieren oder nicht verifiziert sind. Bestehende mehrsprachige Benchmarks (z. B. FLORES-200, XTREME) decken höchstens eine ghanaische Sprache (Twi) ab, sodass der Großteil der sprachlichen Landschaft des Landes ohne systematische Evaluierung bleibt. Darüber hinaus konzentrierte sich die vorherige Forschung weitgehend auf feinabgestimmte Modelle, die gelabelte Daten erfordern, wodurch die „Zero-Shot"-Fähigkeiten von Frontier-LLMs – bei denen Modelle ohne explizites Training für das spezifische Sprachpaar übersetzen – im großen Maßstab unerforscht blieben.

Methodik

Die Arbeit stellt Nsanku vor, einen systematischen Benchmark zur Evaluierung der Zero-Shot-MT-Leistung von 19 LLMs über 43 ghanaische Sprachen in Kombination mit Englisch. Der Evaluierungsrahmen ist als modulare, vierstufige Python-Pipeline implementiert:

1. Datensammlung: Parallele Satzpaare wurden von der YouVersion-Bibelplattform bezogen, der einzigen digitalen Quelle, die ausreichende Breite für 43 Sprachen bietet. Mithilfe eines Web-Scrapers ordneten die Autoren Bibelverse an, um 300 Satzpaare pro Sprache zu erstellen.
2. Reproduzierbare Stichprobenziehung: Ein deterministischer Stichprobenschritt (Seed 42) wählte 200 Satzindizes aus der ersten Sprachdatei aus und wandte sie einheitlich auf alle 43 Sprachen an. Dies stellte sicher, dass alle 19 Modelle exakt dieselben 200 Sätze pro Sprache evaluiert wurden, wodurch die Varianz im Testset eliminiert wurde.
3. Modell-Inferenz: Die Studie evaluierte 19 LLMs (10 Open-Weight und 9 proprietär) über die NVIDIA Build API. Zu den Modellen gehörten Frontier-Systeme (z. B. gemini-2.5-flash, claude-sonnet-4-5, gpt-4.1) und Open-Weight-Alternativen (z. B. kimi-k2-instruct-0905, llama-3.1-405b, deepseek-v3.1). Alle Evaluierungen wurden unter strikten Zero-Shot-Bedingungen ohne Kontextbeispiele oder Feinabstimmung durchgeführt.
4. Metrikberechnung: Die Leistung wurde mit zwei automatischen Metriken gemessen:
   • BLEU (Bilingual Evaluation Understudy): Standard-N-Gram-Präzision.
   • chrF (Character n-gram F-Score): Robust gegenüber morphologischer Variation und Tokenisierungsproblemen.
   • Durchschnittswert: Das arithmetische Mittel aus BLEU und chrF.
   • Konsistenz: Berechnet als Kehrwert der Standardabweichung der sprachspezifischen Scores für ein gegebenes Modell, visualisiert durch Quadrant-Streudiagramme, um Modelle zu identifizieren, die sowohl leistungsstark als auch stabil sind.

Hauptbeiträge

• Umfassende Abdeckung: Nsanku ist die erste groß angelegte Evaluierung, die 43 ghanaische Sprachen abdeckt, von denen 42 noch nie in einem wichtigen mehrsprachigen MT-Benchmark erschienen sind.
• Infrastruktur: Das Projekt veröffentlicht eine von der Gemeinschaft erweiterbare Evaluierungsinfrastruktur, einschließlich des vollständigen Pipeline-Codes, Skripte zur Datensammlung und eines Google Colab-Notebooks, die es Forschern ermöglichen, neue Modelle oder Sprachsubsetts beizutragen.
• Multidimensionale Analyse: Über die aggregierte Genauigkeit hinaus führt die Studie eine dimensionsübergreifende Konsistenzanalyse ein, um zu bestimmen, ob die Modellleistung über Sprachen hinweg stabil ist oder auf eine kleine Teilmenge konzentriert ist.
• Zero-Shot-Benchmarking: Es bietet die erste rigorose Bewertung der Zero-Shot-Übersetzungsfähigkeiten für diese spezifische sprachliche Region und adressiert die Lücke zwischen der Leistung proprietärer und Open-Weight-Modelle.

Ergebnisse

Die am 29. Januar 2026 abgeschlossene Evaluierung ergab folgende Befunde:

• Modellleistung: Proprietäre Frontier-Modelle schnitten deutlich besser ab als Open-Weight-Alternativen.
  • Top-Performer: gemini-2.5-flash erzielte den höchsten Durchschnittswert (26,88), gefolgt von claude-sonnet-4-5 (24,87) und gpt-4.1 (23,20).
  • Open-Weight-Führer: kimi-k2-instruct-0905 führte die Open-Weight-Kategorie mit einem Durchschnittswert von 20,87 an, gefolgt von deepseek-v3.1 (19,29).
  • Leistungsgefälle: Es besteht ein signifikantes Gefälle (ca. 6 Punkte) zwischen dem besten proprietären Modell und dem besten Open-Weight-Modell, obwohl sich die Lücke im Vergleich zu historischen Trends verengt.
• Metrikdiskrepanz: Bei allen Modellen übertrafen die chrF-Scores die BLEU-Scores erheblich. Beim am schlechtesten abschneidenden Modell (mistral-7b-instruct-v0.3) betrug die Lücke 15,76 Punkte (BLEU 4,15 vs. chrF 19,91). Dies deutet darauf hin, dass Modelle die morphologische Ebene auf Zeichenebene besser bewahren als exakte wortweise Übereinstimmungen, was chrF als geeignetere Metrik für morphologisch reiche ghanaische Sprachen validiert.
• Sprachvarianz: Die Leistung variierte stark zwischen den Sprachen. Siwu erzielte den höchsten sprachspezifischen Durchschnitt (25,73), während Nkonya den niedrigsten Wert (11,65) erzielte. Interessanterweise schnitten einige Sprachen mit kleinerer Sprecherzahl (z. B. Siwu, Chumburung) besser ab als weit verbreitete Sprachen wie Twi (21,82), was darauf hindeutet, dass die Qualität der Referenzbibelübersetzung im biblischen Bereich ein kritischer Faktor ist.
• Konsistenzanalyse (Kritischer Befund): Kein Modell und keine Sprache besetzte das Quadrant „Führer" (hohe Leistung und hohe Konsistenz).
  • Top-Modelle fielen in das Quadrant „Hohe Leistung, aber inkonsistent", was bedeutet, dass ihre Qualität in Bezug auf eine bestimmte Sprache unvorhersehbar ist.
  • Keine ghanaische Sprache erhält derzeit eine hochwertige und konsistente Übersetzung über den Bereich der evaluierten Modelle hinweg.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Nsanku eine rigorose Basislinie für das festlegt, was aktuelle LLMs für ghanaische Sprachen können und was nicht. Ihre primäre Bedeutung liegt darin, die Zuverlässigkeitslücke aufzuzeigen: Trotz beeindruckender aggregierter Scores von Frontier-Modellen deutet das Fehlen eines jeden Modells im „Führer"-Quadranten darauf hin, dass aktuelle LLMs noch nicht zuverlässig für die Übersetzung ghanaischer Sprachen im großen Maßstab einsetzbar sind.

Die Autoren betonen, dass die niedrigen Scores Ressourcenknappheit und Ungleichgewichte in den Trainingsdaten widerspiegeln und nicht eine inhärente sprachliche Komplexität. Sie argumentieren, dass ohne systematische Benchmarks wie Nsanku Entwickler keine evidenzbasierten Entscheidungen über den Einsatz treffen und politische Entscheidungsträger keine kritischen Fähigkeitslücken identifizieren können. Die Studie kommt zu dem Schluss, dass zwar die Entwicklung von Open-Weight-Modellen beginnt, die Lücke zu proprietären Modellen zu schließen, das Feld jedoch weitere Investitionen in Daten und Evaluierung benötigt, um eine zuverlässige, konsistente Übersetzung für afrikanische Sprachen zu erreichen. Die Autoren warnen ausdrücklich, dass diese Ergebnisse spezifisch für den biblischen Bereich sind und sich ohne weitere Evaluierung nicht auf konversationelle oder journalistische Texte verallgemeinern lassen.