ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models

Das Papier stellt ChiKhaPo vor, einen groß angelegten multilingualen Benchmark, der über 2700 Sprachen mit acht Teilaufgaben abdeckt, um die lexikalischen Verständnis- und Generierungsfähigkeiten großer Sprachmodelle zu bewerten, wobei aufgezeigt wird, dass selbst modernste Modelle mit der grundlegenden linguistischen Kompetenz in der überwiegenden Mehrheit der geschriebenen Sprachen der Welt kämpfen.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine riesige, superintelligente Bibliothek mit Büchern, die in tausenden verschiedenen Sprachen geschrieben sind. Sie stellen einen brillanten neuen Bibliothekar ein (ein Large Language Model, oder LLM), der Ihnen helfen soll, bestimmte Wörter zu finden und diese zu übersetzen. Sie wollen wissen: Versteht dieser Bibliothekar die Wörter wirklich, oder rät er nur basierend auf den wenigen Sprachen, die er am häufigsten studiert hat?

Dieses Paper stellt einen neuen Test namens ChiKhaPo (ausgesprochen Chi-Kha-Po) vor, um genau diese Frage zu beantworten. Der Name stammt von einem Sprichwort, das bedeutet „Schritt für Schritt“, denn die Autoren glauben, dass wir kleine, sorgfältige Schritte machen müssen, um zu verstehen, wie diese KI-Modelle tatsächlich über die Welt der Sprachen hinweg funktionieren.

Hier ist die Aufschlüsselung dessen, was sie getan haben, unter Verwendung einiger alltäglicher Analogien:

1. Das Problem: Die „VIP-Lounge“ der Sprachen

Derzeit sind die meisten Tests für KI wie VIP-Lounges. Sie lassen nur ein paar Dutzend „ressourcenstarke Sprachen“ (wie Englisch, Spanisch oder Französisch) hinein. Dies sind Sprachen mit Unmengen an Daten im Internet.

• Die Realität: Es gibt über 3.800 geschriebene Sprachen auf der Welt. Die überwiegende Mehrheit ist von diesen VIP-Lounges ausgeschlossen.
• Die Lücke: Wir wissen nicht, ob die KI mit diesen anderen 3.700+ Sprachen umgehen kann. Sie mag ein Genie in Englisch sein, aber völlig verloren sein, wenn man sie bittet, ein Wort in einer ressourcenarmen Sprache zu übersetzen.

2. Die Lösung: Die „Massive Multilingual Exam“ (ChiKhaPo)

Die Autoren haben eine massive Prüfung erstellt, die 2.700+ Sprachen abdeckt. Anstatt die KI zu bitten, einen komplexen Aufsatz zu schreiben oder ein mathematisches Problem zu lösen (was schwierige Aufgaben sind), konzentrierten sie sich auf das Wesentliche: Lexikalische Kompetenz.

• Die Analogie: Denken Sie daran wie bei einem Test eines Schülers auf seinen Wortschatz, bevor man ihn bittet, einen Roman zu schreiben. Kann er ein Wort erkennen? Kann er sagen, was es bedeutet? Kann er es in einem Satz verwenden?

Die Prüfung umfasst 8 verschiedene Abschnitte (Teilaufgaben), um diese Fähigkeiten aus verschiedenen Blickwinkeln zu testen:

• Wortübersetzung: „Was ist das Wort für ‚Regen‘ auf Malaiisch?“ (Direkte Übersetzung).
• Wortübersetzung mit Kontext: „In dieser Geschichte über einen Sturm, was bedeutet das Wort ‚ujan‘?“ (Nutzung von Kontextinformationen).
• Translations-konditionierte Modellierung: Die KI bekommt einen Satz in einer Sprache gegeben und muss das nächste Wort in der Übersetzung vorhersagen. (Wie ein „Lückentext“-Spiel).
• Bag-of-Words-Übersetzung: Die KI übersetzt einen ganzen Satz, und der Test prüft, ob sie die einzelnen Wörter richtig bekommen hat, selbst wenn die Satzstruktur etwas chaotisch ist.

3. Die Ergebnisse: Die KI kämpft mit den Grundlagen

Die Autoren haben 6 der klügsten heute verfügbaren KI-Modelle auf dieser Prüfung getestet.

• Die Erkenntnis: Selbst die besten Modelle hatten erhebliche Schwierigkeiten, insbesondere mit ressourcenarmen Sprachen.
• Die „Verständnis vs. Generierung“-Lücke: Die Modelle waren besser darin, ein Wort zu verstehen (es zu lesen und zu wissen, was es bedeutet), als es zu generieren (das Wort selbst zu sagen oder zu schreiben).
  • Analogie: Es ist wie bei einer Person, die eine Speisekarte in einer Fremdsprache lesen kann und weiß, was „Suppe“ bedeutet, aber wenn sie gebeten wird, sie zu bestellen, erstarrt sie und kann das Wort nicht aussprechen.
• Die „Reich vs. Arm“-Lücke: Die Modelle schnitten bei Sprachen, die über viele Daten verfügen (ressourcenstarke Sprachen), viel besser ab als bei Sprachen, die sehr wenig Daten haben (ressourcenarme Sprachen). Der Leistungsunterschied war riesig.

4. Warum das wichtig ist (laut dem Paper)

Das Paper argumentiert, dass wir nicht einfach davon ausgehen können, dass eine KI „multilingual“ ist, nur weil sie gut in Englisch funktioniert.

• Die „Proxy“-Entdeckung: Sie fanden heraus, dass, wenn eine KI gut darin ist, einzelne Wörter zu übersetzen (der einfache Test), sie normalerweise auch gut darin ist, ganze Sätze zu übersetzen (der komplexe Test). Das bedeutet, dass der einfache Worttest ein günstiger und einfacher Weg ist, um zu prüfen, ob eine KI bereit für eine schwierigere Aufgabe ist.
• Das Ziel: Die Autoren wollen das Licht auf die Sprachungleichheit werfen. Momentan ist NLP (Natural Language Processing) unfair, weil es tausende Sprachen ignoriert. ChiKhaPo ist ein Werkzeug, um Forscher dazu zu bringen, diesen vernachlässigten Sprachen Aufmerksamkeit zu schenken und bessere, gerechtere KIs zu bauen.

Zusammenfassung

ChiKhaPo ist ein riesiger, schrittweiser Vokabeltest für KI über 2.700+ Sprachen hinweg. Er zeigt auf, dass selbst die klügsten KI-Modelle derzeit für die meisten Sprachen der Welt „wortblind“ sind. Sie können ein Wort oft verstehen, aber Schwierigkeiten haben, es zu produzieren, und sie schneiden bei Sprachen, die nicht über viele Daten im Internet verfügen, sehr schlecht ab. Die Autoren hoffen, dass dieser Test die KI-Gemeinschaft dazu ermutigen wird, sich nicht nur auf die „VIP“-Sprachen zu konzentrieren, sondern Modelle zu entwickeln, die die ganze Welt wirklich verstehen.

Technische Zusammenfassung

Technisches Resümee: ChiKhaPo

Problemstellung

Derzeitige Benchmarks für Large Language Models (LLMs) sind überwiegend auf ressourcenreiche Sprachen (High-Resource Languages, HRLs) beschränkt und konzentrieren sich auf Aufgaben höherer Ordnung wie komplexes Denken und Inhaltsgenerierung. Infolgedessen gibt es eine erhebliche Lücke bei der Bewertung der grundlegenden linguistischen Kompetenz von LLMs über die mehr als 3.800 geschriebenen Sprachen der Welt hinweg. Bestehende multilinguale Benchmarks, wie etwa FLORES+, decken nur einen Bruchteil dieser Sprachen ab (z. B. 212 Sprachen), wodurch die überwiegende Mehrheit der Weltsprachen selbst hinsichtlich grundlegender Fähigkeiten wie dem Verständnis und der Generierung auf Wortebene unbewertet bleibt. Dieser Mangel an Evaluierung behindert die Identifizierung von sprachlicher Ungleichheit im Bereich des Natural Language Processing (NLP).

Methodik

Die Autoren führen ChiKhaPo ein, einen massiv multilingualen Benchmark, der darauf ausgelegt ist, die lexikalische Komprehension und die Generierungsfähigkeiten von LLMs zu bewerten. Der Benchmark wird unter Verwendung bestehender öffentlicher Ressourcen konstruiert, einschließlich Lexika, monolingualer Daten und Bitexten, was eine Abdeckung von über 2.700 Sprachen ermöglicht.

Benchmark-Struktur

ChiKhaPo besteht aus acht Subtasks, die aus vier Kernaufgaben abgeleitet sind, wobei jede in zwei Richtungen evaluiert wird:

1. Komprehension ($X \to \text{Modell}$): Bewertung der Fähigkeit des Modells, ein Wort in der Zielsprache $X$ zu verstehen (oft durch Übersetzung ins Englische).
2. Generierung ($\text{Modell} \to X$): Bewertung der Fähigkeit des Modells, ein Wort in der Zielsprache $X$ gegeben eines englischen Prompts zu generieren.

Die vier Kernaufgaben sind:

• Wortübersetzung (Word Translation, WT): Direktes Prompting zur Übersetzung eines einzelnen Wortes. Diese Aufgabe stützt sich ausschließlich auf Lexika und deckt 2.746 Sprachen ab.
• Wortübersetzung mit Kontext (Word Translation with Context, WTWC): Übersetzung eines Wortes unter Berücksichtigung eines Quellsatz-Kontexts. Dies erfordert monolinguale Daten und deckt 525 Sprachen ab.
• Translationsbedingte Sprachmodellierung (Translation-Conditioned Language Modeling, TCLM): Messung der Generierungswahrscheinlichkeit eines Zielwortes gegeben einen Quellsatz und einen partiellen Zielkontext. Dies nutzt parallele Satzpaare (Bitext) und deckt 211 Sprachen ab.
• Bag-of-Words Maschinelle Übersetzung (Bag-of-Words Machine Translation, BOW MT): Bewertung, ob spezifische Zielwörter in einer Satzebenen-Übersetzung erscheinen, unabhängig von der syntaktischen Ordnung. Dies verwendet ebenfalls Bitext und deckt 211 Sprachen ab.

Scoring und Evaluierung

Der Benchmark verwendet Metriken zur Bewertung auf Wortebene. Für binäre Aufgaben (WT, WTWC) wird die Korrektheit über exakte Übereinstimmungen (Exact Match), Handhabung von Inflektionen, Substring-Matching und Synonymie (unter Verwendung von WordNet für englische Ausgaben) bestimmt. Für probabilistische Aufgaben (TCLM) ist die Metrik die Generierungswahrscheinlichkeit des korrekten Wortes. Für BOW MT werden die Scores basierend auf dem Vorhandensein der Zielwörter in der Ausgabe aggregiert.

Die Autoren evaluierten sechs State-of-the-Art (SOTA) multilinguale LLMs: aya-101, aya-23-8b, bloomz-7b1-mt, falcon-7b-instruct, gemma-2b-it und Llama-3.1-8B-Instruct. Aufgrund rechnerischer Einschränkungen wurde eine „Lite“-Version des Benchmarks verwendet, die bis zu 300 Vokabular-Einträge pro Sprache für WT/WTWC und 30 % der verfügbaren Daten für Aufgaben auf Satzebene sampelt.

Kernergebnisse

• Leistungslücken: Alle sechs evaluierten Modelle zeigten signifikanten Verbesserungsbedarf, insbesondere bei ressourcenarmen Sprachen (Low-Resource Languages, LRLs). Der Benchmark fungiert erfolgreich als anspruchsvolles Maß für die multilinguale Leistung.
• Direktionale Disparität: Modelle schnitten konsistent besser in der Komprehensionsrichtung ($X \to \text{Modell}$) ab als in der Generierungsrichtung ($\text{Modell} \to X$), was eine Lücke zwischen natürlichem Sprachverständnis (NLU) und natürlicher Sprachgenerierung (NLG) in multilingualen Settings aufzeigt.
• Ressourcen- und Familienkorrelation: Die Leistung korrelierte stark mit dem Ressourcenstand der Sprache (proxied durch Wikipedia-Dokumentenzahlen) und den Sprachfamilien. Indogermanische Sprachen übertrafen konsistent unterrepräsentierte Familien wie Austronesisch und Atlantic-Congo. Die Beziehung zwischen Ressourcenstand und Leistung wurde als annähernd logarithmisch befunden.
• Modellunterschiede: Das Modell aya-101 erreichte die höchsten Durchschnittswerte in fünf der acht Subtasks. Die Autoren führen dies auf seine Encoder-Decoder-Architektur, die höhere Parameteranzahl (13B) und das Instruction-Tuning auf 101 Sprachen zurück.
• Korrelation mit MT: Die WT-Scores zeigten eine starke lineare Korrelation mit BLEU-Scores der maschinellen Übersetzung auf Satzebene auf FLORES+-Daten ($r \approx 0,87$ für $X \to \text{Modell}$). Dies deutet darauf hin, dass WT als kosteneffizienter Proxy zur Evaluierung von maschinellen Übersetzungsfähigkeiten in Ermangelung umfangreicher Bitext-Daten dienen kann.

Bedeutung und Ansprüche

Das Paper positioniert ChiKhaPo als einen entscheidenden Schritt zur Adressierung der sprachlichen Ungleichheit im NLP. Seine primären Beiträge sind:

1. Massive Skalierung: Es bietet den ersten Benchmark zur lexikalischen Kompetenz, der über 2.700 Sprachen abdeckt, und übertrifft damit die Sprachabdeckung bestehender Benchmarks um eine Größenordnung.
2. Granulare Evaluierung: Es verlagert den Fokus von komplexem Denken hin zu „atomarer“ Kompetenz auf Wortebene, was es Forschern ermöglicht, die fundamentalen linguistischen Fähigkeiten von LLMs in spezifischen Sprachen zu verfolgen.
3. Ressourceneffizienz: Durch die Nutzung bestehender Lexika und monolingualer Daten ermöglicht es die Evaluierung von Sprachen, für die keine parallelen Korpora existieren.

Die Autoren behaupten bescheiden, dass der Benchmark zwar auf öffentlichen Ressourcen basiert (die, insbesondere PanLex, verrauscht sein können), aber erfolgreich die dringende Notwendigkeit einer verbesserten multilingualen Evaluierung hervorhebt. Sie hoffen, dass diese Arbeit die Sammlung besserer lexikalischer Ressourcen für ressourcenarme Sprachen fördert und das massiv multilinguale Benchmarking von LLMs als notwendigen Schritt hin zu gerechteren KI-Systemen vorantreibt.