OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models
Dieses Papier stellt OMGEval vor, den ersten Open-Source-Benchmark für die multilinguale generative Evaluierung, der 804 streng verifizierte, kulturell lokalisierte offene Fragen in fünf Sprachen umfasst, um die multilingualen Fähigkeiten großer Sprachmodelle zu bewerten und zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen brillanten, allwissenden Bibliothekar erschaffen, der jede Sprache der Welt sprechen kann. Sie möchten testen, ob dieser Bibliothekar wirklich klug in Bezug auf alle Kulturen ist oder ob er nur ein „lokaler Experte“ ist, der nur die Kultur der Vereinigten Staaten versteht.
Dieses Papier stellt OMGEval vor, was im Wesentlichen ein „Führerschein-Test“ für die Multikulturalität dieser KI-Bibliothekare (Large Language Models) ist.
Hier ist die Aufschlüsselung dessen, was die Autoren getan haben, unter Verwendung einfacher Analogien:
1. Das Problem: Der „Amerikanische TV“-Bias
Die meisten aktuellen Tests für KI sind wie das Anschauen einer Fernsehsendung, die nur auf Englisch ausgestrahlt wird und über amerikanische Feiertage, Essen und Geschichte spricht.
- Das Problem: Wenn Sie eine KI fragen: „Was ist das traditionelle Essen für Thanksgiving?“, wird sie korrekt „Truthahn“ sagen. Aber wenn Sie einen chinesischsprachigen Nutzer fragen: „Was ist das traditionelle Essen für das Drachenbootfest?“, könnte eine KI, die nur mit amerikanischen Daten trainiert wurde, verwirrt sein oder eine falsche Antwort geben, weil sie die lokale Kultur nicht versteht.
- Die Behauptung des Papers: Die meisten bestehenden Tests sind zu sehr auf Englisch fokussiert. Sie prüfen nicht, ob die KI versteht, dass es in Russland spezifische Kuchen für Ostern gibt oder dass es in Spanien bestimmte Leckereien für Allerheiligen gibt.
2. Die Lösung: OMGEval (Der „Lokale Reiseführer“-Test)
Die Autoren haben einen neuen Test namens OMGEval entwickelt. Anstatt einfach nur englische Fragen in andere Sprachen zu übersetzen (was so wäre, als würde man englische Untertitel auf einen russischen Film legen), haben sie die Fragen umgeschrieben, um sie an die lokale Kultur anzupassen.
- Die Analogie: Stellen Sie sich eine Testfrage über den „Sommerurlaub“ vor.
- Der alte Weg (Übersetzung): „Wohin gehen Amerikaner in den Sommerurlaub?“ (Antwort: Hawaii).
- Der OMGEval-Weg (Lokalisierung): „Wohin gehen Chinesen in den Sommerurlaub?“ (Antwort: Sanya).
- Warum das wichtig ist: Beide Fragen handeln von „Sommerurlaubszielen“, aber der kulturelle Kontext ist ein anderer. OMGEval stellt sicher, dass die KI die lokale Version der Geschichte kennt, nicht nur die amerikanische.
3. Wie sie es aufgebaut haben
Das Team hat nicht einfach einen Roboter benutzt, um Dinge zu übersetzen; sie haben ein Team aus menschlichen Experten (Linguisten) eingesetzt, die als kulturelle Redakteure fungierten.
- Der Prozess: Sie nahmen 804 offene Fragen (wie Rätsel, Fakten oder kreative Schreibaufgaben) und passten diese für fünf Sprachen an: Chinesisch, Russisch, Französisch, Spanisch und Arabisch.
- Der „menschliche Touch“: Wenn eine Frage einen spezifischen amerikanischen Prominenten erwähnte, ersetzten sie diesen durch eine berühmte lokale Persönlichkeit. Wenn eine Frage ein spezifisches US-Feiertag erwähnte, ersetzten sie diesen durch ein lokales Fest. Sie taten dies, um sicherzustellen, dass die KI auf ihre Fähigkeit getestet wurde, diese spezifische Kultur zu verstehen, und nicht nur auf ihre Fähigkeit, Wörter zu übersetzen.
4. Wie sie die KI bewerteten
Da Menschen nicht in der Lage sind, tausende Antworten in fünf Sprachen augenblicklich zu lesen, nutzten sie GPT-4 (eine sehr fortgeschrittene KI) als Schiedsrichter.
- Das Spiel: Sie baten die KI-Modelle, die Fragen zu beantworten. Dann baten sie GPT-4, zwei Antworten nebeneinander zu betrachten und zu entscheiden, welche besser ist.
- Die Kontrolle: Sie ließen auch echte Menschen eine kleine Stichprobe bewerten, um sicherzustellen, dass der „KI-Schiedsrichter“ fair war. Die Ergebnisse zeigten, dass der KI-Schiedsrichter sehr genau war (etwa 90 % Übereinstimmung mit Menschen).
5. Die Ergebnisse: Wer hat den Test bestanden?
Sie testeten mehrere verschiedene KI-Modelle, darunter große kommerzielle Modelle (wie GPT-4) und Open-Source-Modelle (freie Modelle, die jeder herunterladen kann).
- Der Gewinner: GPT-4 war das einzige Modell, das konsistent über 50 % erreichte (das heißt, es schlug die Baseline öfter als die Hälfte der Zeit). Es war der „Spitzenstudent“.
- Die Schwierigkeiten: Die Open-Source-Modelle (wie Guanaco, Phoenix und andere) hatten erhebliche Schwierigkeiten.
- Die Lücke: Während GPT-4 kulturelle Nuancen gut handhaben konnte, machten die Open-Source-Modelle oft faktische Fehler oder übersehen den kulturellen Kontext. Wenn sie beispielsweise nach dem ersten Film eines berühmten chinesischen Regisseurs gefragt wurden, gaben einige Open-Source-Modelle das falsche Jahr oder den falschen Filmtitel an, während GPT-4 es richtig machte.
- Die Erkenntnis: Es gibt eine riesige Lücke zwischen den erstklassigen kommerziellen Modellen und den Open-Source-Modellen, wenn es um das Verständnis verschiedener Kulturen geht. Die Open-Source-Modelle sind wie Schüler, die das Lehrbuch gelernt haben, aber den lokalen Dialekt nicht verstanden haben.
Zusammenfassung
OMGEval ist ein neuer, fairerer Test, der prüft, ob KI-Modelle die vielfältigen Kulturen der Welt verstehen und nicht nur die amerikanische Version der Welt. Das Paper zeigt, dass zwar die besten KIs (GPT-4) ziemlich gut darin sind, aber viele andere Modelle noch Schwierigkeiten haben, den lokalen „Geschmack“ verschiedener Sprachen und Kulturen zu erfassen. Die Autoren hoffen, dass dieser Test der Gemeinschaft helfen wird, in Zukunft bessere, kulturell bewusstere KIs zu entwickeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.