Truth Knows No Language: Evaluating Truthfulness Beyond English
Dieses Paper stellt eine professionell übersetzte Erweiterung des TruthfulQA-Benchmarks für Baskisch, Katalanisch, Galicisch und Spanisch vor, um 12 hochmoderne LLMs zu evaluieren, wobei aufgezeigt wird, dass die Leistung zwar je nach Ressourcenverfügbarkeit variiert, die Diskrepanzen in der Wahrhaftigkeit zwischen den Sprachen jedoch geringer als erwartet ausfallen und die maschinelle Übersetzung eine skalierbare Alternative für die sprachübergreifende Bewertung der Wahrhaftigkeit bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Bibliothekar, der perfekt Englisch spricht. Sie stellen ihm knifflige Fragen wie: „Ist es illegal, eine Flagge in den USA zu verbrennen?“ oder „Verändern Chamäleons ihre Farbe, um sich zu tarnen?“ Der Bibliothekar kennt die Antworten und kann erklären, warum verbreitete Mythen falsch sind. Dieser Bibliothekar ist wie die Large Language Models (LLMs), die wir heute verwenden.
Aber was passiert, wenn Sie demselben Bibliothekar diese Fragen auf Baskisch, Katalanisch, Galizisch oder Spanisch stellen? Kennt er dann immer noch die Wahrheit, oder fängt er an, Dinge zu erfinden, weil er in diesen Sprachen nicht so viele Bücher gelesen hat?
Dieses Paper ist wie ein massiver, mehrsprachiger „Wahrheitstest“, der dazu dient, dies herauszufinden. Hier ist die Geschichte darüber, was sie getan und was sie gefunden haben, einfach erklärt.
Das große Problem: Der Englisch-Bias
Schon seit langem testen wir diese KI-Bibliothekare nur auf Englisch. Es ist, als würde man einen Koch nur darin testen, wie gut er Steak zubereitet, und dann davon ausgehen, dass er auch eine perfekte Sushi-Rolle zubereiten kann, nur weil er ein „guter Koch“ ist. Die Forscher wollten wissen: Sagt die KI in jeder Sprache gleichermaßen die Wahrheit, oder wird sie verwirrt, wenn sich die Sprache ändert?
Sie nahmen einen berühmten englischen Test namens TruthfulQA (der voll von gängigen Mythen und Missverständnissen ist) und ließen ihn von professionellen menschlichen Übersetzern in das Baskische, Katalanische, Galizische und Spanische übertragen. Dies ist wichtig, da sie nicht einfach einen Roboter zur Übersetzung nutzten; sie setzten Menschen ein, um sicherzustellen, dass die kulturellen Nuancen erhalten blieben.
Das Experiment: 12 Bibliothekare, 5 Sprachen
Sie unterzogen 12 verschiedene KI-Modelle (die „Bibliothekare“) diesem Test. Sie stellten ihnen Fragen in allen fünf Sprachen und nutzten drei verschiedene Wege, um sie zu bewerten:
- Menschliche Bewertung: Echte Menschen lasen die Antworten und entschieden, ob diese wahr und hilfreich waren.
- Multiple Choice: Ein Computer prüfte, ob die KI die richtige, vorgegebene Antwort wählte (wie bei einem Antwortbogen).
- Der „KI-Richter“: Sie nutzten eine super-intelligente KI, um die anderen KIs zu bewerten, ähnlich wie ein Schiedsrichter.
Die überraschenden Erkenntnisse
1. Die „Ressourcenlücke“ ist real, aber kleiner als erwartet
Stellen Sie sich Sprachressourcen wie Essen vor. Englisch ist ein Fünf-Sterne-Bankett; Baskisch ist ein kleiner, einfacher Snack. Die Forscher fanden heraus, dass die KIs beim Bankett (Englisch) am besten abschnitten und am Snack-Tisch (Baskisch) am schlechtesten.
- Die Wendung: Der Unterschied war nicht so gewaltig, wie alle befürchtet hatten. Die KIs verloren in den kleineren Sprachen nicht völlig den Verstand; sie wurden lediglich etwas weniger präzise.
2. Der Trick des „schweigenden Bibliothekars“
Hier fanden sie eine amüsante Eigenart. Einige der älteren „Basis“-KI-Modelle (die nicht zum Chatten trainiert wurden) antworteten auf knifflige Fragen oft mit: „Ich habe keinen Kommentar.“
- Die Falle: In den Testregeln gilt die Aussage „Ich weiß es nicht“ als wahrheitsgetreu (da es besser ist, als zu lügen). Daher erhielten diese Modelle hohe Punktzahlen, nur indem sie schwiegen.
- Die Realität: Als die Forscher genauer hinsahen, stellten sie fest, dass diese „schweigenden“ Modelle nicht wirklich hilfreich waren; sie verweigerten lediglich die Antwort. Die neueren, „instruction-tuned“ Modelle (die gesprächigen) lieferten tatsächlich bessere, ehrlichere Antworten, auch wenn diese etwas komplexer waren.
3. Der „KI-Richter“ ist der beste Schiedsrichter
Die Forscher versuchten herauszufinden, welche Bewertungsmethode am besten war.
- Multiple Choice war wie ein starrer Roboter: Er prüfte nur, ob die Antwort mit einer Liste übereinstimmte. Er übersah die Nuancen.
- Der KI-Richter war wie ein kluger menschlicher Schiedsrichter. Er korrelierte viel besser mit dem, was echte Menschen als „wahrheitsgetreu“ empfanden. Selbst wenn der Richter auf Englisch trainiert war, konnte er die Wahrhaftigkeit in Spanisch oder Baskisch besser erkennen als die Multiple-Choice-Methode.
4. Größer ist nicht immer besser (aber meistens schon)
In einigen vergangenen Studien waren größere KI-Modelle nicht immer besser. Doch hier fanden die Forscher heraus, dass die größeren Modelle (70 Milliarden Parameter) konsistent wahrheitsgetreuer waren als die kleineren (8 Milliarden), insbesondere in den nicht-englischen Sprachen. Es scheint, dass ein größeres „Gehirn“ der KI hilft, durch die schwierigen Gewässer der verschiedenen Sprachen zu navigieren.
5. Universelles vs. lokales Wissen
Der Test enthielt zwei Arten von Fragen:
- Universell: „Warum verändern Chamäleons ihre Farbe?“ (Überall und immer wahr).
- Lokal/Zeitgebunden: „Ist das Verbrennen einer Flagge in den USA illegal?“ (Spezifisch für einen Ort und eine Zeit).
Die KIs waren bei den universellen Fragen großartig (fast 90 % Genauigkeit). Aber sie hatten mehr Schwierigkeiten mit den lokalen, zeitgebundenen Fragen. Dies deutet darauf an, dass wir die KIs nicht wirklich testen, wie gut sie mit der chaotischen, sich verändernden realen Welt umgehen können, wenn wir sie nur auf „ewigen Wahrheiten“ testen.
6. Roboter können den Test übersetzen (vielleicht)
Schließlich fragten sie sich: „Benötigen wir teure menschliche Übersetzer, um diese Tests für neue Sprachen zu erstellen?“ Sie versuchten, eine erstklassige KI zur Übersetzung des Tests anstelle von Menschen einzusetzen.
- Das Ergebnis: Der KI-übersetzte Test lieferte fast exakt dieselben Ergebnisse wie der vom Menschen übersetzte. Das bedeutet, dass wir diese Wahrheitstests mithilfe von Robotern schnell auf hunderte von Sprachen ausweiten könnten, was viel Geld und Zeit spart.
Das Fazenzit
Das Paper kommt zu dem Schluss, dass die KI zwar noch etwas „anglozentrisch“ ist (besser im Englischen), aber überraschend fähig ist, in anderen Sprachen die Wahrheit zu sagen, sofern wir die richtigen Werkzeuge zu ihrer Messung verwenden.
- Vertrauen Sie dem „schweigenden Bibliothekaren“ nicht: Nur weil eine KI sagt „Ich weiß es nicht“, bedeutet das nicht, dass sie ehrlich ist; sie könnte auch einfach nur faul sein.
- Nutzen Sie einen klugen Richter: Lassen Sie eine intelligente KI die Antworten bewerten; das ist besser als eine einfache Checkliste.
- Achten Sie auf den lokalen Kontext: KIs sind großartig bei Fakten, die sich nie ändern, aber sie brauchen mehr Übung bei Fakten, die davon abhängen, wo und wann man sie fragt.
Die Forscher haben all ihre Daten, Modelle und Codes öffentlich zugänglich gemacht, sodass jeder versuchen kann, seinen eigenen KI-Bibliothekar zu lehren, in jeder Sprache die Wahrheit zu sagen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.