A multilingual hallucination benchmark: MultiWikiQHalluA
Dieser Beitrag stellt MultiWikiQHalluA vor, einen mehrsprachigen Benchmark für Halluzinationen, der 306 Sprachen abdeckt, und nutzt ihn, um nachzuweisen, dass Halluzinationsraten in ressourcenärmeren Sprachen und bei kleineren Modellen signifikant höher sind, wobei die größten Modelle bei den bewerteten europäischen Sprachen die besten Ergebnisse erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, mehrsprachigen Roboter, der es liebt, Wikipedia-Artikel zu lesen und Fragen dazu zu beantworten. Sie fragen ihn: „Was ist die Hauptstadt Islands?" und er antwortet: „Reykjavik." Großartig! Aber manchmal wird dieser Roboter ein wenig zu kreativ. Er könnte sagen: „Reykjavik liegt auf dem Mond" oder „Die Hauptstadt ist eine Stadt namens 'Ice-berg'". Obwohl der Satz flüssig und selbstbewusst klingt, ist er komplett erfunden. In der Welt der KI nennen wir dies Halluzination.
Dieser Artikel ist wie ein neuer „Lügendetektor"-Test für Roboter, aber anstatt nur Englisch zu prüfen, haben die Forscher einen Test entwickelt, der für 306 verschiedene Sprachen funktioniert, einschließlich einiger, die von Computern selten gesehen werden (wie Isländisch).
Hier ist die Geschichte, wie sie es gemacht haben, einfach erklärt:
1. Das Problem: Der „fließende Lügner"
Die meisten Tests für Roboter-Ehrlichkeit prüfen nur Englisch. Das ist so, als würde man nur in einer Stadt einen Führerschein testen und annehmen, dass die Person überall sonst sicher fahren kann. Die Forscher wollten wissen: Lügen Roboter häufiger, wenn sie Sprachen sprechen, die sie nicht so gut beherrschen?
Sie definierten „Halluzination" spezifisch als Treue. Das bedeutet: Hat sich der Roboter an die Geschichte gehalten, die Sie ihm erzählt haben?
- Guter Roboter: Liest eine Geschichte über eine Katze und sagt dann: „Die Katze ist orange."
- Halluzinierender Roboter: Liest eine Geschichte über eine Katze und sagt dann: „Die Katze ist eigentlich ein Drache." (Es klingt plausibel, aber es steht nicht in der Geschichte).
2. Die Lösung: Eine „Fake-News"-Fabrik bauen
Um ihren Lügendetektor zu trainieren, benötigten die Forscher einen riesigen Haufen an Beispielen, bei denen der Roboter gelogen hat. Aber sie wollten nicht warten, bis Roboter natürlich lügen; das dauert zu lange.
Also bauten sie eine synthetische Fabrik:
- Sie nahmen einen riesigen Datensatz mit echten Fragen und Antworten (MultiWikiQA), der 306 Sprachen abdeckt.
- Sie nutzten eine superschlaue KI (GPT-5), um die korrekten Antworten absichtlich umzuschreiben, sodass sie glaubhaft klangen, aber basierend auf dem Quelltext faktisch falsch waren.
- Sie taten dies für 306 Sprachen und schufen so eine riesige Bibliothek mit „falschen Antworten".
- Anschließend trainierten sie eine kleinere, spezialisierte KI (ein „Token-Level-Klassifikator"), um diese Lügen zu erkennen. Betrachten Sie diesen Klassifikator als einen Rechtschreibprüfer für die Wahrheit. Anstatt zu prüfen, ob ein Wort richtig geschrieben ist, prüft er, ob ein bestimmtes Wort in einem Satz zur ursprünglichen Geschichte gehört oder ob es eine erfundene Erfindung ist.
Sie trainierten diese „Wahrheits-Rechtschreibprüfer" für 30 europäische Sprachen und testeten sie an vier: Englisch, Deutsch, Dänisch und Isländisch.
3. Das Experiment: Die Roboter testen
Die Forscher nahmen fünf verschiedene KI-Modelle (von einem winzigen bis zu einem riesigen) und baten sie, Fragen in diesen vier Sprachen zu beantworten. Dann ließen sie die Antworten durch ihren neuen „Wahrheits-Rechtschreibprüfer" laufen, um zu sehen, wie viele Lügen im Text versteckt waren.
4. Die Ergebnisse: Die Größe spielt eine Rolle, aber die Sprache ist wichtiger
Hier ist, was sie fanden, unter Verwendung einiger einfacher Analogien:
- Der „kleine Roboter" hat Schwierigkeiten: Das kleinste KI-Modell (Qwen3-0.6B) war der schlechteste Lügner. Es war wie ein Schüler, der nicht genug gelernt hatte und nur geraten hat. Auf Isländisch enthielten 60 % seiner Antworten mindestens eine Lüge.
- Die „großen Roboter" sind besser: Die größeren, leistungsfähigeren Modelle (wie die mit 70 Milliarden Parametern) waren viel besser darin, bei den Fakten zu bleiben. Sie waren die „Ehrlichen" der Gruppe.
- Die „Sprachlücke": Dies ist das wichtigste Ergebnis. Die Roboter lügten in Sprachen, die sie weniger gut kannten, viel häufiger.
- Englisch und Deutsch (Sprachen, die die Roboter sehr gut kennen): Sehr wenige Lügen.
- Dänisch und Isländisch (Sprachen, die die Roboter weniger gut kennen): Viel mehr Lügen.
- Isländisch war am schwierigsten. Selbst die besten Roboter lügten hier häufiger als auf Englisch. Das ist so, als würde man einen Koch bitten, ein Gericht zuzubereiten, das er noch nie gesehen hat; er wird eher die Zutaten falsch raten.
5. Eine überraschende Wendung
Man könnte denken: „Je größer der Roboter, desto weniger er lügt." Aber es ist nicht so einfach. Manchmal war ein mittelgroßer Roboter besser als ein riesiger, abhängig von der Sprache. Das deutet darauf hin, dass wie der Roboter trainiert wurde (welche Sprachen er studiert hat), genauso wichtig ist wie wie groß er ist.
6. Der Haken (Das „Token"-Problem)
Die Forscher stellten auch einen technischen Kuriosität fest. In Sprachen wie Isländisch zerlegt der Computer Wörter in viele kleine Stücke (Tokens), um sie zu verstehen. Auf Englisch sieht er vielleicht ein Wort als ein Stück. Auf Isländisch könnte dasselbe Wort fünf Stücke sein.
- Die Analogie: Stellen Sie sich vor, Sie prüfen einen Satz auf Fehler. Wenn Sie ihn Wort für Wort prüfen, finden Sie vielleicht 1 Fehler. Wenn Sie ihn Buchstabe für Buchstabe prüfen, finden Sie vielleicht 5 Fehler, nur weil das Wort länger ist.
- Die Forscher warnen, dass ihre „Lügenzahl" für Isländisch teilweise deshalb höher erscheinen könnte, weil die Wörter in mehr Stücke zerschnitten werden, was dem Detektor mehr Möglichkeiten gibt, eine „Lüge" zu finden, selbst wenn die Bedeutung dieselbe ist.
Zusammenfassung
Der Artikel stellt ein neues, quelloffenes Werkzeug vor, das erkennen kann, wann KI-Modelle in 306 Sprachen Dinge erfinden. Sie fanden heraus, dass zwar größere Modelle im Allgemeinen ehrlicher sind, Roboter jedoch in Sprachen, mit denen sie weniger vertraut sind, wie Isländisch, deutlich anfälliger für Halluzinationen sind. Sie haben ihre „Fake-News"-Datensätze und ihre „Wahrheitsdetektoren" für jedermann zur Verfügung gestellt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.