💬 NLP

Halluverse-M^3: A multitask multilingual benchmark for hallucination in LLMs

Dieses Paper stellt Halluverse-M^3 vor, einen mehrsprachigen und multitatischen Benchmark-Datensatz, der Englisch, Arabisch, Hindi und Türkisch abdeckt und systematisch zwischen Entitäts-, Relations- und Satzebenen-Halluzinationen in großen Sprachmodellen differenziert, wobei es signifikante Leistungsunterschiede über Sprachen und Aufgaben hinweg aufzeigt.

Ursprüngliche Autoren: Samir Abdaljalil, Parichit Sharma, Erchin Serpedin, Hasan Kurban

Veröffentlicht 2026-02-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Samir Abdaljalil, Parichit Sharma, Erchin Serpedin, Hasan Kurban

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine Gruppe von sehr intelligenten, belesenen Robotern (Large Language Models), die Geschichten schreiben, Fragen beantworten und Gespräche in vielen verschiedenen Sprachen zusammenfassen können. Diese Roboter sind erstaunlich, aber sie haben eine eigenartige Angewohnheit: Manchmal erfinden sie selbstbewusst Dinge dazu. Sie könnten eine fiktive Person erfinden, verwechseln, wer was getan hat, oder ein ganz neues Ereignis hinzufügen, das nie stattgefunden hat. In der Fachwelt nennen wir das „Halluzination“.

Das von Ihnen bereitgestellte Paper stellt ein neues Werkzeug namens HalluVerse-M3 vor. Denken Sie an dieses Werkzeug als ein riesiges, mehrsprachiges „Finde den Unterschied“-Spiel, das speziell darauf ausgelegt ist, zu testen, wie gut diese Roboter darin sind, ihre eigenen Lügen zu entlarven.

Hier ist eine Aufschlüsselung dessen, was die Forscher getan und gefunden haben, unter Verwendung einfacher Analogien:

1. Das Problem: Der „selbstbewusste Lügner“

Bisher haben Forscher diese Roboter hauptsächlich auf Englisch getestet und ihnen nur einfache Ja/Nein-Fragen gestellt oder untersucht, ob eine ganze Geschichte wahr oder falsch war. Es war, als würde man einen Koch nur darauf testen, wie gut er Zwiebeln hacken kann, aber niemals fragen, ob er auch einen Kuchen backen kann. Wir wussten nicht, ob sie komplexe Aufgaben bewältigen oder ob sie in anderen Sprachen wie Arabisch, Hindi oder Türkisch anders lügen würden.

2. Die Lösung: HalluVerse-M3 (Der „Lügendetektor“-Datensatz)

Die Autoren haben einen massiven Datensatz (eine Sammlung von Testfällen) erstellt, um dies zu beheben.

Vier Sprachen: Sie haben die Roboter in Englisch, Arabisch, Hindi und Türkisch getestet.
Zwei Aufgaben: Sie haben den Robotern nicht nur Fragen gestellt; sie haben sie auch gebeten, lange Gespräche zusammenzufassen (so wie man sich Notizen zu einem Meeting macht).
Drei Arten von Lügen: Sie haben nicht einfach nur gesagt „das ist eine Lüge“. Sie haben die Lügen in drei spezifische Kategorien unterteilt:
- Der falsche Name (Entität): Der Roboter sagt „Elon Musk kaufte Twitter“, obwohl es eigentlich „Jack Dorsey“ war. (Die Person ist falsch).
- Die falsche Verbindung (Relation): Der Roboter sagt „Elon Musk erfand Twitter“, obwohl er es eigentlich kaufte. (Die Handlung ist falsch).
- Die erfundene Geschichte (Satz): Der Roboter fügt einen ganzen neuen Absatz darüber hinzu, dass Elon Musk einen Nobelpreis gewonnen hat, was nie passiert ist. (Die ganze Idee ist gefälscht).

Wie sie es erstellt haben: Sie nahmen echte, wahre Antworten und nutzten einen Computer, um gezielt einen Namen auszutauschen, ein Verb zu ändern oder einen falschen Satz hinzuzufügen. Dann überprüften echte menschliche Experten die Arbeit, um sicherzustellen, dass die „Lügen“ klar und die „Wahrheit“ solide waren.

3. Der Test: Die Roboter zur Arbeit stellen

Die Forscher nahmen eine Reihe der klügsten verfügbaren Roboter (sowohl kostenlose Open-Source-Modelle als auch teure, private wie GPT-4) und baten sie, ein Paar Texte zu betrachten: die ursprüngliche Wahrheit und die „halluzinierte“ Version. Die Roboter mussten darauf hinweisen: „Welche Art von Lüge ist das?“

4. Die Ergebnisse: Was die Roboter richtig (und falsch) gemacht haben

Die Ergebnisse waren wie ein Zeugnis für die Roboter:

Die einfachste Aufgabe: Beantwortung von Fragen. Wenn die Roboter nur eine spezifische Frage beantworteten, waren sie ziemlich gut darin, Lügen zu erkennen. Es ist, als würde man einen Tippfehler in einer kurzen Textnachricht finden.
Die schwierigste Aufgabe: Zusammenfassung von Gesprächen. Wenn die Roboter eine lange Unterhaltung zusammenfassen mussten, hatten sie viel mehr Schwierigkeiten. Es ist, als würde man versuchen, eine einzige falsche Zutat in einer komplexen Suppe zu finden; die Lügen verstecken sich in der Mitte langer Sätze.
Die schwierigste Lüge: Lügen auf Satzebene. Selbst die klügsten Roboter hatten Schwierigkeiten zu erkennen, wenn eine ganz neue, falsche Geschichte hinzugefügt wurde. Sie konnten leicht einen falschen Namen erkennen, aber das Erfinden eines plausibel klingenden, gefälschten Ereignisses war für sie sehr schwer zu entdecken.
Die Sprachlücke: Die Roboter waren am besten in Englisch (ihrer „Heimat-Sprache“). Sie wurden schlechter, je schwieriger die Sprachen wurden oder je weniger Ressourcen für das Training zur Verfügung standen. Hindi war am schwierigsten für sie; sie machten die meisten Fehler beim Erkennen von Lügen in Hindi.
Open vs. Closed: Die super-teuren, privaten Roboter (wie GPT-4) waren im Allgemeinen besser als die kostenlosen Open-Source-Modelle, aber der Abstand war bei einfachen Fragen nicht groß. Jedoch bei der Zusammenfassung zogen die teuren Roboter signifikant davon.

5. Warum das wichtig ist

Das Paper kommt zu dem Schluss, dass diese Roboter zwar klüger werden, aber immer noch nicht perfekt darin sind, ihre eigenen subtilen Fehler zu erkennen, insbesondere wenn sie komplexe Informationen zusammenfassen oder in Sprachen außer Englisch sprechen.

HalluVerse-M3 ist nun ein öffentliches Werkzeug, das andere Forscher nutzen können, um bessere „Lügendetektoren“ für KI zu bauen. Es ist ein realistisches, herausforderndes Fitnessstudio, in dem diese Roboter trainieren können, um aufzuhören, Fakten zu erfinden, damit sie sicherstellen, dass sie die Wahrheit sagen, wenn sie mit uns sprechen.

Kurz gesagt: Die Autoren haben ein mehrsprachiges „Finde den Fake“-Spiel gebaut, um zu zeigen, dass KI gut darin ist, einfache Fehler zu finden, aber immer noch Schwierigkeiten hat, komplexe Lügen zu entlarven, insbesondere bei Zusammenfassungen und in nicht-englischen Sprachen.

Technisches Resümee: HalluVerse-M3

Problemstellung

Große Sprachmodelle (LLMs) generieren häufig kohärenten Text, dem es an faktischer Fundierung mangelt – ein Phänomen, das als Halluzination bekannt ist. Dieses Problem birgt erhebliche Risiken in missionskritischen Bereichen wie dem Gesundheitswesen, dem Recht und der unternehmerischen Entscheidungsfindung. Während die jüngste Forschung Datensätze zur Analyse von Halluzinationen hervorgebracht hat, leiden bestehende Ressourcen unter drei primären Einschränkungen:

Sprachliche Voreingenommenheit (Language Bias): Sie konzentrieren sich überwiegend auf Englisch, was das Verständnis von Halluzinationsmustern in anderen linguistischen Kontexten einschränkt.
Grobe Granularität: Die meisten behandeln Halluzination als ein binäres Phänomen (faktisch vs. halluziniert), wodurch die Vielfalt der Fehlertypen (z. B. Entitätsersetzung vs. Relationsverzerrung) verschleiert wird.
Aufgabenspezifität: Ressourcen befassen sich typischerweise mit einzelnen Generierungstätigkeiten, was einen systematischen Vergleich über verschiedene Anwendungskontexte wie Fragenbeantwortung (Question Answering) und Zusammenfassung (Summarization) hinweg erschwert.

Infolgedessen mangelt es an vereinheitlichten Frameworks, die in der Lage sind, feingranulare Halluzinationen über mehrere Sprachen und Aufgaben hinweg zu analysieren.

Methodik

Die Autoren führen HalluVerse-M3 ein, einen Datensatz, der darauf ausgelegt ist, eine systematische Analyse von Halluzinationen durch eine kontrollierte Konstruktionspipeline zu ermöglichen.

Datensatzkonstruktion

Sprachen und Aufgaben: Der Datensatz deckt vier Sprachen (Englisch, Arabisch, Hindi, Türkisch) und zwei Generierungstätigkeiten ab: Fragenbeantwortung (QA) und Dialog-Zusammenfassung (DS).
Quelldaten:
- QA: Abgeleitet von einem faktischen QA-Datensatz von Lin et al. [2022], unter Verwendung von Referenzantworten, die auf verifizierbaren Belegen basieren.
- DS: Abgeleitet vom DialogSum-Datensatz [Chen et al., 2021], mit Fokus auf Zusammenfassungen konkreter Ereignisse und Entitäten.
Mehrsprachige Vorbereitung: Englisch dient als Quelle. Parallele Ausgaben für Arabisch, Hindi und Türkisch wurden mittels automatischer Übersetzung (Google Translate API) generiert, gefolgt von einer strengen manuellen Verifizierung durch Muttersprachler, um grammatikalische Korrektheit und semantische Treue sicherzustellen.
Halluzinations-Injektion: Ein kontrollierter Bearbeitungsprozess wurde angewandt, um aus Referenzausgaben ( $y^*$ $y^{*}$ ) halluzinierte Ausgaben ( $\tilde{y}$ $\tilde{y}$ ) zu erstellen. Dieser Prozess beinhaltet:
- Das Entfernen oder Ändern spezifischer Referenz-Propositionen ( $\Delta^-$ ).
- Das Einführen von genau einer neuen, nicht unterstützten Proposition ( $\Delta^+$ ), sodass $|\Delta^+| = 1$ .
- Sicherstellung, dass die neue Proposition nicht durch die Referenz gestützt wird ( $\Delta^+ \cap P(y^*) = \emptyset$ ).
Feingranulare Annotation: Der Datensatz unterscheidet zwischen drei sich gegenseitig ausschließenden Halluzinationstypen basierend auf der Natur der injizierten Proposition $p^+$ $p^{+}$ :
1. Entitäts-Ebene (Entity-level): Das Prädikat und die Attribute stimmen mit der Referenz überein, aber mindestens ein Entitätsargument weicht ab.
2. Relations-Ebene (Relation-level): Die Entitätsargumente stimmen überein, aber das Prädikat (Relation) oder die Attribute (z. B. zeitliche Abfolge, Kausalität) weichen ab.
3. Satz-Ebene (Sentence-level): Die Proposition hat keine korrespondierende Referenz-Proposition; es handelt sich um eine unverankerte Aussage.
Validierung: Zwei Muttersprachler pro Sprache annotierten die Daten unabhängig. Instanzen mit grammatikalischen Fehlern oder unklaren Halluzinationen wurden als Null (0) markiert und ausgeschlossen. Die Übereinstimmung zwischen den Annotatoren war substanziell bis nahezu perfekt (Cohen's $\kappa$ im Bereich von 0,74 bis 0,83).

Experimentelles Setup

Die Autoren evaluierten eine diverse Auswahl von 14 zeitgenössischen LLMs (sowohl Open-Source als auch proprietär) im Hinblick auf die Aufgabe der feingranularen Halluzinationserkennung.

Modelle: Umfassten Phi-4, Mistral-7B, Qwen-2.5 Varianten, Gemma-2, LLaMA-3.3, DeepSeek-V2.5, PaLM 2, Claude-3.5, Gemini-2.5 und GPT-4 Varianten.
Protokoll: Die Evaluierung erfolgte ausschließlich mittels Prompting (kein Fine-Tuning). Die Modelle wurden angewiesen, den Hallusionstyp (Entität, Relation oder Satz) zu identifizieren, gegeben ein Paar aus Original- und halluzinierter Ausgabe.
Metriken: Die Genauigkeit (Accuracy) wurde als primäre Metrik berichtet, analysiert über Aufgaben, Sprachen und Hallusionstypen hinweg.

Kernergebnisse

Die Evaluierung lieferte mehrere konsistente Trends hinsichtlich der Modellleistung:

Aufgabenschwierigkeit: Fragenbeantwortung (QA) ist für Modelle konsistent einfacher zu evaluieren als Dialog-Zusammenfassung (DS). Dies wird auf die lokalisierte Natur der Fehler in QA im Gegensatz zur diffusen, kontextabhängigen Natur von Halluzinationen in der Zusammenfassung zurückgeführt.
Schwierigkeit der Hallusionstypen: Es existiert ein klarer Leistungsgradient über die Hallusionstypen hinweg:
- Entitäts-Ebene: Am einfachsten zu erkennen. Frontier-Modelle (z. B. GPT-4o) erreichten eine Genauigkeit von >90 % in QA.
- Relations-Ebene: Moderat schwierig, erfordert tieferes semantisches Denken.
- Satz-Ebene: Am anspruchsvollsten. Selbst die stärksten Modelle hatten Schwierigkeiten, wobei die Genauigkeit in Zusammenfassungsaufgaben oft auf 50–65 % sank.
Spracheffekte: Die Leistung ist in Englisch am höchsten und sinkt in ressourcenärmeren Sprachen. Hindi wies konsistent die niedrigste Erkennungsgenauigkeit auf, insbesondere bei Zusammenfassungsaufgaben.
Modellvergleich: Proprietäre Modelle übertrafen Open-Source-Systeme im Allgemeinen, obwohl größere Open-Source-Modelle (z. B. DeepSeek-V2.5, LLaMA-3.3-70B) in QA wettbewerbsfähig waren. GPT-4o erzielte die insgesamt stärkste Leistung, was wahrscheinlich auf seine Beteiligung am Prozess der Hallusions-Injektion zurückzuführen ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass HalluVerse-M3 einen realistischen und anspruchsvollen Benchmark für die Untersuchung von Halluzinationen in multilingualen, multi-tasking Settings bietet. Seine Bedeutung liegt in:

Granularität: Der Übergang von der binären Klassifizierung zur Unterscheidung zwischen Fehlern auf Entitäts-, Relations- und Satz-Ebene.
Mehrsprachiger Umfang: Bereitstellung einer seltenen Ressource zur Analyse von Hallutionsmustern in typologisch diversen Sprachen (Englisch, Arabisch, Hindi, Türkisch).
Aufgabenvielfalt: Ermöglichung kontrollierter Vergleiche zwischen fundierten Aufgaben (QA) und abstraktiven Aufgaben (Zusammenfassung).

Die Autoren kommen zu dem Schluss, dass während aktuelle Frontier-Modelle eine starke Leistung bei der Erkennung von Fehlern auf Entitätsebene in QA zeigen, Satz-Ebene-Halluzinationen in generativen Aufgaben weiterhin ein offenes Problem darstellen, selbst für die fortschrittlichsten Modelle. Der Datensatz wird veröffentlicht, um die zukünftige Forschung in der Detektion und Mitigation zu unterstützen, wobei die Notwendigkeit betont wird, Methoden zu entwickeln, die über oberflächliche Merkmale hinausgehen und zu einer tieferen semantischen Fundierung führen.

Ethische Erwägungen

Der Datensatz enthält bewusst fabrikierte Informationen. Die Autoren weisen auf das Risiko des Missbrauchs hin, um Systeme für die Erzeugung irreführender Inhalte zu trainieren. Um dies zu mildern, wird der Datensatz unter einer CC BY-NC 4.0 Lizenz nur für die nicht-kommerzielle Forschung veröffentlicht, wobei halluzinierte Instanzen und deren Typen explizit gekennzeichnet sind. Die Überprüfung der Inhaltsicherheit ergab ein geringes Vorkommen von beleidigender Sprache.