On the Fundamental Impossibility of Hallucination Control in Large Language Models
Dieses Paper argumentiert, dass Halluzinationen in großen Sprachmodellen aufgrund inhärenter Kompromisse bei der Aggregation internen Wissens fundamental unvermeidbar sind, was beweist, dass externe Evidenz zwar die Unterstützung für eine Antwort verifizieren kann, jedoch kein interner Mechanismus die faktische Wahrheit garantieren oder die semantischen Ungleichgewichte lösen kann, die zu Falschdarstellungen führen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein riesiges Puzzle zu lösen, aber anstatt einer einzelnen Person arbeitet ein Team von Experten an einem Tisch. Jeder Experte hält nur wenige Teile des Bildes in den Händen und kann das gesamte Bild nicht sehen. Um das Puzzle zu lösen, müssen sie ihre besten Vermutungen darüber äußern, wie das fertige Bild aussehen sollte, und dann über die Antwort abstimmen. Das ist im Grunde die Art und Weise, wie moderne Künstliche Intelligenz, speziell Large Language Models (LLMs), funktioniert. Diese Modelle sind wie massive Teams digitaler „Experten“ (genannt Komponenten oder Attention Heads), von denen jeder ein winziges Fragment an Wissen in den Händen hält. Wenn Sie der KI eine Frage stellen, konkurrieren all diese Fragmente darum, die Antwort zu formen.
Lange Zeit haben Wissenschaftler und Ingenieure versucht, ein nerviges Problem zu beheben: Diese KI-Teams erfinden manchmal Dinge. Sie könnten Ihnen einen falschen Fakt mit vollkommener Überzeugung präsentieren – ein Glitch, der als „Halluzination“ bekannt ist. Menschen haben versucht, dies zu beheben, indem sie der KI besseres Training, mehr Daten gaben oder sie dazu brachten, ihre Arbeit zu überprüfen. Aber was, wenn das Problem nicht nur ein Bug ist, den man patchen kann? Was, wenn die Art und Weise, wie die KI aufgebaut ist, es unmöglich macht, gleichzeitig perfekt wahrheitsgetreu, perfekt selbstbewusst und perfekt kreativ zu sein? Dies ist die große Frage, die Michal P. Karpowicz in einem neuen Paper untersucht. Das Paper legt nahe, dass Halluzination nicht bloß ein Fehler ist, sondern ein grundlegender Kompromiss (Trade-off), vergleichbar mit dem Versuch, gleichzeitig an zwei Fliegen mit einer Klappe zu schlagen.
Die große Ideen-Auktion
Das Paper stellt sich das Gehirn der KI als einen geschäftigen Marktplatz vor, eine „Auktion der Ideen“. In dieser Auktion ist jeder kleine Teil der KI (wie ein spezifischer Attention Head oder ein Schaltkreis) ein Bieter. Jeder Bieter hält ein geheimes Stück Wissen und versucht, die Gruppe davon zu überzeugen, dass seine Version der Antwort die beste ist. Sie „bieten“, indem sie Signale senden, um den Output zu beeinflussen.
Der Autor beweist, dass diese Auktion manchmal an eine Wand stößt. Stellen Sie sich vor, zwei Bieter streiten über denselben Fakt. Der eine sagt: „Der Himmel ist blau“, und der andere sagt: „Der Himmel ist grün.“ Wenn die KI versucht, diese beiden gegensätzlichen Ansichten zu einer einzigen, selbstbewussten Antwort zu kombinieren, stößt sie auf eine mathematische Unmöglichkeit. Das Paper zeigt, dass man kein System haben kann, das vier Dinge gleichzeitig erfüllt:
- Die Wahrheit sagt (ehrlich berichtet, was es weiß).
- Informationen bewahrt (keine neuen Fakten aus dem Nichts erschafft).
- Alle teilhaben lässt (jedes relevante Stück Wissen nutzt, das es besitzt).
- Die beste Antwort gibt (auf die Zufriedenheit des Nutzers optimiert).
Das Paper beweist, dass, wenn die Bieter über denselben Fakt streiten, das System in einem dieser Ziele scheitern muss. Es ist wie ein Zaubertrick, bei dem man nicht drei Kaninchen aus einem Hut ziehen kann, wenn man nur zwei Kaninchen zur Verfügung hat. Man muss sich entscheiden: Entweder lügt die KI (sie erfindet ein Detail, um die Geschichte zu vervollständigen), oder sie wird übervorsichtig und gibt zu, dass sie etwas nicht weiß, oder sie ignoriert einen Teil des Wissens, das sie eigentlich besitzt. Es gibt kein „Gratis-Mittagessen“, bei dem die KI gleichzeitig perfekt ehrlich, perfekt selbstbewusst und perfekt hilfreich ist.
Die Konfidenz-Falle
Das Paper geht tiefer darauf ein, warum dies geschieht, und nutzt dafür einige kluge mathematische Ansätze. Es betrachtet, wie die KI die „Stimmen“ ihrer verschiedenen Teile kombiniert. Wenn die KI diese Stimmen zusammenzählt, um über eine Antwort zu entscheiden, wirkt sie oft selbstbewusster, als es jeder einzelne Teil von ihr tatsächlich ist.
Denken Sie an eine Gruppe von Wetterberichterstattern. Wenn Wetterberichterstatter A eine Regenwahrscheinlichkeit von 50 % angibt und Wetterberichterstatter B ebenfalls 50 %, aber beide auf unterschiedliche Wolken schauen, könnte die Gruppe am Ende sagen: „Es wird definitiv regnen!“ Die Mathematik zeigt, dass das Selbstvertrauen der Gruppe „manufactured“ (künstlich erzeugt) ist. Es ist eine zusätzliche Ebene der Gewissheit, die in den einzelnen Teilen gar nicht existierte. Dies ist das „übermäßige Selbstvertrauen“ (excess confidence), das zu Halluzinationen führt. Die KI lügt nicht unbedingt mit Absicht; es ist vielmehr so, dass die Art und Weise, wie sie Informationen kombiniert, ganz natürlich eine Lücke zwischen dem, was sie weiß, und dem, wie sicher sie klingt, erzeugt.
Können wir das beheben?
Das Paper ist sehr deutlich darüber, was es nicht sagt. Es behauptet nicht, dass die KI immer lügen wird oder dass wir niemals eine zuverlässige KI bauen können. Es besagt vielmehr, dass Halluzination eine strukturelle Grenze ist, vergleichbar mit der Lichtgeschwindigkeit oder der Ungewissheit einer rotierenden Münze. Man kann es nicht einfach durch „Training“ wegzaubern, wenn die Bedingungen der Auktion erfüllt sind.
Das Paper bietet jedoch einen Weg an, das Problem zu managen. Es schlägt vor, dass wir uns, anstatt zu versuchen, die KI perfekt wahrheitsgetreu zu machen (was unter diesen Bedingungen unmöglich ist), auf zertifizierbare Unterstützung (certifiable support) konzentrieren sollten. Stellen Sie sich vor, die KI ist ein Anwalt. Wir können nicht immer beweisen, ob die Geschichte des Anwalts die absolute Wahrheit ist, aber wir können prüfen, ob die Geschichte des Anwalts durch die Beweise gestützt wird, die ihm vorgelegt wurden.
Das Paper zeigt, dass wir, wenn wir der KI eine spezifische Menge an „autorisierten Beweisen“ geben (wie eine vertrauenswürdige Datenbank oder einen Satz Dokumente), mathematisch beweisen können, ob die Antwort der KI innerhalb der Grenzen dieser Beweise bleibt. Wenn die KI diese Grenzen überschreitet, wissen wir, dass sie in Bezug auf die Beweise halluziniert, selbst wenn wir nicht die absolute Wahrheit kennen. Dies verwandelt das Problem von „Ist das wahr?“ (was schwer zu prüfen ist) in „Wird das gestützt?“ (was überprüfbar ist).
Das Fazit
Dieses Paper ist ein Weckruf für die Welt der KI. Es sagt uns, dass die „Halluzination“, die wir bei der KI beobachten, nicht bloß ein Glitch ist, der mit mehr Daten oder besserem Code behoben werden kann. Es ist ein grundlegendes Merkmal der Art und Weise, wie diese Systeme Informationen aggregieren. Wenn verschiedene Teile der KI über dieselben Fakten streiten oder miteinander konkurrieren, muss das System eine Wahl treffen: ehrlich und schwach sein oder selbstbewusst und potenziell falsch liegen.
Der Autor schlägt vor, dass wir aufhören sollten, diesen Trade-off zu eliminieren, und statfangen sollten, ihn zu managen. Indem wir verstehen, dass das Selbstvertrauen der KI manchmal durch die Mathematik der Ideen-Kombination „erzeugt“ wird, können wir bessere Systeme bauen, die ihre Grenzen kennen. Wir können KIs entwerfen, die ehrlich darüber sind, was sie wissen und was sie nur vermuten, oder wir können Systeme bauen, die strikt an die Beweise gebunden sind, die wir ihnen geben. Das Paper verspricht keine perfekte KI, aber es liefert uns eine klare Karte der Mauern, damit wir aufhören, mit dem Kopf gegen sie zu rennen, und stattdessen anfangen, bessere Türen zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.