Hallucination as Commitment Failure: Larger LLMs Misfire Despite Knowing the Answer
Dieser Beitrag wendet sich gegen die Auffassung, dass Halluzinationen ausschließlich auf fehlendes Wissen zurückzuführen sind, und zeigt auf, dass größere, auf Instruktionen feinabgestimmte LLMs häufig halluzinieren, weil sie es versäumen, sich für ein bereits in ihrer Wahrscheinlichkeitsverteilung vorhandenes korrektes Konzept zu entscheiden, und stattdessen aufgrund eines skalenabhängigen Schärfungsmechanismus, der sowohl Hilfsbereitschaft als auch selbstbewusste Fehler antreibt, ihre Wahrscheinlichkeitsmasse auf Alternativen verteilen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Es geht nicht darum, „etwas nicht zu wissen"
Die meisten Menschen denken, dass AI-Halluzinationen (wenn eine KI sich Dinge ausdenkt) daher rühren, dass die KI die Antwort schlichtweg nicht kennt. Die Idee lautet: Wenn die KI den Fakt kennt, sagt sie die Wahrheit. Wenn nicht, rät sie.
Dieses Paper argumentiert, dass dies falsch ist.
Die Forscherinnen und Forscher stellten fest, dass die KI die Antwort oft sehr wohl kennt. Sie hat die korrekte Information „im Kopf", genau in dem Moment, in dem sie zu sprechen beginnt. Dennoch entscheidet sie sich, das Falsche zu sagen. Sie nennen dies einen „Commitment Failure" (ein Versagen der Verpflichtung).
Die Analogie: Der nervöse Koch
Stellen Sie sich einen sehr talentierten Koch (die KI) vor, der gefragt wird: „Was ist die Hauptstadt von Frankreich?"
- Die alte Theorie: Wenn der Koch die Antwort nicht kennt, rät er „London". Wenn er sie kennt, sagt er „Paris".
- Die neue Theorie (dieses Paper): Der Koch weiß, dass die Antwort Paris ist. Tatsächlich denkt er so intensiv über „Paris" nach, dass sein Gehirn von diesem Wort vibriert. Aber weil er über „Paris" auf so viele verschiedene Arten gleichzeitig nachdenkt (z. B. „Paris", „paris", „die Stadt des Lichts", „Frankreichs Hauptstadt"), wird sein Gehirn verwirrt.
- Er hat ein starkes Gefühl für „Paris", aber es ist auf all diese verschiedenen Phrasen verteilt.
- Gleichzeitig hat er einen sehr scharfen, fokussierten Gedanken an „London" (vielleicht weil er zuvor ein Bild des Big Ben gesehen hat).
- Obwohl das „Paris"-Gefühl insgesamt stärker ist, gewinnt der „London"-Gedanke das Rennen zu seinem Mund, weil er so scharf und konzentriert ist. Er platzt mit „London" heraus, selbstbewusst, obwohl er wusste, dass es Paris war.
Wie sie dies entdeckten
Die Forscherinnen und Forscher untersuchten, wie KI-Modelle „denken", bevor sie sprechen. Sie konzentrierten sich auf das allererste Wort, das die KI generiert (der „Commitment-Schritt").
Sie führten eine neue Methode zur Messung dessen, was die KI weiß, ein, genannt Semantic Probability Mass (semantische Wahrscheinlichkeitsmasse).
- Alter Weg: Hat die KI das exakt richtige Wort gewählt? (Hat sie „Paris" gesagt?)
- Neuer Weg: Hatte die KI ein starkes Gefühl für das Konzept Paris, auch wenn es zwischen „Paris", „paris" und „die Stadt des Lichts" aufgeteilt war?
Die Ergebnisse:
- Sie testeten viele KI-Modelle (von kleinen bis zu riesigen).
- Sie stellten fest, dass 16 % bis 47 % der Zeit, in der die KI einen Fehler machte, sie tatsächlich ein starkes „Gefühl" für die richtige Antwort hatte.
- Die Wendung: Je größer das KI-Modell war, desto häufiger trat dies auf. Größere Modelle wussten nicht nur mehr; sie machten mehr dieser spezifischen Fehlerarten, bei denen sie die Antwort kannten, sie aber trotzdem falsch darstellten.
Warum passiert das? (Der „Verstärkungseffekt")
Das Paper legt nahe, dass Instruction Tuning (das Trainieren der KI, hilfreich zu sein und Regeln zu befolgen) verändert, wie die KI denkt.
Stellen Sie sich das Gehirn der KI als eine Landschaft aus Hügeln und Tälern vor.
- Vor dem Training: Die Hügel sind flach und verschwommen. Die KI ist unsicher.
- Nach dem Training: Die KI wird sehr entscheidend. Sie verwandelt ihre Gedanken in scharfe, hohe Spitzen.
- Wenn die KI richtig liegt, ist die Spitze für die richtige Antwort so hoch und scharf, dass sie leicht gewinnt.
- Aber, manchmal gerät die KI in Verwirrung. Die „richtige" Antwort ist in viele kleine, flache Hügel aufgeteilt (weil sie über „Paris", „paris", „Frankreich" usw. nachdenkt). Gleichzeitig ist die „falsche" Antwort eine einzelne, unglaublich scharfe, hohe Spitze.
- Der Entscheidungsprozess der KI ist wie ein Ball, der einen Hügel hinunterrollt. Er rollt immer in Richtung des schärfsten Punkts. Selbst wenn die „richtige" Seite mehr gesamte „Hügelfläche" hat, hat die „falsche" Seite den schärfsten Gipfel, also rollt der Ball dorthin.
Die zwei Arten von Fehlern
Die Forscherinnen und Forscher fanden zwei Wege, auf denen dieser „Commitment Failure" auftritt:
- Das falsche erste Wort: Die KI beginnt den Satz sofort mit dem falschen Wort (z. B. „Moskau" statt „Paris"), obwohl sie ein starkes Gefühl für Paris hatte.
- Der falsche Pfad: Die KI beginnt mit dem richtigen Wort (z. B. „Paris"), gerät aber sofort in den nächsten paar Worten vom Kurs ab und verwandelt „Paris" in eine Geschichte über eine andere Stadt.
Die „Alignment-Steuer"**
Das Paper kommt zu dem Schluss, dass dies eine Nebenwirkung davon ist, KI-Modelle „hilfreich" zu machen.
- Um eine KI selbstbewusst und schnell zu machen, trainieren wir sie, sehr entscheidend zu sein (scharfe Spitzen).
- Das funktioniert großartig, wenn die KI richtig liegt.
- Aber wenn die KI leicht verwirrt ist, macht dieselbe „Entschlossenheit" sie selbstbewusst falsch. Sie zögert nicht, die falsche Antwort zu wählen, weil ihr Gehirn so gut darin ist, die „schärfste" Option zu wählen, selbst wenn diese Option falsch ist.
Zusammenfassung
- Halluzinationen sind nicht immer Unwissenheit. Manchmal kennt die KI die Antwort, scheitert aber daran, sich darauf zu „verpflichten".
- Größere Modelle sind nicht perfekt. Je größer die Modelle werden, desto besser werden sie darin, entscheidend zu sein, was sie ironischerweise anfälliger dafür macht, selbstbewusst falsch zu liegen.
- Das Problem ist die Verteilung. Die KI verteilt ihr „Wissen" über die richtige Antwort zu dünn auf viele Variationen, während die falsche Antwort den ganzen Fokus auf einen scharfen Punkt bekommt. Die KI wählt den scharfen Punkt, nicht die richtige Antwort.
Das Paper schlägt vor, dass wir, um dies zu beheben, die KI möglicherweise lehren müssen, auf das „ganze Konzept" zu schauen (alle Möglichkeiten, „Paris" zu sagen), anstatt nur das einzelne schärfste Wort auszuwählen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.