🤖 machine learning

Reliability Scales Inversely: Bigger Models Compound Mistakes Faster via a Hidden Auto-Regressive Risk Regime

Diese Arbeit zeigt auf, dass Sprachmodelle mit zunehmender Skalierung immer häufiger in ein sich selbst verstärkendes „autoregressives Risikoregime“ eintreten, in dem Fehler bei Token mit geringer Wahrscheinlichkeit selbstbewusste, anschwellende Halluzinationen auslösen, die länger anhalten, als die eigenen Unsicherheitssignale des Modells sie erkennen können, was letztlich dazu führt, dass größere Modelle Fehler schneller akkumulieren, ungeachtet ihres Gewinns an allgemeiner Leistungsfähigkeit.

Ursprüngliche Autoren: Kushal Chakrabarti

Veröffentlicht 2026-07-22

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kushal Chakrabarti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große KI-Paradoxon: Warum größer nicht immer besser ist

Stellen Sie sich vor, Sie bringen einem Roboter bei, Geschichten zu erzählen. In der Welt der künstlichen Intelligenz herrscht der langjährige Glaube, dass der Roboter schließlich perfekt wird, wenn man ihm nur mehr Gehirnschmalz, mehr Bücher zum Lesen und mehr Zeit zum Lernen gibt. Diese Idee nennt man „Scaling“ (Skalierung): Je größer das Modell, desto intelligenter wird es. Aber es gibt einen Haken. Wenn diese Roboter lange Geschichten schreiben, werden sie nicht einfach nur besser; manchmal werden sie im Verlauf der Geschichte sogar schlechter darin, der Wahrheit treu zu bleiben. Sie fangen vielleicht mit einer perfekten Tatsache an, aber dann erfinden sie versehentlich eine Lüge, und weil sie so überzeugt von dieser Lüge sind, bauen sie den Rest der Geschichte darauf auf und erschaffen so einen Schneeball aus Unsinn.

Um zu verstehen, warum das passiert, müssen wir uns ansehen, wie diese Roboter „denken“. Sie kennen keine Fakten so wie wir; sie sagen das nächste Wort in einem Satz basierend auf Mustern voraus, die sie zuvor gesehen haben. Wissenschaftler haben herausgefunden, dass ein Roboter, wenn er einen Fehler macht, dies nicht immer darauf zurückzuführen hat, dass er die Antwort nicht weiß. Manchmal kennt er die Antwort, rät aber trotzdem falsch. Sobald er diese falsche Vermutung anstellt, behandelt er sie als Fakt für den nächsten Satz. Dies wird als „Auto-Regression“ bezeichnet: Der Roboter speist seine eigene Ausgabe wieder in sich selbst ein. Die große Frage, die Forscher beschäftigt, lautet: Warum wird dieser Fehlerprozess schlimmer, wenn die Roboter größer werden, und warum können die Roboter nicht einmal erkennen, dass sie lügen?

Die große Entdeckung des Papers: Der unsichtbare Schneeball

Dieses Paper, geschrieben von Kushal Chakrabarti, stellt die Art und Weise, wie wir über KI-Zuverlässigkeit denken, auf den Kopf. Die zentrale Erkenntnis ist etwas kontraintuitiv: Wenn KI-Modelle größer werden, werden sie nicht nur intelligenter; sie werden auch besser darin, Fehler zu machen, die sich schneller häufen.

Stellen Sie sich ein KI-Modell wie einen Schüler vor, der eine lange, mehrteilige Prüfung ablegt.

Die alte Idee: Die „Wissenslücke“-Theorie besagt, dass ein Schüler eine Frage falsch beantwortet, weil er nicht genug gelernt hat. Die Lösung? Geb ihm eine größere Bibliothek (mehr Daten) und ein größeres Gehirn (mehr Parameter).
Die neue Entdeckung: Dieses Paper argumenttiert, dass bei sehr intelligenten Schülern (großen Modellen) das Problem nicht darin besteht, dass sie die Fakten nicht kennen. Es ist vielmehr, dass sie, sobald sie eine winzige, überzeugte Vermutung anstellen, die zufällig falsch ist, in ein „Risiko-Regime“ geraten. Sie bekennen sich zu dieser falschen Vermutung, und weil sie so selbstbewusst sind, merken sie nicht, dass sie falsch liegen. Sie nutzen diese falsche Vermutung dann, um die nächste Frage zu beantworten, was zu einer weiteren falschen Vermutung führt und so weiter. Je größer der Schüler, desto schneller wächst dieser Schneeball aus Lügen.

Das „Risiko“, das man nicht spüren kann

Um dies zu erklären, nutzen die Autoren einen cleveren mathematischen Trick, um die „Unsicherheit“ der KI in zwei Teile zu zerlegen:

Gefühlte Unsicherheit: Das ist das Gefühl der Nervosität der KI. Wenn sie rät, fühlt sie sich unruhig. Wenn sie sich sicher ist, fühlt sie sich ruhig.
Commitment-Risiko (Bindungsrisiko): Dies ist die verborgene Gefahr. Es ist die Lücke zwischen dem, was die KI für richtig hält, und dem, was ein „superintelligenter Orakel-Modell“ (ein perfektes Referenzmodell) als richtig weiß.

Hier ist der beängstigende Teil: Die KI kann nur ihre eigene Nervosität fühlen. Sie kann das „Commitment-Risiko“ nicht fühlen.

Stellen Sie sich vor, Sie gehen über eine Brücke.

Gefühlte Unsicherheit ist das Gefühl, wie sehr Ihre Knie zittern.
Commitment-Risiko ist die tatsächliche Distanz der Brücke zum Boden.

Wenn die KI einen Fehler macht (eine „Fabrikation“), hört ihr „Zittern“ (die gefühlte Unsicherheit) fast sofort auf. Sie fühlt sich ruhig und selbstbewusst. Aber die Brücke ist immer noch weit vom Boden entfernt! Das „Commitment-Risiko“ bleibt für lange Zeit hoch. Weil die KI sich ruhig fühlt, weiß sie nicht, dass sie sich noch in Gefahr befindet. Sie geht einfach selbstbewusst weiter, direkt über den Abgrund, und erschafft so eine Kette von Lügen.

Der „Schneeball“-Effekt

Das Paper zeigt, dass dies nicht nur ein einmaliger Fehler ist. Sobald die KI anfängt zu lügen, steigt die Wahrscheinlichkeit, im nächsten Satz erneut zu lügen, um das 1,08- bis 1,71-fache.

Kleine Modelle: Sie machen Fehler, aber sie verknüpfen sie nicht immer perfekt zu Ketten.
Große Modelle: Sie sind so gut darin, das nächste Wort vorherzusagen, dass sie, sobald sie einen falschen Pfad wählen, diesen mit extremem Selbstvertrauen verfolgen. Sie machen nicht nur einen Fehler; sie erzeugen eine Kette von Fehlern.

Die Autoren fanden heraus, dass während die Modelle skalieren (größer werden), die „Wissenslücke“ (wie viel sie nicht wissen) um etwa das 6-fache kleiner wird. Aber die „Wissensdegradation“ (wie schnell sie auseinanderfallen, sobald sie anfangen zu lügen) wird um das 11- bis 39-fache schlimmer. Mit anderen Worten: Größere Modelle sind besser darin, eine Geschichte korrekt zu beginnen, aber sie sind schrecklich darin, sie zu Ende zu führen, ohne Unsinn zu erfinden.

Warum kann die KI sich selbst nicht korrigieren?

Sie könnten fragen: „Warum überprüft die KI ihre eigene Arbeit nicht?“ Das Paper enthüllt einen blinden Fleck. Die meisten aktuellen Werkzeuge, die versuchen, KI-Lügen zu erkennen, schauen darauf, wie „nervös“ die KI ist (ihre gefühlte Unsicherheit).

Das Problem: Wenn die KI mit einer Lüge beginnt, fühlt sie sich für einen Sekundenbruchteil nervös und entspannt sich dann wieder. Die Detektionswerkzeuge sehen diese Entspannung und denken: „Oh, sie ist ruhig, also muss sie die Wahrheit sagen!“
Die Realität: Die KI ist zwar ruhig, befindet sich aber immer noch in der „Gefahrenzone“ (hohes Risiko). Die Detektionswerkzeuge übersehen die Lüge, weil sie nach Nervosität suchen, nicht nach dem verborgenen Risiko. Das Paper zeigt, dass diese Detektoren auf dem riskanten Zweig, auf dem die Lügen stattfinden, 30 % seltener anschlagen, obwohl dieser Zweig fast 4 Mal mehr Fabrikationen enthält als der ursprüngliche Fehler.

Die „magische Lösung“ (und was sie beweist)

Um zu beweisen, dass dieses „verborgene Risiko“ der wahre Übeltäter ist, führten die Autoren eine Simulation durch. Sie nahmen ein Modell, das kurz davor war, einen Fehler zu machen, und zwangen es künstlich dazu, weniger „riskant“ zu sein, ohne das zu ändern, was es für wahr hielt.

Das Ergebnis: Als sie dieses verborgene Risiko eliminierten, sank die Anzahl der Lügen bei verschiedenen Modelltypen um 35 % bis 74 %.
Was das bedeutet: Dies beweist, dass das Problem nicht darin besteht, dass die KI die Fakten nicht kennt. Es ist vielmehr, dass die KI in einen Zustand gerät, in dem sie zwar überzeugt, aber dennoch falsch liegt, und dass dieser Zustand dazu führt, dass sich die Fehler häufen.

Das Fazit

Dieses Paper legt nahe, dass es nicht ausreicht, KI-Modelle einfach nur größer zu machen, um ihr Lügeproblem zu lösen. Tatsächlich könnten größere Modelle sogar anfälliger für diese „Schneeball-Lügen“ sein, weil sie zu schnell ein hohes Selbstvertrauen entwickeln. Die Lösung besteht nicht nur in mehr Daten, sondern darin, einen Weg zu finden, dieses verborgene „Commitment-Risiko“ zu erkennen, bevor die KI sich in einer Lüge festlegt. Bis wir in der Lage sind zu sehen, dass die Brücke weit vom Boden entfernt ist, wird selbst die intelligenteste KI selbstbewusst direkt über den Abgrund laufen.

Technisches Resümee: Zuverlässigkeit skaliert invers

Problemstellung

Die vorherrschende Sichtweise auf Halluzinationen in Large Language Models (LLMs) betrachtet diese als „Wissenslücke“ – ein Defizit an Information, das durch Skalierung, Retrieval oder zusätzliche Daten geschlossen werden kann. Dieses Paper stellt diese Sichtweise infrage und argumentiert, dass Skalierung zwar das initiale Wissen verbessert (die „Wissenslücke“ verringert), gleichzeitig aber die Zuverlässigkeit untergräbt, indem sie einen distinkten Fehlermodus verstärkt: das autoregressive Risiko.

Das Kernproblem besteht darin, dass Modelle mit zunehmender Skalierung nicht bloß akkurater werden; sie werden anfälliger für eine spezifische Art von sich kumulierendem Fehler. Wenn ein Modell sich auf ein niedrig wahrscheinliches, ungestütztes Token festlegt (eine Fabrikation), konditioniert dies die nachfolgenden Generationen auf diesen Fehler. Dieser Prozess verwandelt transiente Sampling-Varianz in persistente Bias. Entscheidend ist, dass dieser Fehlermodus für die eigenen Selbstüberwachungsmechanismen des Modells strukturell unsichtbar ist, da diese auf der internen Wahrscheinlichkeitsverteilung des Modells ( $p_M$ ) basieren und nicht auf einem externen Orakel.

Methodik

Die Autoren führen einen theoretischen Rahmen ein, der auf einer Disagreement-Variable ( $\delta$ ) basiert, definiert als das Log-Likelihood-Verhältnis zwischen der Verteilung des Modells ( $p_M$ ) und einem stärkeren Orakel derselben Familie ( $p_O$ ):
$\delta_t(x) = \log p_M(x | y_{<t}) - \log p_O(x | y_{<t})$

Das zweite Moment dieser Variable, $E[\delta^2]$ , wird in zwei distinkte Komponenten zerlegt:

Bias ( $Bias^2$ ): Das quadrierte Mittel, $KL(p_M \| p_O)^2$ , welches die systematische Differenz zwischen dem Modell und dem Orakel darstellt.
Risiko ( $Var[\delta]$ ): Die Varianz der Disagreement, welche die Streuung darüber repräsentiert, wie das Orakel die vom Modell in Betracht gezogenen Kandidaten gewichtet.

Das Paper nutzt drei primäre experimentelle Ansätze über mehrere Modellfamilien (Qwen3, OLMo-3, Llama-3) und Skalierungen (0.6B bis 32B) hinweg:

Skalierungsanalyse: Messung der „Wissenslücke“ (initiale Halluzinationsrate) versus „Wissensdegradation“ (die Rate der Halluzinationszunahme über die Länge einer Antwort) unter Verwendung von FActScore und LongFact++ Benchmarks.
Onset-Dynamik: Analyse des zeitlichen Verhaltens von $\delta$ , seinen Momenten und der empfundenen Unsicherheit des Modells ( $H(p_M)$ ) unmittelbar nach dem Einsetzen einer Fabrikation.
Kausale Intervention (In Silico Knockout): Implementierung eines „Risiko-Kontraktionsmechanismus“. An den Schritten, an denen das Modell vom Orakel divergiert, wird die Next-Token-Verteilung des Modells so modifiziert, dass die Varianz von $\delta$ reduziert wird, während der Mittelwert (KL-Divergenz) strikt erhalten bleibt. Dies isoliert den kausalen Effekt des Risikos von der Bias.

Zentrale Beiträge

1. Die Dekomposition des Fehlers

Das Paper etabliert, dass Halluzination nicht ausschließlich eine Funktion der Wissenslücke (Bias) ist. Es identifiziert Risiko ( $Var[\delta]$ ) als einen dominanten, distinkten Fehlerterm. Während Skalierung den Bias reduziert (das Modell nähert sich im Durchschnitt dem Orakel an), gelingt es nicht, das Risiko (die Streuung der Disagreement) zu reduzieren, welches mit wachsender Modellgröße tatsächlich einen größeren Anteil am Gesamtfehler einnimmt.

2. Die Persistenz-Asymmetrie

Ein kritischer Befund ist die Divergenz zwischen „empfundener Unsicherheit“ und „orakel-referenziertem Risiko“ nach einer Fabrikation:

Empfundene Unsicherheit ( $H(p_M)$ ): Die interne Unsicherheit des Modells steigt im Moment der Fabrikation stark an, entspannt sich jedoch sehr schnell (innerhalb von ~0,3 Tokens), sobald die Generierung wieder flüssig wird.
Orakel-referenziertes Risiko ( $Var[\delta]$ ): Das Risiko, das mit dem begangenen Fehler einhergeht, bleibt signifikant länger bestehen (3,5–5,0 Tokens).
Dies schafft ein Regime von „selbstbewusster, aber prekärer“ Generierung, in dem das Modell Sicherheit empfindet, aber statistisch gesehen vom Wahrheitsgehalt divergiert – ein Zustand, den Selbstüberwachungsdetektoren nicht erkennen können, da diese nur $H(p_M)$ lesen.

3. Autoregressive Konvertierung und Schneeballeffekt

Das Paper demonstriert, dass Autoregression als eine Maschine fungiert, die diese persistente Varianz in einen fixen Bias umwandelt. Sobald ein Modell ein ungestütztes Token sampelt, kollabiert das Risiko in eine feste Lücke, die von allen nachfolgenden Tokens geerbt wird. Dies führt zu Fehler-Kumulation (Error Compounding): Das relative Risiko einer nachfolgenden Fabrikation steigt monoton mit der Skalierung (von 1,08× auf 1,71×), was bedeutet, dass größere Modelle wahrscheinlicher dazu neigen, Halluzinationsketten zu bilden.

4. Strukturelle Blindheit der Selbstüberwachung

Detektoren, die rein auf der Verteilung des Modells ( $p_M$ ) basieren, wie etwa Semantic Entropy oder SelfCheckGPT, sind gegenüber diesem Risiko-Regime strukturell blind. Das Paper zeigt, dass diese Detektoren in den „Brücken-Tokens“ zwischen Fabrikationen signifikant seltener anschlagen (ca. 30 % weniger), obwohl diese Tokens fast 4× mehr Halluzinationen tragen als die Onset-Tokens. Die Detektoren übersehen den „prekären“ Zweig, weil die interne Unsicherheit des Modells bereits wieder abgeklungen ist.

Zentrale Ergebnisse

Inverse Skalierung der Zuverlässigkeit: Über verschiedene Modellfamilien hinweg reduziert die Skalierung die initiale Wissenslücke um den Faktor 5,7–7,0×, erhöht aber die Wissensdegradation (die Rate der Fehlerakkumulation) um den Faktor 11–39×. Fähigkeit (Capability) und Zuverlässigkeit (Reliability) werden als distinkte Skalierungsachsen ausgewiesen.
Dominanz des Risikos: Mit zunehmender Skalierung steigt der Anteil des Fehlers, der dem Risiko (Varianz) zuzuschreiben ist, von 31 % auf 49 % des gesamten quadrierten Fehlers. Auch der Tail der Disagreement-Verteilung wird schwerer (die exzessive Kurtosis steigt von 8,9 auf 33,0).
Kausale Reduktion von Halluzinationen: Durch Anwendung der Risiko-Kontraktions-Intervention (Reduktion der Varianz bei konstantem Bias) konnten die Autoren web-verifizierte Halluzinationen über drei Modellfamilien hinweg um 35–74 % kausal reduzieren. Dies bestätigt, dass die kumulierende Größe die Varianz ist, nicht das Wissen.
Versagen der Detektoren: Semantic-Entropy-Detektoren zeigten sich im Vergleich zum Onset-Regime signifikant weniger sensitiv gegenüber dem „Brücken-Regime“ (dem Zustand zwischen Fabrikationen), was statistisch hochsignifikant ist ( $p < 10^{-16}$ ).

Bedeutung und Behauptungen

Das Paper beansprucht, das Verständnis von LLM-Halluzinationen von einem statischen Wissensdefizit hin zu einem dynamischen, sich selbst perpetuierenden Risiko-Regime neu zu definieren. Die primäre Bedeutung liegt in:

Mechanistischer Kausalität: Bereitstellung des ersten On-Policy-Kausalnachweises, dass die Kontraktion der Varianz der Modell-Orakel-Lücke (oh%ne den Mittelwert zu ändern) Halluzinationen direkt reduziert, was beweist, dass das „Risiko“ der Treiber für kumulierende Fehler ist.
Die Grenzen der Skalierung: Aufzeigen, dass die bloße Skalierung von Modellen das Problem der Zuverlässigkeit nicht löst; tatsächlich können größere Modelle aufgrund der Verschärfung des Risiko-Tails anfälliger für spezifische Arten von kumulierenden Fehlern sein.
Der blinde Fleck: Hervorheben, dass aktuelle Selbstüberwachungstechniken fundamental limitiert sind, da sie den Risiko-Term ( $Var[\delta]$ ) nicht „sehen“ können, welcher genau der Mechanismus ist, der nachfolgende Fabrikationen antreibt.

Die Autoren kommen zu dem Schluss, dass Zuverlässigkeit eine separate Skalierungsachse ist, die neue Interventionen erfordert, die auf die Varianz der Modell-Commitment abzielen, statt lediglich das mittlere Wissen zu verbessern oder auf selbstberichtete Unsicherheit zu vertrauen. Der dominante Fehlermodus wird als „für das Modell selbst unsichtbar“ beschrieben, was externe oder White-Box-Signale zur effektiven Minderung notwendig macht.