💬 NLP

Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models

Dieser Artikel hinterfragt die vorherrschende Annahme eines exponentiellen Zuverlässigkeitsabfalls bei großen Sprachmodellen, indem er nachweist, dass Fehler auf spärlich verteilte „Schlüssel-Token" konzentriert sind, und schlägt ein neues Rahmenwerk vor, das die strategische Bewahrung und dynamische Berechnung an kritischen Entscheidungspunkten priorisiert, um eine nachhaltige Kohärenz im Langkontext ohne proportionale Skalierung zu erreichen.

Ursprüngliche Autoren: Mikhail L. Arbuzov, Sisong Bei, Ziwei Dong, Dmitri Kalaev, Alexey A. Shvets

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mikhail L. Arbuzov, Sisong Bei, Ziwei Dong, Dmitri Kalaev, Alexey A. Shvets

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die alte Geschichte: Die Theorie der „zerbrochenen Kette"

Lange Zeit glaubten Experten, dass Large Language Models (LLMs) dazu verdammt seien, zu versagen, je länger Texte wurden, die sie schrieben. Die Logik war einfach und beängstigend:

Stellen Sie sich vor, Sie bauen eine Kette aus Büroklammern. Wenn auch nur eine winzige Wahrscheinlichkeit besteht (sagen wir 1 %), dass eine einzelne Büroklammer schwach ist, dann wird die gesamte Kette mit jedem hinzugefügten Glied schwächer und schwächer. Wenn Sie 100 Klammern haben, ist die Kette fast garantiert gebrochen.

In der Welt der KI bedeutete dies, dass, wenn ein Modell bei einem Wort einen kleinen Fehler machte, sich dieser Fehler kumulierte, das nächste Wort mit höherer Wahrscheinlichkeit falsch wurde und das übernächste noch schlimmer. Die Theorie sagte voraus, dass lange Geschichten oder Aufsätze schließlich zu Unsinn werden würden, weil sich die Fehler exponentiell vervielfachen würden.

Die neue Entdeckung: Es ist keine Kette, es ist eine Reise

Dieses Papier argumentiert, dass die Theorie der „zerbrochenen Kette" falsch ist. Die Autoren sagen, dass LLMs nicht einheitlich versagen; sie versagen auf eine sehr spezifische, strukturierte Weise. Sie schlagen ein neues Modell vor, das auf drei Hauptideen basiert:

1. Nicht alle Wörter sind gleich geschaffen (Die „Lenkrad"-Analogie)

Die alte Theorie ging davon aus, dass jedes Wort in einem Satz gleich wichtig ist. Die Autoren sagen, das sei falsch.

Die Realität: In einem langen Text sind nur ein winziger Bruchteil der Wörter (etwa 5 % bis 10 %) die „kritischen" Wörter. Dies sind die Schlüssel-Token. Sie sind wie das Lenkrad eines Autos, die Ampeln oder die großen Kreuzungen auf einer Reise. Wenn Sie diese durcheinanderbringen, fahren Sie vom Weg ab.
Der Rest: Die anderen 90 % der Wörter sind nur „Füller" oder „Szenerie". Sie sind wie die vorbeiziehenden Bäume oder die Farbe der Straße. Sie folgen lokalen Regeln (Grammatik, gängige Phrasen) und sind eigentlich einfacher vorherzusagen, je mehr Kontext Sie haben.
Das Ergebnis: Sie brauchen kein perfektes Auto, um 1.600 Kilometer zu fahren; Sie müssen nur sicherstellen, dass Sie an den wenigen kritischen Kreuzungen nicht einen Unfall bauen. Das Modell wird besser darin, die „Szenerie"-Wörter vorherzusagen, je weiter es kommt, sodass die Fehlerrate für diese auf nahezu Null sinkt.

2. Das Modell lebt in „semantischen Nachbarschaften" (Die „Einkaufszentrum"-Analogie)

Das Papier legt nahe, dass das innere Gehirn des Modells (seine „Embeddings") kein flacher, chaotischer Raum ist. Es ist organisiert wie ein riesiges Einkaufszentrum mit distincten, niedrigdimensionalen „Nachbarschaften".

Die Realität: Sobald das Modell entscheidet, über „Kochen" zu sprechen, betritt es die „Koch-Nachbarschaft". Selbst wenn es einen kleinen Ausrutscher macht (zum Beispiel „Salz" statt „Zucker" sagt), befindet es sich immer noch innerhalb der Koch-Nachbarschaft. Es hat das Gebäude nicht verlassen.
Die Gefahr: Das einzige Mal, dass das Modell wirklich versagt, ist, wenn es einen „Schlüssel-Token"-Fehler macht, der es aus der Koch-Nachbarschaft in die „Autowerkstatt"-Nachbarschaft katapultiert.
Das Ergebnis: Kleine Fehler brechen die ganze Geschichte nicht, weil das Modell in der richtigen „Nachbarschaft" bleibt. Es ist wie ein Spaziergang durch ein Einkaufszentrum; wenn Sie sich in einem Gang falsch herumdrehen, finden Sie immer noch den Weg zurück in die große Halle. Sie fallen nicht vom Rand der Welt.

3. Fehler sind zufällig, nicht systematisch (Die „Raten"-Analogie)

Wenn das Modell doch einen großen Fehler bei einem kritischen Wort macht, ist dies meist ein einmaliger, zufälliger Glücksfall und kein konsistenter Mangel.

Die Realität: Wenn Sie das Modell bitten, ein Matheproblem 10-mal zu lösen, könnte es 8-mal die richtige Antwort erhalten. Die 2-mal, wo es falsch liegt, versagt es auf unterschiedliche Weise (einmal addiert es falsch, ein anderes Mal subtrahiert es falsch).
Die Lösung: Da die Fehler zufällig und verstreut sind, heben sich die zufälligen Fehler auf, wenn Sie die „Mehrheitsentscheidung" treffen (es 10-mal fragen und die häufigste Antwort wählen), und die richtige Antwort setzt sich durch.
Das Ergebnis: Deshalb funktionieren Techniken wie „Selbstkonsistenz" (das Modell bitten, noch einmal nachzudenken) so gut. Sie reparieren keinen defekten Motor; sie filtern lediglich das zufällige Rauschen heraus.

Das große Ganze: Eine neue Formel

Die Autoren kombinieren diese Ideen zu einer neuen Formel dafür, wie zuverlässig ein Modell ist.

Alte Formel: Zuverlässigkeit = (1 - Fehler) ^ (Gesamtwörter). Dies sagt einen steilen Abfall voraus.
Neue Formel: Zuverlässigkeit = (1 - Fehler bei kritischen Wörtern) ^ (Anzahl der kritischen Wörter) × (1 - Winziger Fehler bei normalen Wörtern) ^ (Rest der Wörter).

Da die Anzahl der „kritischen Wörter" (Schlüssel-Token) nicht so schnell wächst wie die Gesamtlänge des Textes (sie könnte sogar nach einem bestimmten Punkt aufhören zu wachsen), stürzt das Modell nicht ab. Es bleibt zuverlässig.

Was dies für die aktuelle Technologie bedeutet

Das Papier erklärt, dass die jüngsten „Wunder"-Technologien kein Zauberwerk sind; sie sind lediglich natürliche Konsequenzen dieser Struktur:

Kompression: Wir können 99 % des Textes wegwerfen und nur die „Schlüsselwörter" (das Lenkrad) behalten, ohne die Bedeutung zu verlieren.
Langer Kontext: Modelle können enorme Textmengen verarbeiten, weil sie nur darauf achten müssen, die wenigen kritischen Entscheidungspunkte zu beachten, nicht jedes einzelne Wort.
Selbstkorrektur: Wenn Modelle ihre eigenen Fehler korrigieren, liegt das daran, dass sie innerhalb der richtigen „Nachbarschaft" bleiben und lediglich einen zufälligen Ausrutscher korrigieren.

Zusammenfassung

Die pessimistische Sichtweise sagte: „Wenn Sie einen Fehler machen, ist der ganze lange Text ruiniert."
Dieses Papier sagt: „Nein. Sie machen nur wenige kritische Fehler. Der Rest des Textes ist leicht vorherzusagen, und das Modell bleibt auf dem richtigen Weg. Solange Sie die wenigen „Lenkrad"-Momente richtig hinbekommen, ist die ganze Reise sicher."

Technische Zusammenfassung: Jenseits exponentiellen Zerfalls

Problemstellung
Eine vorherrschende pessimistische Sichtweise im Bereich der autoregressiven Sprachmodellierung geht davon aus, dass die Korrektheit mit der Länge der Ausgabe exponentiell abnimmt. Diese Argumentation unterstellt, dass, wenn jedes Token eine unabhängige Fehlerwahrscheinlichkeit $e$ aufweist, die Wahrscheinlichkeit, dass eine Sequenz der Länge $n$ korrekt ist, $(1-e)^n$ folgt, was mit wachsendem $n$ gegen null strebt. Dieses Modell deutet auf eine harte Obergrenze für die Zuverlässigkeit der Generierung im langen Kontext hin. Diese „unabhängige-Fehler"-Hypothese versagt jedoch darin, empirische Beobachtungen zu berücksichtigen, bei denen Modelle über lange Ausgaben hinweg Kohärenz bewahren, eine Selbstkorrektur während der Generierung zeigen und aufzeigen, dass die Aufmerksamkeitsgewichte stark auf eine kleine Teilmenge des Kontexts konzentriert sind.

Methodik und theoretischer Rahmen
Der Artikel schlägt ein Zwei-Raten-Fehlermodell vor, das die Annahme eines einheitlichen Fehlers pro Token ablehnt. Stattdessen werden Token in zwei distincte Kategorien unterteilt:

Schlüssel-Token ( $k$ ): Eine kleine Teilmenge (empirisch auf 5 %–10 % geschätzt), die Langzeitabhängigkeiten, globale Kohärenz, faktische Behauptungen und logische Übergänge trägt. Diese Token weisen eine höhere Fehlerrate ( $e_{key}$ ) auf.
Nicht-Schlüssel-Token ( $n-k$ ): Die Mehrheit der Token, die durch lokale Syntax, häufige Kollokationen und den sich anhäufenden Kontext gesteuert werden. Ihre Fehlerrate ( $e_{non}$ ) ist signifikant niedriger und nähert sich mit dem anwachsenden Kontext null an.

Das Modell geht davon aus, dass die Wahrscheinlichkeit einer korrekten Sequenz approximiert wird durch:
$P(\text{korrekt}) \approx (1 - e_{key})^k \cdot (1 - e_{non})^{n-k}$

Entscheidend ist, dass die Anzahl der Schlüssel-Token $k$ sublinear mit der Sequenzlänge $n$ skaliert (logarithmisch, als gebrochene Potenz oder sättigend bei einem aufgaben spezifischen Maximum $k_{max}$ ). Darüber hinaus integriert das Modell stratifizierte Mannigfaltigkeitsdynamiken und schlägt vor, dass Einbettungen sich in niedrigdimensionale semantische Mannigfaltigkeiten organisieren. Geringfügige Fehler (Nicht-Schlüssel) bleiben oft innerhalb der korrekten Mannigfaltigkeit, während nur Fehler bei Schlüssel-Token einen Sprung der Trajektorie zu einer anderen Mannigfaltigkeit verursachen. Schließlich berücksichtigt der Rahmen die Konvergenz von Ensembles und stellt fest, dass Schlussfolgerungsfehler oft idiosynkratisch (variierend über die Stichproben) und nicht systematisch sind, was Methoden der Mehrheitsentscheidung ermöglicht, die Genauigkeit wiederherzustellen.

Hauptbeiträge
Der Artikel leistet drei primäre Beiträge:

Ein verfeinertes Fehlermodell: Es führt das Zwei-Raten-Modell (Gleichung 1) ein, das explizit zwischen Schlüssel- und Nicht-Schlüssel-Token unterscheidet und die Abhängigkeit der Zuverlässigkeit von der sublinearen Skalierung von $k(n)$ modelliert.
Synthese empirischer Evidenz: Es vereint drei verschiedene Forschungsstränge der jüngeren Vergangenheit, um die Komponenten des Modells zu untermauern:
- Aufmerksamkeits-Spärlichkeit: Evidenz dafür, dass nur etwa 9 % der Token einen Langzeitkontext benötigen (Fang et al., 2024) und dass sich die Aufmerksamkeit auf einen winzigen Bruchteil der Sequenz konzentriert (Liu et al., 2024).
- Geometrie der Einbettungen: Befunde, dass LLM-Einbettungen stratifizierte, niedrigdimensionale Mannigfaltigkeiten bilden, wobei Störungen in „Rausch"-Dimensionen die semantische Trajektorie nicht verändern (Li und Sarwate, 2025; Robinson et al., 2025).
- Konvergenz von Ensembles: Daten, die zeigen, dass Selbstkonsistenz und Baum-Such-Methoden die Genauigkeit verbessern, weil korrekte Schlussfolgerungspfade auf einer Mannigfaltigkeit konvergieren, während falsche Pfade divergieren (Wang et al., 2023).
Neuinterpretation systemweiter Ergebnisse: Es interpretiert jüngste technische Erfolge – wie Anchor-Kompression, retrieval-augmentierte Aufmerksamkeit und Selbstkonsistenz – nicht als unabhängige Siege, sondern als natürliche Konsequenzen des strukturellen Faktums, dass die Zuverlässigkeit im langen Kontext von einer Handvoll Entscheidungspunkten abhängt.

Ergebnisse und vorhergesagte Zerfallsregime
Basierend auf dem Verhalten von $k$ und $e_{non}$ sagt der Artikel drei Zerfallsregime voraus, die deutlich milder sind als exponentieller Zerfall:

Logarithmisches Wachstum ( $k \sim \log n$ ): Führt zu polynomialem Zerfall ( $n^{-c}$ ).
Wachstum als gebrochene Potenz ( $k \sim \sqrt{n}$ ): Führt zu gestreckt-exponentiellem Zerfall.
Sättigung ( $k \to k_{max}$ ): Die Zuverlässigkeit wird bezüglich $n$ konstant, sobald die kritische Anzahl an Schlüsselfakten festgelegt ist.

Der Artikel hebt hervor, dass das dritte Regime erklärt, warum Systeme eine Kontextreduktion von 99 % mit minimalem Genauigkeitsverlust erreichen können (Pang et al., 2024) und warum 128K-Token-Kontexte auf Consumer-GPUs machbar sind (Liu et al., 2024).

Bedeutung und Implikationen
Der Artikel argumentiert, dass das unabhängige-Fehler-Modell fundamental fehlerhaft ist, da es über eine heterogene Population von Token mittelt und die Fehlerkorrelation ignoriert. Die Bedeutung dieser Arbeit liegt in der Verschiebung des Fokus von „einheitlicher Genauigkeit pro Token" hin zur „Identifizierung und Sicherung von Schlüsselentscheidungspunkten".

Praktisch schlägt dieser Rahmen vor:

Spärliche Aufmerksamkeit: Dichte Aufmerksamkeit ist unnötig; die Rechenleistung sollte sich auf das spärliche Signal der Schlüssel-Token konzentrieren.
Gezielte Rechenleistung: Ressourcen sollten auf „Mannigfaltigkeitsübergänge" (Punkte hoher Unsicherheit) verteilt werden und nicht gleichmäßig.
Strategische Ensembles: Mehrheitsentscheidungen sind bei Schlussfolgerungsaufgaben effektiv (wo Fehler idiosynkratisch sind), aber nicht bei Wissensabruf (wo Fehler systematisch sind).
Evaluation: Die Standard-Perplexität ist ein schlechter Prädiktor für nachgelagerte Leistungen; Metriken, die auf Schlüssel-Token beschränkt sind (z. B. LongPPL), korrelieren viel stärker mit dem Erfolg der Aufgabe.

Einschränkungen
Die Autoren weisen darauf hin, dass der Rahmen eine Synthese bestehender Evidenz und keine Ableitung aus ersten Prinzipien ist. Die Parameter $k$ , $e_{key}$ und $e_{non}$ wurden noch nicht gemeinsam auf einem einzigen Benchmark gemessen. Darüber hinaus stützt sich die Unterscheidung zwischen idiosynkratischen und systematischen Fehlern derzeit auf eine nachträgliche Beobachtung und nicht auf ein quantitatives vorab festgelegtes Kriterium.

Fazit
Der Artikel kommt zu dem Schluss, dass moderne LLMs über lange Ausgaben hinweg Kohärenz bewahren, nicht weil die Technik eine Barriere des exponentiellen Zerfalls überwunden hat, sondern weil die Barriere selbst eine Fehldarstellung des Problems war. Die Zuverlässigkeit hängt von einer begrenzten oder sublinear wachsenden Anzahl von Schlüsselentscheidungen ab, nicht von der einheitlichen Genauigkeit jedes einzelnen Tokens.