Contextual Drag: How Errors in the Context Affect LLM Reasoning

Die Studie zeigt, dass das Phänomen „Contextual Drag" die Leistung von Sprachmodellen bei der Selbstverbesserung um 10–20 % verschlechtert, indem fehlgeschlagene Versuche im Kontext zu strukturell ähnlichen Folgefähern führen, die durch gängige Korrekturmechanismen nicht vollständig behoben werden können.

Das Wesentliche

Das Problem: Der „Schlepp-Effekt" beim KI-Denken

Stell dir vor, du bist ein genialer Mathematiker, der gerade eine schwierige Aufgabe lösen soll. Aber bevor du anfängst, liest du einen Zettel, auf dem jemand anderes einen falschen Lösungsweg vorgeschlagen hat.

Normalerweise denkst du: „Oh, das ist falsch, ich mache es anders."
Aber bei den aktuellen großen Sprachmodellen (LLMs) passiert etwas Seltsames: Selbst wenn du merkst, dass der Vorschlag falsch ist, schleppst du dich trotzdem in die gleiche falsche Richtung.

Die Forscher nennen dieses Phänomen „Contextual Drag" (Kontext-Schlepp). Es ist, als würde der falsche Vorschlag eine unsichtbare, schwere Kette an deinem Bein haben, die dich trotz aller Bemühungen zurück in den Fehler zieht.

Was haben die Forscher herausgefunden?

Sie haben 11 verschiedene KI-Modelle getestet (von kleinen bis zu den allerstärksten) und ihnen 8 verschiedene Aufgaben gegeben (Mathe, Coden, Rätsel). Das Ergebnis war erschreckend:

1. Die Leistung bricht ein: Wenn die KI einen falschen Lösungsvorschlag im Kontext sieht, sinkt ihre Erfolgsrate um 10 bis 20 %. Bei kleineren Modellen ist es sogar noch schlimmer – sie verlieren fast die Hälfte ihrer Fähigkeiten.
2. Der Teufelskreis: Wenn die KI versucht, sich selbst zu verbessern, indem sie ihre eigenen Fehler korrigiert, kann das katastrophal enden. Statt besser zu werden, wird sie mit jeder Runde schlechter. Man nennt das „Selbst-Verschlechterung". Es ist, als würde ein Autofahrer, der in eine Kurve fährt, immer wieder versuchen, den Lenkradfehler zu korrigieren, aber dabei nur tiefer in den Graben steuern.
3. Strukturelle Ähnlichkeit: Die KI kopiert nicht nur die falsche Antwort wortwörtlich. Sie übernimmt die Struktur des Denkens. Wenn der Fehler im Vorschlag war, dass eine Zahl falsch addiert wurde, baut die KI ihre neue Lösung oft um diesen gleichen falschen Additions-Schritt herum auf, auch wenn sie behauptet, sie habe den Fehler gefunden.

Warum hilft „Korrektur" nicht?

Man könnte denken: „Gut, dann sagen wir der KI einfach: 'Achtung, dieser Vorschlag ist falsch!'."
Die Forscher haben genau das getestet. Sie haben der KI explizit gesagt: „Dieser Entwurf ist falsch, ignoriere ihn!" oder sie haben die KI selbst nachfragen lassen: „Ist das richtig?".

Das Ergebnis? Es half oft nicht.
Selbst wenn die KI laut „FALSCH" schrie, blieb sie im Denken hängen. Die KI ist so sehr darauf trainiert, den Kontext (den Text, der gerade davor stand) zu nutzen, dass sie Schwierigkeiten hat, diesen Kontext komplett zu „vergessen" und bei Null anzufangen.

Die Metapher: Der verführerische Kompass

Stell dir vor, die KI ist ein Wanderer in einem dichten Nebel.

• Der Kontext ist ein Kompass, den ihr jemand in die Hand drückt.
• Wenn der Kompass richtig zeigt, findet die KI das Ziel schnell.
• Wenn der Kompass falsch zeigt (der Fehler im Kontext), versucht die KI zwar, ihn zu prüfen. Aber weil sie so sehr darauf angewiesen ist, dass der Kompass funktioniert, dreht sie sich trotzdem in die falsche Richtung, auch wenn sie weiß, dass der Kompass kaputt sein könnte. Sie verlässt sich zu sehr auf das, was „da steht", statt auf ihr eigenes inneres Gefühl (das parametrische Wissen).

Was können wir tun? (Die Rettungsversuche)

Die Forscher haben zwei Methoden ausprobiert, um die KI zu befreien:

1. Der „Lärm-Reiniger" (Context Denoising): Man bittet die KI, den falschen Vorschlag erst einmal zu „reinigen" oder zu filtern, bevor sie selbst eine Lösung schreibt. Das hilft ein bisschen, wie das Entfernen von Rauschen aus einem Radio, aber es bringt die KI nicht ganz auf das Niveau zurück, als hätte sie den falschen Vorschlag gar nicht gesehen.
2. Das „Reset-Training" (Targeted Fine-Tuning): Man trainiert die KI speziell darauf: „Wenn du einen Fehler erkennst, schalte sofort um und fange ganz von vorne an, ohne auf den alten Text zu schauen."
   • Das funktioniert gut! Die KI wird robuster gegen Fehler.
   • Aber: Es gibt einen Haken. Wenn der alte Vorschlag eigentlich richtig war, ist die KI jetzt zu misstrauisch und ignoriert ihn auch. Sie verliert also die Fähigkeit, gute Hilfe anzunehmen, um Fehler zu vermeiden. Es ist ein Abwägen zwischen Sicherheit und Hilfsbereitschaft.

Das Fazit für uns alle

Dieses Papier zeigt uns eine fundamentale Schwäche der aktuellen KI-Architektur: KI kann sich schwer von falschen Informationen lösen, selbst wenn sie weiß, dass sie falsch sind.

Für die Zukunft bedeutet das:

• Wir können nicht einfach darauf hoffen, dass KI durch „Selbst-Reflexion" (einfaches Überprüfen ihrer eigenen Arbeit) perfekt wird.
• Wir müssen neue Wege finden, wie KI ihren „Kontext" wirklich ignorieren kann, wenn er schädlich ist, ohne dabei ihre Fähigkeit zu verlieren, gute Hinweise zu nutzen.

Bis dahin ist die „Kontext-Schlepp" ein ständiger Begleiter, der uns daran erinnert, dass KI nicht so denkt wie wir – und dass wir vorsichtig sein müssen, welche „falschen Freunde" wir ihr in den Kopf setzen.

Technische Zusammenfassung

Titel: Contextual Drag: Wie Fehler im Kontext das Schlussfolgern von LLMs beeinflussen

Autoren: Yun Cheng, Xingyu Zhu, Haoyu Zhao, Sanjeev Arora (Princeton University)
Veröffentlichung: Preprint, März 2026

---

1. Problemstellung

Moderne Workflows für Large Language Models (LLMs), insbesondere im Bereich des Trainings und der Inferenz, verlassen sich zunehmend auf Schleifen aus „Kritik – Verifizierung – Revision" (Critique-Verify-Revise). Die zugrundeliegende Annahme ist, dass Modelle durch die Reflexion über vergangene Fehler ihre Leistung verbessern können.

Das Paper identifiziert jedoch ein kritisches Hindernis: Contextual Drag (Kontext-Schleppkraft). Dieses Phänomen beschreibt, dass das Vorhandensein gescheiterter Versuche oder falscher Lösungen im Kontext (Input) die nachfolgenden Generierungen des Modells systematisch in Richtung strukturell ähnlicher Fehler verzerrt. Selbst wenn das Modell explizit angewiesen wird, den Kontext zu verifizieren und Fehler zu erkennen, bleibt dieser negative Einfluss bestehen. Dies stellt eine fundamentale Bedrohung für iterative Selbstverbesserungs-Pipelines und Multi-Agent-Systeme dar, da sie anstelle von Verbesserung in eine „Selbst-Verschlechterung" (Self-Deterioration) münden können.

2. Methodik und Evaluierung

Die Autoren führten eine umfassende empirische Studie durch, um die Existenz, den Mechanismus und die Grenzen der Bekämpfung von Contextual Drag zu untersuchen.

• Modelle und Benchmarks:
  • Evaluierung von 11 Modellen (sowohl proprietär wie GPT-5, Gemini 2.5/3 Pro als auch Open-Weight wie GPT-OSS, Nemotron, Qwen, LlamaR1).
  • Testung auf 8 Aufgabenbereichen: Mathematik (AIME, HMMT), Wissenschaft (GPQA, MMLU), Code (CRUXEval-I) und Rätsel (Game of 24).
• Experimentelles Setup:
  • DIRECT: Baseline-Leistung ohne zusätzlichen Kontext.
  • 1F / 2F (Contextual Drag): Das Modell erhält eine oder zwei falsche Lösungsentwürfe (Drafts) als Kontext und wird angewiesen, diese zu verifizieren und eine neue Lösung zu generieren.
  • Strukturelle Analyse: Nutzung des Baum-Editierabstands (Tree Edit Distance, TED) auf dem „Game of 24"-Datensatz, um die strukturelle Ähnlichkeit zwischen den generierten Lösungen und den fehlerhaften Kontext-Entwürfen zu quantifizieren.
• Untersuchung von Gegenmaßnahmen:
  • Externe Fehler-Signale: Explizite Hinweise im Prompt, dass der Entwurf falsch ist.
  • Selbst-erkannte Fehler-Signale: Analyse von Fällen, in denen das Modell den Fehler selbst korrekt identifiziert hat.
  • Mitigations-Strategien:
    1. Context Denoising: Testzeit-Strategien (Revision oder Filterung der Entwürfe durch das Modell).
    2. Supervised Fine-Tuning (SFT): Training eines „Fallback-Verhaltens", bei dem das Modell bei Erkennung eines Fehlers den Kontext ignoriert und zu einer „Clean-Slate"-Lösung (ohne Kontext) zurückkehrt.

3. Wichtige Ergebnisse

• Signifikante Leistungsabfälle:
  • Contextual Drag führt konsistent zu Leistungsabfällen von 10–20 % über alle Modelle und Aufgaben hinweg.
  • Kleinere Open-Weight-Modelle (z. B. GPT-OSS-20B) leiden besonders stark, mit Abfällen von fast 50 % ihrer ursprünglichen Genauigkeit.
  • Selbst fortschrittliche proprietäre Modelle zeigen messbare Verschlechterungen.
• Selbst-Verschlechterung (Self-Deterioration):
  • In iterativen Verfeinerungspipelines (wo das Modell auf seine eigenen vorherigen Versuche zurückgreift) führt Contextual Drag dazu, dass die Genauigkeit mit jeder Iteration sinkt, anstatt zu steigen.
• Strukturelle Verzerrung (TED-Analyse):
  • Die Analyse des Baum-Editierabstands zeigt, dass neue Lösungen unter dem Einfluss von Contextual Drag strukturell viel näher an den fehlerhaften Entwürfen liegen als an sauberen Lösungen (ohne Kontext). Das Modell kopiert nicht nur Tokens, sondern übernimmt fehlerhafte Schlussfolgerungsmuster und Rechenpfade.
• Unzureichende Verifizierung:
  • Externe Signale: Selbst wenn der Prompt explizit warnt, dass der Entwurf falsch ist, bleibt der Bias bestehen.
  • Selbst-Verifizierung: Auch wenn das Modell korrekt erkennt, dass ein Entwurf falsch ist („Incorrect"-Verdict), führt dies nicht bei allen Modellen zu einer Erholung. Bei einigen Modellen (z. B. Nemotron-Familie) gibt es eine teilweise Erholung, bei anderen (z. B. GPT-OSS-20B) bleibt die Leistung stark degradiert.
• Grenzen der Mitigation:
  • Context Denoising: Strategien wie „Filtern" oder „Revidieren" von Entwürfen verbessern die Situation teilweise, stellen aber keine vollständige Lösung dar.
  • Targeted SFT: Das Training eines Fallback-Mechanismus (Reset bei Fehlererkennung) verbessert die Robustheit signifikant, führt jedoch zu einem Trade-off: Die Fähigkeit, korrekte Kontextinformationen effektiv zu nutzen, nimmt ab. Das Modell wird zu vorsichtig und ignoriert auch hilfreiche Hinweise.

4. Hauptbeiträge

1. Definition und Quantifizierung von Contextual Drag: Das Paper etabliert „Contextual Drag" als einen spezifischen Fehlermodus, bei dem fehlerhafter Kontext die Struktur des Denkens verzerrt, unabhängig von der Verifizierungsfähigkeit des Modells.
2. Nachweis der strukturellen Natur: Durch die Verwendung von Tree Edit Distance wird gezeigt, dass der Effekt tief in der Architektur des Reasoning-Prozesses verwurzelt ist und nicht nur eine oberflächliche Nachahmung von Fehlern darstellt.
3. Herausforderung für Selbstverbesserung: Die Studie widerlegt die naive Annahme, dass iterative Selbstkorrektur automatisch zu Verbesserungen führt. Ohne Mechanismen zur vollständigen „Reset"-Funktion kann sich das Modell in einem Schleudersinn aus Fehlern verfangen.
4. Evaluation von Gegenmaßnahmen: Das Paper zeigt, dass weder einfache Prompt-Engineering-Strategien noch reines Verifizieren ausreichen. Auch Fine-Tuning bringt Kompromisse mit sich (Robustheit vs. Nutzungsfähigkeit).

5. Bedeutung und Implikationen

Die Ergebnisse haben weitreichende Konsequenzen für die Entwicklung zukünftiger LLM-Architekturen und Anwendungsfälle:

• Architektonische Grenzen: Current attention-based architectures scheinen keine inhärenten Mechanismen zu besitzen, um den „Reasoning State" nach der Erkennung eines Fehlers im Kontext vollständig zurückzusetzen. Dies deutet auf eine fundamentale Limitierung aktueller Modelle hin.
• Zukunft der Selbstverbesserung: Für zuverlässige iterative Selbstverbesserungs-Pipelines (Self-Improvement) und Multi-Agent-Systeme müssen neue Mechanismen entwickelt werden, die es Modellen ermöglichen, fehlerhaften Kontext nicht nur zu erkennen, sondern aktiv zu „verwerfen" (discounting), ohne dabei die Nutzung korrekter Informationen zu blockieren.
• Sicherheit: Das Phänomen könnte von Angreifern ausgenutzt werden, um Modelle durch gezielte Platzierung falscher „Lösungsentwürfe" in Prompts systematisch zu manipulieren (Prompt Injection durch Anchoring).

Zusammenfassend positioniert das Paper Contextual Drag als eine persistente Herausforderung, die zeigt, dass die reine Fähigkeit zur Verifizierung nicht ausreicht, um die kognitive Verzerrung durch fehlerhaften Kontext in LLMs zu überwinden.