🤖 AI

Why Retrying Fails: Context Contamination in LLM Agent Pipelines

Dieser Beitrag stellt das Kontaminations-Neustart-Modell (CCRM) vor, um formal zu quantifizieren, wie gescheiterte Versuche von LLM-Agenten nachfolgende Wiederholungen durch Erhöhung der Fehlerraten kontaminieren, leitet theoretische Schranken für Erfolgswahrscheinlichkeiten und optimale Pipeline-Tiefen ab, die empirisch gegen reale SWE-bench-Daten validiert werden.

Ursprüngliche Autoren: Zhanfu Yang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhanfu Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Der „schlechte Gedächtnis"-Effekt

Stellen Sie sich vor, Sie versuchen, ein komplexes Puzzle zu lösen, wie etwa das Reparieren eines fehlerhaften Codeabschnitts. Sie bitten einen KI-Assistenten um Hilfe.

Versuch 1: Die KI versucht, es zu reparieren, macht aber einen Fehler.
Versuch 2: Sie sagen der KI: „Das hat nicht funktioniert, versuchen Sie es erneut."

In einer perfekten Welt würde die KI den Fehler vergessen und ganz von vorne beginnen. In der Realität erinnert sich die KI jedoch an den Fehler. Der gescheiterte Versuch sitzt immer noch in ihrem „Konversationsverlauf" (ihrem Kontextfenster). Da die KI ihren eigenen vorherigen Fehler sieht, gerät sie in Verwirrung oder bleibt in einer Schleife stecken, was es ihr wahrscheinlicher macht, beim zweiten Mal zu scheitern als beim ersten.

Die Autoren nennen dies „Kontextkontamination". Es ist wie der Versuch, einen schmutzigen Boden zu reinigen, aber jedes Mal, wenn Sie wischen, hinterlassen Sie ein wenig mehr Schmutz, was das nächste Wischen erschwert.

Die Lösung: Ein neues mathematisches Modell (CCRM)

Die Forscher haben ein neues mathematisches Modell namens Context-Contaminated Restart Model (CCRM) entwickelt, um genau zu erklären, wie dies geschieht und wie man es beheben kann. Sie behandeln den Wiederholungsprozess der KI wie ein Spiel mit spezifischen Regeln:

Die Pipeline: Die KI repariert den Code nicht auf einmal; sie zerlegt die Aufgabe in eine Kette kleiner Schritte (wie eine Pipeline). Wenn ein Schritt fehlschlägt, schlägt der gesamte Versuch fehl.
Die Kontamination:
- Versuch 1 (Sauber): Die KI hat eine Standardwahrscheinlichkeit zu scheitern (sagen wir 10 %).
- Versuch 2+ (Kontaminiert): Wenn Versuch 1 fehlschlägt, ist die KI nun „kontaminiert". Ihre Wahrscheinlichkeit zu scheitern steigt an (vielleicht auf 30 % oder höher), weil sie das Gepäck des vorherigen Fehlers mit sich trägt.

Die fünf großen Entdeckungen

Das Paper beweist fünf Hauptpunkte über diesen „schlechten Gedächtnis"-Effekt:

1. Die exakte Formel für Erfolg
Sie haben eine präzise mathematische Gleichung entwickelt, um die Wahrscheinlichkeit vorherzusagen, dass die KI innerhalb einer bestimmten Anzahl von Versuchen endlich erfolgreich ist.

Analogie: Es ist wie zu wissen, genau wie oft man einen Würfel werfen muss, um eine „6" zu erhalten, wobei man weiß, dass bei jedem Misserfolg der Würfel leicht gegen Sie „geladen" (gewichtet) wird.

2. Der „Kaskaden"-Aufwand
Wegen der Kontamination benötigen Sie viel mehr Versuche, um Erfolg zu haben, als wenn die KI ein sauberes Gedächtnis hätte.

Analogie: Wenn Sie eine Leiter hinaufklettern, ist ein sauberer Neustart wie das Hinabsteigen und der Beginn von vorne. Ein kontaminierter Neustart ist wie der Versuch, dieselbe Leiter zu erklimmen, aber jedes Mal, wenn Sie ausrutschen, werden die Sprossen rutschiger und schwerer zu greifen. Sie rutschen am Ende viel öfter aus als notwendig.

3. Der Sweet Spot für die Aufgabengröße
Das Paper fragt: „Wenn wir ein begrenztes Budget an 'Versuchen' (Rechenleistung) haben, in wie viele Schritte sollten wir die Aufgabe unterteilen?"

Das Ergebnis: Es gibt einen perfekten Mittelweg. Wenn die Aufgabe zu lang ist (zu viele Schritte), ruiniert ein einziger Ausrutscher das Ganze. Wenn sie zu kurz ist, verschwenden Sie Zeit durch zu häufige Neustarts. Die Mathematik sagt Ihnen die exakte „Sweet Spot"-Länge für die Aufgabe, um den Erfolg zu maximieren.

4. Die theoretische Grenze
Sie bewiesen, dass Sie, egal wie klug Ihre Strategie ist, die durch diese Kontamination gesetzten Grenzen nicht überwinden können. Sie können einfach nicht mit weniger Versuchen als von ihrem Modell vorhergesagt erfolgreich sein, ohne den Speicher zu löschen.

5. Die Kraft des „Leeren Tisches"
Die praktischste Erkenntnis: Wenn Sie das Gedächtnis der KI löschen, bevor sie es erneut versucht, funktioniert es viel besser.

Analogie: Wenn Sie in einem Stau stecken, hilft es nicht, wieder durch denselben Stau zu fahren. Aber wenn Sie eine andere Route nehmen (den Kontext löschen), vermeiden Sie den Stau vollständig. Die Mathematik zeigt, dass das Löschen des Kontexts vor einem Wiederholungsversuch immer der beste Zug ist.

Beweis aus der Praxis: Der „SWE-bench"-Test

Die Forscher testeten ihre Theorie an echten Daten aus einem Benchmark namens SWE-bench (wo KI versucht, Softwarefehler zu beheben).

Der alte Weg (IID-Modell): Bisherige Theorien gingen davon aus, dass eine KI, wenn sie einmal gescheitert ist, beim nächsten Mal die gleiche Wahrscheinlichkeit hat zu scheitern wie beim ersten Mal (wie das Werfen einer fairen Münze).
Die Realität: Die alten Theorien waren viel zu optimistisch. Sie sagten voraus, dass die KI nach drei Versuchen etwa 98,6 % der Zeit erfolgreich sein würde. In Wirklichkeit gelang ihr dies nur in 81,2 % der Fälle.
Der neue Weg (CCRM): Das neue Modell sagte die Erfolgsrate mit fast perfekter Genauigkeit vorher (Fehler weniger als 0,1 %).

Das Fazit

Wenn eine KI eine Aufgabe nicht schafft und Sie sie bitten, es „noch einmal zu versuchen", scheitert sie oft erneut, weil sie von ihren eigenen vorherigen Fehlern heimgesucht wird.

Versuchen Sie nicht blindlings erneut.
Löschen Sie den Kontext. Das Paper beweist, dass das Zurücksetzen des KI-Gedächtnis vor einem Wiederholungsversuch der einzelne effektivste Weg ist, Rechenleistung zu sparen und bessere Ergebnisse zu erzielen.

Die Autoren weisen auch darauf hin, dass, wenn man die KI trainieren kann, weniger anfängliche Fehler zu machen, der Nutzen enorm ist, da dies verhindert, dass die „Kontaminationskaskade" überhaupt erst beginnt.

Technische Zusammenfassung: Warum Wiederholungen scheitern: Kontaminierung des Kontexts in LLM-Agenten-Pipelines

1. Problemstellung

Wenn Large Language Model (LLM)-Agenten bei mehrstufigen, durch Tools erweiterten Aufgaben scheitern, besteht die Standardpraxis darin, die Aufgabe erneut zu versuchen. Der fehlgeschlagene Versuch bleibt jedoch als Verlauf im Kontfenster des Modells erhalten. Diese „Kontaminierung des Kontexts" führt dazu, dass der Agent fehlerhafte Schlussfolgerungen oder falsche Tool-Ausgaben weiterführt, was die Fehlerrate für nachfolgende Versuche effektiv erhöht.

Obwohl dieses Phänomen in der Praxis weit verbreitet ist (z. B. wenn Agenten wiederholt auf schlechte Endpunkte verweisen, die aus früheren Fehlern gelernt wurden), gibt es keinen formalen theoretischen Rahmen, der quantifiziert, wie sich diese Kontaminierung mit der Aufgabentiefe, Fehlerraten oder Rechenbudgets skaliert. Die bestehende Literatur konzentriert sich auf die Zuverlässigkeit einzelner Durchläufe oder empirische Fehlerkataloge, versagt jedoch darin, die dynamischen Wechselwirkungen zwischen verschiedenen Versuchen zu modellieren, die das Wiederholungsverhalten in der realen Welt definieren. Folglich verschwenden naive Wiederholungsstrategien erhebliche Rechenressourcen, und die Standardannahmen von Unabhängigkeit und identischer Verteilung (IID) überschätzen die Erfolgswahrscheinlichkeiten in Szenarien mit mehreren Versuchen grob.

2. Methodik: Das kontaminationsbehaftete Neustart-Modell (CCRM)

Die Autoren führen das Context-Contaminated Restart Model (CCRM) ein, um diese Dynamik zu formalisieren. Das Modell definiert eine Pipeline der Tiefe $T$ (eine Sequenz von $T$ Tool-Aufrufen), bei der der Agent innerhalb eines Gesamtbudgets $B = KT$ bis zu $K$ Versuche unternimmt.

Kernmechanismen:

Kontaminationszustand ( $Z_k$ ): Ein binärer Zustand $Z_k \in \{0, 1\}$ , der den Kontextzustand des $k$ -ten Versuchs darstellt. $Z_1 = 0$ (sauber).
Fehlerraten:
- $\epsilon_0$ : Basis-Fehlerrate pro Schritt, wenn der Kontext sauber ist ( $Z_k=0$ ).
- $\epsilon_1$ : Erhöhte Fehlerrate pro Schritt, wenn der Kontext kontaminiert ist ( $Z_k=1$ ), wobei $\epsilon_1 > \epsilon_0$ .
Übergangsdynamik: Wenn ein Versuch $k$ fehlschlägt ( $S_k=0$ ), wechselt der Zustand zu $Z_{k+1}=1$ , was alle nachfolgenden Versuche kontaminiert. Wenn ein Versuch erfolgreich ist, endet der Prozess.
Erfolgswahrscheinlichkeit: Die Wahrscheinlichkeit, dass ein einzelner Versuch erfolgreich ist, beträgt $p_i = (1-\epsilon_i)^T$ . Somit gilt $p_1 < p_0$ .

Das Modell behandelt die Versuchssequenz als Markov-Kette, wobei der Übergang in einen „kontaminierten" Zustand für den aktuellen Zweck der Aufgabe absorbierend ist (bis ein Erfolg eintritt, der den Prozess beendet, oder das Budget erschöpft ist).

3. Hauptbeiträge und theoretische Ergebnisse

Die Arbeit leitet unter dem CCRM-Rahmenwerk fünf Hauptergebnisse ab:

R1: Exakte Erfolgsformel (Satz 1)

Die Autoren leiten eine geschlossene Formel für die Wahrscheinlichkeit ab, innerhalb von $K$ Versuchen erfolgreich zu sein:
$P(\text{Erfolg in } \le K) = p_0 + (1-p_0)[1 - (1-p_1)^{K-1}]$
Diese Formel berücksichtigt, dass der erste Versuch die Wahrscheinlichkeit $p_0$ hat und alle nachfolgenden Versuche (gegeben einen Misserfolg) die degradierte Wahrscheinlichkeit $p_1$ haben. Diese Struktur ist isomorph zu einer modifizierten geometrischen Verteilung, wie sie in der Zuverlässigkeitstechnik vorkommt, wird hier jedoch auf kontaminationsbedingte Wechselwirkungen zwischen Versuchen angewendet.

R2: Kaskaden-Overhead und Phasenübergang (Satz 2)

Die Arbeit quantifiziert den „Kaskaden-Overhead" ( $\Delta K$ ), die zusätzlichen Versuche, die CCRM im Vergleich zu einer sauberen Neustart-Baseline (IID) benötigt, um eine Ziel-Erfolgswahrscheinlichkeit von $1-\delta$ zu erreichen.

Universelle Untergrenze: Kontaminierung verursacht immer einen positiven Overhead ( $\Delta K > 0$ ).
Phasenübergang: Wenn das Kontaminationsverhältnis $\epsilon_1/\epsilon_0$ zunimmt (oder die Pipeline-Tiefe $T$ zunimmt), durchläuft das System einen Phasenübergang. Im „superkritischen" Regime divergieren die erforderlichen Versuche $\Delta K$ gegen unendlich, während die IID-Baseline beschränkt bleibt. Dies erklärt, warum tiefe Pipelines mit hohen Kontaminationsverhältnissen mit einfachen Wiederholungen praktisch unlösbar werden.

R3: Optimale Budgetallokation (Satz 3)

Für ein festes Gesamtbudget $B$ identifiziert die Arbeit die optimale Pipeline-Tiefe $T^*$ , die die Erfolgswahrscheinlichkeit maximiert. Die geschlossene Lösung lautet:
$T^* = \sqrt{B \cdot \frac{\log(1/(1-\epsilon_1))}{\log(1/(1-\epsilon_0))}}$
Das Ergebnis zeigt, dass eine stärkere Kontaminierung (größeres $\epsilon_1/\epsilon_0$ ) eine proportional kleinere optimale Tiefe $T^*$ diktiert und damit kürzere, flachere Pipelines empfiehlt, um das Risiko des Eintritts in den kontaminierten Zustand zu minimieren.

R4: Informationstheoretische Untergrenze (Satz 4)

Unter Verwendung der Methode von Le Cam und einer Zwei-Hypothesen-Konstruktion (Unterscheidung zwischen einem IID-Modell und dem CCRM) beweisen die Autoren, dass keine Strategie eine Erfolgswahrscheinlichkeit von $1-\delta$ mit weniger als $K_{CCRM} - O(1)$ Versuchen erreichen kann. Dies stellt fest, dass die abgeleitete Formel bis auf einen konstanten Faktor scharf ist.

R5: Dominanz des sauberen Neustarts (Satz 5)

Die Arbeit beweist, dass das Löschen des Kontextfensters vor einem Wiederholungsversuch (Zurücksetzen von $Z_k=0$ ) die Standardstrategie des „kontaminierten" Wiederholungsversuchs strikt dominiert. Das Verbesserungsverhältnis wird explizit abgeleitet und zeigt, dass das Löschen des Kontexts die Anzahl der erforderlichen Versuche signifikant reduziert.

4. Empirische Validierung

Die Autoren validieren das CCRM-Modell sowohl mit synthetischen Monte-Carlo-Experimenten als auch mit realen Daten von SWE-bench Verified.

Synthetische Validierung: Experimente mit 30.000 Versuchen bestätigen, dass die theoretische Erfolgsformel die Simulationsdaten mit einem Fehler $\le 0,003$ abbildet. Der Phasenübergang im Kaskaden-Overhead wird wie vorhergesagt beobachtet.
Reale Daten (SWE-bench):
- Unter Verwendung von Daten von Verdent (SWE-bench Verified), bei denen Agenten auf derselben Aufgabe aufeinanderfolgende Versuche unternehmen, passen die Autoren das CCRM-Modell an.
- Ergebnis: Das Standard-IID-Modell überschätzt die Pass@3-Rate um 17,4 Prozentpunkte (Vorhersage von 98,6 % gegenüber den tatsächlichen 81,2 %).
- Anpassung: Das CCRM-Modell passt die Daten mit einem Fehler von weniger als 0,001 an.
- Inferenz: Die angepassten Parameter implizieren ein Kaskadenverhältnis von $\epsilon_1/\epsilon_0 = 7,1$ , was darauf hindeutet, dass ein fehlgeschlagener Versuch die Fehlerrate pro Schritt um den Faktor 7,1 erhöht.
- Vergleich: Im Gegensatz dazu zeigen Benchmarks mit unabhängigen Neustart-Wiederholungen (z. B. USEagent, OpenHands) große Lücken zwischen IID-Vorhersagen und tatsächlicher Leistung, aber die Autoren führen dies auf korrelierte Aufgabenschwierigkeit zurück und nicht auf Kontaminierung des Kontexts, ein distinktes Phänomen außerhalb des CCRM-Umfangs.

5. Bedeutung und Behauptungen

Die Arbeit beansprucht, den ersten formalen Rahmen für die Analyse der kontaminationsbedingten Wechselwirkungen zwischen Versuchen in LLM-Pipelines zu liefern. Ihre Bedeutung liegt in:

Korrektur von Missverständnissen: Nachweis, dass die IID-Annahme für aufeinanderfolgende Wiederholungen bei durch Tools erweiterten Agenten fundamental fehlerhaft ist und zu einer schweren Überschätzung der Zuverlässigkeit führt.
Handlungsanleitende Prinzipien: Bereitstellung geschlossener Lösungen für die optimale Budgetallokation ( $T^*$ ) und Beweis, dass das Löschen des Kontexts der Beibehaltung des Verlaufs strikt überlegen ist.
Theoretische Strenge: Etablierung informationstheoretischer Untergrenzen und Identifizierung von Phasenübergängen, bei denen Wiederholungsstrategien unwirksam werden.
Praktische Anleitung: Der Hinweis, dass die Reduzierung der Basis-Fehlerrate $\epsilon_0$ (durch Feinabstimmung oder besseres Schlussfolgern) einen superlinearen Vorteil bietet, wenn das Kontaminationsverhältnis hoch ist, da dies gleichzeitig die erhöhte Fehlerrate $\epsilon_1$ reduziert.

Die Autoren halten einen bescheidenen Umfang aufrecht und erkennen Einschränkungen an, wie die binäre Natur des Kontaminationszustands, die Annahme der Unabhängigkeit pro Schritt innerhalb eines Versuchs und den Ausschluss korrelierter Aufgabenschwierigkeit (die unabhängige Wiederholungsversuche betrifft). Sie positionieren CCRM als einen grundlegenden Schritt und stellen fest, dass die Kombination von kontaminationsbedingten Wechselwirkungen zwischen Versuchen mit Markov-Dynamiken innerhalb eines Versuchs ein offenes Problem bleibt.