SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks
Die Studie „SlopCodeBench" zeigt, dass aktuelle KI-Coding-Agenten bei iterativen Aufgaben ihre Codequalität durch zunehmende Redundanz und strukturellen Verfall systematisch verschlechtern, was bestehende Benchmarks, die nur Ein-Schuss-Lösungen bewerten, als unzureichend für die Messung von Erweiterungsrobustheit entlarvt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der „Sloppy"-Code-Teppich
Stell dir vor, du beauftragst einen extrem talentierten, aber etwas ungeduldigen Architekten (den KI-Agenten), ein Haus zu bauen.
- Der erste Auftrag: „Baue mir ein kleines Gartenhäuschen." Der Architekt liefert ein perfektes, funktionierendes Häuschen ab. Alles ist in Ordnung.
- Der zweite Auftrag: „Super! Jetzt erweitere es zu einem ganzen Haus mit zwei Stockwerken und einem Dachboden." Der Architekt baut drauf, aber er nutzt die alten Wände nicht richtig, sondern mauert neue Ziegel einfach davor.
- Der dritte Auftrag: „Jetzt brauchen wir noch ein Keller und eine Smart-Home-Steuerung." Der Architekt fügt weitere Schichten hinzu, aber diesmal verlegt er die Kabel wild durcheinander, weil er den Plan von vorhin nicht mehr genau versteht.
Das Ergebnis: Nach fünf oder sechs Erweiterungen sieht das Haus von außen vielleicht noch aus wie ein Haus, und es hat vielleicht sogar noch ein Dach. Aber wenn du versuchst, ein Fenster im ersten Stock zu öffnen, stürzt das ganze Gebäude zusammen. Der Boden ist so voller losen Ziegelsteine (unnötiger Code), dass man kaum noch laufen kann.
Genau das untersucht dieses Paper. Es nennt diesen Müll „Slop" (etwa: „Schwamm" oder „Schlamm").
Was ist SlopCodeBench?
Bisher haben Forscher KI-Agenten getestet, indem sie ihnen eine Aufgabe stellten und sagten: „Ist das Ergebnis richtig?" (Ja/Nein). Das ist wie ein Test, bei dem man nur schaut, ob das Gartenhäuschen steht.
SlopCodeBench ist anders. Es ist wie ein Langstrecken-Test.
- Die KI muss ein Programm schreiben.
- Dann muss sie dasselbe Programm immer wieder erweitern, weil sich die Anforderungen ändern (z. B. „Jetzt soll es auch mit JavaScript funktionieren" oder „Jetzt soll es Fehler erkennen").
- Die KI darf nicht neu anfangen. Sie muss auf ihrem eigenen, vorherigen Code aufbauen.
Das ist der entscheidende Punkt: In der echten Welt müssen Software-Entwickler oft auf alten, manchmal etwas chaotischen Code aufbauen. Die KI muss lernen, ihre eigenen früheren Entscheidungen zu „erben".
Die zwei Messgrößen: Wie „schmutzig" wird es?
Die Forscher haben zwei neue Messinstrumente entwickelt, um zu sehen, wie sehr der Code verrottet:
Verbosität (Die „Redseligkeit"):
Stell dir vor, du musst eine Nachricht übermitteln.- Guter Code: „Komm um 18 Uhr."
- Slop-Code: „Ich möchte dich höflich bitten, wenn es dir möglich ist, vielleicht gegen 18 Uhr zu erscheinen, falls du Zeit hast."
Die KI schreibt immer mehr Wörter, die eigentlich nichts Neues sagen. Sie kopiert sich selbst, macht unnötige Kopien und fügt doppelte Anweisungen ein. Das macht den Code riesig und schwer zu lesen.
Strukturelle Erosion (Der „Verfall"):
Stell dir einen Fluss vor. Anfangs fließt das Wasser in vielen kleinen, sauberen Bächen.- Guter Code: Jede Funktion hat eine klare Aufgabe (z. B. „Datei öffnen", „Daten speichern").
- Slop-Code: Die KI fängt an, alles in eine riesige Funktion zu packen. Diese Funktion wird immer größer, immer komplexer und unübersichtlicher. Sie wird zu einem riesigen, undurchdringlichen „Schlammteich". Wenn man dort etwas ändern will, zerstört man versehentlich drei andere Dinge. Das nennt man Erosion (Abtragung/Verfall).
Was haben sie herausgefunden?
Die Ergebnisse sind ziemlich erschreckend, aber auch sehr aufschlussreich:
- Niemand schafft den Marathon: Von allen getesteten KI-Modellen hat keines ein einziges Problem von Anfang bis Ende perfekt gelöst. Irgendwann ging es schief.
- Der Abwärtstrend: Bei 80 % der Versuche wurde der Code mit jeder Erweiterung „schlechter" (mehr Erosion). Bei fast 90 % wurde er „schwätzerischer" (mehr Redundanz).
- KI vs. Menschen: Die Forscher haben den KI-Code mit echten, von Menschen gewarteten Software-Projekten (wie berühmte Bibliotheken) verglichen.
- Der KI-Code ist 2,2-mal so redselig wie menschlicher Code.
- Der KI-Code verrottet viel schneller. Während menschlicher Code über Jahre stabil bleibt (oder sich nur langsam verändert), wird der KI-Code mit jedem Schritt chaotischer.
- Der „Prompt"-Trick funktioniert nicht: Die Forscher haben versucht, der KI mit speziellen Anweisungen (Prompts) zu sagen: „Sei bitte ordentlich!" oder „Mache erst einen Plan!".
- Ergebnis: Das half am Anfang. Der erste Code war sauberer. Aber sobald die KI anfing, diesen Code zu erweitern, fiel sie wieder in ihre alten Muster zurück. Die Anweisung „Sei ordentlich" konnte den Abwärtstrend nicht stoppen.
Warum ist das wichtig?
Bisher dachten viele: „Wenn die KI den Test besteht, ist sie gut."
Dieses Paper zeigt: Das ist eine Illusion.
Die KI kann vielleicht einen Test bestehen, aber der Code, den sie liefert, ist oft so „schlammig" und unstrukturiert, dass er in der echten Welt nach ein paar Wochen oder Monaten nicht mehr wartbar ist. Es ist wie ein Haus, das zwar steht, aber wenn man versucht, die Küche zu renovieren, bricht das Fundament weg.
Die Botschaft: Wir brauchen neue Tests, die nicht nur schauen, ob der Code funktioniert, sondern ob er überlebt. Wir müssen KI-Systeme trainieren, die nicht nur schnell antworten, sondern auch diszipliniert genug sind, um über Jahre hinweg saubere Architektur zu bauen.
Zusammenfassung in einem Satz
Aktuelle KI-Codierer sind wie Baufirmen, die ein Haus bauen können, aber bei jeder Erweiterung so viel Müll und Chaos hinterlassen, dass das Gebäude nach kurzer Zeit unbewohnbar wird – und einfache Anweisungen reichen nicht aus, um das zu ändern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.