AI-Generated Code Is Not Reproducible (Yet): An Empirical Study of Dependency Gaps in LLM-Based Coding Agents
Diese empirische Studie zeigt, dass von LLM-Coding-Agenten generierter Code in sauberen Umgebungen oft nicht reproduzierbar ist, da nur 68,3 % der Projekte ohne zusätzliche Anpassungen lauffähig sind und eine signifikante Diskrepanz zwischen deklarierten und tatsächlichen Laufzeitabhängigkeiten besteht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Versprechen vs. die harte Realität
Stellen Sie sich vor, Sie bestellen bei einem genialen, aber etwas chaotischen Koch (dem KI-Coding-Agenten) ein komplettes Menü. Sie sagen: „Mach mir ein leckeres Gericht, und schreib mir genau auf, welche Zutaten ich brauche."
Der Koch kommt mit einem wunderschön angerichteten Teller und einem Zettel zurück. Auf dem Zettel stehen nur drei Zutaten: „Tomaten, Basilikum, Salz". Sie gehen in Ihre Küche, holen genau diese drei Dinge, werfen sie in den Topf und warten auf das Essen.
Was passiert? Nichts. Oder es brennt an. Warum? Weil der Koch vergessen hat zu erwähnen, dass man für Tomatensoße auch noch Zwiebeln, Öl und einen Mixer braucht. Und das Rezept war so verwirrt geschrieben, dass Sie nicht wissen, ob Sie die Tomaten schälen oder in Scheiben schneiden sollen.
Genau das ist das Ergebnis dieser Studie: KI kann Code schreiben, aber dieser Code ist oft nicht „reproduzierbar". Das heißt: Wenn Sie den Code auf einem anderen Computer (in einer „sauberen" Küche) ausführen wollen, funktioniert er meistens nicht, nur weil die KI nicht alle versteckten Zutaten (Abhängigkeiten) genannt hat oder das Rezept (den Code) selbst Fehler enthält.
Die drei Schichten des Problems
Die Forscher haben ein neues Werkzeug entwickelt, um dieses Chaos zu verstehen. Sie nennen es das „Zwiebel-Modell":
- Die Behauptung (Die äußere Schale): Das ist, was die KI auf den Zettel schreibt. „Du brauchst nur 3 Pakete."
- Die Arbeit (Die mittlere Schale): Das ist, was Sie wirklich brauchen, nachdem Sie den ersten Fehler bemerkt haben und nachhelfen mussten. Plötzlich sind es 4 oder 5 Pakete.
- Die Laufzeit (Der Kern): Das ist alles, was tatsächlich im Computer läuft, wenn das Programm endlich startet. Oft sind es nicht 3, sondern 37 Pakete!
Der schockierende Befund:
Die KI sagt oft: „Du brauchst 3 Zutaten." In Wirklichkeit braucht Ihr Computer aber 37 Zutaten, um das Gericht zu kochen. Das ist wie bei einem Auto: Die KI sagt, Sie brauchen nur Benzin. Aber tatsächlich brauchen Sie auch Öl, Bremsflüssigkeit, einen Luftfilter und einen funktionierenden Motor, damit das Auto überhaupt fährt.
Die Ergebnisse in Zahlen (in einfachen Worten)
Die Forscher haben 300 Projekte von drei verschiedenen KI-Modellen (Claude, Gemini, Codex) getestet.
- Der Erfolg: Nur 68,3 % der Projekte liefen sofort los, ohne dass jemand etwas reparieren musste. Das bedeutet: Bei fast jedem dritten Projekt (31,7 %) müssen Entwickler erst mühsam nachhelfen.
- Die Sprache macht den Unterschied:
- Python (Die einfache Sprache): Hier liefen 89 % der Projekte sofort. Python ist wie ein einfaches Rezept, das die KI gut versteht.
- Java (Die komplexe Sprache): Hier liefen nur 44 % sofort. Java ist wie ein riesiges, kompliziertes Menü mit vielen Verknüpfungen. Die KI verliert hier oft den Überblick.
- Die Spezialisten:
- Gemini war ein Wunderkind für Python (100 % Erfolg!), scheiterte aber fast komplett bei Java.
- Claude war der beste Allrounder, besonders stark bei Java, wo die anderen versagten.
- Es ist also nicht so, dass eine KI „die beste" ist. Es kommt darauf an, was Sie bauen wollen.
Warum ist das ein Problem?
Stellen Sie sich vor, Sie sind ein Wissenschaftler. Sie nutzen die KI, um ein Experiment zu programmieren. Sie schicken den Code an einen Kollegen in einem anderen Land. Er versucht, ihn zu starten, und es funktioniert nicht. Er muss stundenlang suchen, warum.
Das ist wie bei einem wissenschaftlichen Experiment, bei dem die Ergebnisse nicht nachvollziehbar sind. Wenn KI-Code nicht reproduzierbar ist, baut man auf Sand.
Die versteckten Kosten:
Jedes Projekt, das nicht sofort läuft, kostet einen Entwickler im Durchschnitt 15 Minuten Nerven und Zeit, um die Fehler zu finden. Bei einer Firma, die viele KI-Code-Projekte nutzt, summiert sich das auf Stunden und Tage an reiner Reparaturarbeit.
Was bedeutet das für die Zukunft?
Die Studie sagt uns eine unbequeme Wahrheit: KI ist noch kein vollwertiger Partner, sondern eher ein sehr schneller, aber unzuverlässiger Assistent.
- Sie schreibt Code, der auf dem ersten Blick perfekt aussieht.
- Aber sie versteht nicht, was wirklich nötig ist, damit dieser Code auf einem fremden Computer läuft.
- Die KI lernt oft nur aus kleinen Code-Schnipseln, nicht aus ganzen Projekten mit allen versteckten Abhängigkeiten.
Die Lösung?
Wir müssen von der KI verlangen, nicht nur den Code zu schreiben, sondern auch den kompletten „Kochplan" (alle Abhängigkeiten) zu liefern und ihn selbst in einer sauberen Küche zu testen, bevor sie ihn uns geben. Bis dahin müssen wir Entwickler darauf vorbereitet sein, dass wir die KI nicht blind vertrauen können, sondern immer noch die „Küchenchefs" bleiben müssen, die das Gericht am Ende prüfen.
Kurz gesagt: KI kann Code schreiben, aber sie kann (noch) nicht garantieren, dass dieser Code funktioniert. Das ist wie ein Koch, der ein tolles Gericht serviert, aber vergisst zu sagen, dass man dafür einen speziellen Herd braucht, den man erst kaufen muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.