RoadmapBench: Evaluating Long-Horizon Agentic Software Development Across Version Upgrades
RoadmapBench führt einen Benchmark mit 115 komplexen, langfristigen Codierungsaufgaben ein, die auf realen Open-Source-Version-Upgrades basieren, um zu demonstrieren, dass aktuelle Frontier-KI-Agenten bei der groß angelegten, multi-target Softwareentwicklung erheblich Schwierigkeiten haben und selbst mit den fortschrittlichsten Modellen weniger als 40 % der Aufgaben lösen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen ein Team von superscharfsinnigen, KI-gestützten Junior-Entwicklern ein. Sie wollen wissen, ob sie einen echten Job bewältigen können: nicht nur einen einzelnen Tippfehler in einem Rezept korrigieren, sondern ein massives, 500-seitiges Kochbuch komplett neu schreiben, um neue Kapitel hinzuzufügen, die Art und Weise zu ändern, wie Zutaten gemessen werden, und defekte Öfen zu reparieren – und das alles, während die alten Rezepte für diejenigen weiter funktionieren, die noch die alte Version verwenden.
Genau darum geht es in der Arbeit ROADMAPBENCH.
Hier ist die Aufschlüsselung der Arbeit in einfachen Worten:
1. Das Problem: Der „Tippfehler" versus der „Umzug"
Lange Zeit haben wir KI-Coding-Assistenten an kleinen, einfachen Aufgaben getestet. Es ist, als würde man fragen: „Können Sie diesen einen Satz in diesem Absatz korrigieren?" Die KI sagt normalerweise: „Ja!" und bekommt eine Eins.
Aber in der realen Welt geht es bei der Softwareentwicklung nicht darum, einen Satz zu korrigieren. Es geht darum, ein Wolkenkratzer zu renovieren. Sie müssen die Wasserleitungen, die elektrische Verkabelung und die Aufzugssysteme über 50 verschiedene Etagen hinweg gleichzeitig ändern, ohne dass das Gebäude einstürzt.
Die Autoren stellten fest, dass bestehende Tests zu einfach waren. Es war, als würde man einen Architekten bitten, einen tropfenden Wasserhahn zu reparieren, während die eigentliche Aufgabe darin besteht, einen neuen Flügel für ein Krankenhaus zu entwerfen. Also bauten sie einen neuen, viel härteren Test namens ROADMAPBENCH.
2. Der neue Test: Die „Versions-Upgrade"-Herausforderung
Anstatt die KI zu bitten, einen Fehler zu beheben, gibt ihr ROADMAPBENCH eine Roadmap.
- Das Setup: Die KI wird in eine digitale Werkstatt mit einer alten Version eines echten Softwareprojekts (wie einem beliebten Open-Source-Tool) versetzt.
- Die Mission: Die KI erhält ein „Roadmap"-Dokument. Dieses Dokument besagt: „In der nächsten Version dieser Software müssen wir diese 5 neuen Funktionen hinzufügen, die Funktionsweise dieser 3 Dinge ändern und diese 2 Fehler beheben."
- Das Ausmaß: Dies ist keine winzige Änderung. Im Durchschnitt muss die KI 3.700 Zeilen Code über 51 verschiedene Dateien hinweg neu schreiben. Es ist, als würde man die KI bitten, das gesamte Drehbuch eines Films neu zu schreiben, die Kostüme zu ändern und die Szenen neu zu drehen, und das alles auf einmal.
- Die Regeln: Die KI darf nicht in den „Lösungsschlüssel" (die neue Version der Software) spicken. Sie muss es allein aus den Anweisungen herausfinden.
3. Die Ergebnisse: Die KI ist immer noch ein „Junior"
Die Forscher testeten 13 der intelligentesten verfügbaren KI-Modelle (einschließlich der allerneuesten Versionen von Unternehmen wie Anthropic, OpenAI und Google). Sie setzten diese Modelle dem ROADMAPBENCH-Test aus.
Das Ergebnis war ernüchternd:
- Selbst die intelligenteste KI (Claude-Opus-4.7) gelang nur in 39,1 % der Aufgaben ein Erfolg.
- Die schwächste KI gelang nur in 5,2 % der Aufgaben ein Erfolg.
Die Metapher:
Wenn Sie einen menschlichen Junior-Entwickler bitten, ein Haus umzubauen, und er den Job nur 4-mal von 10 Mal korrekt beendet, würden Sie sagen: „Er lernt noch." Die Arbeit zeigt, dass selbst unsere fortschrittlichste KI, wenn es um komplexe, langfristige Softwareprojekte geht, immer noch in der „Lernphase" steckt.
4. Wo scheitern sie?
Die Arbeit zählte nicht nur die Fehler; sie untersuchte, warum sie scheiterten. Sie fanden ein Muster basierend darauf, wie „intelligent" die KI war:
- Die stärkeren Modelle: Sie bekamen den Code meist zum Kompilieren (Bauen) und konnten die meisten Funktionen schreiben. Aber sie scheiterten an den Details. Es ist, als hätten sie ein perfektes Haus gebaut, aber der Türknauf war auf der falschen Seite, oder der Lichtschalter schaltete das Licht tatsächlich nicht ein. Sie verstanden das große Ganze, verpassten aber die winzige, präzise Logik.
- Die schwächeren Modelle: Sie konnten oft nicht einmal das Haus fertigstellen. Sie vergaßen, das Dach zu installieren, oder sie versuchten, die Küche im Keller unterzubringen. Sie scheiterten auf der grundlegenden Konstruktionsebene.
5. Warum das wichtig ist (laut der Arbeit)
Die Autoren argumentieren, dass wir aufhören müssen, KI an „Tippfehler-Korrekturen" zu testen, weil dies uns ein falsches Sicherheitsgefühl vermittelt. Nur weil eine KI einen Fehler beheben kann, bedeutet das nicht, dass sie eine neue Funktion bauen kann.
ROADMAPBENCH ist ein neues, ehrliches Lineal. Es sagt uns, dass, obwohl die KI besser wird, die Fähigkeit, lange, komplexe, mehrstufige Softwareprojekte zu bewältigen, immer noch eine riesige, ungelöste Herausforderung ist. Die KI ist derzeit wie ein sehr talentierter Lehrling, der Anweisungen für ein paar Schritte gut befolgen kann, aber verwirrt wird, wenn das Projekt zu groß und zu komplex wird.
Zusammenfassung
- Alte Tests: „Können Sie dieses eine kaputte Wort korrigieren?" (KI: Ja!)
- ROADMAPBENCH: „Hier ist ein Plan, um ein ganzes Softwaresystem zu aktualisieren. Können Sie das?" (KI: Ich kann es versuchen, aber ich werde wahrscheinlich die Details vermasseln oder einen Schritt vergessen.)
- Fazit: Wir sind noch nicht so weit. Die KI ist intelligent, aber sie ist noch nicht bereit, die leitende Ingenieurin bei einem großen Softwareprojekt zu sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.