RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository
Das Paper stellt RepoGenesis vor, das erste mehrsprachige Benchmark für die end-to-end-Generierung ganzer Microservice-Repositories aus READMEs, das zeigt, dass aktuelle KI-Systeme trotz hoher API-Abdeckung und Deployment-Erfolgsraten erhebliche Defizite in der Architekturkohärenz und Dateikonsistenz aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du möchtest ein neues Restaurant eröffnen. Bisher haben KI-Modelle (die „Köche" der digitalen Welt) nur sehr gut darin gewesen, einzelne Gerichte zu kochen – zum Beispiel eine perfekte Suppe oder einen leckeren Kuchen. Das ist wie das Schreiben einer einzelnen Funktion in einem Computerprogramm.
Aber im echten Leben reicht es nicht, nur eine Suppe zu kochen. Du brauchst ein komplettes Restaurant: Die Küche, die Speisekarte, das Personal, die Stromversorgung, die Hygienevorschriften und alles, damit der Laden am Ende auch wirklich öffnet und funktioniert.
Genau hier setzt die neue Studie „RepoGenesis" an.
Das Problem: Der Koch kann kein Restaurant bauen
Bisher gab es Tests für KI, die nur prüften, ob sie einzelne Rezepte (Code-Funktionen) oder kleine Änderungen an bestehenden Restaurants (Code-Basen) hinbekommen. Aber niemand hat getestet, ob eine KI in der Lage ist, von Null an ein komplettes, funktionierendes Software-System zu bauen.
Die Forscher von Microsoft und verschiedenen Universitäten haben sich gedacht: „Das müssen wir ändern!" Sie haben einen neuen, riesigen Testlauf entwickelt, der genau das prüft.
Die Lösung: Der große „Restaurant-Test" (RepoGenesis)
Die Forscher haben 106 verschiedene „Restaurants" (technisch: Microservice-Repositories) erstellt. Das sind kleine, eigenständige Software-Dienste, die Dinge wie Benutzerverwaltung, Chat-Funktionen oder Dateispeicherungen erledigen.
- Die Zutaten: Sie kommen aus zwei Welten: Echte, beliebte Open-Source-Projekte von GitHub und neue, von Experten entworfene Projekte, die genau auf den Test zugeschnitten sind.
- Die Sprache: Es gibt Tests für zwei der wichtigsten Programmiersprachen: Python (wie ein schneller, flexibler Koch) und Java (wie ein strukturierter, strenger Koch).
- Die Qualitätssicherung: Damit der Test fair ist, haben die Forscher einen strengen Prozess eingeführt. Drei KI-„Gutachter" und ein menschlicher „Kochmeister" (Area Chair) haben sich die Tests immer wieder angesehen, diskutiert und verbessert, bis sie perfekt waren. Das nennt man den „Review-Rebuttal"-Prozess.
Der Wettbewerb: Wer kann das Restaurant eröffnen?
Dann haben die Forscher die besten KI-Assistenten der Welt (sowohl kostenlose Open-Source-Modelle als auch kommerzielle Tools wie GitHub Copilot oder Cursor) vor die Aufgabe gestellt:
„Hier ist die Speisekarte (die Anforderungsliste). Bitte baue mir das komplette Restaurant, damit es morgen öffnen kann."
Die KI musste nicht nur Code schreiben, sondern auch:
- Die richtige Architektur wählen (Wo ist die Küche? Wo sind die Tische?).
- Alle Abhängigkeiten verwalten (Welche Geräte brauchen wir? Welche Zutaten?).
- Sicherstellen, dass alles zusammenpasst (Funktioniert die Tür, wenn das Licht angeht?).
Die Ergebnisse: Ein hartes Urteil
Das Ergebnis war überraschend und zeigt, dass wir noch einen langen Weg vor uns haben:
- Die Theorie vs. die Praxis: Viele KIs konnten die Speisekarte fast vollständig abdecken (sie schrieben Code für fast alle Funktionen). Aber als es darum ging, das Restaurant tatsächlich zu eröffnen (das Programm zu starten und laufen zu lassen), scheiterten die meisten kläglich.
- Analogie: Die KI hat alle Möbel im Restaurant aufgestellt, aber sie hat vergessen, den Strom anzuschließen oder die Tür zu entriegeln. Das Restaurant sieht toll aus, aber niemand kann hineingehen.
- Die besten Leistungen: Selbst die fortschrittlichsten kommerziellen Tools (wie Copilot) schafften es nur in etwa 23 % der Fälle, ein perfekt funktionierendes Restaurant zu eröffnen. In den anderen Fällen gab es Fehler in der Architektur oder die Teile passten nicht zusammen.
- Der „Geister-Effekt": Bei einem bestimmten Tool (Cursor mit einem bestimmten KI-Modell) passierte etwas Seltsames: Die KI sagte immer wieder „Ich mache das jetzt!", aber sie schrieb tatsächlich keinen einzigen Code. Sie blieb in einer Endlosschleife aus Höflichkeitsfloskeln stecken.
Was bedeutet das für die Zukunft?
Die Studie zeigt uns, dass KI zwar super darin ist, einzelne Sätze zu schreiben oder kleine Aufgaben zu lösen, aber das große Ganze zu verstehen – wie ein komplexes System aus vielen Teilen zusammenarbeitet – ist immer noch eine riesige Herausforderung.
Die gute Nachricht: Die Forscher haben gezeigt, dass man KI-Modelle durch Training mit diesen speziellen Daten (dem „RepoGenesis"-Datensatz) deutlich verbessern kann. Ein speziell trainiertes Modell schaffte fast das gleiche Niveau wie die teuersten KI-Modelle der Welt.
Fazit:
Die KI ist wie ein junger, talentierter Auszubildender, der einzelne Rezepte perfekt beherrscht. Aber wenn man ihn bittet, ein ganzes Restaurant zu leiten, stolpert er noch über die Organisation, die Stromleitungen und die Zusammenarbeit der Teams. Mit dem neuen Test „RepoGenesis" haben wir jetzt endlich eine Landkarte, um genau diese Lücken zu finden und die KI zu einem echten „Chef-Koch" für ganze Software-Systeme zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.