Specification-first convergence with an AI coding agent: a case study of dismantling a core architectural invariant across 189 files in a 717k-line codebase with no test oracle and no human code review

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, wie man ein Haus baut. Normalerweise ist der Roboter großartig darin, einen einzelnen Ziegel zu legen oder eine Wand zu streichen, aber wenn man ihn bittet, das gesamte Fundament umzugestalten, während im Haus bereits gelebt wird, gerät er eher durcheinander. Er könnte versehentlich eine tragende Wand einreißen oder vergessen, dass die Küche mit dem Esszimmer verbunden bleiben muss. In der Welt der Informatik nennt man das „Refactoring“ eines massiven Code-Bestands. Die große Frage, die sich Forscher derzeit stellen, lautet: Kann ein KI-Agent diese riesige, gefährliche Aufgabe ganz allein bewältigen, ohne dass ein menschlicher Chef jede einzelne Zeile Code kontrollieren muss?

Um die Herausforderung zu verstehen, stellen Sie sich ein Computerprogramm wie eine riesige, komplizierte Uhrwerkmaschine vor. Im Inneren gibt es „Invarianten“ – das sind die unumstößlichen Regeln, die die Zahnräder am Laufen halten, wie zum Beispiel „die Hauptfeder muss immer aufgezogen sein“ oder „die Zeiger dürfen niemals rückwärts springen“. Die meisten KI-Codierungstools sind wie Lehrlinge, die gut darin sind, eine lockere Schraube zu reparieren, aber schrecklich darin, die ganze Uhr neu zu verdrahten, ohne die Zeitmessung zu unterbrechen. Sie benötigen normalerweise einen Menschen, der ihnen über die Schulter schaut und sagt: „Warte, das kannst du nicht machen!“ Aber Menschen werden müde, und sie können nicht die gesamte Landkarte einer riesigen Uhr gleichzeitig in ihrem Kopf behalten. Diese Arbeit untersucht einen neuen Weg der Zusammenarbeit: Anstatt die Arbeit des Roboters zu überprüfen, nachdem er fertig ist, zwingen wir den Roboter dazu, bevor er auch nur ein einziges Zahnrad berührt, eine perfekte, detaillierte Bedienungsanleitung zu schreiben. Dann lassen wir den Roboter seine eigene Arbeit gegen diese Anleitung prüfen, immer und immer wieder, bis die Anleitung und die Maschine perfekt übereinstimmen.

Die Geschichte des „Geister“-Panels

Dieses Paper erzählt die Geschichte eines spezifischen, hochriskanten Experiments, bei dem ein einzelner KI-Agent gebeten wurde, einen „Zaubertrick“ bei einem massiven Softwareprogramm vorzuführen. Das Programm war eine Anwendung mit 717.725 Zeilen (stellen Sie sich eine Bibliothek mit fast 720.000 Buchseiten voller Anweisungen vor), die als KI-Codierungsassistent fungierte. Die Aufgabe bestand darin, eine grundlegende Regel zu brechen, die die Software seit ihrem ersten Tag befolgt hatte: die Regel, die besagte: „Wenn man das Fenster zeigt, in dem die Arbeit der KI stattfindet, muss die KI aufhören zu denken.“

Das Ziel war es, dies so zu ändern, dass die KI auch im Hintergrund weiterarbeitet, wie ein Geist, wenn man das Fenster schließt. Wenn man das Fenster wieder öffnet, sollte die KI sofort wieder an das Gespräch „andocken“ und genau dort weitermachen, wo sie aufgehört hat, ohne ein einziges Wort zu verlieren oder sich zu wiederholen. Der Autor des Papers, ein menschlicher Entwickler, glaubte, dass dies so komplex und riskant sei, dass der einzige sichere Weg darin bestünde, den alten Code wegzuwerfen und alles von Grund auf neu zu schreiben.

Das „Specification-First“-Protokoll

Anstatt alles neu zu schreiben, verwendete der Autor eine Methode namens „Specification-First Convergence“ (Konvergenz durch Spezifikation zuerst). Denken Sie an dies wie an ein Spiel „Stille Post“, das mit einem sehr strengen Schiedsrichter gespielt wird, aber der Schiedsrichter ist die KI selbst.

1. Der Plan: Der Mensch gab der KI eine einfache Anfrage in natürlicher Sprache: „Sorge dafür, dass die KI weiterarbeitet, auch wenn das Fenster geschlossen ist.“
2. Der Entwurf: Die KI begann nicht sofort mit dem Codieren. Stattdessen schrieb sie eine massive, 55-seitige formale „Spezifikation“ – einen detaillierten Bauplan darüber, wie genau die Änderung funktionieren würde, bis hin zum kleinsten Detail.
3. Das Audit (Verfeinerung): Hier geschah die Magie. Die KI wurde gebeten, ihren eigenen Entwurf 14 Mal mit dem existierenden Code zu vergleichen. In jeder Runde fand sie Fehler in ihrem eigenen Plan. „Oh, ich habe vergessen, dass der Hintergrundprozess einen neuen Button benötigt, um ihn zu stoppen“, oder „Ich habe nicht berücksichtigt, was passiert, wenn das Fenster geschlossen wird, während die KI gerade nachdenkt.“ Sie schrieb den Entwurf 14 Mal um und korrigierte etwa 85 Fehler im Plan, bevor sie auch nur eine einzige Zeile neuen Code schrieb.
4. Der Bau: Sobald der Entwurf „eingefroren“ war (was bedeutete, dass er perfekt war und sich nicht mehr ändern würde), begann die KI mit dem Codieren. Sie schrieb nicht nur Dateien; sie erstellte Patches (kleine Aktualisierungen) für 189 verschiedene Dateien.
5. Die Doppelprüfung (Verifizierung): Dies war der kritischste Teil. Die KI wurde gebeten, ihren eigenen neuen Code zu lesen und ihn 17 Mal mit dem eingefrorenen Entwurf zu vergleichen. Sie fand 116 weitere Fehler – winzige architektonische Unstimmigkeiten oder Logiklücken – und behob sie. Sie machte dies so lange, bis zwei Runden hintereinander null Fehler fanden.

Die Ergebnisse: Ein Geist, der nicht spukt

Der gesamte Prozess dauerte drei Tage und kostete 2.430 US-Dollar an Rechengebühren. Das Ergebnis? Die KI schaffte es erfolgreich, eine Kernregel der Software über 189 Dateien hinweg zu dekonstruieren, ohne dass ein Mensch jemals den generierten Code angesehen hat.

Als der Mensch das Programm zum ersten Mal ausführte, funktionierte es perfekt. Man konnte das Fenster schließen, die KI im Hintergrund weiterarbeiten sehen und das Fenster wieder öffnen, um zu sehen, wie das Gespräch ohne Wortverlust oder Duplikate sofort fortgesetzt wurde. Die Software verhielt sich exakt so, wie es der Entwurf versprach. Der Autor merkte an, dass der Code so sauber war, dass eine spätere kleine Anpassung an der Benutzeroberfläche nur die Änderung einer einzigen Datei erforderte, was darauf hindeutet, dass die KI einen guten Job gemacht hatte, die Struktur organisiert zu halten.

Was dies bedeutet (und was es nicht bedeutet)

Dieses Paper legt nahe, dass wir für sehr schwierige, hochriskante Softwareänderungen möglicherweise nicht darauf angewiesen sind, menschliche Prüfer einzusetzen, um jeden Fehler abzufangen. Stattdessen können wir die KI nutzen, um ihre eigenen Pläne und ihren eigenen Code immer wieder rigoros gegen einen eingefrorenen Standard zu prüfen, bis sie auf Perfektion konvergiert.

Das Paper ist jedoch sehr vorsichtig mit seinen Behauptungen. Es gibt zu bedenken, dass dies nur eine spezifische Aufgabe an einem spezifischen Code-Bestand war. Es beweist nicht, dass dies für jede KI oder jede Art von Softwareproblem funktionieren wird. Es stellt auch fest, dass, da der Code privat ist, niemand anderes das exakt gleiche Experiment durchführen kann, um zu sehen, ob er zum gleichen Ergebnis kommt. Aber als Proof of Concept zeigt es, dass eine KI, wenn man sie zwingt, akribisch zu planen und sich selbst wiederholt zu auditieren, eine „chirurgische“ Operation an einem riesigen Softwaresystem durchführen kann, die Menschen normalerweise für zu gefährlich halten, um sie ohne einen kompletten Rewrite anzupacken.