AI-Assisted Completion of CertiGC Proofs: An Experience Report
Dieser Erfahrungsbericht beschreibt, wie KI-gestützte Werkzeuge (Codex) eingesetzt wurden, um den verifizierten generationsbasierten Garbage Collector-Beweis von CertiGC in Rocq zu stabilisieren und zu vervollständigen, indem die Verifizierung durch die Reorganisation um eine neue rekursive Rückwärtskanten-Invariante zur Handhabung mutabler Aktualisierungen neu strukturiert wurde, während sich menschliche Experten auf die Beurteilung von Invarianten und die Prüfung des Beweispfads konzentrierten, um die Korrektheit zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Chefarchitekt einer riesigen, magischen Bibliothek namens CertiGC. Diese Bibliothek speichert nicht nur Bücher; sie ist ein lebendiges, atmendes System, das alte, ungenutzte Bücher automatisch aufräumt, um Platz für neue zu schaffen. Jahrelang arbeitete die Bibliothek nach einer einfachen Regel: „Sobald ein Buch in ein Regal gestellt wurde, bewegt es niemand mehr und niemand schreibt eine Notiz, die auf ein neueres Buch hinweist.“ Diese Regel machte die Arbeit des Reinigungsteams einfach. Sie konnten die Regale durchkehren, im Wissen, dass kein altes Buch plötzlich auf ein brandneues verweisen würde.
Doch dann beschloss die Bibliothek, es spannend zu machen: Sie wollte mutable (veränderbare) Updates zulassen: den Bibliothekaren erlauben, neue Notizen in alten Büchern zu schreiben, die auf brandneue Neuzugänge hinweisen. Plötzlich war die alte Regel („keine alten Bücher, die auf neue zeigen“) gebrochen. Die Karte des Reinigungsteams war nun falsch. Wenn sie weiterhin basierend auf der alten Karte durchkehren würden, würden sie die neuen Bücher, auf die alte Notizen hinweisen, übersehen und diese würden versehentlich weggeworfen!
Dies ist die Geschichte eines Teams, das einen superintelligenten KI-Assistenten namens Codex nutzte, um die Reinigungslandkarte der Bibliothek zu reparieren. Aber hier ist der Clou: Codex hat die neue Karte nicht einfach aus dem Nichts magisch erfunden. Stattdessen agierte Codex wie ein unermüdlicher, hyperorganisierter Praktikant, der tausende Seiten lesen, neue Ideen ausprobieren und die „Reinigungs-Simulation“ immer und immer wieder durchlaufen konnte, während ein menschlicher Experte danebenstand, um zu sagen: „Ja, diese Idee funktioniert“ oder „Nein, das bricht die Regeln“.
Das große Problem: Die kaputte Landkarte
Die ursprüngliche Landkarte stützte sich auf eine „No-Backward-Edge“-Regel (Keine Rückwärtskante). Denken Sie an ein Einbahnstraßensystem, in dem man sich nur zeitlich vorwärts bewegen kann. Aber mit den neuen „mutablen“ Updates konnte man plötzlich von einem alten Viertel in ein neues fahren. Die alte Karte sagte: „Das ist unmöglich!“ Die neue Realität sagte: „Es passiert ständig!“
Wenn das Team versucht hätte, die alte Karte mit Gewalt zum Laufen zu bringen, hätte es so tun müssen, als ob die Rückwärtsfahrten nie stattgefunden hätten. Das hätte bedeutet, dass die Bibliothek nur für eine langweilige Version ihrer selbst „korrekt“ gewesen wäre, die diese coolen neuen Dinge nicht tat. Das war nicht das Ziel. Sie brauchten eine neue Regel, die zugab, dass Rückwärtsfahrten möglich waren, aber nur, wenn sie in einem speziellen Logbuch dokumentiert wurden.
Die Rolle der KI: Der unermüdliche Praktikant
Der menschliche Experte wusste, dass sie eine neue Regel brauchten: „Jedes Mal, wenn ein altes Buch auf ein neues zeigt, muss dies im Logbuch ‚Remembered Set‘ festgehalten werden.“
Sie baten Codex, beim Aufbau des Beweises zu helfen, dass diese neue Regel die Bibliothek sicher halten würde. Codex schrieb nicht einfach nur die fertige Antwort. Es agierte wie ein Detektiv, der:
- Den Code las: Es scannte die Blaupausen der Bibliothek.
- Die Regel vorschlug: Es schlug das Konzept der „Recorded-Backward-Edge“ (das Logbuch-Konzept) vor.
- Die Regel testete: Es ließ die Reinigungs-Simulation der Bibliothek (den „Rocq-Kernel“) tausende Male laufen.
- Die Bugs behob: Wenn die Simulation abstürzte, passte Codex die Beweisskripte an, probierte einen anderen Ansatz und lief erneut durch.
Die Aufgabe des menschlichen Experten war der kritischste Teil: Der Richter. Codex konnte eine Regel vorschlagen, aber der Mensch musste entscheiden, ob diese Regel tatsächlich dem realen Verhalten der Bibliothek entsprach. Zum Beispiel könnte Codex vorgeschlagen haben: „Lass uns einfach so tun, als existiere das Logbuch für den Abschlussbericht nicht.“ Der Mensch sagte: „Nein! Das Logbuch ist real. Wir können es nicht verstecken.“
Die Ergebnisse: Eine saubere Bibliothek
Nach viel Arbeit war das Team erfolgreich.
- Die Lösung: Sie ersetzten die kaputte „No-Backward-Edge“-Regel durch die neue „Recorded-Backward-Edge“-Regel.
- Der Beweis: Der Reinigungsprozess der Bibliothek wurde als sicher bewiesen, selbst mit den neuen Updates. Das finale Theorem (das „Große Zertifikat“) sah für die Außenwelt immer noch gleich aus: „Die Bibliothek ist sauber und organisiert.“ Aber unter der Oberfläche war die Logik viel intelligenter.
- Die Aufräumarbeiten: Selbst nachdem der Hauptbeweis akzeptiert worden war, hörte das Team nicht auf. Sie verbrachten zusätzliche Zeit (vom 1. bis zum 3. Mai) damit, die Regeln zu auditieren, um sicherzustellen, dass keine alten, kaputten Annahmen im Code verborgen lagen. Sie entfernten eine „veraltete“ Bedingung, die von der alten, langweiligen Version der Bibliothek übrig geblieben war.
Was uns das lehrt
Das Paper legt nahe, dass KI-Tools wie Codex hervorragend für Wartung und Reparatur geeignet sind. Sie können der perfekte Partner für einen menschlichen Experten sein, wenn die Aufgabe darin besteht:
- Invarianten zu propagieren: Eine neue Regel zu nehmen und sicherzustellen, dass sie in jedem einzelnen Winkel einer massiven Codebasis funktioniert.
- Aufzuräumen: Unordentliche Beweisskripte zu korrigieren und alten, nutzlosen Code zu entfernen.
- Zu testen: Die „Simulation“ (den Compiler) immer und immer wieder laufen zu lassen, um zu sehen, ob eine kleine Änderung etwas beschädigt.
Das Paper ist jedoch sehr deutlich darüber, was die KI nicht alleine leisten kann.
- Sie hat nicht die gesamte Lösung entdeckt: Der Mensch musste die Semantik der Bibliothek verstehen und entscheiden, was die neue Regel sein sollte.
- Sie hat den menschlichen Richter nicht ersetzt: Die KI konnte eine Regel vorschlagen, aber der Mensch musste verifizieren, dass die Regel nicht versehentlich die Sicherheitsgarantien der Bibliothek schwächte.
- Sie war kein „Zauberstab“: Die KI hat nicht einfach den ganzen Beweis in einem Rutsch geschrieben. Es war ein „überwachter, prüfergesteuerter“ Prozess. Der Mensch war immer im Loop, steuerte die KI, lehnte schlechte Ideen ab und stellte sicher, dass das Endergebnis tatsächlich korrekt war.
Die Zahlen
Das Team arbeitete eine Zeit lang daran. Die „Codex-unterstützte Phase“ (als die KI die schwere Arbeit erledigte) fand zwischen dem 22. April und dem 3. Mai 2026 statt.
- Während dieser Zeit gab es 51 Git-Commits (Aktualisierungen des Codes).
- Die KI tätigte 13.305 Tool-Aufrufe (Aktionen wie das Lesen von Dateien, das Ausführen von Tests oder das Editieren von Code).
- Der Mensch gab 415 Prompts (Anweisungen an die KI).
- Die KI verbrachte 59,3 aktive Stunden mit der Lösung des Problems.
Das Paper betont, dass dies kein „gelöstes Problem“ war, bei dem die KI alles allein gemacht hat. Stattdessen war es eine erfolgreiche Kollaboration, bei der die KI die mühsame, repetitive Arbeit des Prüfens und Reparierens übernahm, während der Mensch das tiefe Verständnis und das letzte Wort darüber hatte, was wahr ist. Das Ergebnis ist eine Bibliothek, die sicher, verifiziert und bereit für die Zukunft ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.