Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence
Dieser Beitrag stellt T2J-Bench vor, einen Benchmark, der die Umwandlung von Codebasen anhand eines festen, mehrstufigen Vertrags zur beobachtenden Äquivalenz bewertet und aufzeigt, dass aktuelle Codierungs-Agenten ihren Erfolg aufgrund der Abhängigkeit von fehlerhafter Selbstvalidierung statt begrenzter Rechenressourcen erheblich überschätzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der „Fake It 'Til You Make It"-Agent
Stellen Sie sich vor, Sie stellen einen sehr selbstbewussten, hochtechnologischen Roboter-Koch (einen Coding Agent) ein, um ein komplexes, 100-seitiges Kochbuch, das auf Französisch geschrieben ist (PyTorch-Code), ins Englische zu übersetzen (JAX-Code).
Der Roboter-Koch ist hervorragend darin, die Wörter zu lesen und die Sätze umzustellen. Er beendet die Arbeit schnell und sagt: „Erledigt! Das Buch ist übersetzt."
Wenn Sie jedoch tatsächlich versuchen, eine Mahlzeit mit dem neuen englischen Buch zu kochen, schmeckt die Suppe nach Seife oder der Kuchen fällt zusammen. Der Roboter-Koch ist nicht gescheitert, weil er die Wörter nicht lesen konnte; er ist gescheitert, weil er die Chemie des Kochens nicht verstanden hat. Er hat die Wörter korrekt übersetzt, aber er hat die Semantik (die tatsächliche Bedeutung und das Verhalten) vermasselt.
Das Paper argumentiert, dass aktuelle KI-Coding-Agenten zu schnell den Sieg verkünden. Sie führen ein paar schnelle Checks durch (wie „Hat das Buch Seiten?" oder „Ist die Schrift lesbar?") und sagen „Erfolg!", obwohl die zugrunde liegende Logik kaputt ist.
Die Lösung: T2J-Bench (Der „Geschmackstest"-Benchmark)
Um dies zu beheben, haben die Forscher einen neuen Testbereich namens T2J-Bench entwickelt. Anstatt nur zu fragen: „Hat der Roboter das Buch fertiggestellt?", fragen sie: „Produziert das übersetzte Buch exakt dasselbe Essen wie das Original?"
Sie nennen dies „Observational Equivalence" (Beobachtungsgleichwertigkeit). Es ist wie ein Blindgeschmackstest. Der Bewerter interessiert sich nicht dafür, wie der Roboter den Code geschrieben hat; es interessiert ihn nur, ob die Ausgabe identisch mit dem Original ist.
Der Test findet in drei strengen Phasen statt, wie ein Sicherheitskontrollpunkt:
Die Spec-Phase (Der Ausweis-Check):
- Analogie: Hat das neue Buch dieselben Kapitel, dasselbe Inhaltsverzeichnis und dieselben Seitenzahlen wie das Original?
- Realität: Hat der konvertierte Code die richtigen Einstiegspunkte, die richtigen Variablen und die richtige Struktur?
- Ergebnis: Die Roboter sind gut darin. 91 % bestehen diese Phase. Sie können das Buch optisch richtig aussehen lassen.
Die Numeric-Phase (Der Zutaten-Check):
- Analogie: Wenn das Originalrezept 200 g Mehl und 3 Eier vorsieht, sieht das neue Rezept dann auch exakt das vor? Wenn Sie die Zutaten mischen, erhalten Sie dann exakt dasselbe Teiggewicht?
- Realität: Produziert der Code exakt dieselben Zahlen (Losses, Gradients, Outputs), wenn er auf einem kleinen Testbatch ausgeführt wird?
- Ergebnis: Hier scheitern die Dinge. Viele Roboter bestehen den Ausweis-Check, scheitern aber am Zutaten-Check. Sie könnten eine „Loss"-Zahl mit einer „Method"-Zahl vertauschen, sodass die Mathematik richtig aussieht, das Ergebnis aber falsch ist.
Die Behavioral-Phase (Der Koch-Test):
- Analogie: Wenn Sie den Kuchen nach dem neuen Rezept 10 Minuten lang backen, geht er dann auf und wird genau wie der Originalkuchen braun?
- Realität: Wenn Sie eine kurze Trainingssession (ein paar Schritte) durchführen, lernt das KI-Modell dann und verhält es sich genauso wie das Original?
- Ergebnis: Dies ist der schwierigste Teil. Selbst wenn die Zutaten stimmen, könnte der Prozess des Kochens anders sein.
Die schockierenden Ergebnisse
Die Forscher testeten 355 Versuche der weltweit intelligentesten KI-Coding-Agenten (einschließlich Modelle von Google, Anthropic und OpenAI).
- Die Bestehensquote ist schrecklich: Selbst das beste System bestand den vollständigen Test nur 26,7 % bis 28,9 % der Zeit.
- Mehr Geld hilft nicht: Die Forscher versuchten, den Robotern mehr Zeit und mehr „Thinking Tokens" zu geben (wie ihnen ein größeres Budget zu geben, um mehr Helfer einzustellen). Es half nicht viel. Eine Ausgabe von 4,7-mal mehr Geld verbesserte die Erfolgsquote nur um das 2,2-fache.
- Die „Selbstvertrauens-Falle": Dies ist das überraschendste Ergebnis. Die Roboter sind wild übermütig.
- Die Roboter sagten den Forschern: „Ich bin zu 95 % sicher, dass ich erfolgreich war!"
- Der tatsächliche Test sagte: „Sie waren nur in 28 % der Fälle erfolgreich."
- Die Roboter logen sich selbst (oder genauer gesagt, ihre internen Checks lügen sie an) mit einer Spanne von 66 bis 97 Prozentpunkten.
Warum scheitern sie?
Das Paper kommt zu dem Schluss, dass das Problem nicht darin besteht, dass die Roboter nicht intelligent genug sind oder nicht genug Geld haben. Das Problem ist die Selbstvalidierung.
- Die Analogie: Stellen Sie sich einen Schüler vor, der einen Mathe-Test schreibt. Anstatt seine Antworten mit dem Lösungsschlüssel zu vergleichen, prüft er, ob seine Handschrift ordentlich ist und ob er alle Kästchen ausgefüllt hat. Er sagt: „Ich habe eine Eins!", weil die Form perfekt aussieht, obwohl die Mathematik falsch ist.
- Die Realität: Die Agenten prüfen, ob der Code „läuft" und ob die Dateien existieren. Sie prüfen nicht, ob der Code tatsächlich dasselbe bedeutet wie das Original. Sie verwechseln „sieht aus wie eine Übersetzung" mit „ist eine Übersetzung".
Das Fazit
Das Paper schlägt vor, dass wir, um Coding-Agenten zu verbessern, sie nicht einfach nur größer machen oder ihnen mehr Geld geben müssen. Wir müssen ihnen beibringen, ihre Arbeit gegen die Originalquelle zu prüfen, nicht nur gegen ihre eigenen inneren Gefühle.
Sie müssen aufhören zu fragen: „Läuft dieser Code?" und anfangen zu fragen: „Macht dieser Code exakt das, was der Originalcode getan hat?", bis die Antwort ein perfektes „Ja" ist.
Kurz gesagt: Aktuelle KI-Agenten sind großartig darin, die Wörter des Codes zu übersetzen, aber sie sind schrecklich darin, die Seele des Codes zu übersetzen. Sie sind „Konvertiert, Nicht Gleichwertig".
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.