From Laboratory to Real-World Applications: Benchmarking Agentic Code Reasoning at the Repository Level
Dieser Beitrag stellt RepoReason vor, einen White-Box-Benchmark, der executionsgetriebene Mutation und dynamisches Programmslicing nutzt, um die agentic Code-Reasoning-Fähigkeiten auf Repository-Ebene zu diagnostizieren und zeigt, dass die Integrationsbreite die primäre kognitive Engstelle für Frontier-Modelle darstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superschlauen Roboter beizubringen, wie man Softwareentwickler wird. Sie möchten wissen, ob er nicht nur eine einzelne Codezeile schreiben, sondern verstehen kann, wie Tausende von Dateien in einem riesigen Projekt zusammenpassen, wie ein Dirigent, der ein riesiges Orchester leitet.
Diese Arbeit stellt eine neue Methode vor, um diese Roboter zu testen, namens RepoReason. Hier ist die Geschichte davon, wie sie es entwickelt haben und was sie herausfanden, einfach erklärt.
Das Problem: Das „Labor" vs. die „Realität"
Früher war das Testen dieser Roboter so, als würde man ihnen in einem ruhigen Klassenzimmer (einem „Labor") eine einzelne Matheaufgabe geben. Sie konnten sie leicht lösen. Aber echte Softwareentwicklung ist wie eine chaotische, laute Stadt mit Millionen von miteinander verbundenen Straßen. Wenn Sie einen Roboter bitten, einen Stau in einer bestimmten Nachbarschaft zu beheben, muss er verstehen, wie diese Nachbarschaft mit dem Rest der Stadt verbunden ist.
Alte Tests waren entweder zu einfach (einzelne Matheaufgaben) oder zu vage (sie fragten nur: „Haben Sie den Stau behoben?", ohne zu erklären, wie der Roboter sich verlaufen hatte). Die Autoren wollten einen Test, der wie ein diagnostisches Röntgenbild wirkt und genau zeigt, wo das Gehirn des Roboters versagt.
Die Lösung: Ein „White-Box"-Detektivspiel
Die Autoren schufen einen Benchmark namens RepoReason. Anstatt den Roboter zu bitten, neuen Code zu schreiben, spielen sie ein „Lückentext"-Spiel mit vorhandenem, komplexem Code.
- Das Setup: Sie nehmen ein reales, massives Softwareprojekt (wie eine Bibliothek für Mathematik oder eine Template-Engine).
- Der Twist (der „Magische Trick"): Um zu verhindern, dass die Roboter einfach Antworten aus ihren Trainingsdaten auswendig lernen, verwenden die Autoren eine „Mutations-Engine". Stellen Sie sich vor, Sie nehmen ein Rezept, ändern die Zuckermenge von 1 Tasse auf 2 Tassen und fragen dann den Roboter: „Was ist das neue Gewicht des Kuchens?"
- Der Roboter kann nicht einfach raten; er muss das gesamte Rezept gedanklich in seinem Kopf durchspielen, um das neue Ergebnis herauszufinden.
- Da die Zahlen geändert wurden, kann der Roboter nicht schummeln, indem er sich die alte Antwort merkt. Er muss tatsächlich schließen.
- Das Ziel: Der Roboter muss den Code betrachten, die Logik durch verschiedene Dateien verfolgen und die richtige Zahl erraten, die einen bestimmten Test bestehen lässt.
Die drei „Gehirn-Metriken"
Die Arbeit sagt nicht nur „Bestanden" oder „Durchgefallen". Sie misst, wie der Roboter denkt, indem sie drei kreative Analogien verwendet:
Lesebelastung (ESV) – „Die Bibliotheksgröße":
- Wie viele Seiten des Buches muss der Roboter lesen, um die Antwort zu finden?
- Ergebnis: Wenn der Roboter mehr als 600 Zeilen Code auf einmal lesen muss, beginnt sein Gehirn zu verschwimmen. Er verliert den Faden der Geschichte.
Simulations-Tiefe (MCL) – „Die Dominokette":
- Wie viele Schritte muss der Roboter in seinem Kopf machen, um von Punkt A zu Punkt B zu gelangen?
- Ergebnis: Wenn die Ereigniskette länger als 100 Schritte ist, beginnt der Roboter den Ball fallen zu lassen. Er vergisst, was am Anfang der Kette passiert ist.
Integrationsbreite (DFI) – „Das Puzzle":
- Das ist der große Punkt. Wie viele unterschiedliche Informationsstücke aus verschiedenen Teilen des Codes muss der Roboter gleichzeitig in seinem Kopf halten, um das Puzzle zu lösen?
- Ergebnis: Dies ist die größte Schwäche des Roboters. Wenn der Roboter Informationen aus mehr als 20 verschiedenen Quellen kombinieren muss, bricht seine Leistung zusammen. Er kann die Teile lesen, aber er kann sie nicht zu einem Gesamtbild zusammenfügen.
Die große Entdeckung: Das „Aggregationsdefizit"
Die Autoren testeten die intelligentesten verfügbaren KI-Modelle (wie Claude, GPT und DeepSeek). Sie entdeckten eine überraschende Wahrheit:
- Die Engstelle: Selbst die besten Roboter sind großartig im Lesen und großartig darin, einer langen Kette von Schritten zu folgen. Aber sie sind schrecklich darin, viele verschiedene Informationsstücke gleichzeitig zu kombinieren.
- Die Analogie: Stellen Sie sich einen Detektiv vor, der eine 500-seitige Akte lesen und sich jedes Detail perfekt merken kann. Aber wenn Sie ihm 20 verschiedene Hinweise von 20 verschiedenen Zeugen geben und ihn bitten, den Fall zu lösen, gerät er in Verwirrung und verpasst die Verbindung. Sie leiden unter einem „Aggregationsdefizit".
Warum das wichtig ist
Diese Arbeit ist ein Diagnosewerkzeug. Sie sagt uns, dass wir, um bessere KI-Ingenieure für die Zukunft zu bauen, sie nicht nur schneller lesen lassen oder längere Ketten merken sollten. Wir müssen ihnen beibringen, Informationen zu synthetisieren – wie man viele verschiedene, unverbundene Teile eines Systems betrachtet und versteht, wie sie alle zusammenpassen, um ein einziges logisches Ergebnis zu erzeugen.
Kurz gesagt: Die Roboter sind gut darin, die Karte zu lesen, aber sie sind schlecht darin, die ganze Stadt zu navigieren, wenn die Straßen zu kompliziert werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.