From Laboratory to Real-World Applications: Benchmarking Agentic Code Reasoning at the Repository Level
Dit artikel introduceert RepoReason, een white-box benchmark die gebruikmaakt van uitvoeringsgedreven mutatie en dynamische programmaslicing om redenering op repository-niveau door agenten te diagnosticeren, en onthult dat de integratiebreedte de primaire cognitieve bottleneck is voor geavanceerde modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een superintelligente robot te leren hoe je software-engineer wordt. Je wilt weten of het niet alleen in staat is om een enkele regel code te schrijven, maar ook begrijpt hoe duizenden bestanden in een enorm project samenhangen, zoals een dirigent die een groot orkest leidt.
Dit artikel introduceert een nieuwe manier om deze robots te testen, genaamd RepoReason. Hier is het verhaal van hoe ze het bouwden en wat ze ontdekten, eenvoudig uitgelegd.
Het Probleem: De "Lab" versus de "Reële Wereld"
Voorheen was het testen van deze robots als hen een enkele wiskundige opgave geven in een rustige klaslokaal (een "lab"). Ze konden het gemakkelijk oplossen. Maar echte software-engineering is als een chaotische, lawaaierige stad met miljoenen onderling verbonden wegen. Als je een robot vraagt om een file in een specifieke wijk op te lossen, moet het begrijpen hoe die wijk verbonden is met de rest van de stad.
Oude tests waren ofwel te simpel (enkele wiskundige opgaven) of te vaag (ze vroegen alleen: "Heb je de file opgelost?" zonder uit te leggen hoe de robot verdwaald was). De auteurs wilden een test die fungeert als een diagnostische röntgenfoto, die precies laat zien waar het brein van de robot faalt.
De Oplossing: Een "White-Box" Detectivespel
De auteurs creëerden een benchmark genaamd RepoReason. In plaats van de robot te vragen nieuwe code te schrijven, spelen ze een "invul-van-de-leegte"-spel met bestaande, complexe code.
- De Opzet: Ze nemen een echt, enorm softwareproject (zoals een bibliotheek voor wiskunde of een template-engine).
- De Twist (De "Magische Truc"): Om te voorkomen dat robots gewoon antwoorden uit hun trainingsdata memoriseren, gebruiken de auteurs een "Mutatie-engine". Stel je voor dat je een recept neemt, de hoeveelheid suiker verandert van 1 kop naar 2 koppen, en de robot vervolgens vraagt: "Wat is het nieuwe gewicht van de taart?"
- De robot kan niet zomaar gokken; het moet het hele recept mentaal in zijn hoofd uitvoeren om het nieuwe resultaat te achterhalen.
- Omdat de aantallen zijn gewijzigd, kan de robot niet bedriegen door het oude antwoord te onthouden. Het moet daadwerkelijk redeneren.
- Het Doel: De robot moet naar de code kijken, de logica door verschillende bestanden traceren en het juiste getal raden dat ervoor zorgt dat een specifieke test slaagt.
De Drie "Brein-metingen"
Het artikel zegt niet alleen "Geslaagd" of "Niet geslaagd". Het meet hoe de robot denkt met behulp van drie creatieve analogieën:
Leeslast (ESV) - "De Bibliotheekgrootte":
- Hoeveel pagina's van het boek moet de robot lezen om het antwoord te vinden?
- Vinding: Als de robot meer dan 600 regels code tegelijk moet lezen, begint zijn brein te wazig te worden. Het verliest het verhaal uit het oog.
Simulatie-diepte (MCL) - "De Domino-keten":
- Hoeveel stappen moet de robot mentaal zetten om van punt A naar punt B te komen?
- Vinding: Als de keten van gebeurtenissen langer is dan 100 stappen, begint de robot de bal te laten vallen. Het vergeet wat er aan het begin van de keten gebeurde.
Integratie-breedte (DFI) - "De Legpuzzel":
- Dit is de grote. Hoeveel verschillende stukjes informatie uit verschillende delen van de code moet de robot tegelijkertijd in zijn hoofd houden om de puzzel op te lossen?
- Vinding: Dit is de grootste zwakte van de robot. Wanneer de robot informatie moet combineren uit meer dan 20 verschillende bronnen, crasht de prestatie. Het kan de stukjes lezen, maar het kan ze niet aan elkaar lijmen tot één geheel.
De Grote Ontdekking: Het "Aggregatie-tekort"
De auteurs testten de slimste beschikbare AI-modellen (zoals Claude, GPT en DeepSeek). Ze ontdekten een verrassende waarheid:
- De Bottleneck: Zelfs de beste robots zijn uitstekend in lezen en uitstekend in het volgen van een lange keten van stappen. Maar ze zijn vreselijk in het combineren van veel verschillende stukjes informatie tegelijkertijd.
- De Analogie: Stel je een detective voor die een bestand van 500 pagina's kan lezen en elk detail perfect kan onthouden. Maar als je hem 20 verschillende aanwijzingen geeft van 20 verschillende getuigen en vraagt de zaak op te lossen, raakt hij in de war en mist hij de connectie. Ze lijden aan een "Aggregatie-tekort".
Waarom Dit Belangrijk Is
Dit artikel is een diagnostisch hulpmiddel. Het vertelt ons dat we om betere AI-engineers voor de toekomst te bouwen, niet alleen moeten zorgen dat ze sneller lezen of langere ketens kunnen onthouden. We moeten hen leren hoe ze informatie moeten synthetiseren – hoe ze naar veel verschillende, losgekoppelde onderdelen van een systeem moeten kijken en begrijpen hoe ze allemaal samenkomen om één logisch resultaat te creëren.
Kortom: De robots zijn goed in het lezen van de kaart, maar ze zijn slecht in het navigeren door de hele stad wanneer de wegen te ingewikkeld worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.