Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories
Dit artikel presenteert een gecontroleerde ablatieonderzoek dat aantoont dat persistente contextbestanden (bijv. AGENTS.md) de correctheid van coderingsagenten niet meetbaar verbeteren omdat fouten voortkomen uit tekortkomingen in de implementatievaardigheid in plaats van uit ontbrekende repository-kennis, terwijl het tegelijkertijd eerdere tegenstrijdige bevindingen verklaart door variaties in taakmoeilijkheid per specifieke agent.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Digitale Bibliothecaris versus de Meesterbouwer
Stel je voor dat je een superintelligente, maar gloednieuwe robotassistent probeert te leren hoe hij een complexe machine moet repareren in een enorme, rommelige werkplaats. Je hebt twee manieren om hem te helpen. Ten eerste zou je hem een gedetailleerde kaart van de werkplaats kunnen geven, een lijst met regels over hoe gereedschap gebruikt moet worden, en een gids over hoe de machine zich normaal gesproken gedraagt. In de wereld van computerprogrammeren wordt dit een "contextbestand" genoemd (vaak AGENTS.md of CLAUDE.md genoemd). Het is als een briefje dat op het bureau van de robot is achtergelaten met de tekst: "Onthoud, we gebruiken hier altijd rode schroeven!"
Ten tweede zou je de robot gewoon de werkplaats in kunnen laten dwalen en de boel zelf kunnen laten uitzoeken door naar de machine zelf te kijken.
Lange tijd waren mensen die deze AI-coderingsassistenten bouwen geobsedeerd door de eerste optie. Ze besteden uren aan het schrijven van deze instructiehandleidingen, in de overtuiging dat als de robot de regels maar beter kende, hij betere code zou bouwen. Maar hier is de grote vraag: Maakt het lezen van de handleiding de robot een betere bouwer, of zorgt het er alleen voor dat de robot zich zelfverzekerder voelt terwijl hij nog steeds dezelfde fouten maakt? Dit is het mysterie dat een nieuwe studie probeerde op te lossen, door te testen of deze digitale instructiehandleidingen de magische sleutels zijn tot betere AI-codering of gewoon een hoop extra papierwerk.
De Grote Handleiding-test
In deze studie gedroegen onderzoekers zich als strenge wetenschapsleraren. Ze namen twee van de slimste AI-coderingsagenten die vandaag de dag beschikbaar zijn—één van een bedrijf genaamd Anthropic (genaamd Claude) en één van OpenAI (Codex)—en gaven ze een reeks real-world programmeeruitdagingen. Dit waren geen nep huiswerkopdrachten; het waren echte taken afkomstig van echte softwareprojecten, zoals het oplossen van bugs in een cloud-toolkit of het aanpassen van een compiler.
Om te zien of de "handleiding" hielp, voerden ze dezelfde taak drie verschillende keren uit voor elke robot:
- De "Zonder Notities" Run: De robot kreeg de taak maar geen handleiding.
- De "Altijd Aan" Run: De volledige handleiding werd tijdens elke stap in de hersenen van de robot gepropt.
- De "Op Aanvraag" Run: De robot had een bibliotheek van kleinere, georganiseerde notities die hij kon kiezen om te lezen als hij vastliep.
Ze voerden deze experimentele reeks in totaal 288 keer uit, waarbij de uiteindelijke code controleerden tegen een verborgen "gouden standaard" om te zien of het daadwerkelijk werkte.
De Grote Verrassing: Handleidingen Fixen Geen Slechte Bouwprestaties
De resultaten waren een schok voor de mensen die deze handleidingen schrijven. De studie vond dat het hebben van het contextbestand bijna geen verschil maakte in de vraag of de AI de klus wel of niet goed volbracht.
Of de robot nu de handleiding had, de bibliotheek, of helemaal niets, het succespercentage bleef ongeveer gelijk. Voor de Claude-robot veranderde de handleiding de uitkomst met niet meer dan 10 procentpunten. Voor de Codex-robot veranderde het de uitkomst met niet meer dan 15 procentpunten. In de wereld van de wetenschap noemen we dit een "null resultaat"—het betekent dat het ding waarvan we dachten dat het belangrijk was, dat eigenlijk niet is.
De onderzoekers groeven dieper om te ontdekken waarom de handleidingen niet hielpen. Ze keken naar de momenten waarop de robots bijna het juiste antwoord hadden, maar faalden. Ze ontdekten dat de robots niet faalden omdat ze een feit uit de handleiding misten (zoals "gebruik geen rode schroeven"). In plaats daarvan faalden ze omdat ze een gebrek hadden aan bouwvaardigheden.
Denk er zo over na: Als je een briljante architect een perfect blauwdruk van een huis geeft, maar hij weet niet hoe hij een baksteen moet leggen of hoe hij een lichtschakelaar moet bedraden, dan zal de blauwdruk hem niet redden. De AI-agenten in de studie waren geweldig in het lezen, maar ze struikelden over het eigenlijke doen. Ze worstelden met het ontwerpen van functies, het kiezen van de juiste patronen en het correct verbinden van de onderdelen. De handleiding kon hen niet leren hoe ze moesten bouwen; het kon hen alleen vertellen hoe het gebouw eruitzag.
De "One Size Doesn't Fit All" Twist
Er was nog een andere fascinerende ontdekking. De onderzoekers merkten op dat een taak die super makkelijk was voor de ene robot, ongelooflijk moeilijk kon zijn voor de andere, en vice versa. Het is als hoe sommige mensen geweldig zijn in het oplossen van wiskundepuzzels maar verschrikkelijk zijn in jongleren, terwijl hun vriend het tegenovergestelde is.
Vanwege dit, suggereert de studie dat eerder onderzoek in de war kan zijn geraakt. Als één wetenschapper de handleidingen testte op een robot die de taken makkelijk vond, en een andere wetenschapper testte ze op een robot die de taken moeilijk vond, zouden zij verschillende resultaten krijgen. De "sweet spot" waar een handleiding daadwerkelijk zou kunnen helpen, lijkt voor elke AI-hersenen anders te zijn.
Hebben de Handleidingen Helemaal Niets Gedaan?
Dus, waren de handleidingen volledig nutteloos? Niet helemaal, maar de voordelen waren zeer specifiek en klein.
- Snelheid en Kosten: Op één specifiek project, toen de robot de handleiding had, stopte hij met het uitvoeren van onnodige, trage tests. Het was alsof de robot een bord zag met "Deze test duurt 20 minuten" en besloot de test over te slaan. Dit bespaarde tijd, maar het maakte de code niet beter.
- De "Bijna-Succes" Test: De onderzoekers probeerden een speciaal experiment waarbij ze taken pakten die de robots bijna hadden opgelost, en gaven ze de echte, hoogwaardige handleiding om te zien of dit hen over de streep zou trekken. Dat deed het niet. Zelfs met de beste instructies konden de robots nog steeds niet een "bijna-succes" omzetten in een "succes".
De Kern van het Verhaal
De studie concludeert dat voor de AI-coderingsagenten die zij hebben getest, het urenlang schrijven van perfecte instructiehandleidingen (AGENTS.md) waarschijnlijk de AI niet beter laat coderen. Het probleem is niet dat de robots de regels niet kennen; het is dat ze beter moeten worden in het eigenlijke ambacht van het bouwen van software.
Hoewel deze handleidingen de robots misschien een beetje sneller kunnen laten werken of een klein beetje geld kunnen besparen door slechte gewoonten te vermijden, zijn ze niet de toverstaf die kapotte code repareert. Als je wilt dat je AI-assistent een betere bouwer wordt, suggereert de studie dat je wellicht betere resultaten boekt door de taken op te delen in kleinere stappen of door het betere voorbeelden te geven van hoe je bouwt, in plaats van simpelweg meer regels te geven om te lezen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.