Agent Retrieval Bench: Evaluating Repository Context Retrieval for Coding Agents
Dit artikel introduceert Agent Retrieval Bench, een uitgebreide benchmark op bestandsniveau voor het evalueren van contextretrieval in coderingsagenten met behulp van echte workflow-signalen, wat onthult dat geen enkele retrieval-methode domineert over diverse taken en de aanzienlijke tekortkomingen in het vermogen van huidige agenten om noodzakelijke repositorybestanden te identificeren benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen in een enorme, chaotische bibliotheek. Je hebt een aanwijzing—een gescheurde pagina, een gefluister of een vreemd geluid—maar om de zaak op te lossen, moet je eerst het juiste boek in de kast vinden. In de wereld van de informatica is deze "bibliotheek" de code van een softwareproject, en de "detectives" zijn AI-agenten die ontworpen zijn om code te schrijven en te repareren. Lange tijd hebben we deze AI-detectives vooral beoordeeld op de vraag of ze uiteindelijk de perfecte oplossing schreven. Maar dit artikel betoogt dat een AI, voordat het zelfs maar kan nadenken over het schrijven van een reparatie, succesvol een spelletje "Waar is Waldo?" moet spelen binnen de code. Als de AI het verkeerde boek pakt, zal het het mysterie nooit oplossen, ongeacht hoe slim de redenering is. Deze nieuwe studie, genaamd Agent Retrieval Bench, is een enorme test die specifelijk is ontworpen om te zien hoe goed deze AI-detectives erin zijn om de juiste bestanden in een repository te vinden voordat ze beginnen met typen.
De onderzoekers bouwden een rigoureuze testomgeving met behulp van 427 scenario's uit de echte wereld, afkomstig uit 25 verschillende softwareprojecten. Ze creëerden vijf verschillende soorten "aanwijzingen" om te zien hoe de AI reageert. Soms is de aanwijzing een beschrijving van een nieuwe functie (waarbij de AI wordt gevraagd de gerelateerde tests te vinden); soms is het een opmerking van een reviewer over een specifiek bestand (waarbij de AI wordt gevraagd andere bestanden te vinden die nodig zijn om de opmerking te begrijpen); soms is het een crashrapport (waarbij de AI de opdracht krijgt de broncode van de oorzaak te vinden); en soms is het een kleine wijziging (waarbij de AI moet vinden welke andere bestanden hierdoor kapot kunnen gaan). Er was zelfs een lastige groep aanwijzingen waarbij het antwoord helemaal niet in de bibliotheek aanwezig was, om te testen of de AI wist wanneer hij moest zeggen: "Ik kan dit hier niet vinden."
De resultaten waren een schok voor het idee dat "groter altijd beter is" of dat één type zoektool altijd wint. De studie toonde aan dat geen enkele methode de onbetwiste kampioen is. Het is als proberen een speld in een hooiberg te vinden: soms werkt een magneet (semantische zoekopdracht, die naar betekenis zoekt) het beste; andere keren is een kaart van de lay-out van de bibliotheek (structurele zoekopdracht, die kijkt naar hoe bestanden met elkaar verbonden zijn) de enige manier om de speld te vinden. Sterker nog, de "beste" tool veranderde afhankelijk van het specifieke type aanwijzing en hoeveel "leesruimte" (contextbudget) de AI tot zijn beschikking had.
Een van de meest interessante ontdekkingen was dat zelfs wanneer AI-detectives de ruimte krijgen om meer hulp te vragen en interactief rond te kijken, ze nog steeds in ongeveer 27% tot 35% van de gevallen de juiste bestanden missen. Het blijkt dat het feit dat een AI kan zoeken, niet betekent dat de AI ook weet waar hij moet zoeken. Het artikel liet ook zien dat als je de AI een "hint" geeft (een vooraf geselecteerde lijst met bestanden) gebaseerd op een slimme zoekopdracht, de AI problemen sneller en met minder verspilde inspanning oplost dan wanneer je er gewoon willekeurige bestanden naar toe gooit. Echter, de studie weerlegde ook een hoopvolle gedachte: eenvoudige betrouwbaarheidsscores zijn niet goed genoeg om de AI te vertellen wanneer hij moet stoppen met zoeken en moet toegeven: "Dit zit niet in deze bibliotheek."
Uiteindelijk suggereert het artikel dat het bouwen van een echt nuttige coderende AI niet gaat over het vinden van één magische zoekmachine. In plaats daarvan gaat het om het combineren van verschillende strategieën—zoals het tegelijkertijd gebruiken van zowel een semantische kaart als een structurele kaart—om ervoor te zorgen dat de AI de juiste context vindt voordat hij de code probeert te repareren. De auteurs merken er voorzichtig bij op dat hoewel dit de AI helpt om de juiste bestanden te vinden, het niet garandeert dat de AI de perfecte reparatie zal schrijven, maar zonder de juiste bestanden te vinden, is een reparatie onmogelijk.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.