Agent Retrieval Bench: Evaluating Repository Context Retrieval for Coding Agents
Questo articolo introduce Agent Retrieval Bench, un benchmark completo a livello di file per valutare il recupero del contesto negli agenti di programmazione utilizzando segnali di workflow reali, il quale rivela che nessun singolo metodo di recupero domina tra i diversi compiti e mette in evidenza lacune significative nella capacità degli attuali agenti di identificare i file necessari del repository.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di essere un detective che cerca di risolvere un mistero in una biblioteca enorme e caotica. Hai un indizio — una pagina strappata, un sussurro o un rumore strano — ma per risolvere il caso, devi prima trovare il libro giusto sullo scaffale. Nel mondo dell'informatica, questa "biblioteca" è il codice di un progetto software, e i "detective" sono agenti IA progettati per scrivere e correggere il codice. Per molto tempo, abbiamo giudicato questi detective IA soprattutto in base al fatto che alla fine scrivessero la soluzione perfetta. Ma questo articolo sostiene che, prima ancora che un'IA possa iniziare a pensare a come scrivere una correzione, deve prima riuscire a giocare a una partita a "Dov'è Wally?" all'interno del codice. Se afferra il libro sbagliato, non risolverà mai il mistero, indipendentemente da quanto sia intelligente il suo ragionamento. Questo nuovo studio, chiamato Agent Retrieval Bench, è un test gigante progettato specificamente per vedere quanto siano bravi questi detective IA a trovare i file corretti in un repository prima di iniziare a scrivere.
I ricercatori hanno costruito un campo di prova rigoroso utilizzando 427 scenari di programmazione reali tratti da 25 diversi progetti software. Hanno creato cinque tipi diversi di "indizi" per vedere come reagisce l'IA. A volte l'indizio è la descrizione di una nuova funzionalità (chiedendo all'IA di trovare i test correlati); a volte è il commento di un revisore su un file specifico (chiedendo all'IA di trovare altri file necessari per comprendere quel commento); a volte è un rapporto di crash (chiedendo all'IA di trovare il codice della causa principale); e a volte è una piccola modifica (chiedendo all'IA di trovare tutti gli altri file che potrebbero rompersi a causa di essa). C'era anche un gruppo complicato di indizi in cui la risposta non era affatto nella biblioteca, testando se l'IA sapesse quando dire: "Non posso trovarlo qui".
I risultati sono stati un po' uno shock per l'idea che "più grande sia sempre meglio" o che un singolo tipo di strumento di ricerca vinca sempre. Lo studio ha scoperto che nessun metodo singolo è il campione indiscusso. È come cercare un ago in un pagliaio: a volte un magnete (la ricerca semantica, che cerca il significato) funziona meglio; altre volte, una mappa della disposizione della biblioteca (la ricerca strutturale, che guarda come i file sono connessi) è l'unico modo per trovare l'ago. Infatti, lo strumento "migliore" cambiava a seconda del tipo specifico di indizio e di quanto "spazio di lettura" (budget di contesto) aveva l'IA.
Una delle scoperte più interessanti è stata che, anche quando agli investigatori IA è permesso chiedere più aiuto e guardarsi intorno in modo interattivo, essi perdono comunque i file corretti in circa il 27% - 35% dei casi. Si scopre che il solo fatto che un'IA possa cercare non significa che sappia dove cercare. Lo studio ha anche dimostrato che se dai all'IA un "indizio" (una lista pre-selezionata di file) basato su una ricerca intelligente, essa risolve i problemi più velocemente e con meno sforzo sprecato rispetto a se le lanciassi semplicemente dei file casuali. Tuttavia, lo studio ha anche smentito un'idea speranzosa: i semplici punteggi di confidenza non sono sufficienti per dire all'IA quando smettere di cercare e ammettere: "Questo non è in questa biblioteca".
In definitiva, l'articolo suggerisce che costruire un'IA di programmazione davvero utile non consiste nel trovare un motore di ricerca magico. Si tratta invece di mescolare diverse strategie — come usare insieme sia una mappa semantica che una mappa strutturale — per garantire che l'IA trovi il contesto giusto prima di provare a correggere il codice. Gli autori sottolineano con cautela che, sebbene questo aiuti l'IA a trovare i file corretti, non garantisce che l'IA scriverà la correzione perfetta, ma senza trovare i file giusti, una correzione è impossibile.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.