One Tool Is Enough: Reinforcement Learning for Repository-Level LLM Agents

Riepilogo Tecnico: Un Solo Strumento è Sufficiente: Apprendimento per Rinforzo di Agenti LLM per la Navigazione a Livello di Repository

Enunciato del Problema
Localizzare file e funzioni specifici che richiedono modifiche all'interno di repository software su larga scala rappresenta una sfida significativa a causa dell'enorme volume di codice e della complessità strutturale. Gli agenti basati su Modelli Linguistici di Grande Dimensione (LLM) esistenti affrontano tipicamente questo compito come un'attività di recupero a livello di repository, facendo affidamento su molteplici strumenti ausiliari (ad esempio, SearchClass, SearchMethods, GetImports). Gli autori sostengono che queste pipeline multi-strumento soffrono di due problemi principali:

1. Disallineamento con la Logica di Esecuzione: Astrazioni di alto livello come classi o ereditarietà spesso scompaiono dopo la compilazione, mentre l'esecuzione effettiva del codice si basa su salti sequenziali e risoluzione dei simboli. Gli strumenti esistenti spesso non riescono a riflettere questo flusso di esecuzione.
2. Complessità e Propagazione degli Errori: La gestione di più strumenti complica il controllo del modello. Poiché gli spazi di definizione degli strumenti sono illimitati, i modelli preaddestrati faticano a interiorizzare la semantica di numerosi strumenti senza un esteso post-addestramento, portando a errori di formattazione e fallimenti nell'analisi dei parametri. Inoltre, l'addestramento end-to-end per la risoluzione completa delle problematiche è computazionalmente proibitivo a causa della necessità di valutazione delle patch basata su Docker.

Metodologia: RepoNavigator
Il documento propone RepoNavigator, un agente LLM progettato per la localizzazione di problematiche a livello di repository che affronta queste sfide attraverso un design minimalista e l'Apprendimento per Rinforzo (RL).

• Design Unificato degli Strumenti (Jump): Invece di una suite di strumenti di recupero, RepoNavigator utilizza un singolo strumento fondato strutturalmente: Jump. Questo strumento, implementato tramite un language server (ad esempio, Pyright per Python), risolve la definizione precisa di un simbolo invocato. Astrae la navigazione consapevole dell'esecuzione fornita dalle moderne IDE, consentendo all'agente di attraversare la base di codice seguendo le definizioni dei simboli (ad esempio, da una chiamata di funzione alla sua definizione, e poi alle sue dipendenze).
• Architettura dell'Agente: L'agente opera in un ciclo ragiona → agisci → osserva. Ad ogni passo, la politica decide se generare ragionamento in linguaggio naturale o invocare lo strumento Jump con un simbolo specifico e un percorso di file. Lo strumento restituisce l'estratto di codice della definizione, che diventa l'osservazione per il successivo passo di ragionamento.
• Addestramento tramite Apprendimento per Rinforzo: RepoNavigator è addestrato end-to-end direttamente da un modello preaddestrato di base utilizzando Group Relative Policy Optimization (GRPO).
  • Nessuna Distillazione: A differenza di lavori precedenti (ad esempio, RepoSearcher, LocAgent) che si affidano al fine-tuning supervisionato (SFT) con traiettorie distillate da modelli closed-source (come Claude o GPT), questo metodo non richiede un modello "insegnante".
  • Funzione di Ricompensa Ibrida: La ricompensa $R$ combina due componenti:
    1. Ricompensa per l'Esito: Misurata dal coefficiente di Dice tra l'insieme previsto di posizioni del codice e la verità fondamentale (ground truth).
    2. Ricompensa per lo Strumento: Basata sul tasso di successo delle chiamate allo strumento (correttezza del formato ed esistenza del simbolo).
  • Obiettivo: L'agente impara a ottimizzare traiettorie a lungo raggio per identificare i file e le funzioni corretti, padroneggiando al contempo l'uso del singolo strumento.

Contributi Chiave

1. Primo Agente di Localizzazione Addestrato con RL da Modelli Preaddestrati: Gli autori presentano il primo agente di localizzazione a livello di repository addestrato direttamente da un modello open-source preaddestrato utilizzando RL, eliminando la dipendenza dalla distillazione closed-source.
2. Paradigma a Singolo Strumento Consapevole dell'Esecuzione: Il design introduce uno strumento unificato Jump che si allinea con la semantica effettiva dell'esecuzione del codice (risoluzione dei simboli), in contrasto con le astrazioni frammentate e di alto livello dei precedenti agenti multi-strumento.
3. Efficienza e Scalabilità: Il documento dimostra che un singolo strumento potente migliora significativamente l'efficienza e la controllabilità rispetto a complesse pipeline multi-strumento, consentendo prestazioni all'avanguardia con un sovraccarico computazionale ridotto.

Risultati Sperimentali
Gli esperimenti sono stati condotti su SWE-bench Verified e SWE-bench Pro (sottoinsieme Python), utilizzando modelli Qwen2.5 (7B, 14B, 32B) come baseline.

• Prestazioni: RepoNavigator raggiunge prestazioni all'avanguardia (SOTA) su entrambe le metriche di localizzazione a livello di funzione e a livello di file (Sample-F1 e IoU).
  • Il modello 7B supera le baseline da 14B.
  • Il modello 14B supera i concorrenti da 32B.
  • Il modello 32B supera i modelli closed-source (ad esempio, GPT-5, Claude 3.7 Sonnet) sulla maggior parte delle metriche.
• Efficienza di Addestramento: L'agente addestrato con RL supera le baseline senza addestramento e persino i metodi basati sulla distillazione (come RepoSearcher), nonostante non utilizzi un modello insegnante più potente per il warmup.
• Impatto a Valle: Quando utilizzato per localizzare le problematiche per la generazione successiva di patch (sostituendo il modulo di localizzazione in Agentless), RepoNavigator migliora il tasso finale di risoluzione delle problematiche.
• Studi di Ablazione:
  • Meccanismo di Ricompensa: La ricompensa ibrida (esito + successo dello strumento) è critica; rimuovere il tasso di successo dello strumento degrada le prestazioni.
  • SFT vs RL: L'addestramento diretto con RL dal modello preaddestrato produce risultati migliori rispetto a una pipeline che prevede SFT seguito da RL, mettendo in discussione la necessità di un "avvio a freddo" tramite SFT.
  • Numero di Strumenti: Aggiungere più strumenti (ad esempio, GetClass, GetFunc) allo strumento Jump degrada effettivamente le prestazioni, confermando che strumenti meno numerosi ma più capaci sono preferibili.

Significato e Affermazioni
Il documento afferma che l'integrazione di un singolo strumento fondato strutturalmente con l'addestramento RL fornisce una soluzione efficiente e scalabile per la localizzazione di problematiche a livello di repository. Riflettendo il flusso effettivo dell'esecuzione del codice e semplificando la manipolazione degli strumenti, RepoNavigator riduce la fragilità della concatenazione degli strumenti e la complessità dello spazio delle azioni. I risultati suggeriscono che, per compiti di ragionamento a lungo raggio nell'ingegneria del software, la profondità dell'esplorazione consapevole dell'esecuzione (tramite un singolo strumento robusto) è più critica della vastità della diversità degli strumenti. Questo approccio democratizza l'accesso ad agenti ad alte prestazioni eliminando la dipendenza da modelli insegnanti closed-source per la distillazione.