RepoRepair: Leveraging Code Documentation for Repository-Level Automated Program Repair

1. Il Problema: La Sfida della Riparazione a Livello di Repository

L'Automated Program Repair (APR) ha fatto grandi progressi nella correzione di funzioni isolate, ma fatica a scalare verso la manutenzione di interi repository software. Le sfide principali sono:

• Complessità Contestuale: Risolvere bug in un repository richiede una comprensione globale delle dipendenze, dell'architettura e dei contratti impliciti tra file multipli, non solo la generazione di snippet di codice sintatticamente corretti.
• Limiti dei Metodi Attuali: Le tecniche esistenti si basano spesso su recupero superficiale (es. alberi di directory o snippet di codice frammentati) o su agenti costosi che iterano molte volte. Questi metodi falliscono su problemi complessi che attraversano più file, specialmente in benchmark moderni come SWE-bench Multimodal, dove le issue includono descrizioni visive e richiedono un'analisi semantica profonda.
• Dispersione Semantica: Le informazioni rilevanti per un bug sono spesso disperse in diversi file e modalità (testo, immagini), rendendo difficile per i modelli linguistici (LLM) localizzare con precisione le modifiche necessarie.

2. Metodologia: RepoRepair

RepoRepair è un approccio innovativo, senza agenti (agent-free), che utilizza la documentazione del codice generata automaticamente per colmare il divario tra le descrizioni delle issue (in linguaggio naturale) e le modifiche al codice. Il processo si articola in tre fasi principali:

A. Generazione della Documentazione Gerarchica

Prima di tentare la riparazione, il sistema genera una documentazione strutturata per l'intero repository utilizzando un LLM (es. DeepSeek-V3):

• Documentazione a livello di Funzione: Analizza ogni funzione/classe (estendendo anche le funzioni anonime) per produrre descrizioni semantiche di parametri, logica, dipendenze e output.
• Documentazione a livello di File: Aggrega le informazioni delle funzioni per creare un riassunto del ruolo architetturale di ogni file e delle sue relazioni all'interno del progetto.
• Vantaggio: Questa documentazione agisce come un'astrazione semantica strutturata, riducendo il rumore del codice grezzo e fornendo un contesto comprensibile all'LLM.

B. Localizzazione Gerarchica del Guasto

Invece di cercare direttamente nel codice sorgente, RepoRepair utilizza la documentazione per localizzare i file e le funzioni sospette:

1. Recupero File: Converte le issue (inclusi elementi multimodali come screenshot, trasformati in testo da un LLM multimodale) in query testuali e le confronta con la documentazione a livello di file tramite embedding vettoriale.
2. Localizzazione File: Un LLM analizza la documentazione dei file recuperati per classificare quelli più probabili da modificare.
3. Localizzazione Funzioni/Classi: All'interno dei file sospetti, il sistema utilizza la documentazione a livello di funzione per identificare le unità di codice specifiche da correggere. Se non vengono trovate funzioni rilevanti, il sistema scarta il file e riprova la localizzazione a livello di file, agendo come meccanismo di verifica.

C. Riparazione e Validazione del Patch

Una volta identificati i target:

• Potatura del Contesto (Code Pruning): Il sistema rimuove il codice irrilevante dai file, mantenendo solo le funzioni target, le loro dipendenze dirette e le strutture di scaffolding (import, variabili globali). Questo crea un contesto di riparazione minimale ma semanticamente completo.
• Generazione del Patch: Un potente LLM (es. Claude-4) genera patch in formato diff (cercare/sostituire) invece di riscrivere interi file, riducendo allucinazioni e costi.
• Validazione Iterativa: I patch generati vengono validati in parallelo contro la suite di test esistente. Se falliscono, il sistema itera aumentando la "temperatura" del modello (da 0.0 a 0.9) per esplorare soluzioni diverse, selezionando infine la combinazione di patch che passa i test modificando il minor numero di file.

3. Contributi Chiave

1. Framework di Riparazione Potenziato dalla Documentazione: Propone un nuovo paradigma che utilizza la documentazione gerarchica generata da LLM per migliorare drasticamente la localizzazione dei guasti, superando i limiti del recupero basato su parole chiave o strutture superficiali.
2. Pipeline di Riparazione Consapevole del Contesto: Introduce una strategia di potatura del codice basata sulle dipendenze e una validazione combinatoria iterativa che bilancia accuratezza ed efficienza dei costi.
3. Valutazione Estensiva e Benchmarking: Dimostra l'efficacia del metodo su due benchmark fondamentali: SWE-bench Lite (Python, testuale) e SWE-bench Multimodal (JS/TS, multimodale), fornendo un confronto dettagliato con gli stati dell'arte (SWE-Agent, Agentless, GUIRepair).
4. Riproducibilità: Rilascia tutti gli artefatti, inclusi la documentazione generata e il codice sorgente, per facilitare la ricerca futura.

4. Risultati Sperimentali

RepoRepair ha ottenuto risultati all'avanguardia (State-of-the-Art) su entrambi i benchmark:

• SWE-bench Lite:

  • Tasso di Riparazione (%Resolved): 45.7% (confrontato con il 45.3% di PatchPilot e il 48.3% di ExpeRepair, ma con costi molto inferiori).
  • Costo: Solo $0.44 per riparazione.
  • Localizzazione: Accuratezza del 77.6% nella localizzazione dei file.

• SWE-bench Multimodal (Benchmark più difficile):

  • Tasso di Riparazione: 37.1%, superando tutti gli strumenti esistenti (es. GUIRepair al 35.98%, Agentless Lite al 25.34%).
  • Costo: $0.56 per riparazione.
  • Localizzazione: Accuratezza del 59.8% nella localizzazione dei file, un miglioramento assoluto di quasi il 30% rispetto al miglior strumento precedente (Agentless Lite). Questo dimostra la capacità di RepoRepair di gestire problemi complessi e cross-file.

• Analisi di Ablazione: Gli studi dimostrano che la rimozione della documentazione o della potatura del codice porta a un crollo delle prestazioni (es. rimozione della documentazione riduce il tasso di riparazione su Multimodal dal 37% al 26%), confermando che la documentazione strutturata è il motore principale del successo.

5. Significato e Impatto

Il lavoro di RepoRepair segna un punto di svolta nell'APR a livello di repository per diversi motivi:

• Superamento del "Gap Semantico": Dimostra che la generazione di documentazione intermedia è cruciale per aiutare gli LLM a comprendere le relazioni architetturali complesse, superando i limiti del recupero diretto del codice.
• Efficienza dei Costi: Raggiunge prestazioni superiori mantenendo costi di inferenza molto bassi, rendendo la riparazione automatizzata economicamente fattibile per scenari reali.
• Generalizzabilità: Funziona efficacemente sia su linguaggi Python che JavaScript/TypeScript e gestisce input multimodali, indicando una forte adattabilità a diversi ecosistemi di sviluppo.
• Validazione del Paradigma "Agent-Free": Conferma che approcci senza agenti complessi, ma ben strutturati e basati su pipeline deterministiche, possono superare o eguagliare sistemi basati su agenti multi-step, riducendo l'incertezza e i costi computazionali.

In sintesi, RepoRepair stabilisce un nuovo standard per la riparazione automatizzata di repository, dimostrando che l'integrazione strategica della documentazione generata dall'AI è la chiave per risolvere problemi di manutenzione software complessi e su larga scala.