RepoLaunch: Automating Build&Test Pipeline of Code Repositories on ANY Language and ANY Platform

Il paper introduce RepoLaunch, il primo agente basato su LLM in grado di automatizzare completamente la risoluzione delle dipendenze, la compilazione e l'estrazione dei risultati dei test per repository in qualsiasi linguaggio e piattaforma, abilitando così la creazione scalare di dataset per l'addestramento e il benchmarking di agenti di ingegneria del software con un intervento umano limitato alla sola progettazione dei task.

L'essenziale

Ecco una spiegazione semplice e creativa del paper RepoLaunch, pensata per chiunque, anche senza conoscenze tecniche.

🚀 RepoLaunch: Il "Fai-da-te" Automatico per il Codice

Immagina di voler costruire una casa (un software) partendo da un mucchio di mattoni sparsi (il codice sorgente).
In passato, per far funzionare questa casa, serviva un capomastro esperto (un programmatore umano) che:

1. Leggesse le istruzioni scritte a mano (spesso incomplete o confuse).
2. Andasse in giro a cercare i mattoni giusti (le dipendenze).
3. Provasse a montarli, e se crollavano, provasse un altro tipo di colla.
4. Ripetesse tutto questo per ogni tipo di casa: una villa in legno, un grattacielo di vetro, una casa di paglia... e su ogni tipo di terreno (Windows, Linux, Mac).

Questo processo richiedeva mesi di lavoro manuale e costava una fortuna.

RepoLaunch è come un robot magico e infaticabile che ha appena fatto il suo debutto. Il suo compito è: "Prendi qualsiasi codice, qualsiasi linguaggio di programmazione e qualsiasi sistema operativo, e rendilo funzionante automaticamente."

---

🛠️ Come funziona? (La Metafora del "Cucina-Tutto")

Pensa a RepoLaunch come a un cuoco robot che entra in una cucina completamente vuota e deve preparare un pasto complesso, senza sapere prima quali ingredienti ci sono.

Il robot lavora in tre fasi principali:

1. La Preparazione (Il "Scaffale")

Il robot guarda la ricetta (il file del progetto). Capisce di cosa ha bisogno: "Ah, questo è un piatto italiano, mi serve il pomodoro e la mozzarella".

• Cosa fa: Sceglie la base giusta (un'immagine di sistema operativo), apre la cucina (un contenitore Docker) e copia tutti gli ingredienti lì dentro.

2. La Cottura (Il "Cucinare")

Qui il robot inizia a mescolare e cuocere.

• Il problema: Spesso gli ingredienti mancano o le istruzioni sono sbagliate.
• La soluzione: Il robot non si arrende. Se la salsa brucia, cerca su internet come aggiustarla. Se manca un ingrediente, prova a trovarne un altro simile.
• Il controllo: C'è un secondo robot (il "Verificatore") che assaggia il piatto. Se è buono, lo serve. Se è amaro, lo rimanda indietro al primo robot per riprovare.

3. L'Impacchettamento (Il "Pronto da Riscaldare")

Una volta che il piatto è pronto, il robot non si ferma. Scrive una lista di istruzioni perfetta ("Riscalda per 5 minuti, aggiungi basilico") che permette di rifare lo stesso piatto in futuro, anche se qualcuno ha cambiato un ingrediente.

• Questo è fondamentale: permette di testare il software ogni volta che viene modificato, senza dover ricominciare da zero.

---

🌍 Perché è una rivoluzione?

Fino a oggi, i robot (le Intelligenze Artificiali) erano bravi a scrivere codice, ma terribili a farlo funzionare.
Immagina di avere un assistente che scrive una lettera perfetta, ma non sa come metterla nella busta, come incollarla e come spedirla. Spesso l'assistente si bloccava perché non riusciva a configurare l'ambiente di lavoro.

RepoLaunch risolve questo problema:

• Parla tutte le lingue: Non solo Python (come facevano i robot precedenti), ma anche C++, Java, Rust, C#, e altro.
• Vive ovunque: Funziona sia su computer Windows che su Linux.
• Crea i suoi compiti: I ricercatori usano RepoLaunch per creare automaticamente migliaia di "palestre" per allenare le intelligenze artificiali. Invece di creare manualmente 100 problemi di codice, ne creano 1000 in un giorno.

📊 I Risultati in Pillole

• Successo: Il robot riesce a costruire e testare circa il 70% dei progetti che gli vengono dati (un numero enorme per un compito così difficile).
• Velocità: Ha creato nuovi dataset per allenare le AI su 9 linguaggi diversi e su Windows (cosa mai fatta prima in modo così automatico).
• Impatto: Ora, invece di perdere tempo a configurare i computer, i ricercatori possono concentrarsi solo sulla parte creativa: disegnare i problemi da risolvere.

💡 In Sintesi

RepoLaunch è come aver dato a un architetto un set di strumenti magici che costruiscono le fondamenta della casa da soli.
Prima, se volevi testare un'idea su 100 case diverse, dovevi assumere 100 operai. Ora, con RepoLaunch, un solo robot fa tutto il lavoro sporco, permettendo alle Intelligenze Artificiali di imparare a risolvere problemi reali molto più velocemente.

È il passaggio dal "Fai da te" al "Fai da solo, ma meglio".

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper RepoLaunch, presentato in italiano.

Titolo: RepoLaunch: Automazione della Pipeline di Build e Test di Repository di Codice su Qualsiasi Linguaggio e Piattaforma

1. Il Problema

La costruzione e la gestione di repository software (repos) richiedono spesso un notevole sforzo manuale. Le configurazioni variano ampiamente, la documentazione è spesso incompleta e le dipendenze specifiche per piattaforma generano errori di compilazione che richiedono cicli di prova ed errore.
Sebbene i recenti progressi negli agenti basati su Large Language Model (LLM) abbiano accelerato l'automazione nell'ingegneria del software (SWE), esiste una lacuna critica: la mancanza di un sistema in grado di preparare automaticamente ambienti di esecuzione ("sandbox") per repository scritti in qualsiasi linguaggio di programmazione e su qualsiasi sistema operativo.
Studi precedenti (es. GitTaskBench) hanno mostrato che il 65% degli agenti fallisce nel costruire un ambiente eseguibile prima di tentare di risolvere problemi di codice. Inoltre, combinare la configurazione del repository e la risoluzione del problema in un'unica attività oscura le cause specifiche dei fallimenti. È quindi necessario un metodo scalabile per costruire sandbox eseguibili estrarre i risultati dei test in modo autonomo.

2. Metodologia: RepoLaunch

RepoLaunch è il primo agente in grado di risolvere automaticamente le dipendenze, compilare il codice sorgente ed estrarre i risultati dei test per repository su linguaggi e sistemi operativi arbitrari, fornendo solo prompt di base per build/test e un'immagine OS di partenza.

Il sistema è strutturato come un workflow multi-agente composto da tre fasi principali:

1. Fase di Preparazione (Preparation):

   • Un agente di preparazione scansiona l'albero dei file del repository per identificare file di configurazione e istruzioni.
   • Seleziona un'immagine base appropriata (es. Docker) contenente le dipendenze minime necessarie per il linguaggio specifico.
   • Avvia un contenitore e copia il repository al suo interno, passando le informazioni contestuali alle fasi successive.

2. Fase di Build (Build Stage):

   • Setup Agent: Utilizza strumenti Bash e WebSearch per installare le dipendenze, compilare il codice e cercare comandi di test di regressione. Se la maggior parte dei test passa, il contenitore viene passato all'agente di verifica.
   • Verify Agent: Convalida l'esito della build per mitigare le "allucinazioni" del Setup Agent. Esamina la cronologia dei comandi per identificare i comandi di test che riportano lo stato dei singoli casi. Se i test passano, l'immagine viene confermata; altrimenti, il fallimento viene riportato al Setup Agent per un nuovo tentativo (fino a un massimo di tentativi).

3. Fase di Rilascio (Release Stage):

   • Organize Agent: Estrae artefatti riutilizzabili dai record precedenti.
     • Comandi di rebuild: Filtra e ottimizza la sequenza di comandi per creare un set minimale di comandi che possano reinstallare le dipendenze modificate e ricompilare il progetto dopo modifiche al codice.
     • Comandi di test e Parser: Genera un set minimale di comandi di test e un parser (funzione Python) che analizza i log di output per mappare i nomi dei test ai loro stati (pass/fail/skip).
     • Opzionale: Generazione di script per l'esecuzione di singoli test e ricostruzione del Dockerfile.

Pipeline di Creazione Dataset SWE:
RepoLaunch abilita una pipeline completamente automatizzata per la creazione di dataset per l'addestramento e il benchmarking degli agenti SWE. I ricercatori devono solo progettare il task (selezionare repo, identificare commit, introdurre bug). RepoLaunch gestisce poi la costruzione del repo, la generazione dell'immagine Docker e l'estrazione dei comandi di test, permettendo la creazione scalabile di task su larga scala.

3. Contributi Chiave

1. Metodo Agente Generalizzabile: Un approccio che automatizza la gestione dello stato di build e test per qualsiasi linguaggio (C/C++, C#, Java, Go, Rust, JS/TS, Python) e qualsiasi piattaforma (Linux e Windows), eliminando la fatica manuale.
2. Pipeline Automatizzata per Dataset SWE: Una pipeline end-to-end per creare task SWE con un intervento umano limitato alla sola progettazione del task. Il paper rilascia SWE-bench-Live/MultiLang e SWE-bench-Live/Windows come dimostrazione.
3. Analisi dei Pattern di Fallimento: Una analisi approfondita dei fallimenti degli agenti nella costruzione e nel testing dei repository, fornendo linee guida per la ricerca futura.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 9 linguaggi di programmazione su piattaforme Linux e Windows.

• Successo nella Build: RepoLaunch ha raggiunto un tasso di successo nella build di circa il 70% (75,63% su Linux, 64,5% su Windows).
• Confronto con Baseline:
  • RepoLaunch vs. SWE-agent: RepoLaunch supera significativamente SWE-agent (un agente generico con strumenti bash) in tutte le fasi (Build e Release/Validazione). Su Linux, il tasso di successo complessivo di RepoLaunch è del 75,56% contro il 51,35% di SWE-agent.
  • RepoLaunch vs. repo2run: Su Python, RepoLaunch supera il precedente lavoro repo2run del 18% nella fase di build.
• Valutazione degli Agenti SWE: Utilizzando i dataset generati da RepoLaunch, gli autori hanno valutato LLM recenti (GPT-5.2, Claude-4.5, Gemini-3, DeepSeek).
  • Le nuove generazioni di LLM mostrano tassi di successo vicini al 30% (rispetto al ~15% dei modelli precedenti).
  • Claude-4.5 si è dimostrato il modello più performante in generale.
  • I task in C/C++ sono risultati i più facili, mentre quelli in C# i più difficili.
  • Su Windows, Claude ha mostrato una maggiore robustezza rispetto ad altri modelli, che hanno visto un calo delle prestazioni.

Analisi dei Fallimenti:

• Fase Build: I fallimenti principali sono dovuti a repository non pronti per la produzione, framework di test incompleti, timeout di build/test e fallimenti nella risoluzione delle dipendenze.
• Fase Release: I fallimenti principali includono allucinazioni nella fase di build precedente, incapacità di determinare i comandi di rebuild corretti e fallimenti nel parsing dei log di test.

5. Significato e Impatto

RepoLaunch rappresenta un passo fondamentale verso l'automazione completa dell'ingegneria del software.

• Scalabilità: Permette la creazione di migliaia di task SWE diversificati, superando i limiti della capacità umana di preparare ambienti di test.
• Cross-Platform: È il primo sistema in grado di gestire nativamente sia ambienti Linux che Windows, aprendo la strada a benchmark più realistici che includono problemi specifici di piattaforma.
• Ricerca e Addestramento: Fornisce un'infrastruttura solida per addestrare agenti LLM con feedback di esecuzione e per valutare le loro capacità in scenari reali complessi.
• Open Source: Il progetto è stato reso open-source, e modelli come GLM-5 hanno già iniziato a utilizzarlo per l'addestramento di agenti.

In sintesi, RepoLaunch risolve il collo di bottiglia della preparazione dell'ambiente, permettendo alla ricerca sugli agenti di software engineering di concentrarsi sulla risoluzione dei problemi di codice piuttosto che sulla configurazione dell'infrastruttura.