SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale

1. Il Problema

Gli agenti di ingegneria del software (SWE) basati su Large Language Models (LLM) stanno migliorando rapidamente, spinti principalmente dal Reinforcement Learning (RL). Tuttavia, l'addestramento di questi agenti è fortemente limitato dalla scarsità di collezioni di task su larga scala che offrano:

• Ambienti di esecuzione riproducibili.
• Suite di test affidabili.
• Diversità linguistica (attualmente dominata dall'ecosistema Python).

I benchmark esistenti sono spesso piccoli, limitati a poche lingue o richiedono una verifica manuale intensiva, rendendoli inadatti come substrato per l'addestramento interattivo su larga scala. Inoltre, la costruzione di ambienti riproducibili è costosa e complessa a causa dell'eterogeneità dei sistemi di build, dei gestori di dipendenze e dei runner di test tra le diverse lingue di programmazione.

2. Metodologia: La Pipeline SWE-rebench V2

Il paper introduce SWE-rebench V2, una pipeline automatizzata e agnostica rispetto alla lingua, progettata per raccogliere task SWE eseguibili dal mondo reale e costruire ambienti di addestramento RL.

La pipeline segue un flusso di lavoro unificato che si adatta a diverse ecosistemi tramite un piccolo set di template specifici per lingua (immagini base, runner, parser). Si articola in cinque fasi principali:

1. Raccolta Dati Preliminare:

   • Mining di Pull Request (PR) e issue da GitHub Archive.
   • Filtraggio basato sulla licenza, sul numero di issue chiuse e sulla presenza di patch di test.
   • Separazione della patch di soluzione (file non test) dalla patch di test.

2. Sintesi dell'Setup (Setup Synthesis):

   • Utilizzo di un agente interattivo (basato su mini-SWE-agent e modelli LLM come Qwen3-Coder) per inferire autonomamente le procedure di installazione e test per ogni repository.
   • L'agente opera in un ciclo di debug chiuso: ispeziona il codice, tenta l'installazione, e affina gli script basandosi sugli errori di build.
   • Vengono generate immagini Docker pre-costruite per garantire l'esecuzione deterministica senza dipendenze di rete a runtime.

3. Validazione basata sull'Esecuzione:

   • Esecuzione della suite di test completa prima e dopo l'applicazione della patch di soluzione.
   • Estrazione di test "fail-to-pass" (che falliscono prima della fix e passano dopo) come segnale di reward.
   • Utilizzo di parser di log generati automaticamente per interpretare l'output dei test in modo strutturato.

4. Filtraggio per Chiarezza dell'Issue:

   • Rimozione di task con specifiche ambigue o insufficienti.
   • Utilizzo di un ensemble di tre modelli LLM (gpt-oss-120b, GLM-4.7, DeepSeek-V3.2) per valutare la qualità della descrizione del problema, calibrato su annotazioni umane verificate.

5. Arricchimento dei Metadati e Espansione:

   • Generazione di metadati diagnostici a livello di istanza (es. dipendenze esterne, fragilità dei test, specifiche implicite).
   • Espansione basata su PR: Creazione di un set aggiuntivo di task dove la descrizione del problema è generata sinteticamente dalla descrizione della PR stessa (senza dipendere dal collegamento diretto all'issue), aumentando drasticamente il volume dei dati.

3. Contributi Chiave

• Pipeline Agnostica: Un flusso di lavoro end-to-end che funziona su 20 lingue di programmazione diverse, gestendo toolchain non standard e linguaggi "long-tail".
• Dataset su Larga Scala:
  • 32.000+ task containerizzati e verificati, provenienti da 3.600+ repository.
  • 120.000+ task aggiuntivi con istruzioni di installazione e metadati, derivati direttamente dalle PR, ideali per l'addestramento su vasta scala.
• Diagnostica Avanzata: Introduzione di metadati a livello di istanza che segnalano "con-fondenti" comuni (es. test troppo restrittivi, dipendenze esterne, nomi impliciti), permettendo un filtraggio stratificato e la progettazione di curriculum di addestramento.
• Valutazione Rigorosa: Ablazioni comparative su strategie di setup (interattivo vs non interattivo) e filtri di qualità, validati contro annotazioni umane e modelli frontier.

4. Risultati Sperimentali

• Efficacia della Sintesi: Gli esperimenti dimostrano che un approccio interattivo (agente che itera sui tentativi) supera significativamente le pipeline non interattive fisse. L'uso di modelli più grandi (es. Qwen3-480B) e l'aumento dei tentativi di setup migliorano il tasso di successo nella configurazione degli ambienti.
• Qualità dei Dati: Il filtraggio basato sull'ensemble di LLM ha un'alta precisione nel rimuovere task ambigui, sebbene a scapito di un certo recall (scelta deliberata per garantire la qualità dell'addestramento).
• Performance dei Modelli: Su un subset di 300 task (60 per lingua: Python, JS, Go, Rust, Scala) testati su 7 modelli frontier:
  • I modelli migliori (es. Claude Opus-4.5) raggiungono tassi di successo (pass@1) che variano dal 36% in Python al 15-28% in altre lingue (Go, Rust, Scala), evidenziando la difficoltà del benchmark e la diversità delle prestazioni tra le lingue.
  • L'analisi delle traiettorie ha rivelato errori sistematici come "accoppiamento della suite di test" (regressioni in codice non correlato) e "requisiti di naming impliciti", che i metadati diagnostici aiutano a identificare.

5. Significato e Impatto

SWE-rebench V2 rappresenta un passo fondamentale verso l'addestramento di agenti software autonomi su scala reale.

• Democratizzazione: Supera il dominio del Python, fornendo dati di addestramento di alta qualità per linguaggi come Go, Rust, Java e Scala.
• Riproducibilità: La fornitura di immagini Docker pre-costruite risolve il problema della configurazione ambientale, un collo di bottiglia storico per la ricerca RL.
• Flessibilità: La distinzione tra task "puliti" (per SFT iniziale) e task "rumorosi" (per addestramento alla robustezza) permette ai ricercatori di progettare curriculum di apprendimento più sofisticati.
• Scalabilità: La capacità di generare 120.000+ task derivati dalle PR apre la strada a dataset di dimensioni senza precedenti per l'addestramento di agenti SWE, riducendo la dipendenza da issue umane manualmente verificate.

In sintesi, il lavoro fornisce l'infrastruttura e i dati necessari per passare dalla valutazione statica degli agenti SWE al loro addestramento dinamico e su larga scala in ambienti di sviluppo software reali e diversificati.