Riepilogo Tecnico: OPEN-SWE-TRACES

Definizione del Problema

L'avanzamento degli agenti di ingegneria del software (SWE) autonomi è attualmente frenato da una grave scarsità di dati di traiettoria diversificati e su larga scala. Sebbene i benchmark di valutazione come SWE-bench e le sue varianti multilingue abbiano ampliato la valutazione della risoluzione di problemi a livello di repository in vari linguaggi di programmazione, la comunità di sviluppo manca dei necessari ambienti pre-costruiti e delle tracce di interazione ad alta fedeltà richiesti per un addestramento robusto dei modelli. Le risorse esistenti spesso non riescono a supportare i framework di ragionamento "a doppia modalità" che stanno emergendo nei modelli di base (foundation models) di punta, i quali richiedono dati distinti sia per la pianificazione complessa e multi-step ("pensiero") sia per risposte rapide orientate all'esecuzione ("non-pensiero").

Metodologia

Gli autori introducono OPEN-SWE-TRACES, una pipeline completa di costruzione del dataset progettata per colmare il divario tra la valutazione statica e l'addestramento di agenti su larga scala.

1. Fonte e Selezione dei Dati

Il dataset è sintetizzato da 20.000 Pull Request (PR) reali provenienti da SWE-rebench-V2, un ambiente di task containerizzato che spazia su 20 linguaggi di programmazione. Per garantire l'integrità legale e la conformità alla ridistribuzione, gli autori hanno applicato euristiche rigorose:

• Ambito Linguistico: Limitato a nove linguaggi: Python, Go, TypeScript, JavaScript, Rust, Java, PHP, C e C++.
• Licenza: Sono stati inclusi solo repository sotto licenze permissive (MIT, Apache-2.0, BSD 2/3-Clause).

2. Sintesi a Doppia Modalità

Per catturare l'intero spettro del comportamento agente, gli autori hanno impiegato una strategia di sintesi del ragionamento ibrida utilizzando un ensemble di modelli allo stato dell'arte:

• Modalità di Pensiero (Thinking Mode): Generata utilizzando Minimax-M2.5, producendo traiettorie con un esplicito ragionamento interno "Chain-of-Thought" (CoT).
• Modalità di Non-Pensiero (Non-Thinking Mode): Generata utilizzando Qwen3.5-122B, fornendo tracce di utilizzo di strumenti (tool-use) di alta qualità senza passaggi di ragionamento espliciti.
• Framework: La sintesi è stata condotta all'interno degli harness OpenHands e SWE-agent (specificamente le loro estensioni multilingue, MOpenHands e MSWE-agent).

3. Filtraggio della Qualità e Sicurezza

È stata implementata una pipeline di filtraggio rigorosa in più fasi per garantire la solidità tecnica:

• Validazione del Runtime: Tracce corrotte derivanti da eccezioni dell'ambiente o sequenze di interazione incomplete sono state scartate.
• Potatura Comportamentale (Behavioral Pruning): Sono stati rimossi i casi di incompletezza del task (raggiungimento dei limiti di iterazione), invalidità strutturale (patch vuote o "hacking della suite di test") e anomalie nell'uso degli strumenti.
• Rilevamento del Git Hacking: Un framework personalizzato, TrajectoryScanner, ha utilizzato il parsing dell'Abstract Syntax Tree (AST) per sottoporre a audit i comandi Bash. Ha rimosso sistematicamente le traiettorie che mostravano "git hacking", ovvero tentativi di aggirare la risoluzione del problema estraendo soluzioni dai metadati del repository (es. git log, git blame, reflog).

4. Distillazione del Modello

Il dataset è stato utilizzato per il fine-tuning della serie Qwen3-30B-A3B (inclusi i varianti Thinking, Coder e Instruct). Il modello risultante, OPEN-SWE-AGENT, supporta l'operazione a doppia modalità tramite i trigger /think e /no_think. L'addestramento ha utilizzato un learning rate di 1e-5, una dimensione del batch di 32 e una finestra di contesto fino a 131.072 token (estesa a 262.144 durante l'inferenza).

Contributi Chiave

1. Dataset OPEN-SWE-TRACES: Il più grande corpus di traiettorie multilingue ad oggi, contenente 207.489 tracce di agenti ad alta fedeltà. È strutturato in modo unico per supportare lo sviluppo di agenti a doppia modalità, con circa il 51,7% delle tracce che contiene il ragionamento interno.
2. OPEN-SWE-AGENT: Un agente open-source fine-tuned che dimostra l'efficacia della distillazione a doppia modalità. Raggiunge prestazioni state-of-the-art tra i modelli open-source di dimensioni comparabili.
3. Analisi Sistematica: Uno studio empirico che isola i driver delle prestazioni, inclusi l'impatto della selezione del modello base, il filtraggio dei dati (solo risolti vs. intero corpus) e gli effetti di scala del training multilingue rispetto al solo Python.

Risultati Sperimentali

Gli autori hanno valutato OPEN-SWE-AGENT su tre benchmark:

• SWE-bench Verified (500 problemi Python): Il modello con le migliori prestazioni ha raggiunto un tasso di risoluzione del 61,7% (utilizzando il trigger /no_think con MSWE-agent), rappresentando un guadagno assoluto significativo rispetto al modello base (51,6%) e ai competitor open-source.
• SWE-bench Multilingual (300 task in 8 linguaggi): Il modello ha raggiunto un tasso di risoluzione del 57,1%, dimostrando forti capacità di trasferimento cross-lingua.
• SWE-bench Pro (731 task complessi): Il modello ha raggiunto un tasso di risoluzione del 36,8%, una prestazione notevole su compiti di ingegneria reali e rigorosi.

Risultati delle Ablation:

• Dati Multilingue: L'addestramento sull'intero dataset multilingue ha fornito un impulso sostanziale rispetto all'addestramento solo su Python, in particolare per i task non-Python (+14% di guadagno assoluto in alcune configurazioni).
• Filtraggio dei Dati: L'inclusione di traiettorie "non risolte" (intero corpus) si è rivelata superiore all'addestramento esclusivamente su dati "solo risolti", aiutando i modelli a navigare stati complessi anche senza correzioni di successo.
• Generalizzazione tra Harness: Sebbene la generalizzazione tra harness (OpenHands vs. SWE-agent) sia possibile, esiste una penalità nelle prestazioni. I modelli addestrati su MSWE-agent si sono trasferiti più efficacementamente su MOpenHands rispetto al contrario.

Significato e Rivendicazioni

Il paper posiziona OPEN-SWE-TRACES come una risorsa primaria per distillare capacità di ingegneria del software di livello umano in modelli linguistici (LLM) agentici open-source ed efficienti. Gli autori affermano che il dataset affronta con successo la scarsità di risorse che ostacola il campo, consentendo l'addestramento della prossima generazione di agenti autonomi a doppia modalità.

I risultati stabiliscono che combinare modalità di pensiero esplicite con tracce comportamentali di alta qualità è un percorso altamente efficace per sviluppare agenti specializzati. Fornendo un dataset che cattura sia il processo di "pensiero" che l'esecuzione del "fare", il lavoro facilita la creazione di modelli capaci di un ragionamento a lungo termine pur mantenendo la velocità di esecuzione per le operazioni standard. Gli autori concludono che il loro approccio stabilisce un nuovo standard per l'ingegneria del software autonoma open-source, validando la necessità di dati di traiettoria su larga scala, diversificati e rigorosamente filtrati.