Riepilogo Tecnico: Da Patch a Traiettorie (P2T)

Enunciato del Problema

Il metodo dominante per instillare capacità di indagine e ragionamento negli agenti open software-engineering (SWE) è il Fine-Tuning Supervisionato (SFT) su lunghe traiettorie generate da modelli teacher potenti. Tuttavia, l'SFT standard tratta ogni risposta conservata come un obiettivo di imitazione. Di conseguenza, gli agenti studenteschi ereditano non solo gli esiti di successo, ma anche i difetti nei passaggi intermedi, come salti privi di fondamento, loop ridondanti ed esplorazione speculativa.

Le attuali pipeline di costruzione dei dati si basano sul campionamento per rifiuto filtrato per esito: conservano solo le traiettorie in cui la patch finale supera una suite di test. Questo approccio soffre di tre limitazioni critiche:

1. Mancanza di Supervisione del Processo: Non fornisce feedback sui passaggi intermedi di ragionamento, ma solo sul risultato terminale.
2. Inefficienza: Le traiettorie conservate contengono spesso visualizzazioni di file ridondanti, chiamate agli strumenti non informative e loop, aumentando i costi di inferenza.
3. Spreco di Dati: Scarta le istanze in cui il teacher non riesce a produrre una patch valida, anche se l'indagine del teacher ha scoperto fatti intermedi di valore.
4. Rischio di Perdita (Leakage): Utilizzare semplicemente la patch di riferimento ($p^\star$) per guidare la generazione rischia la "perdita della soluzione", dove l'agente apporta modifiche o formula affermazioni prima di raccogliere le prove necessarie, portando a salti ingiustificati che lo studente imita.

La sfida centrale è costruire dati di formazione che siano simultaneamente efficaci (ogni passaggio riduce il divario epistemico verso la correzione corretta con ragionamento fondato) ed efficienti (ogni passaggio è portatore di informazioni, evitando ridondanza), senza esporre la patch di riferimento all'agente studente.

Metodologia: P2T (Da Patch a Traiettorie)

Gli autori propongono P2T, un framework che tratta la patch di riferimento ($p^\star$) scritta dallo sviluppatore come informazione privilegiata durante la curatela dei dati. Lo studente non vede mai $p^\star$; invece, il processo di curatela distilla $p^\star$ in una struttura latente per guidare la costruzione della traiettoria.

P2T opera in due fasi:

Fase 1: Distillazione del Grafo di Processo (Fase Inversa)

La patch di riferimento $p^\star$ viene convertita in un grafo di processo latente $G^\star_i = (V_i, E_i)$.

• Nodi ($V_i$): Rappresentano fatti contestuali intermedi (ad esempio, posizioni dei file, comportamenti a runtime) e traguardi della soluzione (ad esempio, script di riproduzione, piani di correzione, modifiche) che uno sviluppatore competente deve stabilire prima che la correzione sia derivabile.
• Archi ($E_i$): Codificano le relazioni di prerequisito, garantendo un ordine topologico in cui un nodo è discoverabile solo dopo che i suoi prerequisiti sono stati stabiliti.
• Costruzione: Un ciclo iterativo Propositore-Critico che utilizza agenti LLM:
  • Propositore: Identifica fatti o traguardi mancanti necessari per derivare $p^\star$.
  • Critico: Impone la non-perdita, potando qualsiasi nodo il cui "sbloccatore" (l'azione richiesta per scoprirlo) presuppone la conoscenza della stessa $p^\star$.
• Risultato: Un grafo $G^\star$ che codifica i prerequisiti necessari per la correzione senza rivelare la correzione stessa.

Fase 2: Realizzazione di Traiettorie Bi-Obiettivo a Orizzonte Scorrevole (Fase Diretta)

Le traiettorie sono costruite campionando continuità accecate da un modello teacher e curandole rispetto a $G^\star$.

• Generazione dei Candidati: A ogni finestra scorrevole, il sistema campiona $K$ "semi accecati" dal teacher. Successivamente genera "varianti mutate" applicando al massimo una modifica localizzata a un passo del seme, reindirizzandolo verso un nodo disponibile in $G^\star$.
• Selezione Bi-Obiettivo: Il sistema seleziona un segmento basandosi su due criteri:
  1. Efficacia: Misurata da un punteggio di progresso ($Prog_t$) che conta i nuovi nodi stabiliti in $G^\star$, penalizzando affermazioni premature. Una soglia di fondamento garantisce che nessun passo faccia riferimento a entità o formuli affermazioni non ancora supportate dalla storia visibile.
  2. Efficienza: Misurata dalla lunghezza della traiettoria (conteggio dei token o numero di passaggi).
• Regola di Impegno: Il sistema applica una regola "più corto-sopra-soglia": tra i segmenti che soddisfano una soglia minima di efficacia, impegna il più corto. Questo garantisce che la traiettoria sia concisa mantenendo un fondamento rigoroso.
• Terminazione: Il processo si ripete fino alla generazione di una patch. Solo le traiettorie in cui la patch finale supera la suite di test sono ammesse nel dataset SFT.

Contributi Chiave

1. Formulazione del Problema: Gli autori inquadrano la costruzione di dati SFT per agenti SWE come un problema di ottimizzazione bi-obiettivo sull'efficacia per passaggio e sulla lunghezza della traiettoria, dimostrando che il campionamento per rifiuto filtrato per esito standard non fornisce segnali su nessuno dei due assi.
2. Framework P2T: Un nuovo framework di curatela che utilizza $p^\star$ come informazione privilegiata. Distilla $p^\star$ in un grafo di processo non perdente $G^\star$ e realizza traiettorie brevi, fondate e guidate da $G^\star$ senza esporre la patch allo studente.
3. Validazione Empirica: Utilizzando solo 1.8k istanze curate da SWE-Gym, P2T ottiene miglioramenti simultanei in efficacia ed efficienza rispetto alle baseline filtrate per esito.

Risultati Sperimentali

Gli autori hanno valutato P2T su SWE-bench Verified e SWE-bench Lite utilizzando due modelli studenti (Qwen2.5-Coder-14B/32B) e due curatori teacher (Qwen3-Coder-480B, GLM-5-FP8).

• Guadagni di Prestazione: Su SWE-bench Verified, P2T ha migliorato Pass@1 fino a +10.8 punti (ad esempio, dal 39.6% al 50.4% per lo studente da 32B) rispetto alla baseline di campionamento per rifiuto basato sul superamento dei test.
• Guadagni di Efficienza: P2T ha ridotto i costi di inferenza per istanza di ~15% (ad esempio, da \0.92 a \0.78), dimostrando che le traiettorie curate sono significativamente più brevi e meno ridondanti.
• Analisi della Qualità:
  • Le traiettorie curate erano 9.3% più brevi e 31.0% meno ridondanti (in termini di azioni di visualizzazione dei file) rispetto ai rollout rifiutati.
  • Questi miglioramenti strutturali si sono trasferiti agli studenti addestrati, che hanno emesso rollout 10.3% più brevi e 19.5% meno ridondanti rispetto a quelli degli studenti addestrati con la baseline.
• Studi di Ablazione:
  • Rimuovere il controllo di fondamento ha causato un calo di ~7.2 punti Pass@1, confermando la necessità di prevenire salti privi di fondamento.
  • Rimuovere la regola più corto-sopra-soglia ha aumentato la lunghezza della traiettoria e il conteggio dei token, riducendo Pass@1, indicando che traiettorie più brevi portano meno rumore di imitazione.
  • Uno studio del valore dell'informazione ha confermato che i guadagni sono guidati dalle informazioni codificate in $G^\star$ piuttosto che dalla sola macchina di curatela o dalla scala dei dati.

Significato e Affermazioni

Il paper afferma che l'unità corretta di supervisione per agenti capaci non è la traiettoria o l'artefatto terminale in isolamento, ma la struttura che li collega.

• Fattorizzazione dell'Informazione Privilegiata: P2T dimostra che le patch di riferimento, spesso scartate come mera verità fondamentale, possono essere sfruttate come segnali privilegiati per plasmare dati di formazione di alta qualità senza compromettere la capacità dello studente di apprendere genuine abilità investigative.
• Ottimizzazione Simultanea: Il lavoro sfida il trade-off tra esplorazione (efficacia) ed efficienza. Utilizzando un grafo di processo per ancorare il progresso, P2T ottiene sia tassi di risoluzione più alti che costi di inferenza più bassi, dimostrando che un'"esplorazione cauta e ben fondata" non richiede necessariamente un'"accorciamento aggressivo" che invita a scorciatoie non supportate.
• Qualità dei Dati sulla Scala: I risultati suggeriscono che la qualità per traiettoria, derivata da una supervisione di processo principiale, è un motore più potente delle prestazioni degli agenti rispetto al semplice aumento del volume dei dati filtrati per esito.

Gli autori mantengono una posizione modesta, riconoscendo limitazioni come la dipendenza da suite di test eseguibili e patch di riferimento, e la natura empirica (piuttosto che formale) dei controlli di fondamento mediati da LLM. Posizionano P2T come un passo verso un approccio più strutturato alla supervisione di processo negli agenti software engineering.