Sintesi Tecnica: Traiettorie che si Segmentano da Sole

1. Definizione del Problema

Le traiettorie di agenti di codifica a lungo termine presentano un disallineamento fondamentale con le unità di addestramento standard. Gli approcci attuali si basano su tre meccanismi di assegnazione del credito difettosi:

• Credito per singola azione: Le singole azioni (es. grep, pytest) mancano di valore intrinseco; la loro utilità dipende interamente dall'ipotesi causale che servono.
• Etichette di episodio terminale: Un singolo bit di successo/fallimento confonde l'esplorazione produttiva con le direzioni abbandonate, fondendo fasi ben fondate con impegni falliti.
• Finestre fisse: Confini arbitrari basati su passi temporali (es. finestre di $K$-turn) spesso frammentano investigazioni coerenti o fondono l'abbandono di una causa con l'adozione di un'altra.

Questi confini derivano da meccaniche di logging piuttosto che dallo stato epistemico evolutivo dell'agente, risultando in target rumorosi che premiano la forma superficiale rispetto al ragionamento causale.

2. Metodologia

2.1 Auto-segmentazione Semantica Dichiarata dall'Agente

Il documento introduce un protocolo di raccolta in cui l'agente attivo espone i propri confini tramite un contratto dichiarativo.

• Il Meccanismo: Durante un rollout con uso di strumenti, l'agente adotta un'ipotesi causale falsificabile ($h_k$) e la dichiara. L'agente raccoglie quindi prove, modifica il codice o esegue controlli sotto questa ipotesi. La fase termina quando l'agente adotta una nuova ipotesi ($h_{k+1}$) o quando la traiettoria termina.
• Il Costo: Questo aggiunge un overhead minimo (media di 52 token per dichiarazione, ~9,8% dell'output dell'agente) rispetto ad alternative che richiedono patch gold, vocabolari specifici per l'ambiente o segmentatori post-hoc.
• Il Protocolo di Raccolta: Un agente tenta un compito. Se fallisce i test nascosti, un modello revisore interviene. Il revisore vede la correzione di riferimento ma gli è vietato nominarla. Invece, il revisore deve fornire: (1) una negazione dell'approccio errato attuale e (2) la più piccola direzione positiva da investigare successivamente. Ciò costringe l'agente ad abbandonare l'ipotesi confutata e ad adottare una nuova ipotesi, creando una chiara transizione "causa-errata-poi-correzione".

2.2 Quattro Target Supervisionati da una Singola Raccolta

Un singolo rollout produce quattro viste di addestramento distinte, sfruttando l'asimmetria dell'informazione:

1. Audit (2.721 righe): L'auditor vede la fase completata e i legami delle prove per giudicare se la direzione fosse fondata e identificare le prove mancanti. Questo recupera lezioni da intervalli che un'etichetta di episodio scarterebbe.
2. Proposta (1.405 righe): Il modello vede solo lo stato al confine (mascherato) e deve derivare una successiva ipotesi verificabile o lo stato delle prove mancanti.
3. Fix (553 righe): Il modello vede una causa e una fonte confermate dall'esito per trasformare una diagnosi localizzata in una patch.
4. Coppie di Preferenza (2.551 righe): Il modello vede lo stato del confine mascherato e impara a preferire un'apertura avanzante rispetto a una stagnante o confutata.

2.3 Phase-DPO

Il documento implementa un classico Direct Preference Optimization (DPO) sulle coppie di preferenza. L'obiettivo è apprendere una policy $\pi_\theta$ tale che $\pi_\theta(y^+ | x) > \pi_\theta(y^- | x)$, dove $y^+$ è un'ipotesi di apertura preferita e $y^-$ è una rifiutata, dato lo stato mascherato $x$. La fase funge da unità di credito, fissando dove viene tagliato il contesto e quale testo sia il target.

3. Contributi Chiave

1. Confini Indipendenti dalle Dipendenze: La segmentazione è fornita dalla policy stessa sotto un contratto dichiarativo, senza richiedere patch gold esterne, vocabolari di pietre miliari o segmentatori post-hoc. Il confine arriva all'interno dello stesso rollout che produce la traiettoria.
2. Unità Indirizzabili: A differenza delle finestre definite dalla posizione, un'ipotesi dichiarata è un handle indirizzabile. Ciò consente un'assegnazione del credito più fine, la supervisione del processo senza annotazione dei passi e la guida tramite nome (negando congetture specifiche invece di intere traiettorie).
3. Coerenza Semantica: I confini tracciano il ragionamento dell'agente, non gli artefatti di logging.
   • Attribuzione: Quando le dichiarazioni vengono rimosse, un modello indipendente attribuisce i blocchi di azione alla loro ipotesi governante con una probabilità di 2,18x (test del segno accoppiato $p=0,0002$), superando le finestre di lunghezza uguale.
   • Non-derivabilità: Un annotatore umano cieco al codice corrisponde a 24/40 confini (rispetto agli 11,5 attesi dal caso), mentre una regola meccanica di evento-test non riesce a battere il caso né con soglie strette né permissive.
4. Interfaccia di Costruzione: Il protocollo produce transizioni "causa-errata-poi-correzione" raramente presenti nel lavoro registrato, generando supervisione di audit da regioni fallite che le etichette di episodio standard scarterebbero.

4. Risultati

4.1 Validità dell'Unità

• Attribuzione: I blocchi di azione rimangono attribuibili alla loro ipotesi governante anche dopo la rimozione del testo della dichiarazione, confermando che il confine è semantico, non lessicale.
• Recuperabilità: Un lettore cieco al codice può recuperare i confini significativamente meglio del caso, sebbene sovra-segmenti (1,55x), indicando che i confini non sono banalmente riproducibili tramite semplici euristiche.

4.2 Ottimizzazione a Valle (Phase-DPO)

• Sensibilità all'Orientamento: L'addestramento su 2.551 coppie con una policy SFT da 27B produce un braccio con etichetta invertita che non riproduce la separazione, confermando che il segnale non è un artefatto dello shell dell'ottimizzatore.
• Limiti di Generalizzazione:
  • Su item tenuti fuori costruiti avversarialmente (87 istanze), l'adapter ha cambiato 0/91 decisioni.
  • Su item con costruzione corrispondente (60 item della stessa famiglia di generatori), l'adapter ha cambiato 4/60 decisioni (tutte da errore a corretto), mentre i controlli non hanno cambiato nulla.
  • Conclusione: La preferenza appresa è reale ma vincolata alla costruzione; impara come le coppie sono state scritte piuttosto che una capacità generalizzabile.

4.3 Pilot di Rollout

Un pilot di 20 task su SWE-bench Verified ha mostrato:

• Tasso di Risoluzione: Base (13/20), SFT (14/20), Phase-DPO (14/20). Nessun miglioramento statisticamente significativo nel tasso di risoluzione.
• Efficienza: Phase-DPO ha mostrato una tendenza verso traiettorie più brevi (riduzione del 14,0% nei messaggi rispetto alla base), ma gli intervalli di confidenza includevano lo zero.
• Casi di Studio: Casi specifici hanno mostrato DPO fare scelte migliori (es. preservare i default interni) o peggiori (es. impegnarsi su loci errati precocemente), evidenziando che una migliore selezione della fase non garantisce il successo globale.

5. Significato e Rivendicazioni

Il documento rivendica modestamente che il protocollo di segmentazione al tempo di raccolta e l'interfaccia dei dati siano i contributi primari.

• Ciò che è stabilito: Un confine semantico può essere ottenuto a basso costo senza dipendenze esterne. Questo confine crea un'unità coerente in cui le azioni sono attribuibili a un'ipotesi governante, permettendo l'estrazione di lezioni dalle direzioni di ricerca fallite (supervisione di audit) e la costruzione di coppie di preferenza.
• Ciò che NON è stabilito: Il documento non afferma che l'addestramento su queste unità risulti in una policy con capacità di codifica end-to-end superiori o tassi di risoluzione più elevati. Il segnale di ottimizzazione è sensibile all'orientamento ma attualmente vincolato alla costruzione delle coppie di addestramento.
• Direzione Futura: Il documento pone come prossima variabile da variare la diversità del corpus di coppie, non la definizione del confine stesso. Il confine è una condizione necessaria per l'unità, ma l'utilità dell'unità dipende dalla qualità e varietà dei dati che la strutturano.

Il lavoro riformula il problema dell' "unità di credito": lasciando che l'agente dichiari i propri impegni causali, il sistema fabbrica dati di addestramento che distinguono tra direzioni di ricerca piuttosto che solo tra esiti, offrendo una via per un addestramento degli agenti più granulare e interpretabile.