Sintesi Tecnica: Evoluzione dell'Harness al Tempo di Test (TTHE)

Definizione del Problema

I moderni agenti basati su Large Language Model (LLM) sono sempre più costruiti come sistemi eseguibili in cui il comportamento è governato non solo dal modello sottostante congelato, ma anche dall' "harness" circostante — il programma di controllo che gestisce la costruzione del contesto, l'invocazione degli strumenti, la verifica intermedia e il recupero dai guasti. Le attuali pratiche di deployment implicano tipicamente l'ottimizzazione di questo harness su dati di sviluppo o di addestramento etichettati prima di congelarlo per la valutazione. Questo approccio statico limita l'adattabilità quando le distribuzioni di test, le modalità di errore o le interazioni con gli strumenti differiscono da quelle viste durante lo sviluppo.

I meccanismi di adattamento esistenti, come il fine-tuning o il test-time training, modificano i pesi del modello, mentre i metodi di self-debugging o di riflessione spesso rivedono singole risposte o memorizzano esperienze testuali. La ricerca automatizzata dei workflow avviene solitamente pre-deployment. Una questione aperta critica rimane: Un agente LLM può adattarsi durante la valutazione esclusivamente dai propri tracce di esecuzione non etichettate, modificando il proprio harness eseguibile circostante, senza aggiornare i pesi del modello, senza richiedere etichette gold e senza addestrare un modello di adattamento separato?

Metodologia: Evoluzione dell'Harness al Tempo di Test (TTHE)

TTHE affronta questo problema trattando l'harness eseguibile come lo stato dell'adattamento al tempo di test. Inveve di cercare un workflow fisso su dati etichettati, TTHE sposta l'ottimizzazione dell'harness all'interno del processo di valutazione stesso, operando su batch di test non etichettati.

Meccanismo Core

TTHE mantiene una popolazione di harness candidati e li perfeziona attraverso un ciclo agentico composto da tre ruoli istanziati attorno allo stesso LLM congelato:

1. Solver: L'agente che esegue il compito all'interno dell'attuale harness.
2. Proposers: Agenti di coding agentici che ragionano sulle tracce di esecuzione per riscrivere il codice dell'harness.
3. Judge: Un selettore agentico che impegna (commit) un harness migliorato basandosi su segnali derivati dall'esecuzione.

Il Ciclo di Evoluzione

Per ogni batch di input $X_t$ non etichettato:

1. Osservazione: L'attuale harness impegnato $H_t$ viene eseguito su $X_t$, generando tracce di esecuzione dettagliate (prompt, chiamate a strumenti, stdout/stderr, errori, stati di runtime) e segnali proxy leggeri.
2. Evoluzione della Popolazione: TTHE evolve $G$ rami paralleli su $R$ round. In ogni round, $G$ proposers modificano i rispettivi harness genitore per creare harness figli. I proposers leggono le tracce dagli altri rami per il contesto, ma modificano la propria linea di discendenza. Ciò garantisce sia la lineage (persistenza di strategie utili) sia la diversità (esplorazione di diverse direzioni di modifica, ad esempio riparazione conservativa, esplorazione, avversaria).
3. Selezione: Un judge ispeziona l'insieme finale di harness candidati, le loro tracce e i segnali proxy per impegnare un singolo harness $H_{t+1}$ per il batch successivo.
4. Misurazione: Le etichette gold vengono consultate solo dopo la selezione per misurare l'accuratezza; esse non entrano mai nel ciclo di adattamento.

Segnali di Ottimizzazione

Poiché le etichette gold non sono disponibili durante l'adattamento, TTHE si affida a segnali proxy derivati dall'esecuzione, che sono prove imperfette piuttosto che oracoli di correttezza:

• Salute dell'Esecuzione: Se l'output viene eseguito senza errori e restituisce un risultato ben formato.
• Consistenza Round-Trip: Se l'output può essere invertito in una descrizione che corrisponde all'input (rilevando la deriva semantica).
• Tasso di Passaggio dei Test Pubblici: La frazione di esempi pubblici o test del repository superati (evidenza incompleta poiché i test nascosti potrebbero fallire).

Il sistema evita di collassare questi segnali in un singolo scalare di reward, preferendo esporre le tracce grezze e i segnali al proposer e al judge agentici per prevenire il gaming e la ripetizione sistematica degli errori.

Contributi Chiave

1. Formulazione dell'Evoluzione dell'Harness al Tempo di Test: Il paper definisce un nuovo paradigma di adattamento in cui l'harness eseguibile persistente viene adattato durante la valutazione dalle tracce non etichettate, con i pesi del modello fissi e le etichette gold isolate alla misurazione post-selezione.
2. Ciclo Genera-e-Giudica Basato sulla Popolazione: Gli autori lo realizzano come un sistema in cui il solver, i proposers e il judge sono ruoli diversi attorno allo stesso LLM congelato, consentendo l'adattamento interamente attraverso il cambiamento del programma circostante.
3. Validazione Empirica: Il metodo è dimostrato attraverso cinque domini basati sull'esecuzione (Text-to-SQL, programmazione competitiva, ingegneria del software, coding per la data science e uso di strumenti agentici), producendo policy ispezionabili per l'ancoraggio (grounding), la verifica e la riparazione.
4. Analisi Diagnostica: Il paper fornisce studi di ablazione sul budget di ricerca, la dimensione del batch e i backbone del modello, ed esegue audit delle tracce per caratterizzare le modalità di errore, identificando specificamente il "rimpianto di selezione" (buoni candidati non impegnati) e la limitata copertura dei candidati.

Risultati

TTHE è stato valutato su segmenti difficili di cinque benchmark: BIRD (Text-to-SQL), LiveCodeBench, SWE-bench Verified, DS-1000 e claw-eval (uso di strumenti agentici).

• Guadagni di Performance: Utilizzando un backbone DeepSeek-v4-flash, TTHE ha migliorato significativamente l'harness ReAct di base:
  • BIRD: 12.0% $\to$ 50.0%
  • LiveCodeBench: 30.0% $\to$ 38.3%
  • SWE-bench Verified: 20.0% $\to$ 35.0%
  • DS-1000: 38.0% $\to$ 44.0%
  • claw-eval: 48.9% $\to$ 69.8% (punteggio medio graduato)
• Indipendenza dal Modello: I guadagni sono stati coerenti tra diversi backbone (MiMo V2.5, Kimi K2.5), indicando che il loop non è legato a un modello specifico.
• Policy Emergenti: Gli harness evoluti hanno introdotto comportamenti ispezionabili non presenti nel baseline, come workflow rigorosi di "riproduci-per-primo", cicli di "esegui-e-auto-debug" per SQL, e policy condizionali di "verifica-e-riparazione" per il coding.
• Insight dalle Ablazioni:
  • Budget di Ricerca: La performance non è monotona rispetto al budget di ricerca; le linee di discendenza parallele ($G=3$) superano le linee singole ($G=1$) perché prevengono la perdita di buoni candidati iniziali.
  • Dimensione del Batch: La performance raggiunge il picco con una dimensione del batch moderata ($B=10$), bilanciando l'evidenza per decisione con il numero di passi di adattamento.
  • Accumulo: Portare l'harness impegnato attraverso i batch produce un'accuratezza maggiore rispetto al reset al baseline per ogni batch.

Significato e Limitazioni

Il paper sostiene che TTHE riclassifica l'adattamento al tempo di test per gli agenti LLM come evoluzione su programmi di controllo eseguibili. Dimostra che è possibile ottenere miglioramenti persistenti e ispezionabili senza aggiornamenti dei pesi o etichette gold.

Tuttavia, gli autori identificano colli di bottiglia tecnici centrali:

• Affidabilità dei Proxy: La qualità dei segnali derivati dall'esecuzione è critica. Il sistema deve ottimizzare sotto l'evidenza incompleta dove una query può eseguire con successo ma rispondere alla domanda sbagliata.
• Affidabilità del Judge: Una parte significativa dei potenziali guadagni viene persa a causa del "rimpianto di selezione", dove il judge agentico impegna un programma plausibile ma errato o non riesce a selezionare un candidato migliore dal pool. Il judge è misurabilmente mal calibrato, preferendo spesso forme di output incompatibili con il benchmark.
• Limiti di Copertura: Anche con un oracle su tutti i candidati generati, alcuni compiti rimangono irrisolti, indicando limiti intrinseci nella copertura attuale dello spazio di ricerca.

Gli autori concludono che, sebbene TTHE offra un meccanismo pratico per adattare gli agenti senza cambiare i pesi del modello, la robustezza di tale evoluzione dipende fortemente dall'affidabilità dei segnali proxy e del meccanismo di selezione. Il lavoro futuro dovrà stabilire la generalizzazione forward tramite scoring prequenziale e affrontare il collo di bottiglia della selezione.