🤖 machine learning

DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution

DREvo è un nuovo metodo di auto-evoluzione basato su harness che affronta l'instabilità degli approcci esistenti ricalibrando dinamicamente l'esperienza storica e distillando direzioni di ricerca azionabili, ottenendo così prestazioni superiori e traiettorie di evoluzione più fluide attraverso benchmark di ragionamento e agentici sotto budget limitati.

Autori originali: Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

Pubblicato 2026-07-30

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot super intelligente come risolvere un puzzle. Dai al robot un cervello (un Large Language Model), ma il cervello ha bisogno di un corpo e di un insieme di regole per poter effettivamente lavorare. Questa configurazione di "corpo e regole" è chiamata harness (imbracatura/struttura). Pensa all'harness come al sistema operativo del robot: decide come il robot cerca le informazioni, come usa strumenti come una calcolatrice o un editor di codice e come ricorda ciò che ha appena fatto. Se l'harness è disordinato o confuso, anche il cervello più intelligente inciamperà.

Per molto tempo, costruire un buon harness è stato come cercare di sintonizzare un'auto da corsa a mano. Gli esperti dovevano indovinare cosa non andasse, modificare qualche filo, testare e sperare nel meglio. Ma recentemente, gli scienziati hanno scoperto che i robot possono effettivamente aiutare a riparare i propri corpi. Possono provare un cambiamento, vedere se ha funzionato, ricordare il risultato e riprovare. Questo è chiamato auto-evoluzione. L'idea è che se il robot tiene un diario di tutti i suoi tentativi passati, può imparare dai suoi errori e migliorare nel tempo. Ma ecco l'inghippo: solo perché il robot ha un diario, non significa che sappia leggerlo. A volte, un trucco che ha funzionato ieri potrebbe essere un disastro oggi perché la situazione del robot è cambiata. Questo articolo si chiede: come possiamo assicurarci che il robot impari le lezioni giuste dalla sua storia senza confondersi con consigli vecchi e superati?

Il Probleo: Il Diario Confuso del Robot

Immagina di addestrare un cane a riportare una pallina. Lanci la palla, il cane corre e a volte la prende, a volte la fa cadere. Scrivi ogni tentativo in un taccuino. Ora, immagina che il cane riceva un nuovo collare, o che il vento inizi a soffiare diversamente, o che tu passi da una pallina da tennis a un giocattolo che emette un suono acustico. Se guardi semplicemente il tuo taccuino e dici: "L'ultima volta il cane ha fatto cadere la palla quando correva a sinistra, quindi dovrebbe sempre correre a destra", potresti sbagliare. Quel vecchio insegnamento potrebbe non applicarsi alla nuova situazione.

Questo è esattamente ciò che accade con gli agenti IA. I ricercatori hanno scoperto che quando i robot cercano di migliorare il proprio "harness" guardando l'intera storia dei loro tentativi, spesso rimangono bloccati in un loop. Potrebbero provare una correzione, vederla fallire, provare qualcos'altro, vederlo fallire di nuovo e poi improvvisamente tornare a un metodo che era fallito settimane prima. Le loro prestazioni saltano su e giù come una montagna russa invece di salire su una collina in modo fluido. I ricercatori si sono resi conto che i robot soffrivano di due problemi principali:

Il problema del "È ancora vero?": Il robot non controllava se le sue vecchie lezioni fossero ancora valide. Trattava ogni successo o fallimento passato come se stesse accadendo proprio ora, anche se il codice del robot era cambiato.
Il problema del "Cosa faccio dopo?": Anche se il robot ricordava una lezione, non sapeva esattamente quale parte del suo corpo dovesse sistemare o come farlo. Era come ricevere l'istruzione: "Hai fatto cadere la palla", senza che venisse detto: "Devi stringere la presa".

La Soluzione: DREvo (Il Bibliotecario Intelligente)

Per risolvere questo problema, gli autori hanno creato un nuovo metodo chiamato DREvo. Puoi pensare a DREvo come a un bibliotecario super organizzato che gestisce il diario del robot. Invece di consegnare semplicemente al robot una pila di fogli, DREvo organizza le informazioni, controlla se sono ancora rilevanti e fornisce al robot un'istruzione chiara e specifica su cosa fare dopo.

DREvo fa questo in tre fasi divertenti:

1. Il "Creatore di Etichette" (Ancoraggio dell'evidenza a livello di funzione)
Nel vecchio metodo, il diario del robot era un enorme, disordinoso ammasso di testo. DREvo taglia questo ammasso in piccoli pezzi etichettati. Osserva ogni cambiamento effettuato dal robot e lo collega a una specifica "funzione" (come uno strumento specifico o una regola di memoria). È come prendere un libro di ricette disordinato e etichettare ogni singolo cambiamento di ingrediente per l'esatto passaggio a cui appartiene. In questo modo, quando il robot vuole imparare, sa esattamente a quale parte del suo corpo si riferisce una lezione passata.

2. Il "Controllore di Freschezza" (Ricalibrazione dell'evidenza dipendente dallo stato)
Questa è la parte più importante. Prima che il robot utilizzi una vecchia lezione, DREvo pone due domande: "Questa lezione è ancora affidabile?" e "Questa lezione si adatta al corpo attuale del robot?".

Affidabilità: Questa lezione ha funzionato ogni volta che è stata usata in passato, o è stata solo una fortuna?
Freschezza: Il codice del robot è ancora simile a quello di quando è stata appresa questa lezione? Se il robot ha cambiato la sua "presa" (la sua struttura del codice), una vecchia lezione sulla presa potrebbe non funzionare più.
DREvo assegna un "punteggio" a ogni lezione. Se una lezione è vecchia o il robot è cambiato troppo, il punteggio scende e il robot la ignora. Se la lezione è fresca e affidabile, il punteggio resta alto.

3. Il "Fischietto dell'Allenatore" (Distillazione dell'intento di ricerca condizionata dal ruolo)
Infine, DREvo non dà al robot solo un elenco di fatti; dà un piano d'azione. In base alle lezioni con il punteggio più alto, DREvo assegna al robot un "ruolo" specifico per il tentativo successivo:

Exploit (Sfrutta): "Questo trucco ha funzionato benissimo in precedenza! Rifallo!"
Avoid (Evita): "Questo trucco ha causato un crash l'ultima volta! Non farlo!"
Retest (Riprova): "Non siamo sicuri di questo. Proviamolo con cautela per vedere se funziona ora."
Explore (Esplora): "Non abbiamo buone piste. Proviamo qualcosa di completamente nuovo."
Questo trasforma la vaga sensazione del robot di "Ho bisogno di migliorare" in un comando chiaro e azionabile come: "Vai a sistemare lo strumento di memoria usando la strategia 'Exploit'".

Cosa Hanno Trovato

I ricercatori hanno testato DREvo su cinque diverse sfide, che spaziano dalla risoluzione di enigmi chimici alla diagnosi di sintomi medici, fino alla riparazione di codice informatico e alla navigazione in un terminale virtuale. Hanno confrontato DREvo con altri robot che cercavano di evolversi autonomamente e con robot dotati di harness progettati da esseri umani.

I risultati sono stati molto promettenti. Sotto un budget limitato di tentativi (il che significa che non hanno lasciato che il robot praticasse per sempre), DREvo ha trovato i migliori harness in ogni singola categoria.

Nei compiti di diagnosi medica, DREvo ha raggiunto l'89,2% di accuratezza, superando il secondo miglior metodo del 2,4%.
Nel ragionamento legale, ha raggiunto il 49,0%, superando il migliore successivo del 4,0%.
Nella predizione di reazioni chimiche, ha ottenuto il 25,0%, che è 9,0 punti percentuali superiore al secondo classificato.
Per i compiti agentici (come riparare il codice o usare un terminale computerizzato), DREvo ha migliorato le prestazioni di una media del 16,2% nei compiti di ragionamento e del 13,8% nei compiti agentici rispetto agli altri metodi.

Forse la cosa più importante è che i ricercatori hanno notato che il progresso di DREvo è stato fluido. Mentre i punteggi degli altri robot saltavano su e giù selvaggiamente (regredendo e recuperando), l'accuratezza di DREvo è salita costantemente. Ha anche gestito il suo "spazio di pensiero" (contesto) in modo ridotto, circa 2,9K token, mentre altri metodi avevano bisogno di oltre 5,3K token e ottenevano comunque prestazioni inferiori.

Conclusione

L'articolo suggerisce che dare semplicemente a un robot una cronologia dei suoi passati tentativi non è sufficiente. Per imparare davvero, il robot ha bisogno di un sistema che possa controllare se le vecchie lezioni si applicano ancora e tradurre quelle lezioni in istruzioni chiare e specifiche. DREvo agisce come quel sistema, trasformando una disordinosa storia di tentativi ed errori in un percorso di miglioramento fluido e affidabile. Dimostra che essendo intelligenti su come utilizziamo le nostre esperienze passate, possiamo aiutare gli agenti IA a evolversi molto più velocemente e in modo più affidabile, anche quando non abbiamo un tempo illimitato per lasciarli esercitare.

Sintesi Tecnica: DREvo – Distillazione dell'Esperienza Storica Ricalibrata per l'Auto-Evoluzione dell'Harness

Definizione del Problema

Le prestazioni degli agenti basati su Large Language Models (LLM) dipendono fortemente dal loro framework di esecuzione esterno, noto come harness, che governa la costruzione del contesto, la gestione della memoria, l'invocazione degli strumenti e il parsing dell'output. Sebbene la progettazione manuale dell'harness sia efficace, essa è laboriosa e difficile da scalare man mano che i compiti e le interazioni tra i componenti diventano più complessi. Di conseguenza, la ricerca si è spostata verso l'auto-evoluzione dell'harness, in cui gli LLM propongono, valutano e migliorano iterativamente gli harness utilizzando l'esperienza storica dei tentativi.

Tuttavia, i metodi esistenti di auto-evoluzione guidati dalla storia (ad esempio, Meta-harness, AHE, ACE) soffrono di traiettorie di evoluzione non stazionarie. Nonostante l'accumulo di esperienza storica, l'accuratezza spesso fluttua significativamente invece di migliorare costantemente. Gli autori identificano due limitazioni fondamentali nel modo in cui i metodi attuali sfruttano i dati storici:

Mancanza di Rivalutazione Dinamica ("Cosa è ancora valido?"): L'evidenza storica è dipendente dallo stato. Una modifica che è stata efficace in un precedente stato dell'harness può diventare invalida o dannosa man mano che l'harness evolve, eppure i metodi esistenti trattano i record passati come staticamente validi.
Mancanza di una Direzione di Ricerca Esplicita ("Dove evolvere successivamente?"): L'esperienza storica è spesso presentata come log grezzi o riassunti. I metodi esistenti si affidano al ragionamento implicito del proponente per decidere quale componente modificare e come, portando a direzioni di ricerca instabili e a un uso inefficiente dei limitati budget di evoluzione.

Metodologia: Il Framework DREvo

Per affrontare queste limitazioni, gli autori propongono DREvo (Distilling Recalibrated Historical Experience), un metodo di auto-evoluzione che trasforma i log grezzi dei tentativi in una guida azionabile e consapevole dello stato. Il framework è composto da tre componenti sequenziali:

1. Ancoraggio dell'Evidenza a Livello di Funzione

I log grezzi dei tentativi sono eterogenei, mescolando cambiamenti di codice, traiettorie di esecuzione e feedback. DREvo analizza questi log per creare unità di evidenza ancorate alle funzioni.

Meccanismo: Mappa i diff del codice (cambiamenti tra $h_{t-1}$ e $h_t$ ) a specifici componenti funzionali (ad esempio, uso di strumenti, gestione della memoria) basandosi sui confini degli intervalli di sorgente.
Output: Ogni unità di evidenza $e_{t,c}$ collega un componente specifico $c$ , il suo cambiamento di codice $\delta_{t,c}$ e l'esito osservato (statistiche globali, esiti dei task, pattern di fallimento).
Attribuzione: Questo localizza il feedback a specifici componenti, permettendo un'attribuzione più precisa di successo o fallimento.

2. Ricalibrazione dell'Evidenza Dipendente dallo Stato

Prima di riutilizzare l'evidenza storica, DREvo ricalibra dinamicamente la sua validità in base all'attuale stato dell'harness. Calcola un peso calibrato $w_e$ per ogni unità di evidenza basandosi su due fattori:

Affidabilità Storica ( $r_t(e)$ ): Misura la coerenza e la freschezza.
- Coerenza dell'Esito: La frazione di invocazioni passate in cui la polarità dell'esito (successo/fallimento) corrispondeva alla polarità dell'evidenza corrente, pesata per l'entità del cambiamento delle prestazioni.
- Freschezza: Un fattore di decadimento basato sul tempo trascorso dall'ultimo utilizzo o creazione dell'evidenza.
Compatibilità Strutturale ( $q_t(e)$ ): Misura se l'implementazione del componente associata all'evidenza rimane strutturalmente simile al componente attuale. Questo viene calcolato utilizzando la Tree Edit Distance (TED) sugli Abstract Syntax Trees (AST), normalizzando i dettagli lessicali ma preservando il flusso di controllo e la logica.
Calibrazione: Il peso finale è la media armonica tra affidabilità e compatibilità, garantendo che l'evidenza sia affidabile solo se è sia storicamente coerente che strutturalmente rilevante.

3. Distillazione dell'Intento di Ricerca Condizionata al Ruolo

Inveve di fornire l'evidenza grezza al proponente, DREvo distilla l'evidenza calibrata in un intento di ricerca esplicito ( $s_t$ ) che specifica cosa fare e dove cercare.

Partizionamento dell'Evidenza: L'evidenza recuperata viene categorizzata in tre set basati sul peso e sulla polarità: Positiva Affidabile ( $X_t$ ), Negativa Affidabile ( $A_t$ ) e a Bassa Confidenza ( $T_t$ ).
Attivazione del Ruolo: In base a questi set, viene attivato un ruolo di ricerca:
- Sfrutta (Exploit): Se esiste un'evidenza positiva affidabile, il proponente è guidato a ereditare o perfezionare queste modifiche.
- Evita (Avoid): Se esiste un'evidenza negativa affidabile, il proponente è guidato a evitare specifiche modifiche dannose.
- Riprova (Retest): Se esiste solo evidenza a bassa confidenza, il proponente è guidato a rivalutare queste direzioni sotto lo stato attuale.
- Esplora (Explore): Se non esiste evidenza rilevante o i precedenti retest sono falliti, il proponente è autorizzato a esplorare liberamente nuove direzioni basate sugli attuali pattern di fallimento.
Distillazione: Il ruolo attivato e i pattern di fallimento attuali vengono distillati in un prompt strutturato ( $s_t$ ) che dirige esplicitamente il proponente verso un componente target e una direzione di modifica.

Contributi Chiave

Identificazione del Problema: Il documento identifica la fluttuazione delle prestazioni nell'auto-evoluzione dell'harness come una sfida di affidabilità radicata nel fallimento della rivalutazione dinamica della validità storica e nella mancanza di policy di ricerca esplicite.
Framework DREvo: Un metodo innovativo che ancora l'evidenza alle funzioni, ricalibra la validità in base alla compatibilità dello stato e alla coerenza storica, e la distilla in intenti di ricerca condizionati al ruolo.
Validazione Empirica: Esperimenti estesi che dimostrano traiettorie di evoluzione più fluide e prestazioni superiori attraverso diversi benchmark.

Risultati Sperimentali

Gli autori hanno valutato DREvo su cinque benchmark: tre compiti di Ragionamento di Dominio (USPTO, Symptom2Disease, Law) e due compiti Agentici (Terminal-Bench 2.0, SWE-Bench Verified).

Prestazioni Complessive: DREvo ha raggiunto l'accuratezza più elevata su tutti e cinque i benchmark sotto budget di evoluzione limitati (20 iterazioni per il ragionamento, 10 per i compiti agentici).
- Ragionamento di Dominio: Guadagni medi del 16,2% rispetto ai baseline. Nello specifico, ha migliorato USPTO del 9,0%, S2D del 2,4% e Law del 4,0% rispetto ai secondi migliori metodi.
- Compiti Agentici: Guadagni medi del 13,8% rispetto ai baseline. Notevolmente, su SWE-Bench Verified, DREvo ha evoluto un harness iniziale orientato al terminale in un competitivo harness di riparazione del codice senza ingegneria specifica del task manuale.
Traiettoria di Evoluzione: A differenza dei baseline (ad esempio, Meta-harness) che mostravano grandi oscillazioni di accuratezza e accumulo di contesto (context bloat), DREvo ha mostrato curve di miglioramento più fluide e ha mantenuto una dimensione del contesto limitata (~2,9K token).
Robustezza: Sotto un controllo di deriva dello stato del componente (simulando cambiamenti nel codice dell'harness), DREvo ha migliorato le prestazioni in 11 casi su 16, mentre il "riutilizzo cieco" dell'evidenza (senza ricalibrazione) ha diminuito le prestazioni nella maggior parte dei casi.
Studi di Ablazione: La rimozione di uno qualsiasi dei tre componenti (Ancoraggio, Ricalibrazione, Distillazione) ha comportato cali di prestazione, confermando i loro ruoli complementari.

Significato e Rivendicazioni

Il documento afferma che DREvo affronta l'instabilità fondamentale della ricerca guidata dalla storia nell'auto-evoluzione dell'harness. Passando da un riutilizzo statico e implicito della storia a una guida dinamica, esplicita e consapevole dello stato, DREvo consente la scoperta affidabile di harness ad alte prestazioni entro budget computazionali limitati. Gli autori sottolineano che i loro guadagni derivano dalla qualità della guida alla ricerca (ricalibrazione e distillazione) piuttosto che dalla semplice esposizione del proponente a una maggiore quantità di dati storici o compressione del contesto. Il lavoro suggerisce che la futura evoluzione dell'harness richiede meccanismi per validare continuamente l'applicabilità delle esperienze passate man mano che lo stato del sistema evolve.