🤖 AI

BONSAI: Evolvability-Guided Tree Search over Skills

BONSAI è un nuovo framework di ottimizzazione delle abilità per agenti congelati che impiega una ricerca Monte Carlo ad albero guidata dall'evolvibilità per distinguere tra picchi di overfitting e plateau migliorabili, superando significativamente i baseline esistenti nell'accuratezza su dati non visti.

Autori originali: Yash Priya Shastri, Anand Eswaran, Adnan Qidwai, Pankaj Thorat, Sachin Joshi

Pubblicato 2026-08-10

📖 6 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Yash Priya Shastri, Anand Eswaran, Adnan Qidwai, Pankaj Thorat, Sachin Joshi

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super-intelligente come svolgere un lavoro complesso, come sistemare un foglio di calcolo o risolvere un problema matematico difficile. Il problema è che il robot è "congelato". Il suo cervello è bloccato nella sua posizione; non puoi riaddestrarlo, non puoi modificare i suoi neuroni, né permettergli di imparare dai suoi errori come farebbe uno studente umano. L'unico modo per renderlo più bravo è scrivergli un insieme di istruzioni — una "abilità" — in linguaggio naturale. Pensa a questa abilità non come a un semplice comando, ma come a un manuale operativo dettagliato che dice al robot esattamente quali strumenti prendere, quali insidie evitare e come ricontrollare il proprio lavoro prima di consegnare la risposta.

La grande domanda che gli scienziati si pongono è: come si scrive il manuale perfetto? Se provi solo a fare qualche modifica, testi il risultato e tieni quelli che funzionano, potresti rimanere bloccato. È come fare escursionismo su una montagna dove la mappa mostra solo la tua altitudine attuale. Potresti raggiungere una piccola vetta appuntita che sembra alta, ma che è così stretta che il passo successivo ti porterebbe direttamente in un precipizio. Oppure, potresti trovarti su un ampio e dolce altopiano dove ogni passo in avanti porta a un terreno ancora più alto, ma non riesci a distinguerne la differenza guardando solo la tua altezza attuale. Questo articolo introduce un nuovo modo per navigare questo paesaggio, utilizzando un concetto preso in prestito dalla biologia chiamato "evolvibilità" — la capacità di un percorso di continuare a produrre buoni risultati anche quando si commette un errore.

Il Problema: La Trappola della "Vetta Appuntita"

I ricercatori di IBM Research hanno notato un difetto nel modo in cui solitamente miglioriamo questi manuali AI. Il metodo standard è semplice: prendi un manuale, chiedi all'IA di riscriverlo, testa la nuova versione e, se il punteggio sale, tienila. Se scende, buttala via.

Il problema è che questo metodo è "cieco". Guarda solo il punteggio del manuale attuale. Non può distinguere tra un manuale situato su un ampio altopiano (un'area sicura e stabile dove piccole modifiche portano solitamente a risultati ancora migliori) e un manuale appollaiato su una stretta punta di overfitting (una vetta fragile dove il punteggio è alto, ma qualsiasi minima modifica causa il crollo del punteggio). Se sei su una punta, la modifica successiva potrebbe correggere un piccolo errore ma rompere dieci altre cose che funzionavano perfettamente. Il metodo standard cammina verso il precipizio perché vede solo l'alto punteggio, non il pericolo.

La Soluzione: BONSAI e la Bussola dell' "Evolvibilità"

Per risolvere il problema, il team ha creato un nuovo framework chiamato BONSAI. Inve invece di guardare solo quanto sia buono un manuale proprio ora, BONSAI chiede: "Quanto è buono il quartiere intorno a questo manuale?"

Utilizzano una intelligente metafora dalla natura: l'Evolvibilità. In biologia, una specie non viene giudicata solo per quanto sopravvive oggi, ma per la sua capacità di continuare a produrre prole utile in futuro. Una specie su un "ampio altopiano" può subire mutazioni e sopravvivere comunque; una specie su una "stretta punta" si estingue se cambia anche solo di poco.

BONSAI tratta la ricerca del manuale perfetto come la crescita di un albero.

L'Albero: Parte con un manuale "seme".
I Rami: Ogni volta che l'IA prova a riscrivere il manuale, fa crescere un nuovo ramo (un nodo figlio).
La Bussola: Quando decide quale ramo esplorare successivamente, BONSAI non sceglie semplicemente il ramo con il punteggio più alto. Sceglie il ramo che sembra avere il futuro migliore. Calcola un punteggio chiamato Evolvibilità, che è essenzialmente la media dei punteggi di tutte le piccole modifiche (mutazioni) apportate a quel manuale.

Se un manuale si trova su una "punta", i suoi vicini avranno punteggi terribili e il punteggio di evolvibilità sarà basso. BONSAI lo evita. Se un manuale si trova su un "altopiano", anche i suoi vicini avranno buoni punteggi e il punteggio di evolvibilità sarà alto. BONSAI si immerge profondamente in queste aree sicure e produttive.

Come Funziona: Il Trucco dell' "Innesto"

I ricercatori hanno aggiunto una funzione speciale chiamata GRAFT. Immaginate di avere due rami di un albero: un ramo ha imparato come gestire i "problemi matematici" e un altro ramo ha imparato come gestire i "fogli di calcolo". Sono su percorsi diversi e non comunicano mai tra loro.

Di solito, l'IA non può combinare queste abilità perché guarda un solo manuale alla volta. Ma GRAFT permette all'IA di sbirciare nel ramo della "matematica", vedere un trucco che funziona e copiare quel trucco nel manuale del "foglio di calcolo". È come un giardiniere che prende un ramo forte da un albero e lo innesta su un altro per dargli nuovi poteri. Questo avviene senza rompere la struttura dell'albero, permettendo all'IA di mescolare e abbinare le migliori idee provenienti da diverse parti della sua ricerca.

I Risultati: Scalare Più in Alto

Il team ha testato BONSAI su tre diverse sfide:

SpreadsheetBench: Sistemare file Excel.
SearchQA: Rispondere a domande di un quiz utilizzando i risultati di ricerca.
LiveMathematicianBench: Risolvere problemi matematici.

Hanno utilizzato un agente IA con 30 miliardi di parametri congelati (il "performer") e un'IA separata per scrivere i manuali (l' "optimizer"). Hanno confrontato BONSAI con altri due metodi, GEPA e SkillOpt, assicurandosi che tutti utilizzassero la stessa quantità di potenza di calcolo (lo stesso "budget").

I risultati sono stati chiari:

Su SpreadsheetBench, BONSAI ha migliorato l'accuratezza di 5,71 punti rispetto al manuale iniziale e ha battuto il miglior concorrente (GEPA) di 2,14 punti.
Su SearchQA, ha migliorato di 6,57 punti rispetto al manuale iniziale.
Su LiveMathematicianBench, il divario è stato enorme. BONSAI ha raggiunto il 64,91% di accuratezza, mentre il manuale iniziale era solo al 28,23%, e il concorrente GEPA era al 56,14%.

I ricercatori hanno scoperto che quando disattivavano la bussola dell' "evolvibilità" e lasciavano semplicemente l'IA inseguire avidamente il punteggio più alto (come nei vecchi metodi), l'IA rimaneva bloccata su quelle "punte strette" precocemente e smetteva di migliorare. BONSAI, invece, continuava a trovare soluzioni migliori più in profondità nella ricerca perché sapeva quali percorsi fossero sicuri da esplorare.

La Conclusione

Il documento suggerisce che per rendere più intelligenti gli agenti IA congelati, non dobbiamo solo cercare il punteggio più alto in questo momento. Dobbiamo cercare il quartiere più promettente. Utilizzando un metodo di ricerca ad albero che valorizza la stabilità e il potenziale futuro (l'evolvibilità) rispetto ai successi immediati e fragili, BONSAI ha trovato istruzioni migliori da seguire. Non ha avuto bisogno di riaddestrare il cervello dell'IA; aveva solo bisogno di scrivere un miglior manuale operativo, e ci è riuscito sapendo quali percorsi erano sicuri da percorrere.

Riassunto Tecnico: BONSAI – Ricerca su Albero Guidata dall'Evolvibilità su Skill

1. Definizione del Problema

Il documento affronta la sfida di ottimizzare le skill (abilità) per agenti congelati (frozen agents). Una "skill" è definita come un documento in linguaggio naturale (che funge da manuale operativo piuttosto che da semplice template di prompt) che guida un LLM congelato i cui pesi non possono essere aggiornati. Poiché l'agente non può apprendere dall'esperienza, ogni sua mancanza di capacità deve essere codificata nel testo della skill.

L'approccio standard all'ottimizzazione delle skill prevede un ciclo iterativo: modificare la skill basandosi sui fallimenti dell'agente, testarla su compiti di validazione e conservare le modifiche che migliorano il punteggio. Gli autori identificano un punto cieco critico in questo metodo: un singolo punteggio di validazione non può distinguere tra un documento che riposa su un ampio plateau (robusto rispetto a ulteriori modifiche) e uno che si trova su una stretta punta (overfit e fragile). Un documento su una stretta punta può ottenere un punteggio elevato, ma è un vicolo cieco, poiché ulteriori modifiche tendono a rompere le capacità esistenti. I metodi esistenti mancano di un modo per misurare l' "evolvibilità" di una regione di skill — ovvero la capacità di produrre variazioni valide sotto mutazione — senza incorrere in costi computazionali aggiuntivi.

2. Metodologia: BONSAI

BONSAI (Bonsai Optimisation via Natural-language Search and Adaptive Iteration) riformula l'ottimizzazione delle skill come una Ricerca su Albero Monte Carlo (MCTS) guidata dall'evolvibilità piuttosto che dal semplice fitness immediato.

Componenti Core

Modelli: Vengono utilizzati due modelli congelati.
- Performer: L'agente congelato (es. granite-4.1-30b) che esegue i compiti basandosi sulla skill.
- Optimizer: Un secondo modello congelato (es. DeepSeek-V3.2) che riscrive la skill basandosi sui fallimenti del performer.
Struttura ad Albero: Le skill sono organizzate in un albero dove la radice è un documento seme. Ogni arco rappresenta una mutazione (una riscrittura riflessiva) del nodo genitore. Questa struttura impone una topologia di vicinato allo spazio dei documenti.

Metriche Chiave

Fitness ( $v(n)$ ): Il punteggio di validazione del documento al nodo $n$ .
Evolvibilità ( $Q(n)$ ): Definita come il fitness atteso del vicinato mutazionale di una skill. È stimata come la media del fitness della linea di discendenza del nodo (il nodo stesso più tutti i suoi discendenti).
$Q(n) = \frac{1}{m(n)} \sum_{s \in L(n)} v(s)$
dove $L(n)$ è la linea di discendenza e $m(n)$ è il conteggio dei membri valutati.
Fragilità ( $\sigma(n)$ ): Il divario tra il fitness attuale e l'evolvibilità: $\sigma(n) = v(n) - Q(n)$ $σ (n) = v (n) - Q (n)$ .
- $\sigma > 0$ : Indica una punta fragile e in overfitting (il punteggio attuale è superiore alla media del vicinato).
- $\sigma \le 0$ : Indica una regione evolvibile (il vicinato sostiene o migliora il punteggio attuale).

Algoritmo di Ricerca

La ricerca procede in iterazioni utilizzando una regola di selezione Upper Confidence Bound (UCB):
$U(s) = v(s) + \lambda(Q(s) - v(s)) + c\sqrt{\frac{\ln N(p)}{N(s)}}$

Sfruttamento (Exploitation): Il termine $\lambda(Q(s) - v(s))$ indirizza la ricerca verso regioni con alta evolvibilità. Quando $\lambda=1$ , la ricerca privilegia $Q(s)$ (evolvibilità) rispetto al puro fitness $v(s)$ .
Esplorazione (Exploration): Il termine UCB standard assicura che i rami deboli vengano rivisitati.
Accettazione: Una proposta di figlio è accettata solo se migliora rigorosamente un piccolo minibatch di addestramento (Eq. 4).
Backup: I figli accettati aggiornano le statistiche della linea di discendenza ( $N$ , $m$ , $W$ ). Le mutazioni rifiutate aggiornano solo il conteggio delle visite $N$ , evitando che i fallimenti nella riscrittura deprimano artificialmente la stima dell'evolvibilità di una regione.
Allargamento (Widening): I nodi hanno una capacità sublineare di figli basata sul numero di campioni valutati, assicurando che la ricerca rimanga profonda piuttosto che larga.

Grafting (Operatore Opzionale)

Per affrontare la frammentazione delle capacità tra diverse branche dell'albero, BONSAI include un operatore di grafting (innesto). Se un nodo $A$ manca di una capacità che un nodo $B$ di un'altra linea possiede (determinato confrontando i punteggi per task sui dati di addestramento), l'optimizer riceve l'incarico di riscrivere $A$ per incorporare la tecnica di $B$ . Il donatore $B$ funge da evidenza, non da antenato, e non riceve aggiornamenti sulle visite.

Consegna (Shipping)

Al termine del budget, BONSAI consegna il singolo documento con il più alto punteggio di validazione ( $\arg\max v(n)$ ), non quello con la più alta evolvibilità. Ciò garantisce che l'output finale sia il documento con le prestazioni migliori trovate, mentre l'evolvibilità serve esclusivamente come meccanismo di guida per il budget di ricerca.

3. Contributi Chiave

L'Evolvibilità come Metrica di Guida: Gli autori identificano la robustezza sotto mutazione (evolvibilità) come la proprietà critica per l'ottimizzazione delle skill, distinguendola dal fitness attuale.
Stima a Costo Zero: Propongono un metodo per misurare l'evolvibilità ( $Q$ ) che non comporta nessun costo extra di chiamate al modello. Riutilizza i punteggi di fitness già pagati durante la ricerca per stimare la qualità del vicinato mutazionale.
Framework di Ricerca su Albero: BONSAI converte una collezione disordinata di candidati in uno spazio di ricerca strutturato dove le proprietà di vicinato possono essere misurate e ottimizzate tramite MCTS.
Trasferimento di Capacità Asimmetrico: L'introduzione dell'operatore di grafting permette il trasferimento di specifiche capacità tra linee di discendenza senza fondere i documenti, affrontando il problema della divergenza delle skill.

4. Risultati Sperimentali

Il framework è stato valutato su tre benchmark utilizzando un performer congelato da 30B e un optimizer DeepSeek-V3.2.

SpreadsheetBench: BONSAI ha migliorato il documento seme di 5.71 punti di accuratezza e ha superato il baseline GEPA (con budget equivalente) di 2.14 punti. Con il Grafting abilitato, ha raggiunto il 25.00% di accuratezza.
SearchQA: BONSAI ha migliorato il seme di 6.57 punti e ha superato GEPA di 0.71 punti (79.00% vs 78.29%).
LiveMathematicianBench: BONSAI ha raggiunto il 64.91% di accuratezza, superando il seme (28.23%) di un ampio margine e battendo GEPA di 8.77 punti.
Confronto con SkillOpt: In tutti i benchmark, BONSAI ha superato il secondo baseline, SkillOpt, di una media di 3.97 punti. Gli autori attribuiscono il deficit di SkillOpt alla sua fase di aggregazione, che comprime le modifiche senza vedere le traiettorie sottostanti.
Ablation (Evolvibilità vs. Greedy): Quando il segnale di selezione è stato cambiato in puro fitness greedy ( $\lambda=0$ ), le prestazioni sono diminuite significativamente in tutti i benchmark (es. -7.02 punti su LiveMathematicianBench), confermando che la guida tramite evolvibilità è il principale motore del successo.

5. Significato e Rivendicazioni

Il paper sostiene che BONSAI riesce a indirizzare il budget di ricerca verso regioni dello spazio delle skill che continuano a produrre miglioramenti, invece di rimanere intrappolato su strette punte di overfitting. Trattando l'evolvibilità come una proprietà distinta dal fitness, il metodo evita il "punto cieco" della standard ottimizzazione basata sul punteggio.

Gli autori sottolineano che questo miglioramento viene ottenuto senza costi extra oltre al normale ciclo "accetta-se-è-migliore", poiché la metrica di evolvibilità è derivata dai dati di ricerca esistenti. Il framework dimostra che, per gli agenti congelati, la "topografia" dello spazio delle skill (la sua capacità di evolvere) è importante quanto l'attuale "altitudine" (punteggio). I risultati suggeriscono che organizzare l'ottimizzazione delle skill come una ricerca su albero guidata dalla robustezza mutazionale produce una generalizzazione superiore sui compiti di validazione rispetto alle esistenti tecniche di evoluzione del prompt riflessivo o approcci a stati addestrabili.