Riepilogo Tecnico: Evoflux

Problema

Il documento affronta i limiti dei modelli linguistici compatti (1,5B–4B parametri) quando vengono impiegati come agenti che utilizzano strumenti in ambienti dinamici e dal vivo, come il Model Context Protocol (MCP). Sebbene i modelli compatti offrano vantaggi in termini di costi, latenza e privacy, essi sono fragili nella costruzione di workflow eseguibili. I piccoli pianificatori generano spesso grafi che appaiono plausibili testualmente, ma che falliscono durante la risoluzione degli strumenti, la validazione dei parametri, il tracciamento delle dipendenze o l'esecuzione.

Gli autori sostengono che gli approcci standard di distillazione (Supervised Fine-Tuning o SFT, e Direct Preference Optimization o DPO) siano insufficienti in questo regime. L'addestramento su un budget scarso di tracce dell'insegnante (qualche centinaio) insegna i formati di workflow superficiali, ma non riesce a catturare i comportamenti di recupero necessari per riparare i piani quando i cataloghi degli strumenti cambiano o l'esecuzione fallisce. Inoltre, l'oblio catastrofico nell'instruction tuning continuo e ristretto pone rischi per i modelli compatti. La domanda centrale è se la computazione debba essere spesa in aggiornamenti dei pesi (addestramento) o nella riparazione al tempo di inferenza (ricerca) dato lo stesso budget di supervisione scarso.

Metodologia: Evoflux

Gli autori introducono Evoflux, una procedura di ricerca evolutiva al tempo di inferenza progettata per trattare l'uso di strumenti compatti come un problema di riparazione di workflow eseguibili piuttosto che come un compito di generazione a colpo singolo.

Meccanismo Core

Evoflux opera come un ciclo evolutivo limitato in cui il modello compatto agisce come un operatore di proposta all'interno di un ciclo di riparazione, piuttosto che come un generatore statico.

1. Rappresentazione: I piani sono rappresentati come grafi di workflow tipizzati contenenti nodi strumento, archi di dipendenza, nodi validatori e output terminali.
2. Scoring basato sull'esecuzione: I candidati non sono valutati solo sulla validità sintattica. Vengono compilati, validati rispetto agli schemi degli strumenti ed eseguiti in un ambiente live ($E$). Uno score scalare è derivato da un LLM judge (MCP-Bench LLMJUDGE) basato su sei sottodimensioni: adempimento del compito, grounding, appropriatezza dello strumento, accuratezza dei parametri, consapevolezza delle dipendenze e parallelismo/efficienza.
3. Ciclo Evolutivo:
   • Inizializzazione: Il pianificatore tenta di generare un workflow fattibile con tentativi multipli, utilizzando gli errori di esecuzione come contesto per i tentativi successivi.
   • Mutazione e Editing: Il sistema evolve la popolazione di grafi candidati attraverso un linguaggio di editing tipizzato finito che rispecchia le comuni modalità di fallimento:
     • Tool Swaps: Sostituzione di strumenti non disponibili.
     • Parameter Edits: Correzione di errori di schema o vincolo di argomenti agli output a monte.
     • Inserimento/Rimozione: Aggiunta di passaggi di raccolta prove o rimozione di quelli ridondanti.
     • Riordinamento: Correzione delle strutture di dipendenza.
   • Intensità Adattiva: Una statistica di crescita ($G$) traccia il progresso recente. Se il progresso si arresta, l'intensità della ricerca aumenta, innescando mutazioni più esplorative (edit casuali) e potenzialmente la Meta Guidance.
   • Meta Guidance: Quando la mutazione locale si arresta, il pianificatore viene sollecitato a eseguire un redesign di alto livello (ad esempio, sostituendo un percorso a server singolo con un workflow cross-server) utilizzando il miglior candidato corrente e i membri più deboli della popolazione come contesto.
   • Pruning della Diversità: La popolazione è limitata ($K$) e sottoposta a pruning tramite action-hash binning per prevenire il collasso in workflow quasi-duplicati pur preservando le varianti ad alto punteggio.

Baseline di Addestramento

Per valutare il compromesso, gli autori confrontano Evofluy con:

• Decodifica Zero-shot.
• Supervised Fine-Tuning (SFT) su tracce estratte dalla ricerca.
• SFT + Direct Preference Optimization (DPO) utilizzando preferenze a coppie dai medesimi dati di ricerca.
• ReAct: Una baseline di ragionamento e azione sequenziale.

Tutte le baseline di addestramento utilizzano lo stesso budget limitato di tracce estratte dalla ricerca per garantire un confronto equo tra gli aggiornamenti dei pesi e la ricerca al tempo di inferenza.

Risultati Chiave

La valutazione è stata condotta su task tenuti fuori (held-out) da MCP-Bench, che comprende 28 server MCP live e 250 strumenti in vari domini.

1. Fattibilità dell'Esecuzione: Evoflux migliora significativamente la fattibilità dell'esecuzione per i piccoli pianificatori. Sui task held-out, la fattibilità è salita da una baseline di circa il 3% a un 17–24% attraverso modelli come Llama-3.2-3B, Qwen3.5-4B e SmolLM3-3B.
2. Fallimento dell'Addestramento su Piccolo Corpus: Contrariamente a Evoflux, l'SFT e l'SFT+DPO sullo stesso dataset di ricerca non hanno fornito guadagni affidabili. In diversi casi, i checkpoint addestrati hanno eguagliato o sono stati peggiori della baseline zero-shot. Notevolmente, il modello Qwen3.5-4B addestrato con SFT+DPO ha subito un "collasso della pianificazione", fallendo nel generare piani utilizzabili e ricorrendo a euristiche, risultando in una fattibilità inferiore rispetto al modello zero-shot non addestrato.
3. Confronto con ReAct: ReAct ha raggiunto prestazioni di picco più elevate su pianificatori più forti (es. Qwen3.5-4B) ma ha mostrato una maggiore varianza e costi di token significativamente più alti a causa dell'accumulo di contesto nelle lunghe traiettorie. Evoflux ha fornito miglioramenti più stabili e prevedibili con un budget di token inferiore.
4. Efficienza dei Token: Sebbene Evoflux comporti costi di token superiori rispetto all'inferenza a passaggio singolo (SFT/Zero-shot), è più efficiente in termini di token rispetto a ReAct. Il processo di ricerca concentra i costi nei token del prompt per la valutazione dei candidati, mentre i costi di ReAct scalano rapidamente con la lunghezza della traiettoria.

Significato e Rivendicazioni

Il documento sostiene che, per gli agenti compatti che operano sotto budget scarsi di tracce dell'insegnante, la ricerca basata sull'esecuzione è una leva più affidabile per migliorare le prestazioni rispetto agli aggiornamenti dei pesi.

• Riparazione rispetto all'Imitazione: I risultati suggeriscono che il fine-tuning su piccoli corpus porta spesso a un'imitazione superficiale delle forme di workflow senza interiorizzare i processi di riparazione adattiva necessari per un'esecuzione robusta.
• Compute al Tempo di Inferenza: Spendere computazione online per riparare, mutare e validare i workflow rispetto ai cataloghi degli strumenti live produce una migliore generalizzazione verso task non visti rispetto al tentativo di distillare tali comportamenti di riparazione nei pesi del modello con dati limitati.
• Mitigazione del Rischio: Lo studio evidenzia un rischio specifico nel deployment di agenti compatti: l'addestramento su dataset di ricerca limitati può degradare le prestazioni (collasso al di sotto dello zero-shot) invece di migliorarle, rendendo l'evoluzione al tempo di inferenza una strategia più sicura ed efficace per garantire l'affidabilità esecutiva.

Gli autori concludono che, sebbene la distillazione su larga scala possa ancora essere viabile con dataset massicci, l'attuale regime di tracce scarse favorisce la ricerca evolutiva al tempo di inferenza per la costruzione di workflow di strumenti affidabili ed eseguibili.