💻 computer science

SAGE: Stochastic Prompt Optimization via Agent-Guided Exploration

Questo articolo introduce SAGE, un framework di ottimizzazione stocastica dei prompt che sfrutta l'esplorazione multi-agente e l'esecuzione di codice diagnostico per migliorare efficacemente i sistemi di dialogo orientati a compiti aperti, dimostrando guadagni statisticamente robusti nella ritenzione degli utenti attraverso test A/B continui guidati dagli agenti.

Autori originali: Ziyi Zhu, Luka Smyth, Saki Shinoda, Jinghong Chen

Pubblicato 2026-06-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ziyi Zhu, Luka Smyth, Saki Shinoda, Jinghong Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot molto intelligente ma un po' testardo come avere una buona conversazione. Gli dai un insieme di istruzioni (un "prompt"), ma continua a commettere errori. L'obiettivo di questo articolo è capire il modo migliore per riscrivere quelle istruzioni in modo che il robot migliori, senza dover riaddestrare il robot stesso.

Gli autori chiamano il loro nuovo metodo SAGE (Stochastic Prompt Optimization via Agent-Guided Exploration). Ecco come funziona, suddiviso in concetti semplici:

Il Problema: L'Escursionista Bendato

Pensa allo spazio di tutte le possibili istruzioni come a una gigantesca catena montuosa avvolta dalla nebbia. La cima della montagna è il set "perfetto" di istruzioni.

I vecchi metodi erano come un escursionista che fa un passo alla volta, guardando solo il terreno proprio davanti a sé. Se faceva un passo e questo sembrava leggermente migliore, continuava ad andare. Ma questo spesso portava a incagliarsi su una piccola collina locale, pensando fosse la vetta, quando una montagna molto più alta si trovava appena oltre il prossimo crinale.
La Realtà: L'articolo sostiene che non si possono usare i "gradienti" matematici (come scivolare giù un pendio liscio) per trovare la cima perché le istruzioni sono fatte di parole, non di numeri. Il paesaggio è "rumoroso" e irregolare.

La Soluzione: Una Squadra di Esploratori

Gli autori hanno testato tre modi diversi per scalare questa montagna:

Il "Giocatore d'Azzardo" (SPO-RS): Questo metodo è come lanciare i dadi. Prende le istruzioni attuali, aggiunge un po' di caos casuale (alta temperatura) e chiede all'IA di indovinare una nuova versione. È veloce e casuale, ma non riflette davvero sul perché la versione precedente sia fallita.
Il "Creatore" (SPO-GA): Questo è come un algoritmo genetico. Prende le due migliori versioni delle istruzioni, le mescola insieme (crossover) e apporta piccole modifiche (mutazione). È più intelligente del Giocatore d'Azzardo, ma si basa ancora principalmente sull'IA che indovina cosa cambiare.
La "Squadra di Detective" (SAGE): Questo è la stella dell'articolo. Invece di limitarsi a indovinare, SAGE agisce come una squadra di detective.
- L'Analista: Osserva tutti gli errori commessi dal robot ed esegue del codice per trovare dei pattern. (es. "Ehi, il robot fallisce ogni volta che l'utente parla di soldi.")
- L'Investigatore: Scava più a fondo in esempi specifici per dimostrare che il pattern è reale.
- Il Generatore: Scrive un nuovo set di istruzioni progettato specificamente per correggere esattamente quel pattern.

La Differenza Chiave: I primi due metodi si limitano a "provare cose". SAGE diagnostica prima il problema, poi prescrive una cura. Utilizza il codice informatico per analizzare gli errori, non solo l'opinione dell'IA.

I Risultati: Una Taglia Non Va Bene per Tutti

I ricercatori hanno testato questi metodi su tre diversi tipi di compiti:

Matematica Finanziaria: Un compito con errori complessi a catena. In questo caso, la Squadra di Detective (SAGE) ha vinto perché è stata in grado di tracciare la causa radice della confusione.
Etichettatura dei Nomi (Name Tagging): Un compito più semplice. Qui, il Creatore o persino il semplice azzardo casuale hanno funzionato altrettanto bene. La Squadra di Detective era in realtà troppo complicata per questo lavoro semplice.
Controllo delle App: Un compito in cui il robot deve usare delle app. Il Creatore è andato sorprendentemente bene qui.

La Lezione: Non esiste un unico metodo "migliore". Se gli errori sono semplici, una ricerca semplice funziona. Se gli errori sono complessi e a cascata (come un castello di carte che cade), serve la profonda analisi della Squadra di Detective.

Il Test nel Mondo Reale: Il Chatbot di Salute Mentale

Per dimostrare che questo funziona nel mondo reale, hanno implementato SAGE su un chatbot di salute mentale (chiamato "Ash") che parla con persone reali.

La Sfida: Non puoi misurare facilmente se un chatbot è "utile" con un semplice punteggio matematico. Il segnale è rumoroso.
La Strategia: Hanno fatto girare il chatbot per otto settimane. Ogni settimana, hanno usato SAGE per analizzare le conversazioni, generare una versione leggermente migliore delle istruzioni e avviare un rapido test (A/B test) per vedere se la nuova versione manteneva gli utenti connessi il giorno successivo.
La Magia: Individualmente, la maggior parte di questi test settimanali era troppo piccola per provare qualcosa statisticamente. Ma concatenandoli insieme, i piccoli miglioramenti si sono sommati.
Il Risultato: In otto cicli, la capacità del chatbot di far tornare gli utenti il giorno successivo è migliorata del 29%.

Il Grande Messaggio

L'articolo conclude che per compiti aperti (come parlare con un essere umano), è necessario combinare la diagnosi qualitativa (umani o agenti che osservano perché le cose sono andate male) con la validazione quantitativa (controllare i numeri).

SAGE funziona perché non si limita a indovinare ciecamente; usa il codice per agire come un microscopio, trovando le crepe specifiche nelle istruzioni e riparandole, trasformando molti piccoli miglioramenti rumorosi in un unico grande successo robusto.

Riepilogo Tecnico: SAGE (Stochastic Prompt Optimization via Agent-Guided Exploration)

Definizione del Problema

Il paper affronta la sfida dell'Ottimizzazione Automatica dei Prompt (APO), specificamente nel dominio dell'Ingegneria del Contesto — l'ottimizzazione del contesto informativo che circonda le query dei Large Language Model (LLM) senza aggiornare i parametri del modello.

Gli autori sostengono che il campo manchi di una prospettiva teorica unificante. Mentre il lavoro recente (Melcer et al., 2025) ha stabilito che l'APO sia fondamentalmente un problema di ricerca black-box (poiché i gradienti testuali non funzionano come veri gradienti), gli approcci esistenti soffrono di due limitazioni primarie:

Ricerca Miopica: I metodi per singolo campione elaborano un esempio di addestramento alla volta, accumulando modifiche in modo avido. Ciò è computazionalmente costoso ed è incline a ottimi locali.
Analisi Superficiale: La maggior parte dei metodi vincola l'ottimizzazione al solo ragionamento dell'LLM. Anche gli approcci multi-agente che utilizzano strumenti di codice spesso li utilizzano per la costruzione procedurale di artefatti piuttosto che per l'analisi diagnostica dei pattern di errore.

Il panorama dei prompt viene caratterizzato come un problema di ottimizzazione black-box rumoroso, con valutazioni costose, bassa dimensionalità effettiva e una ricca struttura locale. L'efficacia di una strategia di ottimizzazione dipende dall'interazione tra la struttura del panorama (rugosità) e il tipo specifico di errori presenti.

Metodologia: Framework SPO

Gli autori introducono SPO (Stochastic Prompt Optimization), un framework che formalizza l'APO come una salita stocastica (stochastic hill climbing) su uno spazio di prompt strutturato. Il ciclo centrale genera $Q$ candidati per iterazione e adotta solo il migliore se migliora strettamente l'incumbent (selezione monotonica).

Il paper confronta tre strategie di crescente sofisticatezza all'interno di questo framework:

1. SPO-RS (Residual Search)

Meccanismo: Genera $Q$ candidati tramite campionamento LLM ad alta temperatura ( $\tau=0.9$ ).
Input: Condizionato sul miglior prompt attuale e su un riepilogo dei suoi errori.
Natura: Riflette il raffinamento informato dagli errori ma si basa su perturbazioni stocastiche piuttosto che su operatori strutturati.

2. SPO-GA (Genetic Algorithm)

Meccanismo: Applica operatori evolutivi (crossover e mutazione) a una popolazione di top- $P$ prompt.
Input: Il crossover combina due genitori e i loro riepiloghi degli errori; la mutazione punta ai miglioramenti su un singolo genitore.
Natura: Segue il paradigma "LLM-come-operatore-evolutivo", scambiando parte della diversità con un miglioramento mirato (temperatura più bassa $\tau=0.7$ ).

3. SAGE (Agent-Guided Exploration)

Meccanismo: Una pipeline multi-agente in cui gli agenti scrivono ed eseguono codice diagnostico per informare le modifiche ai prompt.
Workflow:
1. Analyzer (Analizzatore): Esegue script sui risultati della valutazione per far emergere $H$ ipotesi supportate da evidenze riguardo ai pattern di errore.
2. Orchestrator (Orchestratore): Triage delle ipotesi in $I$ direzioni di investigazione.
3. Investigators (Investigatori): Approfondiscono in parallelo per verificare le ipotesi con conteggi esatti e analisi delle tracce, restituendo correzioni pronte per l'implementazione.
4. Generators (Generatori): Producono prompt revisionati basati sui report di investigazione.
Distinzione Chiave: A differenza del lavoro precedente dove il codice costruisce artefatti, SAGE utilizza l'esecuzione del codice per la diagnosi statistica (clustering degli errori, esecuzione di test statistici, identificazione di pattern di fallimento sovrarappresentati) all'interno di una procedura fissa.

Configurazione Sperimentale

Il framework è stato valutato su tre benchmark e un deployment in produzione:

XBRL Formula: Ragionamento finanziario (500 train / 200 test).
FiNER: Riconoscimento di entità nominate finanziarie (1.000 train / 441 test).
AppWorld: Task di agenti autonomi che coinvolgono la comprensione delle API e la generazione di codice.
Deployment in Produzione: "Ash", un chatbot di salute mentale di Slingshot AI, ottimizzato sotto un paradigma di ottimizzazione continua.

Baseline: I metodi sono stati confrontati contro Base LLM, In-Context Learning (ICL), MIPROv2, GEPA, Dynamic Cheatsheet e ACE offline. Il target LLM era DeepSeek-V3.1; il meta-modello che proponeva le modifiche era Claude Sonnet 4.6.

Risultati Chiave

Performance dei Benchmark

Nessuna singola strategia ha dominato in tutti i task; l'efficacia dipendeva dall'interazione tra la struttura del landscape e il tipo di errore:

Formula (Rugged, Errori a cascata): SAGE ha guidato, poiché la sua profondità analitica è stata premiata nel diagnosticare errori di ragionamento a cascata.
FiNER (Landscape liscio): SAGE ha ottenuto la massima accuratezza di training, ma strategie più semplici (SPO-GA) hanno generalizzato meglio sul test set. Il landscape era liscio (correlato su grandi distanze), rendendo meno critica la profonda analisi per la generalizzazione.
AppWorld (Rugged, Errori procedurali): Tutte le varianti SPO hanno superato le baseline. SAGE ha ottenuto la massima accuratezza di training, ma l'accuratezza di validazione ha oscillato a causa del piccolo set di valutazione. SPO-GA ha ottenuto la massima accuratezza di test, suggerendo che per errori procedurali per singolo task, una ricerca più semplice è sufficiente.

Analisi del Landscape

Utilizzando i semivariogrammi dalla geostatistica, gli autori hanno quantificato la rugosità del landscape:

Formula e AppWorld: Decorrellati entro piccoli vicinati semantici (rugged/ruvidi).
FiNER: Sono rimasti correlati su circa $4\times$ la distanza (smooth/lisci).
Risultato: La rugosità da sola non predice la strategia vincente. Il fattore decisivo è la struttura dell'errore: gli errori di ragionamento a cascata beneficiano della diagnosi delle cause profonde di SAGE, mentre gli errori procedurali cedono il passo a una ricerca più semplice.

Deployment in Produzione (Chatbot di Salute Mentale)

SAGE è stato implementato sul chatbot "Ash" per otto cicli di ottimizzazione continua.

Processo: Ogni ciclo prevedeva il deployment del miglior prompt, l'esecuzione di SAGE sulle conversazioni raccolte, l'A/B testing dei candidati e la promozione del vincitore.
Esito: Sette cicli su otto hanno prodotto un braccio vincente positivo. Sebbene i singoli cicli fossero spesso statisticamente non significativi (rumorosi), concatenare i delta per ciclo ha portato a un miglioramento relativo cumulativo del +29,4% nella ritenzione al giorno successivo (D1) con significatività non parametrica.
Significatività: Questo dimostra che i test A/B individualmente rumorosi possono comporsi in un guadagno statisticamente robusto quando accoppiati con l'ottimizzazione continua.

Contributi e Significatività

Il paper rivendica tre contributi primari:

Framework di Ottimizzazione Black-box: SPO formalizza l'APO come ricerca black-box rumorosa su un landscape strutturato, fornendo un'ablazione controllata per isolare il valore della profondità analitica e della diversità di esplorazione.
Esecuzione di Codice Diagnostico: SAGE è il primo framework di APO in cui l'esecuzione del codice serve per la diagnosi statistica (analisi dei pattern di errore) piuttosto che per la costruzione procedurale di artefatti o il solo ragionamento dell'LLM.
Deployment in Produzione: Il paper introduce un paradigma di ottimizzazione continua per il dialogo aperto. Dimostra che accoppiare la diagnosi qualitativa (tramite agenti) con la validazione quantitativa (tramite A/B testing) permette l'ottimizzazione efficace in domini privi di segnali di correttezza netti (come la salute mentale), dove i benchmark tradizionali falliscono.

Gli autori sostengono che questa "ottimizzazione agentica mista qualitativa-quantitativa" sia la chiave per migliorare i sistemi di dialogo orientati ai task e aperti, dove la correttezza non può essere definita in anticipo. Notano inoltre delle limitazioni, tra cui la dipendenza da funzioni di valutazione automatizzate, i potenziali shift di distribuzione nell'ottimizzazione continua e la novità limitata del raffinamento guidato dagli agenti (che affina i comportamenti esistenti piuttosto che inventarne di completamente nuovi senza una direzione esterna).