Sintesi Tecnica: SePO (Self-Evolving Prompt Optimization)

1. Definizione del Problema

Gli attuali metodi di ottimizzazione del prompt di sistema mirano a migliorare il comportamento degli agenti senza modificare i pesi sottostanti del modello, producendo istruzioni leggibili dall'uomo e indipendenti dal modello (model-agnostic). Tuttavia, esiste un'asimmetria critica nei framework esistenti: mentre il prompt di sistema dell'agente di task è trattato come un obiettivo di ottimizzazione, l'agente di prompt (l'entità responsabile del perfezionamento del prompt dell'agente di task) rimane progettato manualmente e fisso.

Gli approcci esistenti, come la ricerca evolutiva o i framework di gradiente testuale, si affidano a un agente di prompt che non migliora man mano che incontra più task. Di conseguenza, il processo di ottimizzazione è limitato dal design umano iniziale dell'agente di prompt e non può accumulare esperienza o generalizzare le capacità di ottimizzazione attraverso diversi domini. Il problema centrale è che l' "ottimizzatore" stesso non viene ottimizzato.

2. Metodologia: SePO

Gli autori propongono SePO (Self-Evolving Prompt Optimization), un framework che tratta il prompt di sistema dell'agente di prompt come un obiettivo di ottimizzazione insieme al prompt dell'agente di task. Ciò è ottenuto attraverso un design autoreferenziale e una pipeline di addestramento a due stadi.

2.1 Design Autoreferenziale

SePO definisce un "prompt task" in cui l'agente di prompt agisce come un agente di task speciale. Il suo obiettivo è migliorare i prompt di altri agenti di task. Applicando lo stesso procedimento di ottimizzazione al prompt di sistema dell'agente di prompt ($\tilde{p}$) come quello applicato al prompt dell'agente di task ($p$), SePO crea una "chiusura autoreferenziale".

• Meccanismo: L'agente di prompt perfeziona una copia di se stesso.
• Ricerca Evolutiva: Il processo utilizza una ricerca evolutiva aperta su una popolazione di prompt candidati. Mantiene un archivio di prompt candidati, permettendo ai primi prompt di successo di servire come "pietre d'inciampo" (stepping stones) per miglioramenti successivi, evitando che la ricerca rimanga bloccata in ottimi locali.

2.2 Pipeline di Addestramento a Due Stadi

Rispecchiando il paradigma standard di pre-training e fine-tuning, SePO organizza l'ottimizzazione in due stadi distinti:

1. Stadio 1: Pre-training (Self-Evolving Prompt Agent)

   • Obiettivo: Evolvere il prompt di sistema dell'agente di prompt ($\tilde{p}$) per acquisire abilità di ottimizzazione dei prompt ampie e generalizzabili.
   • Processo: L'agente di prompt subisce una ricerca evolutiva su un pool multi-task.
   • Configurazioni:
     • SePO-Generalist (Default): Si addestra su un mix diversificato di task per massimizzare robustezza e generalizzazione.
     • SePO-Specialist: Si addestra su un singolo task identico al target task di fine-tuning.
   • Risultato: Un singolo agente di prompt evoluto ($\tilde{p}^*$) capace di ottimizzare i prompt in vari scenari.

2. Stadio 2: Fine-tuning (Ottimizzazione del Target Task Agent)

   • Obiettivo: Ottimizzare il prompt di sistema ($p$) per un agente di task specifico.
   • Processo: L'agente di prompt evoluto (dallo Stadio 1) è fissato e utilizzato per guidare la ricerca evolutiva per il prompt del target task agent.
   • Efficienza: Il costo dell'auto-evoluzione dell'agente di prompt è ammortizzato su molti task di fine-tuning, poiché l'agente di prompt pre-addestrato viene riutilizzato.

3. Contributi Chiave

• Chiusura del Ciclo di Ottimizzazione: SePO è il primo metodo che tratta l'agente di prompt stesso come una componente apprendibile, eliminando la dipendenza da un ottimizzatore fisso e progettato manualmente.
• Evoluzione Autoreferenziale: Introduce un meccanismo in cui lo stesso procedimento perfeziona sia l'agente di task che l'agente di prompt, consentendo l'accumulo di abilità di ottimizzazione.
• Addestramento a Due Stadi: Separando il pre-training (acquisizione di abilità) dal fine-tuning (applicazione del task), il metodo scinde il costo dello sviluppo dell'ottimizzatore dal suo utilizzo per task specifici.
• Ricerca Basata su Archivio: L'uso di un archivio consente al sistema di sfruttare i successi storici come pietre d'inciampo, facilitando un'evoluzione aperta piuttosto che un semplice raffinamento iterativo.

4. Risultati Sperimentali

Gli autori hanno valutato SePO su cinque benchmark diversificati: AIME'25 (matematica), ARC-AGI-1 (ragionamento astratto), GPQA (scienza di livello universitario), MBPP (generazione di codice) e Sudoku (logica).

• Performance: SePO ha superato costantemente tre baseline:
  • Manual-CoT: Prompt creati manualmente con Chain-of-Thought.
  • TextGrad: Un framework di gradiente testuale con un ottimizzatore di prompt fisso.
  • MetaSPO: Un approccio di meta-learning con un meta-ottimizzatore fisso.
• Guadagni di Accuratezza: SePO-Generalist ha ottenuto l'accuratezza più alta su tutti e cinque i task, migliorando l'accuratezza media di 4,49 punti rispetto a Manual-CoT.
• Generalizzazione:
  • Le abilità di ottimizzazione dei prompt apprese durante il pre-training si sono generalizzate a task al di fuori del mix di pre-training (es. Sudoku non era nel set di pre-training, eppure l'accuratezza è migliorata significativamente).
  • Il metodo ha dimostrato robustezza attraverso diverse coppie di modelli (scambiando DeepSeek-V3.2 e Gemini 3.1 Pro Preview con Gemini 3.1 Flash-Lite e Claude Opus 4.6).
• Efficienza dei Costi: Sebbene il pre-training comporti un costo, SePO-Generalist lo ammortizza su più task, risultando in un costo per task inferiore rispetto all'addestramento di uno specialista per ogni task o all'uso di metodi come TextGrad che non ammortizzano l'addestramento dell'ottimizzatore.

5. Significato e Rivendicazioni

Il paper sostiene che SePO sposti fondamentalmente l'ottimizzazione del prompt di sistema da uno strumento fisso a una abilità apprendibile. Permettendo all'agente di prompt di auto-migliorarsi, il framework rompe il soffitto imposto dall'ingegneria manuale umana.

• Rivendicazioni Modeste: Gli autori dichiarano esplicitamente che SePO opera solo sul prompt di sistema in linguaggio naturale, lasciando invariati i pesi del modello, gli strumenti e i workflow. Riconoscono che, sebbene il lavoro attuale si concentri sui prompt, il design autoreferenziale potrebbe teoricamente estendersi a strumenti e architetture in lavori futuri, ma non pretendono di averlo ancora implementato.
• Insight Centrale: La principale importanza risiede nel dimostrare che l'ottimizzazione del prompt non è meramente un problema di ricerca per un singolo task, ma una competenza che può essere acquisita e trasferita. L' "agente di prompt" non è più una componente statica, ma un componente in evoluzione che si rafforza con l'esperienza.

Gli autori concludono che SePO incoraggia ulteriori ricerche su agenti auto-evolutivi che possano ampliare continuamente l'ambito del proprio auto-miglioramento.