Sintesi Tecnica: Ottimizzazione Automatica dei Prompt per Agenti di Gioco LLM basata sull'Ambiente

Definizione del Problema

Gli agenti basati su Large Language Model (LLM) in ambienti interattivi sono altamente sensibili ai loro prompt, eppure l'ingegneria dei prompt rimane un processo manuale e specifico per ogni compito. Sebbene gli LLM fungano da potenti motori di ragionamento, spesso faticano con l'interpretazione spaziale, la pianificazione a lungo termine e l'adattamento in contesti a informazione parziale come i giochi interattivi. Le soluzioni esistenti si affidano o ad architetture create artigianalmente e specifiche per il dominio, che richiedono un adattamento manuale per nuovi domini, o implicano un costoso fine-tuning del modello. Inoltre, gli attuali metodi di ottimizzazione dei prompt si basano spesso su dataset statici, il che può portare all'overfitting e non riesce a catturare la natura non stazionaria degli ambienti interattivi. La sfida centrale è derivare automaticamente prompt specifici per il compito che massimizzino le prestazioni dell'agente senza aggiornare i pesi del modello o richiedere una supervisione umana estesa.

Metodologia: RAPOA

Gli autori propongono RAPOA (Reward-driven Automatic Prompt Optimisation for Agentic systems), un framework che combina un'architettura di agente decompressa con un ciclo di ottimizzazione evolutiva dei prompt guidato dai rendimenti dell'ambiente.

1. Architettura dell'Agente: L'Agente SPA

Inve di un agente monolitico che gestisce simultaneamente l'analisi dello stato, la strategia e la selezione delle azioni, RAPOA distribuisce questi compiti tra due sub-agenti:

• Agente Descrittore ($A_{des}$): Un modulo di percezione che condiziona l'osservazione grezza dell'ambiente in un riassunto rilevante per l'obiettivo. Estrae informazioni rilevanti per il compito senza l'onere della pianificazione.
• Agente di Selezione Azione ($A_{act}$): Un modulo di pianificazione che prende la missione, il riassunto del descrittore e lo stato corrente dell'agente per selezionare l'azione successiva.
  Questa architettura "Split Perception Action" (SPA) imita la separazione tra attore e critico presente nel Reinforcement Learning (RL), permettendo un'ottimizzazione del prompt più mirata.

2. Il Ciclo di Ottimizzazione

RAPOA opera tramite un processo evolutivo iterativo:

• Rollout: L'agente interagisce con l'ambiente (compiti BabyAI) per generare traiettorie (episodi) di osservazioni, azioni e ricompense.
• Analizzatore di Comportamento (BA): Questo modulo analizza le traiettorie fallite e quelle di successo per attribuire gli esiti a componenti specifiche del prompt. Identifica le modalità di fallimento (es. "Le azioni non considerano la collisione") e i comportamenti di successo, classificandoli per gravità.
• Mutatore: Sulla base dell'analisi del BA, il Mutatore propone revisioni mirate ai componenti dei prompt dei sub-agenti. Assicura che le modifiche siano minime, coerenti e rispettino il confine architettonico (es. il Descrittore non ragiona sul completamento del compito).
• Valutazione a Due Stadi: Le mutazioni proposte sono sottoposte a un rigoroso test di accettazione:
  1. Ottimizzazione In-loop: Il candidato deve migliorare le prestazioni rispetto al prompt attuale su un set di semi di ottimizzazione ($S_{opt}$) di una soglia $\delta$.
  2. Selezione su Set Escluso: Il candidato deve anche migliorare le prestazioni su un set separato e fisso di semi di selezione ($S_{select}$) per garantire la generalizzazione e prevenire l'overfitting su traiettorie specifiche.

3. Componenti Chiave

• Grounding Ambientale: A differenza dei metodi che utilizzano l'LLM-as-a-judge, RAPOA utilizza le ricompense effettive dell'ambiente come segnale di ottimizzazione, rendendo il segnale non stazionario e più difficile da sovra-ottimizzare (overfitting).
• Adattamento Ordinato per Gravità: Il sistema dà priorità alla risoluzione delle modalità di fallimento più gravi, adattando i sub-agenti sequenzialmente in base alla lista classificata dal BA.

Contributi Chiave

1. Framework di Ottimizzazione Automatica dei Prompt: Un sistema che ottimizza sia agenti LLM monolitici che multi-agente (decompressi) automaticamente, eliminando la necessità di ingegneria manuale dei prompt.
2. Procedura di Ottimizzazione Congiunta dei Prompt: Un metodo che sfrutta i rendimenti degli episodi e l'analisi del comportamento delle transizioni di stato per raffinare i prompt di più sub-agenti simultaneamente.
3. Sinergia tra Decomposizione e Ottimizzazione: La dimostrazione che dividere l'agente in moduli di percezione e azione, combinata con l'ottimizzazione automatica dei prompt, supera significativamente i baseline monolitici senza richiedere aggiornamenti dei gradienti o fine-tuning dei pesi.

Risultati Sperimentali

Il framework è stato valutato sul benchmark BALROG, specificamente su cinque famiglie di compiti BabyAI: GOTO, PICKUP, OPEN, PUTNEXT, e PICKUPSEQGOTO. Gli esperimenti hanno confrontato l'agente SPA ottimizzato con RAPOA rispetto al baseline RobustCoTAgent sotto configurazioni di inizializzazione del prompt "Plain" (minima) e "Guided" (specifica per il compito).

• Guadagni di Prestazioni: L'ottimizzazione ha migliorato costantemente le prestazioni in tutti i compiti e le condizioni.
  • Sul compito PUTNEXT (un compito di coordinazione multi-step complesso), il baseline RobustCoTAgent ha ottenuto lo 0% di successo. Il framework RAPOA, utilizzando lo stesso LLM sottostante (GPT-OSS-20B), ha raggiunto un tasso di successo fino al 72,5% con i prompt ottimizzati.
  • Per l'agente SPA con inizializzazione guidata, il tasso medio di successo attraverso i cinque compiti è aumentato dal 65,5% al 79,2%.
  • Anche con prompt "plain" (minimali), l'agente SPA ha eguagliato o superato le prestazioni del baseline guidato di BALROG, dimostrando la robustezza della decomposizione.
• Generalizzazione: I prompt ottimizzati per compiti complessi (come PUTNEXT) hanno mostrato una forte trasferibilità verso compiti più semplici (come PICKUP), mentre i prompt ottimizzati per compiti isolati (come OPEN) non si sono generalizzati bene, suggerendo che l'ottimizzatore apprende sub-abilità universali per la coordinazione complessa.
• Studi di Ablazione:
  • Criteri di Accettazione: I rigidi cancelli di accettazione (che richiedono un miglioramento delle prestazioni) si sono rivelati cruciali. Senza di essi (sempre-accetta), l'ottimizzatore tendeva a deviare verso stati ottimali, specialmente nei compiti a ricompensa sparsa.
  • Pressione di Selezione: Una bassa pressione di selezione ha permesso una maggiore esplorazione nei paesaggi a ricompensa sparsa, portando spesso a risultati migliori su compiti difficili come PUTNEXT.
  • Vincoli di Modulo: Quando l'ottimizzatore era limitato a mutare solo l'agente di Selezione Azione, superava comunque il baseline monolitico, sebbene il sistema decompresso completo offrisse le prestazioni migliori.

Significato e Rivendicazioni

L'articolo sostiene che RAPOA offre un modo nuovo e automatizzato per adattare gli agenti LLM a nuovi compiti senza il costo computazionale del fine-tuning o il lavoro di riprogettazione manuale. I risultati suggeriscono che:

• La decomposizione è efficace: Separare l'interpretazione dello stato dalla pianificazione rende il processo di ottimizzazione più trattabile ed efficace.
• L'ottimizzazione basata sull'ambiente è superiore: Utilizzare le ricompense dell'ambiente invece di dataset statici o giudici LLM permette la scoperta di strategie robuste e generalizzabili.
• L'ottimizzazione dei prompt è un'alternativa valida al fine-tuning: Significativi guadagni di prestazione (es. dallo 0% al 72,5% su PUTNEXT) possono essere ottenuti esclusivamente raffinando il prompt, mantenendo fissi i pesi del modello.

Gli autori mantengono la modestia riguardo all'ambito, notando che gli esperimenti sono attualmente limitati a un singolo dominio (BabyAI) e un singolo LLM. Identificano il lavoro futuro nel testare la generalizzazione attraverso diversi ambienti, distribuzioni di compiti e meta-LLM più grandi, nonché nell'esplorare varianti di ottimizzazione basate sulla popolazione per ridurre la convergenza prematura. Evidenziano inoltre gli ambienti di gioco generati proceduralmente come un campo di prova promettente per evitare la contaminazione del set di test nella ricerca sull'ottimizzazione dei prompt.