Riassunto Tecnico: Esplorazione Guidata dai Prompt (Prompt-Driven Exploration - PDE)

1. Definizione del Problema

L'apprendimento per rinforzo (RL) post-addestramento per i modelli di fondazione, in particolare per i modelli Vision-Language-Action (VLA), è limitato dall'esplorazione. I metodi standard di RL si affidano all'iniezione di stocasticità nello spazio delle azioni (ad esempio, rumore d'azione o rumore dei parametri) per scoprire nuovi comportamenti. Tuttavia, gli autori sostengono che tale rumore induca solo perturbazioni locali, risultando in rollouts che rimangono vicini al comportamento attuale della policy.

Questa limitazione è critica quando si effettua il fine-tuning di policy iniziali deboli (ad esempio, con tassi di successo prossimi allo zero in compiti di manipolazione). Uscire da una policy subottimale richiede spesso perturbazioni globali che alterino l'intera traiettoria e strategia, cosa che il rumore d'azione passo-passo non può ottenere. Inoltre, in contesti con ricompense sparse (sparse-reward), dove la policy iniziale ha raramente successo, i segnali di ricompensa sono troppo scarsi per guidare la selezione di azioni esplorative utili.

2. Metodologia: Esplorazione Guidata dai Prompt (PDE)

Il paper propone la Prompt-Driven Exploration (PDE), una strategia che sposta l'asse dell'esplorazione dallo spazio delle azioni allo spazio dei prompt. Poiché i modelli di fondazione (LLM e VLA) sono condizionati da prompt in linguaggio naturale, modificare il prompt induce cambiamenti globali nel comportamento della policy senza richiedere aggiornamenti dei pesi.

Meccanismo Centrale

La PDE tratta la distribuzione dei prompt come una proxy della distribuzione della policy. Implementa una forma di campionamento posteriore a livello di prompt:

1. Campionamento Posteriore Implicito: Inveve di mantenere una distribuzione posteriore bayesiana sui parametri della rete neurale (il che è intrattabile per modelli di grandi dimensioni), la PDE mantiene una distribuzione sui prompt, $\rho(\cdot | g, H)$, dove $g$ è il compito e $H$ è la cronologia delle interazioni.
2. VLM come Aggiornamento della Posteriore Amortizzata: Un modello Vision-Language Model (VLM) funge da supervisore. Analizza i video dei rollout generati dalla policy corrente sotto vari prompt, diagnostica le modalità di fallimento e riscrive i prompt per elicitare un comportamento migliore. Questo processo aggiorna la distribuzione dei prompt $\rho$ per concentrarsi sui prompt che producono rollout di successo.
3. Ciclo di Training a Due Stadi:
   • Scoperta dei Prompt (Prompt Discovery): I pesi della policy sono congelati. Il VLM campiona prompt candidati, esegue i rollout e affina il pool di prompt basandosi sulle traiettorie e le ricompense osservate.
   • Ottimizzazione della Policy: Una volta identificato un pool di prompt efficaci, la policy viene perfezionata utilizzando l'Optimization Proximal Policy (PPO).

Componenti Tecnici Chiave

• Campionamento di Miscela (Mixture Sampling): Durante l'addestramento RL, i prompt vengono campionati da una miscela del prompt canonico del compito ($p_g$) e dei prompt esplorativi scoperti ($\rho$). Il peso della miscela $\alpha$ è adattivo, aumentando man mano che la policy migliora sul prompt canonico.
• Backpropagation Mista (Mixed Backpropagation): Per garantire che i miglioramenti derivanti dai prompt esplorativi si trasferiscano al prompt canonico, la perdita PPO è modificata. Il rapporto di vantaggio utilizza la media del log-probabilità dell'azione sia sotto il prompt esplorativo che sotto il prompt canonico. Questo accoppia i segnali di apprendimento, assicurando che la policy apprenda comportamenti robusti rispetto alle variazioni dei prompt.
• Raffinamento dei Prompt: Il VLM non genera semplicemente parafrasi casuali; esso ragiona su specifici modi di fallimento (ad esempio, "il robot ha afferrato l'oggetto sbagliato") per generare istruzioni mirate (ad esempio, "afferra il contenitore verde, non la tazza").

3. Contributi Chiave

• Un Nuovo Asse di Esplorazione: Il paper introduce l'esplorazione nello spazio dei prompt come una valida alternativa al rumore nello spazio delle azioni, capace di indurre cambiamenti comportamentali globali che il rumore d'azione non può raggiungere.
• Da Zero a Ricompensa Non Nulla: La PDE consente all'RL di avviare l'apprendimento da policy con tassi di successo iniziali pari a zero. Scoprendo prompt che sbloccano traiettorie con ricompensa non nulla, la PDE fornisce il segnale di apprendimento necessario affinché l'RL proceda, laddove i metodi standard falliscono nel superare il bacino a ricompensa zero.
• Efficienza Campionaria: Il metodo migliora significativamente l'efficienza campionaria in compiti di manipolazione e ragionamento, richiedendo molte meno interazioni con l'ambiente per raggiungere alti tassi di successo rispetto ai baseline.
• Generalizzazione: L'approccio dimostra di essere efficace non solo per il controllo VLA ma anche per compiti di ragionamento e coding basati su LLM, suggerendo che l'esplorazione nello spazio dei prompt è un meccanismo generale per il fine-tuning dei modelli di fondazione.

4. Risultati Sperimentali

Gli autori valutano la PDE su diversi benchmark:

• LIBERO e LIBERO-PRO:

  • Sui compiti "Hard" (success rate iniziale < 10%), la PDE ottiene un miglioramento relativo del 60% rispetto al rumore d'azione standard.
  • Nel caso di studio "Close the Microwave", una policy con il 0% di successo sotto il prompt canonico viene guidata dalla PDE a scoprire prompt (ad esempio, "spingi la porta del microonde finché non si chiude") che producono un successo non nullo, raggiungendo infine circa il 100% di successo sul prompt canonico.
  • La PDE supera i baseline inclusi Action Noise, Parameter Noise, Random Network Distillation (RND) e modelli di ricompensa densa (Robometer).

• ManiSkill:

  • La PDE migliora i tassi di successo in tutti i livelli di difficoltà (Hard, Medium, Easy) e assi di generalizzazione (Visivo, Semantico, Esecutivo).
  • Nei compiti difficili dove il rumore d'azione non riesce a fare progressi, la PDE riesce ad avviare l'apprendimento (bootstrap).

• Manipolazione nel Mondo Reale:

  • Utilizzando un braccio Franka FR3, la PDE dimostra una superiore efficienza campionaria in ambienti fisici. Dopo 128 rollout nel mondo reale, PPO+PDE ha raggiunto un tasso di successo del 45%, più del doppio del 20% ottenuto dal PPO standard con rumore d'azione.

• Compiti LLM (LiveCodeBench & AIME 2026):

  • Nei compiti di coding e ragionamento matematico, la PDE migliora l'efficienza campionaria iniziale, raggiungendo livelli di accuratezza più elevati in meno passi di addestramento rispetto al fine-tuning RL standard (RLOO e GRPO).

5. Significato e Rivendicazioni

Il paper sostiene che, per le policy basate su modelli di fondazione, un'esplorazione efficace non richiede necessariamente la perturbazione dei parametri interni del modello o delle sue azioni. Invece, un'esplorazione efficace può derivare dal contesto (il prompt) che condiziona la policy.

Gli autori posizionano la PDE come una soluzione ai problemi di "ricompensa sparsa" e "inizializzazione debole" nel fine-tuning RL. Sfruttando il prior linguistico pre-addestrato dei VLM per ragionare sui fallimenti e riscrivere le istruzioni, la PDE realizza un classico framework RL (campionamento posteriore) in uno spazio di alto livello trattabile. Il lavoro suggerisce che per i modelli in cui il rollout deriva da un prompt, modificare il prompt è un meccanismo più potente per l'esplorazione globale rispetto al rumore passo-passo.

Il paper conclude con modestia, affermando che la PDE "permette all'RL di apprendere policy di successo anche partendo da ricompense zero" e "migliora l'efficienza campionaria in modo più ampio", senza pretendere di risolvere tutte le sfide di esplorazione nell'RL. Il metodo è presentato come una strategia complementare che cambia cosa si chiede alla policy di fare, piuttosto che come la policy venga aggiornata.