Riassunto Tecnico: Automazione della Ricompensa Basata sul Potenziale con Guida di Modelli Vision-Language

Definizione del Problema

Gli agenti di Reinforcement Learning (RL) affrontano sfide significative in ambienti con ricompense sparse (sparse rewards), dove il feedback viene fornito solo al completamento del compito. Questa mancanza di guida intermedia ostacola l'esplorazione e rende difficile attribuire il successo a parti specifiche di una traiettoria. Sebbene la Ricompensa Modellata (Reward Shaping — l'aggiunta di segnali ausiliari per guidare l'esplorazione) sia una soluzione comune, una modellazione arbitraria porta spesso al reward hacking, in cui gli agenti sfruttano i segnali ausiliari per massimizzare la ricompensa senza risolvere il compito previsto.

La Ricompensa Basata sul Potenziale (PBRS - Potential-Based Reward Shaping) offre un'alternativa teoricamente solida, aggiungendo la differenza di una funzione di potenziale $\Phi(s)$ tra stati successivi alla ricompensa. La PBRS garantisce la preservazione dell'insieme delle politiche ottimali del compito originale. Tuttavia, definire una funzione di potenziale efficace richiede tipicamente un'estesa conoscenza esperta e un'ingegneria manuale, limitandone la scalabilità.

Approcci recenti che utilizzano i Modelli Vision-Language (VLM) per apprendere direttamente le funzioni di ricompensa (ad es., RL-VLM-F) riducono la necessità di progettazione umana, ma si affidano alla capacità del VLM di approssimare perfettamente la vera funzione di ricompensa. Ciò impone un requisito rigoroso sull'accuratezza delle etichette; gli errori nell'output del VLM possono portare a politiche sub-ottimali. Inoltre, interrogare ripetutamente grandi VLM allo stato dell'arte durante l'addestramento è computazionalmente proibitivo.

Metodologia: VLM-PBRS

Gli autori propongono VLM-PBRS, un framework che automatizza la costruzione di una funzione di potenziale per la PBRS utilizzando etichette di preferenza generate da un VLM. L'innovazione principale risiede nello sfruttamento della proprietà di invarianza della politica della PBRS per rilassare i requisiti di accuratezza sul VLM, consentendo l'uso di modelli più piccoli ed efficienti.

Componenti Core

1. Ciclo di Apprendimento Basato sulle Preferenze:

   • Il sistema opera in un ciclo iterativo che coinvolge il miglioramento della politica, la raccolta di dati e l'interrogazione del VLM.
   • Raccolta Dati: L'agente interagisce con l'ambiente, raccogliendo traiettorie e osservazioni visive.
   • Interrogazione del VLM: Coppie di immagini ($\sigma_i, \sigma_j$) vengono campionate dal buffer. Viene costruito un prompt contenente la coppia di immagini e una descrizione testuale dell'obiettivo. Il VLM viene interrogato per determinare quale immagine raggiunga meglio l'obiettivo.
   • Struttura del Prompt: Il prompt chiede al VLM di identificare elementi comuni, descrivere le differenze rispetto all'obiettivo e produrre un'etichetta leggibile dalle macchine ($y \in \{-1, 0, 1\}$) che indichi la preferenza.
   • Estrazione dell'Etichetta: A differenza dei lavori precedenti (ad es., RL-VLM-F) che utilizzano una seconda chiamata a un LLM per estrarre le etichette da output verbali, VLM-PBRS estrae l'etichetta direttamente da una singola chiamata al VLM per migliorare l'efficienza computazionale.

2. Costruzione della Funzione di Potenziale:

   • Un modello di preferenza $r_\psi$ viene addestrato sulle etichette VLM raccolte utilizzando una funzione di perdita (Cross-Entropy o Mean Absolute Error).
   • Il modello addestrato viene trasformato in una funzione di potenziale $\Phi(s)$:
     $$\Phi(s) = \begin{cases} 0 & \text{se } s \text{ è terminale} \\ \lambda \sigma(r_\psi(s)) & \text{altrimenti} \end{cases}$$
     dove $\sigma$ è una funzione di attivazione sigmoidale e $\lambda$ è un fattore di scala (impostato a 0.9) per garantire che la ricompensa modellata rimanga positiva e inferiore alla ricompensa dell'obiettivo.

3. Modellazione della Ricompensa (Reward Shaping):

   • La ricompensa modellata $R'$ è calcolata come $R'(s, a, s') = R(s, a, s') + (\gamma \Phi(s') - \Phi(s))$.
   • Questa ricompensa modellata guida l'agente RL (utilizzando SAC) durante l'esplorazione. Il replay buffer viene ricalcolato con le ricompense modellate aggiornate man mano che la funzione di potenziale migliora.

Scelte di Design Chiave

• Piccoli VLM: Il framework utilizza VLM più piccoli e a pesi aperti (ad es., Ovis2-16B, Qwen3-VL-8B), che sono computazionalmente efficienti. Gli autori sostengono che, sebbene questi modelli possano produrre etichette meno accurate rispetto ai modelli più grandi, il framework PBRS è robusto a tale rumore.
• Etichettatura a Passo Singolo: Evitando una seconda chiamata all'LLM per la generazione delle etichette, il metodo riduce significativamente il carico computazionale.

Contributi Chiave

1. Prima Applicazione dell'Apprendimento delle Preferenze tramite VLM per la PBRS: Il documento introduce il primo framework per sintetizzare una funzione di potenziale per la PBRS direttamente da etichette di preferenza VLM, richiedendo solo una descrizione testuale dell'obiettivo e osservazioni visive.
2. Uso Principled di Piccoli VLM: Gli autori stabiliscono che la garanzia di invarianza della politica della PBRS rilassa i rigorosi requisiti di accuratezza delle etichette del reward modeling diretto. Ciò consente l'uso di VLM più piccoli ed efficienti senza compromettere l'ottimalità della politica appresa, anche in presenza di etichette rumorose.
3. Validazione Empirica: Il metodo è validato negli ambienti Meta-World e Franka Kitchen, dimostrando un miglioramento dell'efficienza campionaria e della robustezza rispetto al reward hacking rispetto alle ricompense sparse e al learning diretto dei reward tramite VLM.

Risultati

Gli autori hanno valutato VLM-PBRS contro quattro baseline: Sparse Rewards, Human-Designed Dense Rewards e RL-VLM-F (apprendimento diretto della ricompensa).

• Efficienza Campionaria: VLM-PBRS ha costantemente accelerato l'apprendimento rispetto alla baseline delle ricompense sparse in tutti i compiti testati (ad es., premere un bottone, aprire una finestra, microonde, interruttore della luce).
• Confronto con RL-VLM-F: Sebbene RL-VLM-F abbia migliorato rispetto alle ricompense sparse in alcuni compiti, spesso è convergente verso politiche sub-ottimali in altri (ad es., premere un bottone, bruciatore superiore) a causa di errori di etichettatura del VLM che creano incentivi errati. Al contrario, VLM-PBRS ha mantenuto la convergenza verso la politica ottimale anche con etichette rumorose, poiché la proprietà PBRS impedisce all'agente di essere permanentemente tratto in inganno.
• Prestazioni vs. Progettazione Umana: Nel compito button-press, VLM-PBRS con un'accuratezza del VLM di circa il 59% ha superato la baseline della ricompensa densa progettata dall'uomo, che soffriva di reward hacking.
• Sensibilità all'Accuratezza delle Etichette:
  • Esperimenti con un etichettatore "oracle" hanno mostrato che i miglioramenti dell'efficienza campionaria correlano con l'accuratezza delle etichette.
  • Anche con livelli di accuratezza inferiori al caso (0.0), VLM-PBRS non ha degradato le prestazioni sotto la baseline sparse, facendo affidamento sull'esplorazione RL sottostante.
  • Nei compiti in cui l'accuratezza del VLM era vicina al caso casuale (ad es., drawer-open), VLM-PBRS ha mostrato lievi miglioramenti rispetto alle ricompense sparse ma non è riuscito a eguagliare le ricompense dense progettate dall'uomo.
• Studi di Ablazione:
  • Dimensione del Batch: L'uso di 20 etichette per ogni batch di query VLM è risultato sufficiente, bilanciando prestazioni e costi computazionali.
  • Funzione di Perdita: Le funzioni di perdita Cross-Entropy e Mean Absolute Error (MAE) hanno fornito prestazioni simili; la Cross-Entropy è stata selezionata come predefinita.

Significato e Rivendicazioni

Il documento sostiene che VLM-PBRS fornisce un percorso pratico e scalabile per automatizzare la modellazione della ricompensa in contesti con risorse limitate. Distaccando la necessità di un ragionamento perfetto del VLM dalla garanzia di ottimalità della politica, il metodo permette l'uso di VLM più piccoli e meno costosi.

Gli autori sottolineano che il loro approccio:

• Preserva l'Ottimalità: A differenza del reward learning diretto, non rischia di apprendere politiche sub-ottimali a causa degli errori del VLM.
• Riduce l'Onere di Ingegneria: Elimina la necessità di funzioni di potenziale progettate da esperti o termini di ricompensa densi, richiedendo solo una descrizione testuale di alto livello.
• Migliora la Robustezza: È intrinsecamente resiliente al reward hacking, un errore comune nella modellazione arbitraria delle ricompense.

Il lavoro suggerisce che, man mano che i modelli fondazionali multimodali miglioreranno, la generalità e i benefici di VLM-PBRS aumenteranno naturalmente, offrendo un'alterna valida alla progettazione manuale delle ricompense per compiti robotici complessi.