Riepilogo Tecnico: Attore-Critico Generativo con Politiche Ponte Soft

Enunciato del Problema

L'apprendimento per rinforzo (RL) online con entropia massima (MaxEnt) è un approccio dominante per il controllo continuo off-policy, che bilancia la massimizzazione del valore con la stocasticità esplicita. Sebbene il Soft Actor-Critic (SAC) standard si basi su politiche gaussiane trattabili, problemi di controllo complessi richiedono spesso distribuzioni di azione multimodali o altamente non gaussiane. Le politiche generative espressive (ad esempio, modelli di diffusione e di flusso) offrono una soluzione, ma affrontano due ostacoli critici quando applicate al RL MaxEnt:

1. Entropia Intrattabile: Gli aggiornamenti MaxEnt richiedono la densità del punto finale della politica o un regolarizzatore equivalente. Per gli attori generativi, la densità marginale dell'azione è spesso non disponibile o costosa da calcolare perché l'azione è ottenuta marginalizzando sui percorsi latenti. I metodi esistenti ricorrono a limiti di entropia, proxy euristici o approssimazioni, creando una connessione indiretta con l'obiettivo MaxEnt.
2. Costo Computazionale: Le politiche generative ad alte prestazioni utilizzano spesso campionatori iterativi (ad esempio, diffusione con molti passaggi di denoising) che riutilizzano parametri di rete condivisi. Ciò aumenta i costi di inferenza al deployment e, crucialmente, incrementa i costi di addestramento. Durante gli aggiornamenti dell'attore, la retropropagazione attraverso il tempo (BPTT) deve attraversare ogni passaggio di raffinamento, aumentando l'uso di memoria e destabilizzando l'ottimizzazione. Ridurre il numero di valutazioni della funzione (NFE) abbassa i costi ma spesso causa un brusco calo delle prestazioni.

Il documento cerca un attore generativo che mantenga l'espressività della generazione stocastica latente esponendo al contempo un obiettivo MaxEnt trattabile ed evitando il carico computazionale di campionatori lunghi con parametri condivisi.

Metodologia: SoftGAC

Gli autori propongono SoftGAC (Soft Generative Actor-Critic), un metodo che solleva l'obiettivo MaxEnt dalla distribuzione terminale dell'azione all'intero percorso di generazione latente.

1. Obiettivo Soft nello Spazio dei Percorsi

Invece di ottimizzare l'entropia dell'azione finale $a$, SoftGAC ottimizza un obiettivo nello spazio dei percorsi sul percorso latente $\tau = (z_0, \dots, z_K)$. L'obiettivo è definito come:
$$J_{path}(P_\theta | s) = \mathbb{E}_{\tau \sim P_\theta} [Q(s, T(z_K))] - \alpha D_{KL}(P_\theta(\cdot|s) \| R)$$
dove $R$ è una legge di percorso di riferimento ad alta entropia.

• Fondamento Teorico: Gli autori dimostrano che la divergenza KL del percorso si scompone in un termine KL del punto finale (che recupera il regolarizzatore MaxEnt standard) e un termine condizionale del percorso. Questa entropia relativa per percorso agisce come un regolarizzatore più rigoroso che controlla come l'attore raggiunge l'azione terminale, non solo la distribuzione dell'azione stessa.
• Vincolo a Base Fissa: Nella pratica, l'attore inizia da una distribuzione latente di base fissa $p_0$. L'analisi teorica mostra che, sebbene una base fissa introduca un divario costante rispetto all'ottimo illimitato, non rompe il problema variazionale; agisce semplicemente come un bias induttivo.

2. Politiche Ponte Soft

Per rendere la KL del percorso trattabile e computazionalmente efficiente, SoftGAC impiega una politica ponte soft:

• Architettura: L'attore è una catena di Markov finita nello spazio latente pre-tanh. Inizia da una legge di base fissa (distribuzione logistica) e applica $K$ transizioni gaussiane residue leggere e specifiche per passaggio per raggiungere un latente terminale $z_K$.
• Design a Passaggio Singolo: A differenza dei modelli di diffusione che riutilizzano una singola rete per $K$ passaggi, SoftGAC utilizza $K$ blocchi di transizione distinti. Ciò consente la generazione dell'azione tramite un singolo passaggio in avanti campionato attraverso la rete, evitando il campionamento iterativo e lunghi grafi BPTT.
• Processo di Riferimento: Il ponte di riferimento $R$ è definito utilizzando una base logistica e un kernel gaussiano di Eulero derivato dal punteggio della densità pre-tanh che mappa su una distribuzione di azione uniforme.
• Regolarizzatore Trattabile: Poiché sia le transizioni dell'attore che quelle di riferimento sono gaussiane, la divergenza KL del percorso si fattorizza in una somma di termini KL locali. Questa somma, indicata come Energia di Controllo $C_\theta(s, \tau)$, è calcolabile analiticamente.
  $$D_{KL}(P_\theta \| R) = D_{KL}(p_0 \| r_0) + \mathbb{E}[C_\theta(s, \tau)]$$
  L'aggiornamento dell'attore minimizza $\alpha C_\theta(s, \tau) - Q(s, a)$, scambiando efficacemente il valore contro l'energia di controllo della transizione campionata.

3. Algoritmo di Addestramento

SoftGAC segue un ciclo attore-critico off-policy:

• Critico: Aggiorna una funzione di valore soft $Q$ utilizzando target che includono l'energia di controllo campionata del percorso del prossimo stato: $y = r + \gamma(Q_{min}(s', a') - \alpha C_{\bar{\theta}}(s', \tau'))$.
• Attore: Aggiorna i parametri per minimizzare l'energia di controllo campionata massimizzando al contempo il valore Q.
• Sintonizzazione della Temperatura: Un aggiornamento duale regola $\alpha$ per mantenere l'energia di controllo media vicino a un budget target $\rho_{ctrl} K d_a$.

Contributi Chiave

1. Formulazione nello Spazio dei Percorsi: Gli autori formulano un obiettivo soft nello spazio dei percorsi per attori generativi, dimostrando che contiene il regolarizzatore KL del punto finale come componente marginale e caratterizza l'effetto dell'uso di una base di attore fissa.
2. Progettazione della Politica Ponte Soft: Progettano un'architettura di politica specifica utilizzando una breve sequenza di transizioni gaussiane locali nello spazio pre-tanh. Ciò rende il regolarizzatore per percorso esattamente calcolabile come energia di controllo a passaggi finiti, consentendo un aggiornamento diretto dell'attore con generazione dell'azione tramite un singolo passaggio campionato.
3. Compromesso Calcolo-Rendimento: Gli esperimenti dimostrano che SoftGAC ottiene rendimenti superiori o competitivi rispetto a forti baseline generative (diffusione e flow-matching) mantenendo al contempo il regime a bassa latenza degli attori a passaggio singolo.

Risultati Sperimentali

Il metodo è stato valutato su benchmark di controllo continuo impegnativi tratti da DeepMind Control Suite (Humanoid, Dog) e HumanoidBench (H1).

• Prestazioni: SoftGAC ha ottenuto le prestazioni complessive più forti su compiti di locomozione ad alta dimensionalità e orizzonte lungo (ad esempio, Humanoid Run, Dog Run, H1 Hurdle), superando sia le baseline generative (FLAC, DIME, FlowRL, QSM, QVPO) che la baseline gaussiana unimodale (CrossQ-SAC).
• Efficienza:
  • Tempo di Inferenza: SoftGAC opera nel regime a bassa latenza (circa 61–75 $\mu$s per azione su CPU), comparabile alle baseline di flusso a un passaggio e significativamente più veloce delle baseline di diffusione ad alto NFE (che richiedono 300–400+ $\mu$s).
  • Budget dei Parametri: Il numero di parametri dell'attore è comparabile a quello delle baseline forti, evitando la necessità di reti più grandi per nascondere il costo del campionamento iterativo.
• Ablazioni: La rimozione del regolarizzatore soft nello spazio dei percorsi ($\alpha=0$) ha degradato costantemente le prestazioni, confermando che i guadagni derivano dall'obiettivo soft principiato piuttosto che dalla sola parametrizzazione del ponte.

Significato e Affermazioni

Il documento afferma che SoftGAC risolve la tensione tra l'espressività delle politiche generative e i vincoli computazionali/ottimizzazione del RL MaxEnt. Trattando l'attore come una legge di percorso esplicita e leggera piuttosto che come una distribuzione del punto finale, il metodo:

• Fornisce una regolarizzazione soft principiata (energia di controllo della transizione campionata) che è analiticamente trattabile, sostituendo i limiti euristici di entropia.
• Evita il carico di ottimizzazione di lunghe catene BPTT associate ai campionatori iterativi, stabilizzando gli aggiornamenti dell'attore.
• Offre un superiore compromesso calcolo-rendimento, raggiungendo rendimenti all'avanguardia su compiti difficili senza l'alta latenza di inferenza dei campionatori di diffusione multi-passaggio.

Gli autori concludono che le politiche ponte soft rappresentano una progettazione pratica per l'apprendimento efficiente attore-critico generativo, offrendo un'alternativa praticabile agli approcci di diffusione iterativi negli ambienti di RL online.