SAVGO: Learning State-Action Value Geometry with Cosine Similarity for Continuous Control

1. Enunciato del Problema

L'Apprendimento per Rinforzo (RL) profondo, in particolare i metodi attore-critico off-policy come SAC e TD3, ha ottenuto risultati di successo nel controllo continuo, ma rimane limitato dall'inefficienza nel campionamento e dall'instabilità in ambienti ad alta dimensionalità.

• Limitazioni Attuali: Sebbene l'apprendimento di rappresentazioni (ad esempio, apprendimento contrastivo) abbia migliorato l'efficienza dei dati, è tipicamente trattato come un compito ausiliario. Il passo di aggiornamento della politica si basa solitamente sulla discesa del gradiente locale, che ignora la struttura geometrica globale dello spazio latente appreso.
• Il Divario: I metodi esistenti basati sulla similarità utilizzano spesso distanze per regolarizzare le rappresentazioni o modellare gli obiettivi di valore, ma raramente impiegano queste relazioni geometriche come operatori di primo livello per guidare direttamente gli aggiornamenti della politica nello spazio delle azioni. Di conseguenza, i miglioramenti della politica rimangono locali e debolmente informati dal paesaggio globale del valore.

2. Metodologia: SAVGO

Gli autori propongono State–Action Value Geometry Optimization (SAVGO), un algoritmo attore-critico off-policy consapevole della geometria che integra esplicitamente la similarità basata sul valore nel meccanismo di aggiornamento della politica.

A. Apprendimento della Geometria Stato-Azione Consapevole del Valore

SAVGO apprende uno spazio di embedding congiunto per le coppie stato-azione $(s, a)$ in cui la distanza geometrica (in particolare la similarità del coseno) riflette la similarità nell'utilità attesa (valori Q).

• Codificatore: Una rete neurale $z_\psi(s, a)$ mappa le coppie stato-azione in uno spazio di embedding a $d$ dimensioni.
• Costruzione dell'Obiettivo: Per qualsiasi coppia di tuple stato-azione $(s_i, a_i)$ e $(s_j, a_j)$, viene calcolato un divario di valore normalizzato $\Delta_{i,j}$ basato sulla differenza dei loro valori Q.
• Mappatura della Curvatura: Questo divario di valore viene mappato in una similarità del coseno target $Y_{i,j}$ utilizzando una trasformazione della curvatura limitata:
  $$Y_{i,j} = 1 - 2(\Delta_{i,j})^\lambda$$
  dove $\lambda$ controlla la sensibilità. Piccoli divari (valori simili) mappano in alta similarità ($\approx 1$), mentre grandi divari mappano in bassa/negativa similarità.
• Funzione di Perdita: Il codificatore viene addestrato per minimizzare la perdita di regressione tra la similarità del coseno prevista degli embedding e l'obiettivo $Y_{i,j}$. Questo costringe lo spazio di embedding a organizzarsi in modo tale che le azioni con valori simili si raggruppino insieme sull'ipersfera unitaria.

B. Miglioramento della Politica Consapevole della Geometria

Invece di un aggiornamento del gradiente puntuale standard, SAVGO esegue un'aggregazione pesata per similarità sulle azioni candidate.

1. Campionamento: Per un dato stato $s_t$, viene campionata un'azione "ancora" $\hat{a}_t$ dalla politica corrente. Inoltre, vengono campionate $K$ azioni candidate $\{a^k_t\}$ da una distribuzione di proposta.
2. Embedding e Punteggio: Sia l'ancora che le candidate vengono codificate tramite $z_\psi$. Le candidate vengono valutate utilizzando una stima conservativa del critico ($\min Q$).
3. Ponderazione del Kernel: Le similarità del coseno tra l'embedding dell'ancora e gli embedding delle candidate vengono convertite in una distribuzione di probabilità (kernel di similarità) utilizzando un softmax controllato da temperatura:
   $$w_k = (1-\epsilon)\frac{\exp(\cos(\hat{\zeta}_t, \zeta^k_t)/\rho)}{\sum \exp(\dots)} + \frac{\epsilon}{K}$$
   Questo crea un peso $w_k$ per ogni candidato basato sulla sua vicinanza geometrica all'ancora nello spazio consapevole del valore.
4. Aggiornamento Aggregato: La politica viene aggiornata per massimizzare una stima del valore pesata per similarità:
   $$\hat{Q}(s_t, \hat{a}_t) = \sum_{k=1}^K w_k Q(s_t, a^k_t)$$
   Ciò permette alla politica di essere attratta verso regioni di alto valore che potrebbero non essere immediatamente adiacenti nello spazio delle azioni grezzo, ma sono "vicine" nella geometria del valore appresa.

3. Contributi Chiave

1. Obiettivo Unificato: Propone SAVGO, che unifica l'apprendimento di rappresentazioni, la stima del valore e l'ottimizzazione della politica in un unico obiettivo coerente con la geometria, superando la visione dell'apprendimento di rappresentazioni come mero regolarizzatore.
2. Operatore di Politica Innovativo: Deriva un operatore di miglioramento della politica consapevole della geometria che utilizza le similarità del coseno apprese per ponderare le azioni candidate, consentendo aggiornamenti della politica guidati dalla struttura globale del valore piuttosto che solo dai gradienti locali.
3. Validazione Empirica: Dimostra miglioramenti coerenti rispetto a forti baseline (SAC, TD3, TQC, PPO) sui benchmark MuJoCo, in particolare in compiti ad alta dimensionalità.

4. Risultati Sperimentali

Il metodo è stato valutato sulla suite di controllo continuo MuJoCo v5 con un budget fisso di 1 milione di passi nell'ambiente.

• Prestazioni: SAVGO ha ottenuto i ricompense totali più elevate in tutta la suite, con i guadagni più significativi su compiti difficili e ad alta dimensionalità:
  • Humanoid: SAVGO (7687) ha superato significativamente TQC (6330) e SAC (5351).
  • Walker2d: SAVGO (5626) ha superato TQC (4952) e SAC (4693).
  • Ant & HalfCheetah: Prestazioni competitive o superiori con varianza ridotta.
• Efficienza nel Campionamento: SAVGO ha dimostrato un apprendimento iniziale più rapido e una convergenza più fluida rispetto alle baseline.
• Studi di Ablazione:
  • Curvatura ($\lambda$): Valori intorno a 1.0–1.5 hanno fornito il miglior compromesso tra stabilità e prestazioni.
  • Numero di Candidati ($K$): Valori moderati (ad esempio, $K=128$ per Humanoid) hanno prodotto risultati ottimali; troppo pochi candidati hanno aumentato la varianza, mentre troppi hanno offerto rendimenti decrescenti.
  • Necessità dei Componenti: La rimozione della temperatura adattiva, della perdita di rappresentazione (congelando il codificatore) o della scalatura adattiva del valore ha causato tutti cali significativi delle prestazioni. Sostituire il kernel di similarità con pesi uniformi ha causato il collasso dell'algoritmo, dimostrando la necessità della ponderazione consapevole della geometria.

5. Significato e Limitazioni

Significato:

• Colmare il Divario: SAVGO colma con successo il divario tra apprendimento di rappresentazioni e ottimizzazione della politica, dimostrando che la geometria dello spazio latente può essere sfruttata direttamente per migliorare il processo decisionale.
• Robustezza: Aggregando su più candidati ponderati per similarità di valore, il metodo è più robusto al rumore del critico e ai minimi locali rispetto agli aggiornamenti basati su gradienti standard.
• Scalabilità: Mantiene la scalabilità dei metodi attore-critico off-policy aggiungendo un sovraccarico computazionale gestibile (lineare in $K$).

Limitazioni:

• Costo Computazionale: Il metodo richiede la valutazione di $K$ candidati per stato, rendendolo più lento rispetto a SAC/TD3 standard (circa 8 ore contro 2 ore per 1 milione di passi negli esperimenti).
• Dipendenza dal Critico: Il metodo assume che il critico fornisca una classificazione ragionevolmente coerente; un rumore severo del critico può destabilizzare i pesi di similarità.
• Azioni Discrete: Estendere questo approccio a spazi di azioni discrete (ad esempio, Atari) non è banale a causa della difficoltà di definire proposte di candidati continue e geometrie stato-azione per azioni discontinui.

In conclusione, SAVGO rappresenta un passo significativo in avanti nel controllo continuo rendendo la "forma" della funzione di valore un motore diretto del miglioramento della politica, portando a prestazioni superiori in ambienti complessi e ad alta dimensionalità.