Riepilogo Tecnico: Campionamento Adattivo di Compiti Robusto Distribuzionalmente (DRATS)

Enunciato del Problema

L'Apprendimento per Rinforzo Multi-Compito (MTRL) mira ad addestrare un singolo agente per ottimizzare le prestazioni su più compiti simultaneamente, sfruttando il trasferimento di conoscenze per migliorare l'efficienza dei dati. Tuttavia, gli approcci MTRL standard soffrono spesso di apprendimento sbilanciato: gli agenti risolvono rapidamente i compiti facili mentre fanno progressi lenti su quelli più difficili.

I lavori precedenti hanno attribuito questo squilibrio principalmente a gradienti di compiti in conflitto, proponendo soluzioni che coinvolgono la manipolazione dei gradienti (ad esempio, chirurgia dei gradienti) o architetture di rete specializzate. Questo articolo identifica una causa distinta e poco esplorata di squilibrio: allocazione sbilanciata dei dati. L'MTRL standard assegna un budget di interazione uguale a tutti i compiti. Poiché i compiti difficili richiedono significativamente più esperienza per essere risolti rispetto a quelli facili, un'allocazione uniforme risulta in una sovrallocazione di dati ai compiti facili (che necessitano di pochi dati aggiuntivi) e in una sottoallocazione di dati ai compiti difficili. Sebbene i metodi di Apprendimento Curricolare (CL) adattino le distribuzioni di campionamento, tipicamente danno priorità ai compiti facili per facilitare il trasferimento, il che può esacerbare lo squilibrio dei dati in contesti in cui il trasferimento positivo è debole o i compiti sono in conflitto.

Metodologia: Campionamento Adattivo di Compiti Robusto Distribuzionalmente (DRATS)

Gli autori propongono DRATS, un algoritmo che dà priorità adattiva al campionamento dei compiti più lontani dalla soluzione. Il metodo è derivato attraverso i seguenti passaggi:

1. Formalizzazione come Problema di Fattibilità

Invece di massimizzare la ricompensa media tra i compiti, l'MTRL è formalizzato come un problema di fattibilità: trovare una politica $\theta$ tale che la ricompensa $J_i(\theta)$ in ogni compito $i$ soddisfi un obiettivo di riferimento $J^{ref}_i$.
L'obiettivo è trasformato nella minimizzazione del divario di ricompensa $g_i(\theta) = \max(J^{ref}_i - J_i(\theta), 0)$. Per gestire casi in cui i vincoli non possono essere soddisfatti simultaneamente (a causa di limiti di capacità o conflitti), l'obiettivo diventa minimizzare il massimo divario di ricompensa tra tutti i compiti (un obiettivo minimax):
$$\min_{\theta} \max_{i \in [k]} g_i(\theta)$$

2. Ottimizzazione Minimax e Robustezza Distribuzionale

La massimizzazione interna è riscritta come una massimizzazione su una distribuzione di compiti $q \in \Delta_k$ (il simplesso delle probabilità). Risolvere direttamente questo problema porta a una soluzione non liscia e avida che concentra tutta la probabilità sul singolo compito con le prestazioni peggiori, causando instabilità e inefficienza dei dati.

Per affrontare ciò, DRATS impiega l'Ottimizzazione Robusta Distribuzionalmente (DRO) limitando la distribuzione di compiti $q$ a trovarsi all'interno di una sfera di Kullback-Leibler (KL) di raggio $\epsilon$ centrata su una distribuzione base $p_0$ (uniforme). Ciò produce l'ottimizzazione vincolata:
$$\min_{\theta} \max_{q \in \mathcal{Q}} \mathbb{E}_{i \sim q}[g_i(\theta)]$$
dove $\mathcal{Q} = \{q \in \Delta_k \mid \text{KL}(q \| p_0) \leq \epsilon\}$.

3. Soluzione in Forma Chiusa e Algoritmo

Utilizzando il rilassamento lagrangiano, la distribuzione di compiti ottimale $q^*$ è derivata in forma chiusa come un softmax dei divari di ricompensa:
$$q^*_i = \frac{\exp(\eta g_i(\theta))}{\sum_j \exp(\eta g_j(\theta))}$$
Qui, $\eta$ agisce come un parametro di temperatura inversa che controlla la nitidezza della prioritizzazione.

Algoritmo DRATS (Algoritmo 1):

1. Raccolta Dati: Campionare compiti dalla distribuzione corrente $q_t$ e raccogliere traiettorie.
2. Stima del Divario: Calcolare stime Monte Carlo delle ricompense $\hat{J}_i$ e aggiornare le ricompense di riferimento $J^{ref}_i$ (stimate online come la ricompensa massima osservata).
3. Normalizzazione del Divario: Calcolare i divari di ricompensa normalizzati $\hat{g}_i$.
4. Aggiornamento della Distribuzione: Aggiornare $q_t$ tramite ascesa a specchio (gradiente esponenziale) sull'obiettivo $L(\theta, q) = \mathbb{E}_{i \sim q}[g_i(\theta)] - \frac{1}{\eta}\text{KL}(q \| p_0)$.
5. Proiezione: Imporre una probabilità di campionamento minima $\epsilon$ per garantire che tutti i compiti siano campionati sufficientemente per una stima stabile del divario.
6. Aggiornamento della Politica: Aggiornare la politica $\theta$ utilizzando un algoritmo on-policy (ad esempio, PPO) per massimizzare la ricompensa pesata.

4. Garanzie di Convergenza

Gli autori dimostrano che, sotto ipotesi standard (inclusa una garanzia di basso rimorso per l'aggiornamento della politica), DRATS converge al divario di ricompensa nel caso peggiore ottimale a un tasso di $O(1/\sqrt{T})$, dove $T$ è il numero di iterazioni.

Contributi Chiave

1. Algoritmo DRATS: Introduzione di un algoritmo di RL multi-compito che dà priorità adattiva ai compiti basandosi sul divario di ricompensa, derivato da una formulazione minimax dell'MTRL.
2. Convergenza Teorica: Dimostrazione che DRATS converge entro un errore $\epsilon$ dal divario di ricompensa ottimale nel caso peggiore a un tasso standard di $O(1/\sqrt{T})$.
3. Validazione Empirica: Dimostrazione che DRATS raggiunge un'efficienza dei dati superiore, una ricompensa aggregata più alta e una ricompensa nel caso peggiore significativamente più alta rispetto alle linee di base esistenti di apprendimento curricolare (ad esempio, Uniforme, Progresso di Apprendimento, Potenziale di Apprendimento, Prima i Difficili).
4. Ortogonalità: Dimostrazione che DRATS è compatibile con le architetture di rete multi-compito esistenti (ad esempio, Soft Modularization, MOORE) e migliora le prestazioni indipendentemente dal fatto che i compiti mostrino trasferimento positivo o conflitto.

Risultati Sperimentali

Gli autori hanno valutato DRATS su quattro benchmark: un Gridworld a 4 compiti, MuJoCo6 (6 compiti di controllo continuo), MetaWorld-MT10 e MetaWorld-MT50.

• Prestazioni Aggregate: DRATS ha raggiunto la ricompensa aggregata più alta su tutti i benchmark.
• Prestazioni nel Caso Peggiore: Il miglioramento è stato guidato principalmente da prestazioni superiori sui compiti più difficili. Ad esempio, in MuJoCo6, DRATS è stato l'unico metodo a risolvere con successo i difficili compiti Ant e Humanoid, mentre le linee di base non sono riuscite a fare progressi su Ant.
• Efficienza dei Dati: DRATS ha raggiunto i livelli di prestazioni delle linee di base con significativamente meno interazioni. In MT10, ha superato la ricompensa finale della linea di base Uniforme sui compiti difficili (ad esempio, pick-place, push) dopo soli 6 milioni di passi temporali.
• Confronto con le Linee di Base:
  • Uniforme: Sovralloca ai compiti facili; non riesce a risolvere i compiti difficili.
  • Progresso di Apprendimento/Potenziale: Tendono a dare priorità ai compiti con alti tassi di apprendimento o alti errori di stima del valore, il che spesso si correla con compiti facili, trascurando i compiti difficili che sono bloccati.
  • Prima i Difficili (SMT): Soffre di collasso delle prestazioni sui compiti difficili; una volta che un compito è dichiarato "risolto" basato su una soglia, la probabilità di campionamento scende bruscamente, causando all'agente di dimenticare il compito e richiedendo un riapprendimento.
• Ablazioni:
  • Campionamento Adattivo vs. Ripesatura: Il campionamento adattivo (DRATS) è significativamente più efficiente dei dati rispetto alla ripesatura dell'obiettivo di dati campionati uniformemente. La ripesatura porta a stime di gradiente ad alta varianza per i compiti difficili a causa di una raccolta di dati insufficiente.
  • Iperparametri: DRATS è robusto alla scelta della temperatura $\eta$ e del passo $\alpha$.

Significato e Affermazioni

L'articolo afferma che DRATS affronta un'inefficienza fondamentale nell'MTRL: la cattiva allocazione delle risorse di dati. Spostando il focus dal conflitto dei gradienti all'allocazione dei dati, DRATS fornisce un meccanismo efficiente per bilanciare le prestazioni tra i compiti.

Gli autori sottolineano che:

• DRATS è la prima applicazione dell'Ottimizzazione Robusta Distribuzionalmente all'RL multi-compito in contesti di controllo continuo.
• A differenza di molti metodi di Apprendimento Curricolare che assumono un trasferimento positivo dai compiti facili a quelli difficili, DRATS mira esplicitamente al divario di ricompensa nel caso peggiore, rendendolo efficace anche quando i compiti sono in conflitto o il trasferimento è debole.
• Il metodo è modulare; modifica solo il processo di raccolta dati e può essere combinato con architetture specializzate o tecniche di manipolazione dei gradienti.

L'articolo conclude che DRATS offre un approccio principiato e teoricamente fondato per raggiungere un apprendimento multi-compito bilanciato, migliorando sia l'efficienza dell'apprendimento che la robustezza della politica finale su tutti i compiti.