Sintesi Tecnica: Scoperta di Skill Disgiunte e Non Supervisionate per l'Apprendimento per Rinforzo Gerarchico Efficiente (DUSDi)

Definizione del Problema

Sebbene la scoperta di skill non supervisionata miri a migliorare l'efficienza campionaria del Reinforcement Learning (RL) attraverso l'apprendimento di comportamenti riutilizzabili e privi di reward, gli approcci esistenti soffrono di un limite critico: l'entanglement (aggrovigliamento). Negli attuali metodi (ad es. DIAYN), una singola variabile di skill $z$ influenza tipicamente più dimensioni dello spazio degli stati simultaneamente. Questo entanglement rende estremamente difficile per gli agenti ricombinare le skill per risolvere task a valle, particolarmente in domini complessi che richiedono il controllo concorrente di entità indipendenti (ad es. un robot che controlla contemporaneamente velocità, sterzata e fari). Gli esseri umani possiedono naturalmente capacità "disgiunte", regolando fattori indipendenti in modo concorrente; gli agenti artificiali attualmente mancano di un meccanismo per apprendere tali skill modulari e compositive puramente attraverso l'interazione non supervisionata.

Metodologia: DUSDi

Gli autori propongono Disentangled Unsupervised Skill Discovery (DUSDi), un framework progettato per apprendere skill in cui ogni componente influenza esattamente un fattore di uno spazio di stato fattorizzato.

1. Spazio degli Stati e delle Skill Fattorizzato

DUSDi opera all'interno di un Processo Decisionale di Markov Fattorizzato (f-MDP) dove lo spazio degli stati $S$ è scomposto in $N$ fattori indipendenti: $S = S_1 \times \dots \times S_N$.

• Fattorizzazione delle Skill: La variabile latente della skill $z$ è scomposta in $N$ componenti indipendenti: $z = (z_1, \dots, z_N)$, dove $z_i$ corrisponde alla componente della skill destinata a controllare il fattore di stato $S_i$.
• Obiettivo: Apprendere una policy $\pi(a|s, z)$ tale che $z_i$ influenzi $S_i$ minimizzando al contempo l'influenza sugli altri fattori $S_{\neg i}$.

2. Obiettivo di Apprendimento: Informazione Mutua con Penalità di Entanglement

Per imporre la disgiunzione (disentanglement), DUSDi ottimizza una nuova funzione obiettivo basata sull'Informazione Mutua (MI). Per ogni componente $z_i$ e il suo fattore target $S_i$, l'agente cerca di:

1. Massimizzare la MI tra la componente della skill e il suo fattore target: $I(S_i; Z_i)$.
2. Minimizzare la MI tra la componente della skill e tutti gli altri fattori: $I(S_{\neg i}; Z_i)$.

L'obiettivo formale è:
$$J(\theta) = \sum_{i=1}^{N} I(S_i; Z_i) - \lambda I(S_{\neg i}; Z_i)$$
dove $\lambda \in [0, 1)$ è un iperparametro che bilancia il reward di associazione con la penalità di entanglement. Gli autori impostano $\lambda = 0.1$ negli esperimenti, riconoscendo che le dipendenze dinamiche intrinseche tra i fattori di stato possono rendere necessaria una certa correlazione inevitabile.

3. Ottimizzazione tramite Inferenza Variazionale e Decomposizione della Q-Function

L'ottimizzazione diretta dell'obiettivo è intrattabile. DUSDi impiega due innovazioni tecniche chiave:

• Limite Inferiore Variazionale: I termini di MI sono approssimati utilizzando distribuzioni variazionali (implementate come discriminatori neurali $q_\phi$ e $q_\psi$). Il reward intrinseco $r_z$ è derivato come:
  $$r_z(s, a) = \sum_{i=1}^{N} [\log q_\phi^i(z_i|s_i) - \lambda \log q_\psi^i(z_i|s_{\neg i})]$$
• Decomposizione della Q-Function: Per affrontare l'alta varianza e i problemi di assegnazione del credito causati dalla somma di $2N$ termini di reward, DUSDi decompone la funzione Q globale in $N$ funzioni Q separate e disgiunte ($Q_i$). Ogni $Q_i$ viene aggiornata solo utilizzando il termine di reward specifico $r_i$ associato alla componente $z_i$. Il critico globale è recuperato sommando questi componenti: $Q_\pi = \sum Q_i$. Ciò stabilizza significativamente l'apprendimento in ambienti con molti fattori di stato.

4. Apprendimento dei Task a Valle

Una volta apprese le skill, queste fungono da policy di basso livello congelata in un contesto di Reinforcement Learning Gerarchico (HRL). Una policy di alto livello $\pi_{high}$ seleziona il vettore di skill $z$ per un orizzonte di $L$ passi per massimizzare i reward del task. La natura strutturata e disgiunta dello spazio delle skill consente un'esplorazione più efficiente e permette l'applicazione del Causal Policy Gradient (CPG) se le dipendenze causali tra le componenti delle skill e i termini di reward sono note.

Contributi Chiave

1. Framework di Skill Disgiunte: Introduzione di DUSDi, che decompone esplicitamente le skill in componenti che mappano uno-a-uno con i fattori di stato, consentendo il controllo concorrente e indipendente.
2. Nuovo Obiettivo: Un obiettivo basato sull'informazione mutua che incoraggia simultaneamente l'associazione skill-fattore e penalizza l'influenza tra i fattori.
3. Efficienza Algoritmica: Proposta della decomposizione della Q-function per ottimizzare efficientemente la complessa reward intrinseca multi-termine, riducendo la varianza e migliorando la convergenza in spazi di stato ad alta dimensionalità.
4. Validazione Empirica: Dimostrazione che DUSDi apprende skill realmente disgiunte (verificate tramite metriche DCI) e supera significativamente i metodi di RL non supervisionato allo stato dell'arte (DIAYN, CIC, CSD, METRA, ecc.) in task a valle che richiedono un controllo coordinato.

Risultati Sperimentali

Gli autori hanno valutato DUSDi in quattro domini: 2D Gunner, Multi-Particle (multi-agente), iGibson (robotica) e DMC Walker.

• Disentanglement: DUSFi ha ottenuto punteggi di Disentanglement e Completezza (metrica DCI) significativamente più alti rispetto a DIAYN-MC in tutti gli ambienti.
• Efficienza nell'Apprendimento delle Skill: È stato dimostrato che la decomposizione della Q è critica per scalare verso domini complessi (Multi-Particle, iGibson), superando le reti Q standard nella precisione di predizione delle componenti della skill.
• Performance nei Task a Valle: In task che richiedono un controllo coordinato (ad es. interazione tra particelle multi-agente, manipolazione robotica domestica), DUSDi ha converguto più velocemente e ha raggiunto rendimenti più elevati rispetto a tutti i baseline. In task più semplici (DMC Walker), le performance sono comparabili ai baseline, poiché il beneficio del disentanglement è meno pronunciato quando i task non richiedono il controllo concorrente di più fattori indipendenti.
• Osservazioni da Immagini: DUSDi è stato esteso con successo alle osservazioni basate su immagini integrando l'apprendimento di rappresentazioni object-centric, mantenendo prestazioni comparabili all'apprendimento basato su stato.
• Efficienza Campionaria: L'utilizzo dello spazio delle skill strutturato con il Causal Policy Gradient ha ulteriormente migliorato l'efficienza campionaria nell'apprendimento a valle.

Significato e Rivendicazioni

Il paper sostiene che DUSDi fornisca un meccanismo affinché gli agenti artificiali possano apprendere componenti di skill disgiunte che imitano il controllo modulare umano. Il significato primario risiede nella capacità di riutilizzare efficientemente queste skill per task complessi a valle tramite HRL.

Gli autori affermano che, mentre i metodi non supervisionati esistenti apprendono skill aggrovigliate che ostacolano la ricombinazione a valle, lo spazio delle skill strutturato di DUSDi garantisce un'esplorazione più efficiente e prestazioni superiori in domini in cui i task richiedono la manipolazione concorrente di molteplici fattori di stato indipendenti. Il lavoro suggerisce che la natura strutturata dello spazio delle skill di DUSDi apra nuove strade per iniettare conoscenza del dominio (ad es. tramite Causal Policy Gradient) per migliorare ulteriormente l'efficienza dell'apprendimento.

Gli autori rimangono modesti riguardo ai limiti, notando che il metodo attualmente assume l'accesso a uno spazio di stato fattorizzato (sebbene dimostrino l'estrazione da immagini) e che la capacità di esplorazione durante la fase di apprendimento delle skill dipende dall'algoritmo di ottimizzazione sottostante (attualmente basato su DIAYN). Suggeriscono che il lavoro futuro potrebbe estendere questi principi ad altri paradigmi di scoperta delle skill.