Leveraging Human Feedback for Semantically-Relevant Skill Discovery

Riassunto Tecnico: Scoperta di Skill Semanticamente Rilevanti tramite Feedback Umano

1. Il Problema (Problem Statement)

Nella Reinforcement Learning (RL), la scoperta di skill non supervisionata mira a motivare intrinsecamente un agente affinché apprenda un repertorio di comportamenti diversificati e utili senza una funzione di reward esplicita. Tuttavia, gli approcci attuali presentano due limiti critici:

• Mancanza di allineamento: Gli agenti spesso scoprono comportamenti "inutili", pericolosi o non etici (es. un robot che si muove in modo erratico invece di camminare).
• Inefficienza del feedback: I metodi basati sulle preferenze umane (dove l'umano confronta due traiettorie) diventano estremamente inefficienti all'aumentare della varietà delle skill da apprendere. Se un agente deve imparare 16 tipi diversi di movimento, il numero di confronti necessari per distinguere ogni categoria cresce in modo proibitivo.

2. Metodologia (Methodology)

Gli autori introducono il framework SRSD (Semantically Relevant Skill Discovery), che sposta il paradigma dal semplice confronto tra preferenze alla etichettatura semantica (Semantic Labelling).

A. Semantic Labelling (Il meccanismo di feedback):
Invece di chiedere all'umano "quale tra queste due azioni è migliore?", si chiede di categorizzare un segmento di traiettoria. L'utente può:

1. Identificare una categoria semantica rilevante (es. "correre", "saltare").
2. Segnalare la traiettoria come "irrilevante" rispetto al contesto.
   Questo approccio sfrutta la capacità cognitiva umana di categorizzare istintivamente i comportamenti, garantendo un'alta densità di informazioni con un minimo sforzo cognitivo.

B. Il Framework SRSD:
Il metodo combina tre componenti di reward per addestrare la policy $\pi_\theta(a|s, z)$:

1. $r_{div}$ (Diversity): Massimizza la distinguibilità delle skill tramite apprendimento contrastivo.
2. $r_{expl}$ (Exploration): Stimola l'esplorazione dello spazio degli stati tramite l'entropia dello stato.
3. $r_{rel}$ (Relevance): Il cuore della proposta. Utilizza un predittore semantico $p_\psi(c|\sigma)$ addestrato sui feedback umani per premiare le skill che hanno un'alta probabilità di appartenere a una categoria semantica rilevante.

C. Ottimizzazione e Distribuzione:

• Active Sampling: Per evitare che il feedback venga sprecato su comportamenti irrilevanti o troppo comuni, il sistema utilizza una strategia di campionamento attivo che bilancia i dati tra le diverse categorie semantiche.
• Distributional Critics (TQC): Poiché la combinazione di più reward intrinseci crea una distribuzione di ricompense rumorosa e complessa, gli autori utilizzano i Truncated Quantile Critics (TQC) per modellare l'incertezza aleatoria e mitigare la sovrastima del valore.

3. Contributi Chiave (Key Contributions)

• Nuovo meccanismo di feedback: L'introduzione del Semantic Labelling, dimostrato essere matematicamente più scalabile rispetto al feedback basato sulle preferenze (la probabilità di fornire informazioni rilevanti con le etichette è $O(1)$, mentre con le preferenze è $O(1/|C|)$).
• Framework SRSD: Un metodo end-to-end che integra la diversità delle skill con l'allineamento semantico umano.
• Gestione dell'incertezza: L'integrazione di una prospettiva distributiva per gestire la complessità dei reward multi-obiettivo.

4. Risultati (Results)

Gli esperimenti sono stati condotti su ambienti di navigazione 2D e su quattro domini di locomozione del DeepMind Control Suite (Walker, Quadruped, Cheetah, Hopper).

• Superiorità sulle Baseline: SRSD supera costantemente i metodi esistenti (come CIC, ComSD e HaSD) in termini di performance zero-shot, few-shot e fine-tuning.
• Scalabilità Semantica: Mentre i metodi basati sulle preferenze (HaSD) perdono precisione e copertura all'aumentare delle categorie semantiche, SRSD mantiene un'elevata precisione e un'ampia copertura (recall) anche con un numero elevato di classi.
• Robustezza: Il metodo si è dimostrato robusto anche in presenza di feedback umano rumoroso o "irrazionale" (errori di etichettatura o miopia dell'utente).

5. Significato e Implicazioni (Significance)

Il lavoro rappresenta un passo fondamentale verso l'Intelligenza Artificiale Allineata. Dimostra che è possibile guidare l'apprendimento autonomo di un agente verso comportamenti che non sono solo diversi, ma anche dotati di significato per l'essere umano, riducendo drasticamente il costo del feedback umano. Questo approccio apre la strada a robot che possono apprendere un vasto repertorio di compiti utili in modo efficiente e sicuro attraverso una supervisione semantica di alto livello.