Riepilogo Tecnico: Allineamento Rappresentazionale Insegnante-Studente per l'Apprendimento per Imitazione Guidato dall'Apprendimento per Rinforzo

Enunciato del Problema

L'Apprendimento per Imitazione (IL) è frequentemente impiegato per superare la complessità campionaria e la "maledizione della dimensionalità" associate all'Apprendimento per Rinforzo (RL) in spazi di osservazione ad alta dimensionalità, come quelli riscontrabili nella robotica. Un paradigma comune prevede l'addestramento di un "insegnante" basato su RL su rappresentazioni di stato analitiche a bassa dimensionalità e la successiva distillazione di tale comportamento in una politica "studente" che opera su osservazioni ad alta dimensionalità (ad esempio, immagini).

Tuttavia, una sfida significativa sorge quando l'insegnante e lo studente sono addestrati in isolamento. L'insegnante fa spesso affidamento su "informazioni privilegiate" (variabili di stato disponibili all'insegnante ma non inferibili dalle osservazioni dello studente, come le coordinate esatte dell'obiettivo o le posizioni di oggetti nascosti). Ciò crea un divario di imitazione irriducibile: l'insegnante apprende una politica ottimale per la sua visione privilegiata, ma impossibile da imitare per lo studente, poiché le informazioni necessarie mancano dall'input dello studente.

Tradizionalmente, questo divario viene affrontato aggiungendo una fase di affinamento (fine-tuning) basata su RL allo studente dopo l'IL. Tuttavia, ciò reintroduce l'alta complessità campionaria e l'instabilità dell'addestramento tipici del RL. In alternativa, alcuni metodi modificano la funzione di ricompensa o lo spazio delle azioni dell'insegnante per forzare l'imitabilità, ma questi approcci richiedono spesso un pesante ingegnerizzazione delle caratteristiche, introducono iperparametri difficili da sintonizzare o degradano le prestazioni dell'insegnante nel compito.

Metodologia

Gli autori propongono un algoritmo innovativo e agnostico rispetto al compito che apprende uno spazio di embedding condiviso per colmare il divario di imitazione per costruzione. Invece di modificare le ricompense o affinare lo studente a posteriori, il metodo garantisce che l'insegnante apprenda una politica intrinsecamente imitabile dallo studente.

Architettura Principale

L'approccio utilizza un framework di apprendimento di rappresentazioni multi-vista in cui l'insegnante e lo studente osservano lo stesso stato sottostante dell'ambiente $s_t$ attraverso modalità diverse ($o_T$ e $o_S$). Queste osservazioni sono modellate come contenenti:

1. Componenti comuni ($c_t$): Informazioni condivise da entrambi gli agenti (ad esempio, posizioni relative degli ostacoli).
2. Componenti private ($p_T, p_S$): Informazioni specifiche dell'agente (ad esempio, coordinate esatte dell'obiettivo per l'insegnante).

L'obiettivo è apprendere un encoder che mappi sia $o_T$ che $o_S$ in uno spazio latente contenente solo $c_t$, nascondendo efficacemente le informazioni private all'insegnante durante il suo addestramento RL.

Fasi di Addestramento

Il sistema opera in fasi alterne che coinvolgono due moduli:

1. Apprendimento di Rappresentazioni Contrastive (Modulo di Embedding):

   • Obiettivo: Apprendere una mappatura dalle osservazioni dell'insegnante e dello studente a uno spazio latente comune.
   • Meccanismo: Utilizza la funzione di perdita contrastiva InfoNCE. Le osservazioni accoppiate $(o_T, o_S)$ dallo stesso istante temporale sono trattate come coppie positive, mentre le osservazioni non accoppiate nel batch servono come negative.
   • Perdita di Allineamento ($L_{alignment}$): Massimizza esplicitamente la similarità tra gli embedding accoppiati per garantire che la rete di politica veda rappresentazioni coerenti per entrambi gli agenti.
   • Perdita di Stabilità ($L_{stability}$): Previene grandi deviazioni nello spazio latente durante l'addestramento penalizzando gli spostamenti nei logit grezzi della rete di politica rispetto agli stati precedenti. Questo è cruciale poiché le politiche RL sono sensibili a piccoli spostamenti degli embedding.
   • Isolamento del Gradiente: Crucialmente, i gradienti dalla politica RL (Fase 2) non vengono retropropagati attraverso le reti encoder. Ciò impedisce alla politica di "barare" imparando a estrarre informazioni private dalle osservazioni grezze dell'insegnante per massimizzare le ricompense.

2. Apprendimento per Rinforzo (Modulo di Politica):

   • La politica dell'insegnante ($\pi_T$) viene addestrata utilizzando Proximal Policy Optimization (PPO) per massimizzare la ricompensa del compito.
   • Tuttavia, la politica opera solo sugli embedding latenti appresi, non sulle osservazioni grezze.
   • Poiché gli embedding mancano di informazioni private, l'insegnante è costretto a massimizzare la ricompensa sfruttando solo le informazioni condivise disponibili allo studente.

Distinzioni Chiave rispetto ai Lavori Precedenti

• A differenza di SITT [8], che penalizza l'insegnante per la visita di stati non imitabili tramite un termine di divergenza KL nella ricompensa, questo metodo non modifica la funzione di ricompensa né introduce coefficienti di compromesso ($\alpha$).
• A differenza di metodi che richiedono conoscenze del dominio per selezionare coppie contrastive, questo approccio è completamente agnostico rispetto al compito e si basa sull'allineamento temporale delle traiettorie insegnante-studente.

Risultati Sperimentali

Il metodo è stato valutato in due ambienti di simulazione progettati per evidenziare il divario di imitazione:

1. CollectHealth: Un compito di navigazione 3D in cui l'insegnante conosce le posizioni esatte delle scatole, mentre lo studente ha un Campo Visivo (FOV) limitato e deve riorientarsi per trovare i bersagli.
2. TunnelVision: Un compito di navigazione in griglia in cui l'insegnante vede tutte le celle circostanti, mentre lo studente vede solo tre celle nella sua direzione frontale.

Metriche di Prestazione

Lo studio ha confrontato il metodo proposto con:

• Clonazione del Comportamento (BC): IL standard che utilizza un insegnante addestrato in isolamento.
• SITT: La linea di base all'avanguardia che penalizza i comportamenti non imitabili dell'insegnante.

Risultati Chiave:

• Riduzione del Divario di Imitazione: Il metodo proposto ha raggiunto un divario di imitazione vicino allo zero ($\Delta \approx 0.00$ a $0.01$) in entrambi gli ambienti, superando significativamente BC (divario $\approx 0.53-0.81$) e SITT (divario $\approx 0.19-0.43$).
• Prestazioni dello Studente: Le politiche studente distillate hanno raggiunto tassi di successo di 1.00 (TunnelVision) e 0.98 (CollectHealth), eguagliando o superando le prestazioni dell'insegnante senza richiedere affinamento RL.
• Prestazioni dell'Insegnante: A differenza di SITT, che ha subito un calo delle prestazioni dell'insegnante a causa della modifica della ricompensa, il metodo proposto ha mantenuto alte prestazioni dell'insegnante (1.00 e 0.99) poiché la funzione di ricompensa originale è rimasta intatta.
• Studi di Ablazione:
  • La rimozione della perdita di allineamento ha causato un calo notevole nelle prestazioni dello studente, in particolare in CollectHealth, confermando la necessità di una similarità esplicita degli embedding.
  • La rimozione della perdita di stabilità ha causato un calo significativo in TunnelVision (un ambiente ad alta sensibilità), dimostrando che embedding stabili sono critici per prevenire il collasso della politica in contesti sensibili.

Significato e Contributi

Il documento rivendica i seguenti contributi:

1. Metodo Innovativo Agnostico rispetto al Compito: Introduce un approccio plug-and-play per colmare il divario di imitazione apprendendo una rappresentazione latente condivisa, eliminando la necessità di modifiche alla funzione di ricompensa o complesse ingegnerizzazioni delle caratteristiche.
2. Costruzione dell'Imitabilità: Limitando l'insegnante a operare su uno spazio di embedding condiviso tramite apprendimento contrastivo, il metodo garantisce che l'insegnante apprenda comportamenti intrinsecamente riproducibili dallo studente, evitando il divario irriducibile causato dalle informazioni privilegiate.
3. Prestazioni Empiriche Superiori: L'approccio supera costantemente basi solide (BC e SITT) in termini di tassi di successo dello studente e riduzione del divario di imitazione, preservando al contempo le prestazioni ottimali dell'insegnante nel compito.
4. Meccanismi di Stabilità: L'introduzione di perdite esplicite di allineamento e stabilità affronta la sensibilità delle politiche RL agli spostamenti di rappresentazione, consentendo un addestramento robusto senza affinamento a posteriori.

Gli autori concludono che questo metodo offre una soluzione robusta per la distillazione di politiche ad alta dimensionalità da insegnanti privilegiati, rendendolo adatto all'integrazione in framework IL esistenti senza alterare la struttura fondamentale di ricompensa del compito.