Riepilogo Tecnico: Decoupled Behavioral Cloning per la Generalizzazione Induttiva Scalabile nel RL da Specifiche

Definizione del Problema

Il paper affronta la sfida della generalizzazione induttiva nel Reinforcement Learning (RL). In questo framework, gli agenti devono apprendere policy che si trasferiscano a nuove istanze di task mai viste all'interno di una "famiglia induttiva". Queste famiglie consistono in task che condividono una struttura logica (spesso definita da specifiche di logica temporale come SPECTRL) ma differiscono nell'instanziazione di predicati di basso livello (ad esempio, posizioni target, posizioni degli ostacoli) in base a un indice $i$.

L'intuizione centrale è che i task induttivamente correlati dovrebbero avere policy induttivamente correlate. Il lavoro precedente, nello specifico GenRL [32], tenta di catturare questo aspetto apprendendo una funzione di evoluzione della policy di ordine superiore $\Omega: \Pi \to \Pi$ tale che $\pi_{i+1} = \Omega(\pi_i)$. GenRL approssima $\Omega$ come un polinomio sui parametri della policy, definito da un insieme di coefficienti $\kappa$.

Tuttavia, GenRL soffre di un fondamentale collo di bottiglia nella scalabilità dell'addestramento. Apprende i coefficienti $\kappa$ tramite un ciclo RL accoppiato in cui la policy per ogni task viene generata dalla corrente stima di $\kappa$, eseguita e poi utilizzata per aggiornare $\kappa$ sulla base di ricompense aggregate. Man mano che il numero di task di addestramento ($|Train|$) cresce, questo feedback di ricompensa aggregata diventa rumoroso e conflittuale. Questa instabilità impedisce al ciclo di addestramento di convergere, indebolendo la capacità dell'agente di generalizzare a indici non visti.

Metodologia: DIBS

Gli autori propongono DIBS (Decoupled Inductive Behavioral Cloning), un framework che risolve il collo di bottiglia della scalabilità separando l'apprendimento delle policy specifiche per task dall'apprendimento della funzione di evoluzione. Il processo consiste in due fasi distinte:

Fase I: Aggregazione del Dataset con Etichettatura del Teacher

Invece di apprendere simultaneamente le policy e i coefficienti, DIBS apprende prima indipendentemente una policy "teacher" $\hat{\pi}_i$ per ogni task di addestramento $R_i$ utilizzando algoritmi RL standard (ad esempio, PPO). Per garantire che questi teacher indipendenti possano essere adattati da un singolo template polinomiale, DIBS affronta due sfide specifiche:

1. Drift del Teacher tra gli Indici (Cross-Index Teacher Drift): L'addestramento indipendente può causare una deriva arbitraria delle policy dei teacher adiacenti nello spazio dei parametri, rendendoli difficili da adattare con un singolo polinomio fluido.

   • Soluzione: Gli autori introducono una regolarizzazione tra gli indici durante l'addestramento del teacher. La funzione di perdita per il teacher $\hat{\pi}_i$ include un termine $\lambda_x \|\hat{\pi}_i - \hat{\pi}_{i-}\|^2_2$, dove $\hat{\pi}_{i-}$ è il teacher per l'indice precedente. Questo impone un vincolo di continuità morbida, orientando l'ottimizzatore verso soluzioni che evolvono fluidamente attraverso gli indici.

2. Copertura e Label inaffidabili: Le rollout on-policy standard potrebbero non coprire l'intero spazio degli stati richiesto affinché il template possa generalizzare, mentre i dati off-policy (ad esempio, dai buffer di replay) possono contenere stati di bassa qualità in cui le azioni del teacher sono inaffidabili.

   • Soluzione: DIBS impiega un filtro di confidenza. Una rete neurale viene addestrata per distinguere tra stati "di alta qualità" (visitati durante rollout di successo che soddisfano la specifica) e stati "di bassa qualità" (provenienti da esplorazioni iniziali o reset). Solo le coppie stato-azione in cui la probabilità di confidenza $p_{conf}(s)$ supera una soglia $\tau_c$ vengono mantenute per formare il dataset finale $\tilde{D}_i$.

Fase II: Apprendimento di $\kappa$ tramite Behavioral Cloning

Nella seconda fase, i coefficienti $\kappa$ vengono appresi tramite Behavioral Cloning (BC).

• L'algoritmo adatta il template polinomiale $\Omega$ (parametrizzato da $\kappa$) ai dataset aggregati etichettati dai teacher $\{\tilde{D}_i\}_{i \in Train}$.
• L'obiettivo è minimizzare l'errore quadratico tra le azioni generate dalla policy del template srotolata $\pi_i$ e le azioni del teacher $\hat{\pi}_i$:
  $$L_{BC}(\kappa) = \sum_{i \in Train} \frac{1}{|\tilde{D}_i|} \sum_{(s,a) \in \tilde{D}_i} \|\pi_i(s) - a\|^2_2$$
• Questo sostituisce il rumoroso e multi-task aggregato del segnale di ricompensa di GenRL con un apprendimento supervisionato denso e stabile. Poiché i teacher sono fissi durante questa fase, il ciclo di feedback destabilizzante viene eliminato.

Contributi Chiave

1. Algoritmo (DIBS): Un approccio disaccoppiato che sostituisce l'instabile ciclo RL multi-task di GenRL con una pipeline di apprendimento supervisionato stabile.
2. Tecniche:
   • Regolarizzazione tra gli indici: Assicura che le policy dei teacher evolvano fluidamente attraverso gli indici dei task, facilitando l'adattamento polinomiale.
   • Filtraggio del dataset basato sulla confidenza: Garantisce che il dataset di behavioral cloning contenga solo coppie stato-azione di alta qualità, mitigando il rischio di apprendere da azioni del teacher inaffidabili in stati non esplorati.
3. Flessibilità: A differenza di GenRL, che è strettamente accoppiato all'algoritmo ARS (Augmented Random Search), DIBS consente l'uso di qualsiasi algoritmo RL standard per la fase di addestramento del teacher.

Risultati Empirici

Gli autori hanno valutato DIBS su quattro ambienti di controllo continuo con diverse complessità dinamiche: CAR2D (moto planare), REACHER (manipolazione), SIMPLEDRONE e DRONEATTITUDE (navigazione 3D e controllo dell'assetto).

• Scalabilità dell'Addestramento: DIBS ha dimostrato una stabilità significativamente migliore all'aumentare del numero di task di addestramento. Aggregato su tutti i benchmark, DIBS ha ottenuto un miglioramento di 3.82× nella frazione di indici di addestramento risolti rispetto a GenRL.
• Generalizzazione Zero-Shot: DIBS ha superato GenRL e altri baseline (MAML, VariBAD, BC standard, ARS) nella risoluzione di task non visti. Ha ottenuto un miglioramento di 6.19× nella frazione di indici non visti risolti rispetto a GenRL.
• Studi di Ablazione:
  • Rimuovere il disaccoppiamento (ritornando al ciclo accoppiato di GenRL) ha causato il collasso delle prestazioni in ambienti più difficili (ad esempio, REACHER con più blocchi).
  • Rimuovere la regolarizzazione tra gli indici ha portato a un drastico calo della generalizzazione (ad esempio, da 26 a 3 task non visti risolti in SIMPLEDRONE), confermando la necessità di un'evoluzione fluida del teacher.

Significato e Rivendicazioni

Il paper sostiene che DIBS affronti fondamentalmente i limiti di scalabilità dei precedenti metodi di generalizzazione induttiva. Disaccoppiando l'apprendimento delle policy di task specifici dall'apprendimento della regola di generalizzazione, il metodo:

1. Elimina l'Instabilità: Rimuove gli errori cumulativi e i segnali di ricompensa rumorosi inerenti ai cicli RL accoppiati.
2. Permette la Scalabilità: Consente al sistema di gestire famiglie di task più ampie e ambienti dinamici più complessi (task a lungo termine e con ramificazioni) dove i metodi precedenti falliscono.
3. Migliora la Generalizzazione: La stabilità del processo di addestramento correla direttamente con la capacità di estrarre una struttura generalizzabile, portando a prestazioni zero-shot superiori.

Gli autori posizionano DIBS come una soluzione robusta per scenari in cui i task presentano variazioni sistematiche (famiglie induttive) definite da logica temporale, offrendo una via pratica verso agenti di RL scalabili e generalizzabili.