Riepilogo Tecnico: Controllo Adattivo nella Guida Autonoma tramite RL Ricorrente in Tempo Reale

Enunciato del Problema

Le politiche di controllo basate sull'apprendimento per la guida autonoma spesso falliscono quando vengono implementate in ambienti che differiscono dai loro dati di addestramento. Questi "spostamenti di distribuzione" — causati da cambiamenti sottili nelle dinamiche del sistema, nelle caratteristiche dei sensori o nelle condizioni ambientali — possono portare a un degrado catastrofico delle prestazioni. I paradigmi tradizionali di apprendimento offline, in cui le politiche vengono addestrate una volta e implementate senza adattamento, sono insufficienti per questi scenari reali non stazionari. Sebbene sia richiesta un'adattazione online, i metodi esistenti spesso si basano sul meta-apprendimento (che richiede dati specifici per il compito), sull'adattamento al momento del test (basato su ricompense progettate manualmente) o sul RL online convenzionale che introduce latenza attendendo episodi completi o mini-batch prima di aggiornare. Inoltre, l'apprendimento online standard nelle reti ricorrenti richiede spesso la Retropropagazione attraverso il Tempo (BPTT), che è intensiva in termini di memoria e biologicamente implausibile.

Metodologia

Gli autori propongono una pipeline di apprendimento ibrida che combina il clonaggio comportamentale offline con l'apprendimento per Rinforzo Ricorrente in Tempo Reale (RTRRL) online. Questo approccio consente alle politiche di adattarsi continuamente ad ogni passo temporale senza riaddestramento da zero o accesso a grandi dataset offline.

Algoritmo Core: RTRRL

RTRRL è un algoritmo efficiente in termini di memoria e biologicamente plausibile che aggiorna i parametri della politica ad ogni passo temporale utilizzando un passaggio solo in avanti, eliminando la necessità di BPTT.

• Calcolo del Gradiente: Invece di BPTT, il framework utilizza l'apprendimento Ricorrente in Tempo Reale (RTRL) o l'apprendimento Locale Online a Feedback Casuale (RFLO). Questi metodi calcolano i gradienti online utilizzando tracce di eleganza e approssimazioni jacobiane. RFLO, in particolare, impone la località e la plausibilità biologica utilizzando matrici di feedback casuali fisse, riducendo la complessità da $O(n^3)$ a $O(n^2)$.
• Obiettivo di Apprendimento: L'algoritmo combina l'apprendimento a differenza temporale (TD) con tracce di eleganza (TD($\lambda$)) per gestire le ricompense ritardate. Aggiorna le reti attore e critico basandosi sull'errore TD $\delta_t = r_t + \gamma\hat{v}(h_{t+1}) - \hat{v}(h_t)$.
• Architettura: Gli autori impiegano Reti Neurali Ricorrenti (RNN) separate per la politica (attore) e la funzione valore (critico), piuttosto che un backbone condiviso. L'attore riceve osservazioni codificate e restituisce una distribuzione di azioni, mentre il critico stima il valore dello stato.

Integrazione del Modello: LrcSSM

Un'estensione metodologica chiave in questo lavoro è l'integrazione dei Modelli a Spazio di Stato a Resistenza Liquida e Capacità Liquida (LrcSSM) nel framework RTRRL.

• Caratteristiche LrcSSM: A differenza delle Unità Ricorrenti Lineari (LRU) che utilizzano dinamiche puramente lineari, o delle RNN a Tempo Continuo standard (CT-RNN) con costanti temporali fisse, gli LrcSSM introducono costanti temporali non lineari dipendenti dall'ingresso e dallo stato. Ciò permette ai neuroni di adattare il loro comportamento temporale dinamicamente.
• Struttura Diagonale: Gli LrcSSM mantengono una struttura diagonale, che consente il calcolo esatto dei gradienti RTRL senza la perdita di prestazioni tipicamente associata alle approssimazioni, rendendoli computazionalmente efficienti per l'apprendimento online.

Pipeline di Addestramento

1. Pre-addestramento Offline: Una politica viene inizialmente addestrata tramite clonaggio comportamentale su un dataset di dimostrazioni umane. Ciò coinvolge un encoder convoluzionale (autoencoder per la ricostruzione dell'immagine) e una rete di politica ricorrente.
2. Fine-tuning Online: La politica pre-addestrata viene implementata e perfezionata in tempo reale utilizzando RTRRL. Per prevenire l'overfitting durante il fine-tuning in un singolo ambiente (dimensione del batch effettiva di 1), viene aggiunta una penalità per il cambiamento dei parametri ($L_\theta = \beta ||\theta_{pre} - \theta_t||^2$) alla funzione di perdita.

Configurazione Sperimentale

L'approccio è stato validato in due scenari distinti:

1. Simulazione (CarRacing): Un ambiente OpenAI Gym modificato in cui gli agenti devono seguire la linea centrale di una pista. L'ambiente include una penalità per la deviazione delle ruote.
2. Mondo Reale (RoboRacer): Un veicolo autonomo in scala 1:10 equipaggiato con un Sensore di Visione Dinamica (DVS) (camera a eventi). Il compito è il seguire la linea. Questa configurazione è notevole per l'uso della visione basata su eventi (cattura delle variazioni di intensità anziché fotogrammi) su hardware non spiking standard.

Risultati Chiave

Simulazione (CarRacing)

• Prestazioni: Tutti i tipi di modello (CT-RNN, LRU, LrcSSM) hanno mostrato un miglioramento significativo dopo il fine-tuning online rispetto alle loro linee di base pre-addestrate.
• Superiorità di LrcSSM: Le politiche basate su LrcSSM hanno dimostrato il miglioramento più rapido e coerente attraverso diversi semi casuali e percorsi.
• Adattamento: Le politiche perfezionate si sono adattate con successo agli spostamenti di distribuzione, come un offset simulato dell'angolo di sterzata, recuperando livelli di prestazioni comparabili alle ricompense iniziali.

Implementazione nel Mondo Reale (LineTracking)

• Successo della Camera a Eventi: Questo lavoro presenta la prima dimostrazione di fine-tuning RL online utilizzando osservazioni da camera a eventi su hardware standard in un contesto di controllo in ciclo chiuso.
• Fallimento e Successo del Modello:
  • Fallimento LRU: I modelli LRU pre-addestrati non sono riusciti a imparare una politica efficace di seguito della linea, non essendo in grado di completare un singolo giro senza intervento. Gli autori ipotizzano che la ricorrenza puramente lineare delle LRU sia insufficiente per catturare le transizioni discontinuo-simili a soglie intrinseche nei dati a fotogrammi di eventi (passaggio tra stati visibili e non visibili della linea).
  • Successo LrcSSM: Al contrario, gli LrcSSM hanno imparato con successo il compito. Gli autori attribuiscono questo alle dinamiche di stato non lineari degli LrcSSM, che sono essenziali per gestire le caratteristiche specifiche del controllo basato su eventi, mantenendo al contempo la struttura diagonale necessaria per un calcolo efficiente dei gradienti.
• Robustezza: Il sistema si è adattato agli spostamenti di distribuzione nel mondo reale, inclusi uno spostamento dell'angolo di sterzata di 0,1 rad e disturbi visivi causati dalla luce solare ambientale. La ricompensa è inizialmente degradata al momento dello spostamento ma si è ripresa ai livelli pre-spostamento entro pochi giri.

Significato e Affermazioni

Il paper rivendica diversi primati e contributi significativi al campo del controllo autonomo:

1. Prima Applicazione di LrcSSM nel RL Online: Questa è la prima applicazione degli LrcSSM in un contesto di apprendimento per rinforzo online, dimostrando la loro fattibilità come sostituto diretto delle LRU che offre un'espressività superiore.
2. Pipeline di Apprendimento Ibrida: Il lavoro propone la prima pipeline che combina il clonaggio comportamentale offline con il perfezionamento RTRRL in tempo reale online, consentendo un adattamento continuo agli ambienti non stazionari senza riaddestramento completo.
3. Fattibilità su Sistemi Embedded: I risultati validano che algoritmi di apprendimento online in tempo reale biologicamente plausibili sono fattibili su sistemi robotici embedded (RoboRacer) senza richiedere chip neuromorfici specializzati.
4. Controllo Online Basato su Eventi: Presenta la prima applicazione di machine learning non spiking ad alta frequenza di perfezionamento online utilizzando osservazioni da camera a eventi in un contesto di controllo in ciclo chiuso.
5. Sinergia di Bio-Ispirazione: Il paper mostra la sinergia tra sensori bio-ispirati (camere a eventi), modelli ricorrenti bio-ispirati (LrcSSM) e regole di apprendimento biologicamente plausibili (RTRRL/RFLO).

Gli autori concludono che, sebbene il controllo basato sull'apprendimento sia vulnerabile agli spostamenti di distribuzione, l'approccio proposto basato su RTRRL consente alle politiche implementate di mantenere le prestazioni adattandosi continuamente in tempo reale, con gli LrcSSM che emergono come l'architettura più efficace per tale scopo.