Sintesi Tecnica: Seeing-to-Experiencing (S2E)

Problema

I modelli di fondazione per la navigazione, addestrati su massicci dati offline su scala web, hanno dimostrato una forte capacità di generalizzazione in ambienti diversi. Tuttavia, questi modelli si affidano principalmente all'imitazione visiva passiva, catturando correlazioni statistiche piuttosto che una causalità radicata. Di conseguenza, mancano della capacità di ragionare sulle conseguenze delle azioni, di adattarsi a scenari controfattuali o di esibire comportamenti reattivi necessari per una navigazione urbana sicura (ad esempio, evitare ostacoli dinamici o pedoni). Sebbene l'Apprendimento per Rinforzo (RL) offra un paradigma per l'apprendimento interattivo, i precedenti tentativi di scalare l'RL per la navigazione hanno incontrato difficoltà a causa della scarsa efficienza di campionamento, della mancanza di prior induttivi e della difficoltà di addestrare agenti da zero in ambienti sintetici ristretti. Inoltre, il semplice aumento della scala dei dati supervisionati offline porta spesso a rendimenti decrescenti nelle prestazioni.

Metodologia: Il Framework S2E

Gli autori propongono Seeing-to-Experiencing (S2E), un framework di apprendimento ibrido che combina il pre-addestramento offline su larga scala con l'apprendimento per rinforzo online in simulazione. Il framework mira a mantenere le rappresentazioni visive generalizzabili apprese dai video del mondo reale pur acquisendo capacità interattive attraverso l'RL.

1. Pre-addestramento: Anchor-Guided Distribution Matching (AGDM)

Per affrontare la natura multimodale della navigazione (dove esistono molteplici azioni valide per una singola osservazione), gli autori introducono una strategia di Anchor-Guided Distribution Matching.

• Architettura: Invece di utilizzare bin discreti o Gaussiane unimodali, il modello predice un Modello di Miscela Gaussiana (GMM) in cui le componenti della miscela sono guidate da "ancore".
• Meccanismo: $M$ punti di intenzione rappresentativi (ancore) vengono campionati tramite K-Means sul dataset unificato. Queste ancore fungono da query in un meccanismo di cross-attention. Ogni ancora corrisponde a una moda Gaussiana con punteggi, medie, deviazioni standard e correlazioni appresi.
• Vantaggio: Questo approccio fornisce una distribuzione multimodale strutturata che bilancia espressività e stabilità dell'addestramento. Permette al modello di catturare comportamenti diversi (ad esempio, andare dritto, svoltare, dare la precedenza) mantenendo al contempo un backbone affidabile per la successiva adattamento.

2. Post-addestramento: Residual-Attention Module (RAM)

Per iniettare capacità interattive senza cancellare la conoscenza pre-addestrata o soffrire di uno spostamento di dominio (sim-to-real), gli autori propongono un Modulo di Attenzione Residua per il fine-tuning tramite RL.

• Motivazione: Il fine-tuning a tutti i parametri con l'RL rischia l' "Oblio delle Capacità Pre-addestrate" (FPC) e causa l'overfitting dell'encoder visivo sulle texture del simulatore, degradando le prestazioni nel mondo reale.
• Meccanismo: I parametri originali della cross-attention pre-addestrata vengono congelati. Viene introdotta una copia parallela e addestrabile del blocco di attenzione, regolata da strati lineari inizializzati a zero.
• Dinamiche di Addestramento: L'inizializzazione a zero assicura che, all'inizio del fine-tuning, il ramo residuo non contribuisca affatto ($Q' = \psi_{pre}(Q)$). Man mano che l'addestramento procede, i pesi del gate si attivano gradualmente, permettendo al modello di apprendere selettivamente comportamenti reattivi (ad esempio, l'evitamento di ostacoli) dal segnale RL, preservando al contempo le rappresentazioni visuomotorie generalizzabili derivanti dal pre-addestramento offline.
• Efficienza: Questo approccio è efficiente in termini di parametri, aggiornando solo un plugin leggero invece dell'intero modello, ed evita l'aggiornamento dell'encoder visivo per prevenire lo spostamento di dominio.

3. Benchmark di Valutazione: NavBench-GS

Gli autori stabiliscono NavBench-GS, un benchmark di valutazione end-to-end completo.

• Caratteristiche: Costruito su ricostruzioni fotorealistiche di Gaussian Splatting 3D di scene reali, incorpora interazioni fisiche e dinamiche accurate.
• Ambito: Include 26 scenari con quattro variazioni di task: ambienti vuoti, ostacoli statici, pedoni in movimento e ostacoli/pedoni combinati.
• Metriche: Tasso di Successo (SR), Completamento del Percorso (RC) e Tempi di Collisione (CT).

Risultati Chiave

Prestazioni di Scalabilità

Gli esperimenti dimostrano che S2E mitiga i rendimenti decrescenti associati alla sola scalabilità dei dati offline.

• RL vs. Scalabilità dei Dati: Aumentare i dati offline da 250k a 750k campioni ha prodotto solo un miglioramento del 2% nel tasso di successo. Al contrario, applicare il fine-tuning RL a un modello addestrato su 100 ore di dati ha portato a un miglioramento del 15% nel tasso di successo senza ulteriori dati offline.
• RL vs. SFT: Rispetto al Fine-Tuning Supervisionato (SFT), che soffre di un grave overfitting all'aumentare dei costi di addestramento, l'RL mantiene o migliora i tassi di successo e dimostra una maggiore efficienza di campionamento.

Prestazioni del Benchmark (NavBench-GS)

S2E ha superato i modelli di fondazione per la navigazione allo stato dell'arte (inclusi GNM, ViNT, NoMaD, MBRA e CityWalker) in tutti gli scenari di test.

• Efficienza: S2E, addestrato su sole 100 ore di dati, ha superato CityWalker, che è stato addestrato su oltre 2000 ore di dati.
• Sicurezza: S2E ha ottenuto i più alti Tassi di Successo e i più bassi Tempi di Collisione, in particolare in scenari complessi che coinvolgono sia ostacoli statici che pedoni in movimento.

Implementazione nel Mondo Reale

Il framework è stato implementato su due piattaforme robotiche distinte: un robot con ruote e un robot quadrupede Unitree GO2.

• Generalizzazione Zero-Shot: S2E ha ottenuto un trasferimento zero-shot in scenari urbani reali non visti prima.
• Prestazioni: Nei test nel mondo reale, S2E-Full ha raggiunto un tasso di successo di 0,51 (ruote) e 0,55 (quadrupede), superando significativamente i baseline come NoMaD e CityWalker, che hanno avuto difficoltà nell'evitamento delle collisioni.

Significato e Rivendicazioni

Il documento sostiene che l'integrazione di esperienze interattive online tramite Reinforcement Learning è cruciale per scalare i modelli di fondazione nella robotica. I contributi chiave sono:

1. Colmare il Divario: S2E colma con successo il divario tra la ampia generalizzazione del pre-addestramento offline e la sicurezza reattiva dell'interazione online.
2. Innovazione Tecnica: L'Anchor-Guided Distribution Matching stabilizza l'apprendimento di distribuzioni multimodali complesse, mentre il Residual-Attention Module consente un apprendimento incrementale e sicuro di comportamenti interattivi senza dimenticare le capacità pre-addestrate o subire spostamenti di dominio.
3. Nuovo Paradigma: Il lavoro sfida l'idea che la scalabilità dei dati offline sia il driver primario delle prestazioni, dimostrando che il post-addestramento RL offre un percorso più efficiente per una navigazione robusta e sicura.
4. Riproducibilità: Gli autori forniscono un nuovo benchmark (NavBench-GS) e si impegnano a rilasciare codice e modelli per facilitare la verifica della comunità.

Gli autori riconoscono i limiti, notando che gli attuali sistemi si affidano a input visivi 2D e mancano di una percezione 3D esplicita, il che può comunque portare a collisioni in strutture 3D complesse. Suggeriscono che il lavoro futuro potrebbe integrare la predizione di profondità o occupanza.