Path-conditioned Reinforcement Learning-based Local Planning for Long-Range Navigation

1. Il Problema

La navigazione a lungo raggio per robot autonomi è tradizionalmente affrontata tramite pipeline gerarchiche: un pianificatore globale genera un percorso (suddiviso in waypoint) che viene seguito sequenzialmente da un pianificatore locale. Tuttavia, questo approccio presenta due criticità principali:

1. Sensibilità alla qualità del percorso globale: Se i dati di telerilevamento sono imprecisi, il percorso globale può generare waypoint localmente non fattibili, degradando l'esecuzione locale.
2. Mancanza di contesto globale: Il pianificatore locale spesso ha accesso limitato al contesto globale (es. un singolo waypoint), costringendolo a fare affidamento su esplorazione reattiva che porta a traiettorie inefficienti, ripetizione di vicoli ciechi e scarsa efficienza a lungo raggio.

L'obiettivo è sviluppare una politica di navigazione locale basata sul Reinforcement Learning (RL) che possa sfruttare le informazioni del percorso globale come guida contestuale, senza però vincolarsi rigidamente al suo seguito, mantenendo la capacità di deviare quando il percorso fornito è fuorviante o subottimale.

2. Metodologia

Gli autori propongono un framework di RL "consapevole del percorso" (path-aware) che condiziona la politica locale sulle osservazioni del percorso di riferimento.

A. Rappresentazione e Codifica del Percorso

• Input: L'agente riceve immagini di profondità, posizione relativa dell'obiettivo, feedback propriocettivo e una rappresentazione relativa del percorso di riferimento $\tilde{P}_t$.
• Codifica: Il percorso è definito come una sequenza di $N$ waypoint. Ogni waypoint viene trasformato in una rappresentazione aumentata che include la direzione normalizzata e la distanza logaritmica (per gestire grandi variazioni di scala).
• Architettura Neurale: Viene utilizzata una combinazione di Self-Attention (per catturare la struttura globale del percorso) e Cross-Attention (per permettere alla politica di focalizzarsi selettivamente su segmenti rilevanti, come curve strette o deviazioni critiche). Un embedding di query apprendibile permette al modello di attendere alle regioni più informative del percorso in base al contesto di navigazione attuale.

B. Strategia di Addestramento

• Generazione del Percorso: Invece di addestrare solo su percorsi ottimali, il sistema campiona percorsi da una distribuzione controllata che include soluzioni fattibili ma subottimali. Vengono utilizzati algoritmi come A* (ottimale) e Greedy Best-First Search (GBFS) con euristiche distorte per generare percorsi con deviazioni.
• Perturbazione: I percorsi vengono intenzionalmente perturbati con rumore (spostamento dei waypoint fino a 2m) per renderli localmente non fattibili, costringendo la politica a imparare a ignorare le guide ingannevoli.
• Funzione di Ricompensa: La ricompensa è puramente guidata dall'obiettivo (goal-reaching) e dalla stabilità, senza alcun termine esplicito di "seguimento del percorso".
  • Viene introdotta una ricompensa aggiuntiva per le "scorciatoie" (shortcut reward): se l'agente compie progressi significativi verso l'obiettivo bypassando un tratto del percorso di riferimento, riceve una ricompensa positiva. Questo incentiva la deviazione opportunistica quando il percorso suggerito è inefficiente.

C. Architettura

La politica è addestrata con un pipeline Asymmetric Actor-Critic (PPO). La codifica del percorso viene fusa con le osservazioni percettive (immagine di profondità) e propriocettive, permettendo all'agente di prendere decisioni basate sia sul contesto globale che sull'ambiente locale immediato.

3. Contributi Chiave

1. Architettura di Navigazione Condizionata al Percorso: Introduzione di una politica che apprende una rappresentazione strutturata del percorso globale e la fonde con le osservazioni percettive, permettendo un comportamento anticipatorio.
2. Strategia di Addestramento Condizionata: Un metodo di training che espone la politica a percorsi rumorosi e subottimali, insegnandole a utilizzare le informazioni globali in modo selettivo e robusto, senza vincoli espliciti di inseguimento.
3. Validazione nel Mondo Reale: Il metodo è stato validato non solo in simulazione (Isaac Sim) su terreni procedurali complessi, ma anche con un robot quadrupede Unitree B2W in un ambiente interno reale, dimostrando un efficace trasferimento Sim-to-Real.

4. Risultati Sperimentali

• Efficienza con Percorsi di Alta Qualità: Quando viene fornito un percorso di riferimento ottimale, il modello proposto migliora l'SPL (Success weighted by Path Length) del 7,02% rispetto alla baseline (un modello RL senza condizionamento del percorso), riducendo esplorazioni inutili e deviazioni.
• Robustezza a Percorsi Degradati: Quando il percorso di riferimento è rumoroso o subottimale, le prestazioni del modello rimangono comparabili alla baseline. A differenza dei metodi che seguono rigidamente il percorso, il modello proposto non subisce un degrado delle prestazioni, ignorando le guide fuorvianti.
• Ablation Study:
  • L'uso di un query apprendibile nell'attenzione cross-ottiene le migliori prestazioni di apprendimento.
  • L'addestramento con rumore e ricompense per scorciatoie è fondamentale per la robustezza; senza questi elementi, la politica tende a seguire ciecamente percorsi imperfetti.
• Test nel Mondo Reale: Il robot ha navigato con successo in un edificio universitario su percorsi lunghi (~90m), evitando corridoi pericolosi o scale non necessarie suggeriti da un percorso globale imperfetto, dimostrando la capacità di integrare la pianificazione globale con la percezione locale.

5. Significato e Implicazioni

Questo lavoro colma il divario tra l'esplorazione puramente orientata all'obiettivo (spesso inefficiente) e il controllo condizionato al percorso (spesso rigido).

• Adattabilità all'Incertezza: Il metodo è particolarmente adatto per scenari di navigazione a lungo raggio in cui la pianificazione di alto livello è approssimativa o basata su mappe incomplete.
• Robustezza Intrinseca: La capacità di "dimenticare" un percorso globale quando diventa dannoso, senza bisogno di un modulo di verifica esplicito, rende il sistema più robusto in ambienti dinamici e non strutturati.
• Efficienza: Permette di sfruttare le informazioni globali per accelerare la navigazione quando disponibili, mantenendo la sicurezza e l'efficienza anche quando tali informazioni sono assenti o errate.

In sintesi, il paper propone una soluzione elegante per la navigazione autonoma che bilancia l'uso di guide globali con la flessibilità necessaria per operare in ambienti reali incerti, superando i limiti degli approcci gerarchici tradizionali.