Sintesi Tecnica: LocalNav

Problematica

I Modelli Vision-Language (VLM) hanno rivoluzionato la navigazione incarnata (embodied navigation) consentendo una navigazione verso obiettivi di tipo Object Goal (ObjectNav) a vocabolario aperto, permettendo agli agenti di localizzare target semanticamente complessi (ad es. "cassetti sotto il microonde") piuttosto che semplici categorie generiche. Tuttavia, esiste un collo di bottiglia critico: i VLM allo stato dell'arte (SotA) sono computazionalmente proibitivi per l'esecuzione locale su hardware robotico con risorse limitate (ad es. GPU embedded come la Jetson Orin). Di conseguenza, questi sistemi sono tipicamente confinati all'esecuzione in cloud, introducendo latenza di rete e problemi di dipendenza che ostacolano il controllo robotico in tempo reale a bassa latenza.

Gli approcci esistenti affrontano una dicotomia:

1. Predizione di Azioni di Basso Livello (VLA): Questi modelli predicono azioni discrete direttamente ma richiedono un'inferenza continua (5–10 Hz), imponendo un carico computazionale severo che è difficile da sostenere su dispositivi edge.
2. Processo Decisionale di Alto Livello: Questi sistemi utilizzano i VLM in modo sparso per il ragionamento astratto (ad es. tramite Scene Graph) delegando il controllo di basso livello a policy dedicate. Sebbene ciò riduca i vincoli di latenza, le implementazioni SotA si affidano a massicci modelli frontier legati al cloud, fallendo nel raggiungere una distribuzione completamente locale.

La sfida è ottenere le prestazioni di navigazione ObjectNav a vocabolario aperto dello stato dell'arte su hardware deployable all'edge, senza sacrificare le capacità di ragionamento dei grandi modelli frontier.

Metodologia

Gli autori propongono LocalNav, un framework orientato al deployment che integra un'architettura modulare basata su Scene Graph (SG) con una pipeline di distillazione e ottimizzazione in due fasi.

1. Architettura del Sistema

Il sistema decupla il ragionamento di alto livello dal controllo di basso livello:

• Rappresentazione della Scena: Un Scene Graph (SG) esplicito, aggiornato online, costruito da dati RGB-D e odometria. Esso codifica stanze, oggetti e frontiere di esplorazione.
• Strategia di Prompting: Il VLM riceve un prompt multimodale composto da:
  • Testo: Un elenco della posizione attuale dell'agente, stanze esplorate/non esplorate e oggetti osservati con i relativi ID.
  • Immagine: Il frame RGB corrente aumentato dai ID proiettati degli oggetti del SG visibili (ispirato al prompting "set-of-marks") per ancorare gli ID simbolici in regioni visive.
• Spazio delle Azioni: Il VLM seleziona tra quattro azioni di alto livello: navigate(object_id), explore(room_id), find_new_rooms() o done(). Una policy dedicata PointGoal esegue il movimento fisico.

2. Pipeline di Addestramento

Per abilitare l'esecuzione locale, gli autori impiegano una strategia di addestramento in due fasi su un modello leggero Qwen3.5-4B:

• Fase I: Supervised Fine-Tuning (SFT) tramite Distillazione:

  • Modelli Teacher: Le tracce di ragionamento vengono registrate da modelli cloud frontier (Gemini 3.1 Pro, GPT-5.4 e Claude Sonnet 4.6) che eseguono ObjectNav in simulazione.
  • Efficienza dei Dati: Solo le traiettorie di successo (circa 500 campioni per teacher) vengono utilizzate per il fine-tuning del modello student. Ciò evita la necessità di milioni di campioni o di un complesso allineamento nello spazio delle feature.
  • Obiettivo: Trasferire le capacità di ragionamento spaziale-semantico complesso dai grandi modelli cloud al modello locale con 4 miliardi di parametri.

• Fase II: Reinforcement Learning Embodied da Ricompense Verificabili (E-RLVR):

  • Obiettivo: Affrontare il collo di bottiglia della latenza di inferenza causato dalla verbosa generazione autoregressiva di token (TG).
  • Meccanismo: Il modello viene addestrato in una simulazione a ciclo chiuso utilizzando Group Relative Policy Optimization (GRPO) con Low Rank Adaptation (LoRA).
  • Funzione di Ricompensa ($R_{tot}$): Una ricompensa multi-obiettivo combina:
    • $R_{done}$: Successo/fallimento nel raggiungere l'obiettivo.
    • $R_{nav}$: Progresso verso l'obiettivo.
    • $R_{exp}$: Scoperta di nuovi nodi o dell'obiettivo nel SG.
    • $R_{brev}$: Brevità dei Token. Una ricompensa lineare che penalizza le sequenze di output lunghe, incentivando il modello a comprimere il proprio ragionamento senza perdere l'accuratezza della navigazione.
  • Risultato: Il modello impara a "pensare" in modo efficiente, riducendo la lunghezza della sequenza di output pur mantenendo le prestazioni di navigazione.

3. Ottimizzazione del Deployment

Il sistema finale viene distribuito su una Jetson Orin AGX utilizzando llama.cpp. Gli autori applicano la quantizzazione (specificamente il formato IQ4-XS) per accelerare ulteriormente la fase di decoding autoregressivo, che costituisce la maggior parte del tempo di esecuzione.

Contributi Chiave

1. Ottimizzazione VLM Locale: Dimostrato che un VLM con 4 miliardi di parametri può essere ottimizzato per l'ObjectNav, raggiungendo un Success Rate (SR) del 34,5% sul benchmark HM3D OVON, riducendo il divario rispetto ai modelli basati su cloud (39,7% SR).
2. Analisi della Distillazione: Mostrato che distillare il ragionamento dai modelli frontier usando un dataset minimo (~500 tracce) è sufficiente per trasferire capacità di navigazione complesse, evitando la necessità di enormi dataset SFT.
3. Strategia di Addestramento E-RLVR: Introdotto un approccio di reinforcement learning che regolarizza esplicitamente la lunghezza della generazione dei token. Questo ha ridotto la lunghezza della sequenza di output del 72,1% e la latenza di inferenza del 71,8% senza degradare significativamente le prestazioni di navigazione.
4. Architettura di Sistema Performante: Costruito un sistema di navigazione modulare basato su SG che supporta la sostituzione "drop-in" dei VLM, raggiungendo prestazioni SotA (39,7% SR) con i modelli cloud e un deployment locale fattibile.

Risultati

• Performance del Benchmark:
  • Cloud Baseline (Claude Sonnet 4.6): 39,7% SR, 19,7% SPL.
  • Local Student (Qwen3.5-4B + SFT + E-RLVR): 34,5% SR, 17,2% SPL.
  • Il modello locale raggiunge un divario di prestazioni di soli 5,2 punti percentuali in SR rispetto al modello frontier in cloud.
• Guadagni di Efficienza:
  • Riduzione dei Token: L'E-RLVR ha ridotto i token medi di output per query da ~535 a ~149 (una riduzione del 72,1%).
  • Latenza: Combinata con la quantizzazione, il sistema ha ottenuto una riduzione dell'82,8% della latenza di inferenza complessiva per episodio (da 305,2s a 52,5s su Jetson Orin).
  • Frequenza di Query: Il numero di query VLM per episodio è stato ridotto da ~30 (zero-shot) a ~8 (ottimizzato).
• Validazione nel Mondo Reale: Il sistema è stato distribuito con successo su un dispositivo robotico portatile in un appartamento reale, completando quattro task sequenziali di ObjectNav (trovare un divano, un pianoforte, una vasca da bagno e una persona a un tavolo) sfruttando il SG per memoria e navigazione.

Significato

Il paper sostiene che LocalNav presenta un paradigma valido per l'intelligenza incarnata ad alta prestazione e bassa latenza su hardware robotico fisico. Combinando il processo decisionale di alto livello modulare con una distillazione efficiente e la regolarizzazione dei token, gli autori dimostrano che i dispositivi edge con risorse limitate possono eseguire complessi task di navigazione a vocabolario aperto senza dipendere da connessioni cloud. Questo lavoro colma il divario tra le capacità di ragionamento dei modelli frontier e i vincoli pratici del deployment robotico on-board, offrendo una strada verso agenti autonomi a vocabolario aperto realmente efficaci.