Riepilogo Tecnico: Qwen-RobotNav

Definizione del Problema

La navigazione incarnata (embodied navigation) comprende una vasta gamma di compiti — tra cui il seguire istruzioni, la navigazione verso un obiettivo puntuale (point-goal), la ricerca di oggetti, l'inseguimento di bersagli e la guida autonoma. Sebbene i recenti modelli di navigazione unificati abbiano dimostrato che un'unica architettura può gestire diverse famiglie di compiti, essi non riescono ad affrontare un requisito critico per i sistemi di navigazione agentici: la necessità di una strategia di osservazione che possa essere riconfigurata esternamente al momento dell'inferenza.

Diversi compiti di navigazione richiedono contesti temporali e strategie di memoria fondamentalmente differenti. Ad esempio, il seguire istruzioni richiede di mantenere osservazioni che coprano decine di passi precedenti per fare riferimento a punti di riferimento distanti, mentre l'inseguimento di un bersaglio si basa quasi esclusivamente sugli ultimi frame, trattando la cronologia obsoleta come rumore. La ricerca di oggetti complica ulteriormente il quadro, spostando i requisiti all'interno di un singolo episodio (dalla memoria globale ampia durante l'esplorazione a un'attenzione focalizzata sulla recenza durante l'avvicinamento). I modelli unificati esistenti (ad es., NavFoM, ABot-N0) incorporano un'unica assunzione fissa su quali osservazioni siano rilevanti (ad es., sottocampionamento uniforme o finestre scorrevoli), rendendoli incapaci di adattarsi a metà episodio o di servire come blocchi costruttivi flessibili per pianificatori di alto livello.

Metodologia

Gli autori introducono Qwen-RobotNav, un modello di navigazione scalabile basato sull'architettura Qwen3-VL. Invece di progettare architetture specifiche per ogni compito, gli autori riformulano la sfida come modellazione del contesto di osservazione. L'innovazione principale è un interfaccia parametrizzata che consente a un agente esterno di configurare dinamicamente il modo in cui il modello consuma il flusso visivo senza modifiche architettoniche o riaddestramento specifico per il compito.

1. Architettura e Interfaccia

Qwen-RobotNav eredita l'encoder visivo Qwen3-VL e il backbone linguistico, aumentati da una testa d'azione MLP leggera a 4 strati che predice una traiettoria a 8 waypoint $(x, y, \theta)$. Il modello espone due dimensioni di configurazione complementari:

• Modalità di Compito (Task Modes): Il modello supporta molteploche modalità (VLN, PointNav, ObjNav, Tracking) selezionabili tramite prompt in linguaggio naturale. Queste non sono policy separate, ma diverse interfacce per gli stessi pesi del modello.
• Parametri di Osservazione Controllabili: Il modello accetta una configurazione $\Phi = (B, \gamma, \{w_c\}, m, b_{min}, b_{max})$ che governa l'allocazione dei token visivi:
  • Budget di Token ($B$): Totale dei token visivi attraverso tutte le telecamere e i tempi.
  • Decadimento Temporale ($\gamma$): Controlla il bias di recenza, dando maggior peso ai frame più recenti rispetto a quelli più vecchi.
  • Pesi delle Telecamere ($w_c$): Moltiplicatori di importanza per singola telecamera (ad es., la telecamera anteriore ha un peso maggiore rispetto alla posteriore).
  • Campionamento dei Frame ($m$): Casuale (copertura globale) o Recente (finestra di recenza).

2. Codifica dell'Osservazione Adattiva al Compito

Il modello impiega un algoritmo di allocazione dei token vincolato. Dato un budget $B$, distribuisce i token tra $T'$ frame e $N$ telecamere basandosi su una matrice di peso congiunta $W[t, c] = \omega_t \cdot w_c$. L'algoritmo garantisce un pavimento minimo ($b_{min}$) e un soffitto massimo ($b_{max}$) per immagine, ridistribuendo i token in eccesso in modo iterativo. Ciò consente al modello di regolare dinamicamente la risoluzione e la lunghezza del contesto in base alle esigenze del compito (ad es., alta risoluzione per i frame recenti nel tracking, copertura più ampia per l'esplorazione).

3. Strategia di Addestramento

• Scala dei Dati: Il modello è addestrato su 15,6 milioni di campioni, che comprendono l'85% di dati di pianificazione della traiettoria di navigazione (che spaziano dal seguire istruzioni, point-goal, object-goal, tracking e guida autonoma) e il 15% di dati di ragionamento visione-linguaggio relativi alla navigazione.
• Randomizzazione durante l'Addestramento: Un principio di design critico è che nessuna configurazione di osservazione è fissa durante l'addestramento. Gli iperparametri ($B, \gamma, w_c$, ecc.) sono randomizzati indipendentemente per ogni campione. Ciò assicura che il modello generalizzi a qualsiasi configurazione di inferenza senza tuning specifico per il compito.
• Co-addestramento: I dati di ragionamento visione-linguaggio sono co-addestrati per prevenire il "collasso" in semplici mappatori di sequenze d'azione reattive, preservando le capacità di percezione in mondo aperto e di ragionamento spaziale del modello.
• Consapevolezza dell'Embodiment: Diverse piattaforme fisiche (robot vs auto) sono distinte tramite preamboli in linguaggio naturale (ad es., "Immagina di essere un robot..."), richiedendo zero cambiamenti architettonici.

4. Sistema di Navigazione Agentico

Qwen-RobotNav è progettato come un esecutore reattivo all'interno di un sistema agentico gerarchico. Un pianificatore di livello superiore (ad es., Qwen3.6-Plus) decompone obiettivi a lungo termine in sottotari, passando dinamicamente la modalità di compito e la strategia di contesto di Qwen-RobotNav a metà episodio. Il sistema mantiene una memoria a due livelli: un riassunto compatto del singolo episodio e un "taccuino delle evidenze" persistente trans-episodico per il ragionamento a lungo termine.

Contributi Chiave

1. Interfaccia di Navigazione Parametrizzata: Un modello unificato che consente la riconfigurazione esterna delle strategie di osservazione (budget di token, decadimento temporale, pesi delle telecamere) al momento dell'inferenza, permettendo a un singolo modello di servire compiti diversi e sottogiobi dinamici.
2. Randomizzazione durante l'Addestramento: Un regime di addestramento che espone il modello a un ampio spazio combinatorio di configurazioni di contesto, garantendo una robusta generalizzazione zero-shot a qualsiasi impostazione di inferenza senza fine-tuning.
3. Blocco Costruttivo Agentico: Una dimostrazione di come un modello di navigazione foundation possa servire come un primitivo modulare e riconfigurabile per sistemi agentici complessi, abilitando compiti a lungo termine come l'Embodied Question Answering (EQA) attraverso il cambio dinamico di compito.
4. Apprendimento Multi-Task Scalabile: Il co-addestramento attraverso cinque distinte famiglie di compiti (inclusa la guida autonoma) sviluppa un substrato di pianificazione spaziale condiviso che si trasferisce tra le famiglie di compiti e gli embodiment.

Risultati Sperimentali

Qwen-RobotNav raggiunge risultati allo stato dell'arte (SOTA) o competitivi in vari benchmark:

• Vision-and-Language Navigation (VLN-CE):
  • RxR Val-Unseen: 76,5% Success Rate (SR) e 72,5 nDTW (modello 8B), superando NavFoM del 12,1% in SR.
  • R2R Val-Unseen: 72,1% SR (modello 8B), superando NavFoM del 10,4% in SR.
  • VLNVerse: 63,75% SR su split fine-grained e 46,59% SR su split coarse-grained, superando significativamente NavFoM e Uni-NaVid.
• Object-Goal Navigation:
  • HM3D v2: 75,6% SR (modello 4B), stabilendo un nuovo SOTA su questo benchmark nonostante utilizzi solo osservazioni RGB (senza profondità).
  • HM3D-OVON: 57,7% SR sulla split Seen e 60,1% su Synonym, superando ABot-N0 nonostante utilizzi una singola telecamera frontale rispetto all'input panoramico di ABot-N0.
• Inseguimento Visivo Attivo (EVT-Bench):
  • Raggiunge il più alto tasso di inseguimento (90,0% TR) tra tutti i metodi valutati, superando ABot-N0 (87,6%) e TrackVLA++ (81,0%).
• Guida Autonoma (NAVSIM):
  • Raggiunge 91,4 PDMS (modello 4B) e 90,9 PDMS (modello 8B), superando NavFoM, AutoVLA e altri modelli di guida specializzati.
• Embodied Question Answering (EQA):
  • Un sistema agentico costruito con Qwen-RobotNav stabilisce nuovi SOTA su HM-EQA (76,7 SR), MT-HM3D (54,4 SR) ed EXPRESS-Bench (79,27 LLM Score), migliorando rispetto al miglior metodo precedente rispettivamente del 10,8% e del 15,4%, pur richiedendo il 77% in meno di passi di navigazione.
• Deployment nel Mondo Reale:
  • Dimostrato il trasferimento zero-shot a un robot quadrupede Unitree Go2 in una sala espositiva reale, eseguendo con successo istruzioni linguistiche complesse (ad es., "cammina all'indietro", "fermati accanto al divano") e compiti agentici a lungo termine (ad es., trovare un oggetto specifico e riportare le osservazioni).

Significato e Rivendicazioni

L'articolo sostiene che Qwen-RobotNav rappresenti un passaggio dalla progettazione di policy di navigazione fisse alla creazione di primitivi di navigazione riconfigurabili. Trattando il contesto di osservazione come un grado di libertà primario ed esternamente controllabile, il modello colma il divario tra prestazioni specializzate per compito e la flessibilità richiesta dai sistemi agentici.

Gli autori sottolineano che l'interfaccia parametrizzata permette l'emergere di comportamenti complessi a lungo termine dalla composizione di modalità di lavoro semplici e ben definite (ad es., passare dalla "modalità di storia globale" per l'esplorazione alla "modalità focalizzata sulla recenza" per le manovre locali). Inoltre, l'uso del linguaggio naturale per l'identificazione del punto di vista e temporale preserva il grounding linguistico in mondo aperto del modello senza sovraccarichi architettonici.

I risultati validano che un modello unificato, addestrato con strategie di contesto randomizzate, può raggiungere prestazioni superiori in istruzioni, ricerca di oggetti, inseguimento e guida, fungendo al contempo da componente robusto e trasferibile zero-shot per agenti general-purpose. Il lavoro suggerisce che la codifica dell'osservazione adattiva al compito sia una direzione promettente per costruire modelli di navigazione foundation che siano sia ampiamente capaci che praticamente implementabili.