Technische Samenvatting: Qwen-RobotNav

Probleemstelling

Embodied navigatie omvat een diverse familie van taken—waaronder instructieopvolging, puntdoelnavigatie, objectzoeken, doelwittracking en autonoom rijden. Hoewel recente verenigde navigatiemodellen hebben aangetoond dat één enkele architectuur verschillende taakfamilies kan afhandelen, voldoen ze niet aan een cruciale vereiste voor agentische navigatiesystemen: de behoefte aan een observatiestrategie die tijdens de inferentie extern geconfigureerd kan worden.

Verschillende navigatietaken vereisen fundamenteel andere temporele context en geheugenstrategieën. Instructieopvolging vereist bijvoorbeeld het behouden van observaties die tientallen eerdere stappen beslaan om verre oriëntatiepunten opnieuw te refereren, terwijl doelwittracking zich bijna uitsluitend richt op de meest recente frames en verouderde historie als ruis behandelt. Objectzoeken compliceert dit verder door de vereisten binnen één episode te verschuiven (van brede globale geheugen tijdens exploratie naar nauwe, op recentheid gerichte aandacht tijdens de benadering). Bestaande verenigde modellen (bijv. NavFoM, ABot-N0) implementeren een enkele, vaste aanname over welke observaties belangrijk zijn (bijv. uniforme sub-sampling of sliding windows), waardoor ze niet halverwege een episode kunnen adapteren of als flexibele bouwstenen voor hogere-orde planners kunnen dienen.

Methodologie

De auteurs introduceren Qwen-RobotNav, een schaalbaar navigatiemodel gebouwd op de Qwen3-VL backbone. In plaats van taalspecifieke architecturen te ontwerpen, herformuleren de auteurs de uitdaging als observatie-contextmodellering. De kerninnovatie is een geparameteriseerde interface die een externe agent in staat stelt om dynamisch te configureren hoe het model de visuele stroom consumeert zonder architecturale modificatie of taalspecifieke hertraining.

1. Architectuur en Interface

Qwen-RobotNav erft de Qwen3-VL vision encoder en taal-backbone, uitgebreid met een lichtgewicht 4-laagse MLP actie-head die een 8-waypoint traject $(x, y, \theta)$ voorspelt. Het model biedt twee complementaire configuratiedimensies:

• Taakmodi: Het model ondersteunt meerdere modi (VLN, PointNav, ObjNav, Tracking) die selecteerbaar zijn via natuurlijke taal prompts. Dit zijn geen aparte policies, maar verschillende interfaces naar dezelfde modelgewichten.
• Controleerbare Observatieparameters: Het model accepteert een configuratie $\Phi = (B, \gamma, \{w_c\}, m, b_{min}, b_{max})$ die de toewijzing van visuele tokens regelt:
  • Token Budget ($B$): Totaal aantal visuele tokens over alle camera's en tijdstappen.
  • Temporele Decay ($\gamma$): Controleert de recentheidsbias, waarbij recente frames zwaarder worden gewogen dan oudere frames.
  • Camera Gewichten ($w_c$): Per-camera belangsmultiplicatoren (bijv. de voorste camera wordt zwaarder gewogen dan de achterste).
  • Frame Sampling ($m$): Random (globale dekking) of Laatste (recentheidsvenster).

2. Taakadaptieve Observatie-encodering

Het model maakt gebruik van een beperkt token-allocatie-algoritme. Gegeven een budget $B$, verdeelt het tokens over $T'$ frames en $N$ camera's op basis van een gezamenlijke gewichtsmatrix $W[t, c] = \omega_t \cdot w_c$. Het algoritme waarborgt een minimumvloer ($b_{min}$) en een maximumplafond ($b_{max}$) per afbeelding, en herverdeelt overtollige tokens iteratief. Dit stelt het model in staat om de resolutie en contextlengte dynamisch aan te passen aan de behoeften van de taak (bijv. hoge resolutie voor recente frames bij tracking, bredere dekking tijdens exploratie).

3. Trainingsstrategie

• Schaal Data: Het model wordt getraind op 15,6 miljoen samples, bestaande uit 85% navigatie-trajectplanning data (variërend van instructieopvolging, point-goal, object-goal, tracking, tot autonoom rijden) en 15% navigatie-gerelateerde visuele taal-redeneerdata.
• Training-tijd Randomisatie: Een cruciaal ontwerpprincipe is dat geen enkele observatieconfiguratie vaststaat tijdens de training. Hyperparameters ($B, \gamma, w_c$, etc.) worden per sample onafhankelijk gerandomiseerd. Dit zorgt ervoor dat het model generaliseert naar elke inferentie-tijd configuratie zonder taalspecifieke afstemming.
• Co-training: Visuele taal-redeneerdata wordt co-getraind om "instorting" naar reactieve actie-sequentie mappers te voorkomen, waardoor de open-world perceptie en ruimtelijke redeneerkracht van het model behouden blijven.
• Embodiment Bewustzijn: Verschillende fysieke platforms (robots versus auto's) worden onderscheiden via natuurlijke taal prompt-preambles (bijv. "Stel je voor dat je een robot bent..."), wat nul architecturale wijzigingen vereist.

4. Agentische Navigatiesysteem

Qwen-RobotNav is ontworpen als een reactieve executor binnen een hiërarchisch agentisch systeem. Een hogere-orde planner (bijv. Qwen3.6-Plus) deelt langdurige doelen op in sub-taken, waarbij de taakmodus en contextstrategie van Qwen-RobotNav halverwege een episode dynamisch worden gewisseld. Het systeem onderhoudt een tweelaags geheugen: een compacte single-episode samenvatting en een persistente cross-episode "bewijs-notitieblok" voor langdurige redenering.

Belangrijkste Bijdragen

1. Geparametriseerde Navigatie Interface: Een verenigd model dat externe herconfiguratie van observatiestrategieën (token budget, temporele decay, cameragewichten) tijdens de inferentie mogelijk maakt, waardoor één enkel model diverse taken en dynamische subdoelen kan dienen.
2. Training-tijd Randomisatie: Een trainingsregime dat het model blootstelt aan een brede combinatorische ruimte van contextconfiguraties, wat robuuste zero-shot generalisatie naar elke inferentie-setting garandeert zonder fine-tuning.
3. Agentische Bouwsteen: Een demonstratie van hoe een navigatie foundation model kan dienen als een modulaire, herconfigureerbare primitief voor complexe agentische systemen, wat langdurige taken zoals Embodied Question Answering (EQA) mogelijk maakt door dynamische taakwisseling.
4. Schaalbare Multi-task Learning: Gezamenlijke training over vijf verschillende taakfamilies (inclusclusief autonoom rijden) ontwikkelt een gedeelde ruimtelijke-planning substraat die overdraagbaar is tussen taakfamilies en embodiments.

Experimentele Resultaten

Qwen-RobotNav bereikt state-of-the-art (SOTA) of concurrerende resultaten over diverse benchmarks:

• Vision-and-Language Navigation (VLN-CE):
  • RxR Val-Unseen: 76,5% Success Rate (SR) en 72,5 nDTW (8B model), wat NavFoM met 12,1% SR overtreft.
  • R2R Val-Unseen: 72,1% SR (8B model), wat NavFoM met 10,4% SR overtreft.
  • VLNVerse: 63,75% SR op fine-grained en 46,59% SR op coarse-grained splits, waarmee het NavFoM en Uni-NaVid significant overtreft.
• Object-Goal Navigation:
  • HM3D v2: 75,6% SR (4B model), wat een nieuwe SOTA vestigt op deze benchmark ondanks het gebruik van enkel RGB-observaties (geen diepte).
  • HM3D-OVON: 57,7% SR op de Seen split en 60,1% op Synonyms, waarmee het ABot-N0 overtreft ondanks het gebruik van een enkele voorwaartse camera tegenover de panoramische input van ABot-N0.
• Actieve Visuele Tracking (EVT-Bench):
  • Behaalt de hoogste tracking rate (90,0% TR) van alle geëvalueerde methoden, waarmee het ABot-N0 (87,6%) en TrackVLA++ (81,0%) overtreft.
• Autonoom Rijden (NAVSIM):
  • Behaalt 91,4 PDMS (4B model) en 90,9 PDMS (8B model), waarmee het NavFoM, AutoVLA en andere gespecialiseerde rijmodellen overtreft.
• Embodied Question Answering (EQA):
  • Een agentisch systeem gebouwd met Qwen-RobotNav zet nieuwe SOTA op HM-EQA (76,7 SR), MT-HM3D (54,4 SR), en EXPRESS-Bench (79,27 LLM Score), wat een verbetering is van respectievelijk 10,8% en 15,4% ten opzichte van de beste eerdere methode, terwijl het 77% minder navigatiestappen vereist.
• Real-World Deployment:
  • Gedemonstreerd via zero-shot transfer naar een Unitree Go2 quadruped robot in een echte tentoonstellingshal, waarbij complexe taalinstructies (bijv. "loop achteruit", "stop naast de bank") en langdurige agentische taken (bijv. een specifiek object vinden en observaties rapporteren) succesvol werden uitgevoerd.

Betekenis en Claims

Het artikel claimt dat Qwen-RobotNav een verschuiving vertegenwoordigt van het ontwerpen van vaste navigatiepolicies naar het creëren van herconfigureerbare navigatieprimitieven. Door de observatiecontext te behandelen als een eerste-orde, extern controleerbare vrijheidsgraad, overbrugt het model de kloof tussen gespecialiseerde taakprestaties en de flexibiliteit die vereist is voor agentische systemen.

De auteurs benadrukken dat de geparameteriseerde interface het mogelijk maakt dat complexe langdurige gedragingen voortkomen uit de compositie van eenvoudige, goed gedefinieerde werkmodi (bijv. wisselen van "globale historie modus" voor exploratie naar "recentheid-gerichte modus" voor lokale manoeuvres). Bovendien behoudt het gebruik van natuurlijke taal voor viewpoint en temporele identificatie de open-world taal-grounding van het model zonder architecturale overhead.

De resultaten valideren dat een verenigd model, getraind met gerandomiseerde contextstrategieën, superieure prestaties kan leveren over instructieopvolging, objectzoeken, tracking en rijden, terwijl het dient als een robuuste, zero-shot overdraagbare component voor algemene embodied agents. Het werk suggereert dat taakadaptieve observatie-encodering een veelbelovende richting is voor het bouwen van navigatie foundation modellen die zowel breed inzetbaar als praktisch inzetbaar zijn.