Technische Samenvatting: LocalNav

Probleemstelling

Vision-Language Models (VLM's) hebben belichaamde navigatie gerevolutioneerd door open-vocabulary Object Goal Navigation (ObjectNav) mogelijk te maken, waardoor agenten specifieke, semantisch complexe doelen kunnen lokaliseren (bijv. "laden onder de magnetron") in plaats van generieke categorieën. Echter, een kritieke flessenhals bestaat: state-of-the-art (SotA) VLM's zijn computationeel te zwaar voor lokale uitvoering op hardware met beperkte middelen (bijv. embedded GPU's zoals de Jetson Orin). Gevolgelijk zijn deze systemen meestal beperkt tot cloud-executie, wat netwerklatentie en afhankelijkheidsproblemen introduceert die real-time robotische controle met lage latentie hinderen.

Bestaande benaderingen kampen met een dichotomie:

1. Lage-niveau Actievoorspelling (VLA's): Deze modellen voorspellen discrete acties direct maar vereisen continue inferentie (5–10 Hz), wat een zware computationele last legt die moeilijk vol te houden is op edge-apparaten.
2. Hoge-niveau Besluitvorming: Deze systemen gebruiken VLM's spaarzaam voor abstract redeneren (bijv. via Scene Graphs) terwijl ze de lage-niveau controle delegeren aan toegewijde policies. Hoewel dit de latentie-eisen verlicht, vertrouwen SotA-implementaties op massieve, cloud-gebonden frontier-modellen, waardoor volledige lokale deployment mislukt.

De uitdaging is om SotA open-vocabulary ObjectNav-prestaties te bereiken op lokale, edge-deploybare hardware zonder de redeneercapaciteiten van grote frontier-modellen op te offeren.

Methodologie

De auteurs stellen LocalNav voor, een deployment-georiënteerd framework dat een modulaire, op Scene Graph (SG)-gebaseerde architectuur integreert met een tweestaps distillatie- en optimalisatiepipeline.

1. Systeemarchitectuur

Het systeem ontkoppelt hoge-niveau redeneren van lage-niveau controle:

• Scene Representatie: Een expliciete, online bijgewerkte Scene Graph (SG) geconstrueerd uit RGB-D data en odometrie. Het codeert kamers, objecten en exploratie-frontiers.
• Prompting Strategie: De VLM ontvangt een multimodale prompt bestaande uit:
  • Tekst: Een lijst van de huidige locatie van de agent, verkende/onverkende kamers en geobserveerde objecten met ID's.
  • Afbeelding: Het huidige RGB-frame, verrijkt met geprojecteerde ID's van zichtbare SG-objecten (geïnspireerd door "set-of-marks" prompting) om symbolische ID's te grond in visuele regio's.
• Actieruimte: De VLM selecteert uit vier hoge-niveau acties: navigate(object_id), explore(room_id), find_new_rooms() of done(). Een toegewijde lage-niveau PointGoal policy voert de fysieke beweging uit.

2. Trainingspipeline

Om lokale uitvoering mogelijk te maken, gebruiken de auteurs een tweestaps trainingsstrategie op een lichtgewicht Qwen3.5-4B model:

• Fase I: Supervised Fine-Tuning (SFT) via Distillatie:

  • Teacher Modellen: Redeneer-traces worden opgenomen van frontier cloud-modellen (Gemini 3.1 Pro, GPT-5.4, en Claude Sonnet 4.6) die ObjectNav uitvoeren in simulatie.
  • Data-efficiëntie: Alleen succesvolle trajecten (ongeveer 500 samples per teacher) worden gebruikt om het student-model te finetunen. Dit voorkomt de noodzaak voor miljoenen samples of complexe feature-space alignment.
  • Doel: Het overdragen van complexe ruimtelijke-semantische redeneercapaciteiten van de grote cloud-modellen naar het 4B-parameter lokale model.

• Fase II: Embodied Reinforcement Learning from Verifiable Rewards (E-RLVR):

  • Doelstelling: Het aanpakken van de inferentie-latentie bottleneck veroorzaakt door verbloemde autoregressieve tokengeneratie (TG).
  • Mechanisme: Het model wordt getraind in een closed-loop simulatie met behulp van Group Relative Policy Optimization (GRPO) met Low Rank Adaptation (LoRA).
  • Beloningsfunctie ($R_{tot}$): Een multi-objective beloning combineert:
    • $R_{done}$: Succes/falen bij het bereiken van het doel.
    • $R_{nav}$: Progressie richting het doel.
    • $R_{exp}$: Ontdekking van nieuwe nodes of het doel in de SG.
    • $R_{brev}$: Token Brevity. Een lineaire beloning die lange output-sequenties bestraft, wat het model stimuleert om zijn redenering te comprimeren zonder de navigatie-accuratesse te verliezen.
  • Resultaat: Het model leert efficiënt te "denken", waardoor de lengte van de output-tokens wordt verminderd terwijl de taakprestaties behouden blijven.

3. Deployment Optimalisatie

Het uiteindelijke systeem wordt op een Jetson Orin AGX gedeplyoed met behulp van llama.cpp. De auteurs passen kwantisatie toe (specifiek het IQ4-XS formaat) om de autoregressieve decoding fase verder te versnellen, die het grootste deel van de runtime beslaat.

Belangrijkste Bijdragen

1. Lokale VLM Optimalisatie: Gedemonstreerd dat een 4B-parameter VLM kan worden geoptimaliseerd voor ObjectNav, waarbij een Success Rate (SR) van 34,5% wordt behaald op de HM3D OVON benchmark, waarmee de kloof met cloud-gebaseerde modellen (39,7% SR) wordt verkleind.
2. Distillatie Analyse: Getoond dat het distilleren van redeneringen van frontier-modellen met een minimale dataset (~500 traces) voldoende is om complexe navigatiecapaciteiten over te dragen, waardoor de noodzaak voor massieve SFT-datasets wordt vermeden.
3. E-RLVR Trainingsstrategie: Geïntroduceerd een reinforcement learning benadering die expliciet de lengte van de tokengeneratie reguleert. Dit verminderde de gemiddelde output-sequentielengte met 72,1% en de inferentie-latentie met 71,8% zonder de navigatieprestaties significant te verslechteren.
4. Presterende Systeemarchitectuur: Gebouwd een modulaire, SG-gebaseerde navigatiearchitectuur die drop-in vervanging van VLM's ondersteunt, waarbij SotA prestaties (39,7% SR) met cloud-modellen en levensvatbare lokale deployment worden behaald.

Resultaten

• Benchmark Prestaties:
  • Cloud Baseline (Claude Sonnet 4.6): 39,7% SR, 19,7% SPL.
  • Lokale Student (Qwen3.5-4B + SFT + E-RLVR): 34,5% SR, 17,2% SPL.
  • Het lokale model behaalt een prestatiekloof van slechts 5,2 procentpunt in SR vergeleken met het cloud frontier-model.
• Efficiëntiewinst:
  • Token Reductie: E-RLVR verminderde het gemiddeld aantal output-tokens per query van ~535 naar ~149 (een reductie van 72,1%).
  • Latentie: In combinatie met kwantisatie bereikte het systeem een reductie van 82,8% in de totale inferentie-latentie per episode (van 305,2s naar 52,5s op Jetson Orin).
  • Query Frequentie: Het aantal VLM-queries per episode werd verminderd van ~30 (zero-shot) naar ~8 (geoptimaliseerd).
• Real-World Validatie: Het systeem is succesvol gedeplyoed op een handheld robotisch apparaat in een echt appartement, waarbij vier opeenvolgende ObjectNav-taken werden voltooid (het vinden van een bank, piano, badkuip en een persoon aan een tafel) door gebruik te maken van de SG voor geheugen en navigatie.

Betekenis

Het artikel beweert dat LocalNav een levensvatbaar paradigma presenteert voor lage-latentie, hoog-presterende belichaamde intelligentie op fysieke robotica hardware. Door modulaire hoge-niveau besluitvorming te combineren met efficiënte distillatie en token-regularisatie, demonstreren de auteurs dat edge-apparaten met beperkte middelen complexe open-vocabulary navigatietaken kunnen uitvoeren zonder afhankelijk te zijn van cloud-verbindingen. Dit werk overbrugt de kloof tussen de redeneercapaciteiten van frontier-modellen en de praktische beperkingen van on-board robotische deployment, en biedt een pad naar werkelijk autonome, open-vocabulary agenten.