Think When It Matters: Conditional VLM Reasoning for Social Navigation with RL Policies

Technische Samenvatting: HUMA – Conditionele VLM-redenering voor sociale navigatie

Probleemstelling
Sociale robotnavigatie vereist dat agenten veilig en efficiënt bewegen in door mensen bevolkte omgevingen, terwijl ze zich houden aan sociale normen, zoals het respecteren van de persoonlijke ruimte en het anticiperen op menselijke intenties. Huidige benaderingen kampen met een fundamentele afruil:

• Reinforcement Learning (RL) Policies: Bieden snelle inferentie en reactief gedrag geschikt voor real-time implementatie, maar missen vaak flexibele semantische redenering, wat leidt tot rigide of onnatuurlijk gedrag in complexe sociale scenario's.
• Vision-Language Models (VLM's): Bieden diep semantisch begrip en contextuele redenering (bijv. het interpreteren van groepsdynamiek of intentie), maar lijden onder hoge computationele kosten en trage inferentietijden, waardoor ze ongeschikt zijn voor continue, real-time navigatie.

De literatuur mist momenteel een gebalanceerd framework dat de diepe contextbewustheid van VLM's kan benutten zonder het executiesnelheid op te offeren die vereist is voor vloeiende mobiele navigatie.

Methodologie: Het HUMA-framework
De auteurs stellen HUMA voor (Hybrid Understanding for Multi-modal social Navigation), een hybride architectuur die dynamisch schakelt tussen een efficiënte RL-policy en een post-getrainde VLM op basis van de nabijheid van mensen. Het systeem is geformuleerd als een Goal-Conditioned Partially Observable Markov Decision Process (GC-POMDP).

1. RL Navigatie Policy (Standard Mode):

   • Basis: Gebouwd op de Falcon-architectuur, gebruikmakend van een visuele encoder voor egocentrische dieptebeelden en een lineaire encoder voor doelcoördinaten.
   • Training: Getraind via Decentralized Distributed Proximal Policy Optimization (DD-PPO).
   • Beloningsfunctie: Een samengestelde beloning ($R_{socialnav}$) combineert doelgerichte PointNav-beloningen met een Social Cognition Penalty ($R_{scp}$). Deze penalty ontmoedigt expliciet botsingen ($r_{coll}$), schendingen van een 2,0m veiligheidszone ($r_{prox}$) en trajectobstructies ($r_{traj}$).
   • Auxiliaire Taken: Omvat een Spatial-Temporal Precognition Module om het aantal mensen te schatten, posities te volgen en toekomstige trajecten te voorspellen.

2. VLM Redeneringsmodule (Sensitive Mode):

   • Trigger: Geactiveerd wanneer de robot een sociaal gevoelige zone betreedt.
   • Inputverwerking: Ruwe dieptekaarten worden omgezet in informatie-rijke visuele tokens met behulp van een JET colormap, Canny edge detection, en gesuperponeerd met een GPS-doelvector. Tekstprompts coderen de relatieve doeltoestand en statische sociale regels.
   • Architectuur: Gebaseerd op Qwen3-VL 2B, gefinetuned met Low-Rank Adaptation (LoRA) (PEFT) om multimodale inputs te vertalen naar discrete navigatie-actiesequenties (bijv. [FORWARD], [STOP]).
   • Trainingsdata: Gefinetuned op de SNEI dataset, die prioriteit geeft aan actievoorspellingsnauwkeurigheid boven semantische redeneringsgeneratie.

3. Dynamisch Schakelmechanisme (PSC Switch):

   • Logica: Het systeem monitort de Personal Space Compliance (PSC) score, gedefinieerd door de minimale Euclidische afstand tussen de robot en elk mens.
   • Drempelwaarde: Een voortschrijvend venster van binaire signalen bepaat de naleving. Als de PSC-score onder een drempelwaarde ($\theta$) zakt, wat duidt op een potentiële schending van de persoonlijke ruimte, schakelt het systeem van de RL-policy naar de VLM-policy.
   • Doel: Dit stelt de robot in staat om routinematige navigatie met lage dichtheid met de snelle RL-policy af te handelen en de VLM alleen aan te roepen wanneer hoogwaardige semantische redenering cruciaal is voor veiligheid en sociale naleving.

Belangrijkste Bijdragen

• Hybride Architectuur: Introductie van HUMA, dat adaptief arbitreert tussen RL- en VLM-policies op basis van de omgevingscontext, waarmee de latency-nauwkeurigheid-afruil wordt aangepakt.
• Conditionele Redenering: Demonstratie dat hoogwaardige semantische redenering geen overbodige overhead is in ondrukke omgevingen, maar cruciaal in de nabijheid van mensen, wat een adaptieve schakelstrategie valideert.
• Real-World Deployment: Succesvolle integratie van het framework op de Mirokai mobiele robot met behulp van een ROS2-ecosysteem, waarmee de brug wordt geslagen tussen simulatiebenchmarks en fysieke hardware.
• Uitgebreide Evaluatie: Uitgebreide ablatie-studies naar modelgrootte, inputmodaliteiten (gekleurde dieptekaarten versus RGB), en strategieën voor omgevingsupdates.

Experimentele Resultaten
De methode werd geëvalueerd op de Social-HM3D en Social-MP3D benchmarks tegenover baselines inclusief A*, ORCA, Falcon en NavThinker.

• Prestatiewinst: HUMA behaalde een verbetering van 20% in Success Rate (SR) op Social-MP3D en een verbetering van 3% op Social-HM3D vergeleken met state-of-the-art baselines.
• Veiligheid: De Human Collision Rate (H-Coll) werd verminderd met 20% op Social-MP3D en 5% op Social-HM3D.
• Efficiëntie: Ondanks de integratie van een VLM behield de methode concurrerende Success weighted by Path Length (SPL) en PSC-scores, wat aangeeft dat veiligheidsverbeteringen de padoptimaliteit niet in de weg stonden.
• Ablatie-inzichten:
  • Modelgrootte: Een 2B-parameter VLM gefinetuned met LoRA bereikte prestaties binnen 1% van grotere baselines terwijl het 33% minder parameters gebruikte.
  • Inputmodaliteit: Gekleurde dieptekaarten (JET colormap) presteerden beter dan RGB-only en gemengde inputs in termen van succesratio en latentie.
  • Drempelwaarden: Een nabijheidsdrempel van 0,80 m leverde de optimale balans tussen veiligheid en navigatie-efficiëntie op.
  • Real-World Impact: Bij real-world deployment leidde de aanname van een "bevroren" omgeving tijdens VLM-inferentie (gebruikt in simulatie) tot een ~5-6% daling in de succesratio wanneer realistische omgevingsupdates werden toegepast, wat wijst op een huidige beperking in de inferentielatentie.

Betekenis en Claims
Het artikel claimt dat HUMA erin slaagt de kloof te overbruggen tussen de computationele efficiëntie van RL en de semantische diepte van VLM's. Door een conditionele activatiestrategie te hanteren, zorgt het framework ervoor dat de computationeel dure VLM alleen wordt aangeroepen wanneer dat nodig is (d.w.z. tijdens nabijheidsschendingen), wat real-time, sociaal conforme navigatie mogelijk maakt. De auteurs stellen dat deze aanpak een praktisch pad biedt voor het implementeren van geavanceerde sociale redenering in mobiele robots zonder de prohibitieve latentiekosten die gepaard gaan met continu VLM-gebruik. Het werk wordt gepresenteerd als een stap naar het robuuster en aanpasbaarder maken van sociale navigatie in de nuances van mens-robotinteractie in dynamische omgevingen.