Visual Prompt Based Reasoning for Offroad Mapping using Multimodal LLMs

Probleemstelling

Traditionele benaderingen voor off-road autonomie vertrouwen op gescheiden modellen voor verschillende taken, zoals terreinclassificatie, hoogteschatting en het kwantificeren van slip of hellingen. Deze aanpak vereist dat elk component apart wordt getraind met specifieke datasets en fijnafstemming (fine-tuning), wat leidt tot complexe systemen die moeilijk te generaliseren zijn naar onbekende terreinen. Bestaande methoden, zoals die gebaseerd op Transformers (bijv. PathFormer), vereisen vaak uitgebreide gelabelde data. Er is een behoefte aan een flexibeler systeem dat kan redeneren over doorgankelijkheid zonder afhankelijk te zijn van gespecialiseerde, getrainde modellen voor elk specifiek terreintype.

Methodologie

De auteurs stellen een zero-shot framework voor dat visuele segmentatie koppelt aan redenering via Multimodale Large Language Models (VLMs). Het systeem bestaat uit vier hoofdblokken:

1. Segmentatiemodule (SAM2):

   • In plaats van de ingebouwde mask-generatie van SAM2 te gebruiken, worden punt-prompten (point prompts) gegenereerd in een rasterpatroon over de afbeelding.
   • SAM2 genereert segmentatiemaskers op basis van deze punten.
   • Maskers worden gefilterd op basis van Intersection over Union (IoU) en oppervlakte om overbodige segmenten te verwijderen.
   • Elk overblijvend masker krijgt een numeriek label en wordt getransformeerd naar een "collage" met de originele afbeelding en de geannoteerde maskers.
   • SAM2's geheugenencoder wordt gebruikt voor tracking in opeenvolgende frames om de VLM-prompting-frequentie te minimaliseren.

2. VLM Inference Module:

   • De collage (originele afbeelding + geannoteerde maskers) wordt samen met een tekstuele prompt naar een Vision-Language Model (VLM) gestuurd.
   • De prompt instrueert het model om doorgankelijke gebieden (bijv. zand, grind, asfalt) te identificeren op basis van de visuele input en de numerieke labels.
   • Het model geeft alleen de nummers van de relevante maskers terug, wat resulteert in een binaire doorgankelijkheidskaart.

3. Mapping, Planning en Controle:

   • Mapping: De binaire maskers worden omgezet in een 2D-occupancy grid (600x600) via voxelisatie van de point cloud data.
   • Planning: Een globale planner (D* Lite) berekent een grove route, terwijl een lokale planner (Hybrid A*) dynamisch haalbare trajecten genereert binnen de kinematische beperkingen van het voertuig.
   • Controle: Een Stanley-controller regelt de zijwaartse afwijking (lateral control) en een PID-controller regelt de snelheid (longitudinal control).

4. Simulatieomgeving:

   • De tests vinden plaats in een omgeving gebouwd met Unreal Engine en NVIDIA Isaac Sim, met een Polaris RZR Sport voertuig en een ZED X-camera.

Belangrijkste Bijdragen

• Unificatie van Segmentatie en Redenering: Een zero-shot framework dat SAM2 combineert met VLMs om doorgankelijke gebieden te identificeren zonder gespecialiseerde training voor terreintypen.
• Zero-shot Redenering: Het systeem gebruikt natuurlijke taal om complexe redeneringen uit te voeren (bijv. "welke gebieden zijn vrij van obstakels?") in plaats van te vertrouwen op statische classificatie.
• Efficiënte Punt-Prompting: Het gebruik van punt-prompting in plaats van automatische mask-generatie verhoogt de snelheid aanzienlijk (van ~13s naar ~3.5s per frame in tests), wat essentieel is voor real-time toepassing.
• Nieuwe Benchmark: De auteurs introduceren een benchmark voor off-road navigatie die de volledige keten evalueert: van ruwe sensorinput tot besturing, inclusief doelbereikbaarheid in een gesimuleerde omgeving.

Resultaten

• Real-time Prestaties: De punt-prompting methode is aanzienlijk sneller dan de standaard SAM2 mask-generatie (3.5s vs 12.5-13.0s per frame).
• VLM Vergelijking: Verschillende modellen (GPT-4o, GPT-5 Mini, Aquila, Ivy-VL, MiniCPM) werden getest.
  • GPT-5 Mini behaalde de hoogste nauwkeurigheid (mIoU 0.727) maar was traag (11.86s inferentie).
  • Aquila-VL-2B bood de beste balans tussen nauwkeurigheid (mIoU 0.515) en snelheid (0.59s), wat het een sterke kandidaat maakt voor lokale implementatie.
  • ChatGPT-4o werd gekozen als hoofdmodel voor de simulatie vanwege een goede balans, met GPT-5 Mini als back-up.
• Doelbereikbaarheid: In de simulatie werden successpercentages van 100% behaald voor doelen A en B. Voor doel C was het succespercentage lager (40%) vanwege de moeilijkheid om greppels te overwinnen, wat een beperking in de VLM-detectie van obstakels blootlegde.
• Vergelijking met SOTA: Op datasets met hoge resolutie (ORFD, RUGD) presteert de pipeline vergelijkbaar met of beter dan state-of-the-art getrainde modellen (zoals PathFormer). Op lagere resolutie datasets (O2DTD) presteert het echter slechter, wat wijst op een afhankelijkheid van beeldkwaliteit en het gebrek aan multi-scale architectuur.

Betekenis en Toekomstperspectief

Dit werk markeert een verschuiving in off-road autonomie van gescheiden, getrainde modellen naar een geïntegreerde, taalgestuurde redeneerbenadering. Het demonstreert dat VLMs potentieel hebben om complexe ruimtelijke redeneringen uit te voeren in ongestructureerde omgevingen zonder uitgebreide training.

De belangrijkste beperkingen zijn de niet-deterministische aard van generatieve modellen (variërende resultaten) en de afhankelijkheid van hoge resolutie beelden. Toekomstig werk richt zich op:

• Fijnafstemming (fine-tuning) van VLMs voor specifieke off-road taken.
• Optimalisatie van hyperparameters (zoals temperature en top-p) voor consistentie.
• Uitbreiding naar dynamische omgevingen en het ontrafelen van semantische ambiguïteiten (bijv. is gras doorgankelijk of niet?).
• Verbetering van de prestaties op lage-resolutie beelden door multi-scale architecturen te integreren.

Samenvattend biedt dit paper een veelbelovende route naar robuustere en meer adaptieve autonome navigatiesystemen voor off-road toepassingen.