LMPath: Language-Mediated Priors and Path Generation for Aerial Exploration

Technische Samenvatting: LMPath: Taal-gemedieerde Priors en Padgeneratie voor Luchtverkenning

Probleemstelling
Traditionele autonome zoekmissies met onbemande luchtvaartuigen (UAV's) vertrouwen op geometrische dekkingpatronen die de semantische context van het doelobject negeren. In grootschalige omgevingen leidt deze aanpak tot aanzienlijke tijdverspilling, aangezien de UAV gebieden systematisch moet afdekken, ongeacht de waarschijnlijkheid om het doel te vinden. Bestaande methoden die gebruikmaken van foundation-modellen voor satellietbeelden richten zich vaak op het lokaliseren van grote, statische objecten die van bovenaf zichtbaar zijn (bijvoorbeeld gebouwen), maar missen het vermogen om redeneringen te voeren over de semantische relaties tussen dynamische objecten en hun omgeving (bijvoorbeeld auto's op parkeerterreinen). Bovendien gebruiken lokale reactieve navigatiemethoden weliswaar taal-embeddings voor verkenning van de voorhoede, maar ontbreekt het hen aan een mechanisme om hoog-niveau gemeenschappelijke zintuiglijke kennis van de omgeving om te zetten in globale, geoptimaliseerde zoek-priors voor grootschalige gebieden.

Methodologie: De LMPath-pijplijn
De auteurs presenteren LMPath, een pijplijn die is ontworpen om taal-gemedieerde verkenning-priors te genereren voor UAV-zoekmissies. Het systeem integreert Large Language Models (LLM's) en foundation-visionmodellen om een semantisch-ruimtelijk redeneringskader te creëren. De pijplijn werkt via de volgende fasen:

1. Invoer en Gegevensopvraging: Het systeem accepteert een door de gebruiker gedefinieerde objectprompt (bijvoorbeeld "auto") en geospatiale metadata die de operationele geofence, no-fly zones en lanceerlocatie definiëren. Een "Tile Composer" vraagt webgebaseerde kaartdiensten op om hoogresolutie satellietbeelden van het zoekgebied samen te voegen.
2. Semantische Labelinferentie (LLM): Een LLM-agent infereert een set semantisch relevante labels ($L$) die de waarschijnlijke omgevingscontexten beschrijven waar het doelobject zou kunnen worden aangetroffen (bijvoorbeeld voor een "auto" zou de LLM "parkeerterrein", "weg", "oprit" kunnen uitvoeren). Dit overbrugt de kloof tussen het specifieke zoekdoel en bredere semantische kenmerken die in beelden vanuit de lucht herkenbaar zijn.
3. Generatie van Probabilistische Warmtekaarten (Vision Model): Met behulp van de afgeleide labels verwerkt een foundation-segmentatiemodel (specifiek SAM 3) de satellietbeelden. Vanwege de grootte van satellietbeelden wordt een schuifvensterbenadering toegepast. Binair segmentatiemaskers worden gegenereerd voor elk label binnen overlappende vensters, gemiddeld om randartefacten te mitigeren, en opgeteld om een uiteindelijke 2D-kansdichtheidsfunctie (warmtekaart), $H(x, y)$, te creëren. Hogere waarden geven een grotere semantische waarschijnlijkheid van de aanwezigheid van het object aan.
4. Waypointgeneratie en Grafiekconstructie: De continue warmtekaart wordt gediscretiseerd in een set kandidaat-waypoints op basis van het sensordekkingsspoor van de UAV. De operationele ruimte wordt gepartitioneerd met behulp van Voronoi-tessellatie. De "hitte" of waarschijnlijkheidsmassa ($p_i$) voor elk waypoint wordt berekend door de semantische prior over de corresponderende Voronoi-cel te integreren en te normaliseren door de oppervlakte van de cel om bias ten gunste van grote cellen te voorkomen.
5. Padoptimalisatie (ILP): De discrete grafiek wordt ingevoerd in een padplanner die is geformuleerd als een Integer-Linear Program (ILP). Het systeem ondersteunt meerdere doelen:
   • Minimaliseren van de Verwachte Zoektijd: De ILP optimaliseert de route om de gewogen som van bezoektijden te minimaliseren, met prioriteit voor waypoints met hogere waarschijnlijkheidsmassa's.
   • Doelgerichte Pad in Grote Omgevingen: Voor zeer grote gebieden kan de planner waypoints met waarschijnlijkheidsmassa's onder een drempelwaarde ($\rho$) filteren, waardoor het probleem wordt gereduceerd tot een Traveling Salesman Problem (TSP) over hoog-probabiliteits subgebieden.

Belangrijkste Bijdragen
Het artikel schetst twee primaire bijdragen:

1. Een Semantisch-Ruimtelijk Redeneringskader: De integratie van een LLM om semantisch relevante labels af te leiden, waardoor een redeneringslaag wordt gecreëerd tussen een zoekdoel en zijn waarschijnlijke omgevingscontext, die vervolgens wordt gemapt op satellietbeelden.
2. Een Meervoudig-Doel Padvindend Systeem: De integratie van deze taal-gemedieerde priors in een ILP om paden te optimaliseren voor diverse missiedoelen, zoals het minimaliseren van zoektijd of het focussen op specifieke subgebieden.

Experimentele Resultaten
De auteurs hebben LMPath geëvalueerd via veldtests in de echte wereld en simulaties met hoge fideliteit:

• Validatie in de Echte Wereld: Met een Falcon 4 UAV uitgerust met een RGB-camera met neerwaartse kijkrichting, voerde het systeem succesvol missies uit in grootschalige omgevingen. Bij een zoektocht naar een "auto" gaf de UAV prioriteit aan parkeerterreinen boven grasvelden. Bij een zoektocht naar "gebouwen" binnen een gebied van 300m x 450m concentreerde de UAV zich op open ruimten en negeerde beboste gebieden.
• Simulatie-evaluatie: Gazebo-simulaties werden uitgevoerd in twee omgevingen: "PolyCity" (synthetisch stedelijk) en "Industrial Park" (gereconstrueerd uit echte UAV-beelden). De simulaties vergeleken LMPath met een baseline TSP-planner die uniform de volledige ruimte afdekt zonder semantische begeleiding.
  • In de PolyCity-omgeving vond het door LMPath gegenereerde pad het doel sneller dan de baseline in 66,0% van de gevallen.
  • In de Industrial Park-omgeving presteerde LMPath 88,0% van de tijd beter dan de baseline.
  • De resultaten geven aan dat het intelligent prioriteren van gebieden met hoge waarschijnlijkheid de verwachte zoektijd aanzienlijk reduceert in vergelijking met semantisch-agnostische exhaustieve dekking.

Betekenis en Beperkingen
Het artikel beweert dat LMPath het nut aantoont van het benutten van foundation-modellen om UAV-taakstelling te heroverwegen, en verder gaat dan handmatige GPS-coördinatenkeuze naar semantisch gedreven autonomie. Het systeem vertaalt gebruikersprompts succesvol naar geoptimaliseerde vluchtpaden die rekening houden met de omgevingscontext.

De auteurs erkennen specifieke beperkingen:

• Zichtbaarheidsbeperkingen: Het systeem kan alleen locaties segmenteren die duidelijk zichtbaar zijn in het verstrekte satellietbeeld. Grote gebouwen of vegetatie die voor verduistering zorgen, kunnen de prestaties belemmeren.
• Statische Aannames: De huidige formulering van de warmtekaart gaat uit van uniforme weging voor labels en maskers.
• Toekomstige Richtingen: De auteurs stellen toekomstig werk voor om LMPath-priors te combineren met lokale, voorhoede-verkenning-algoritmen om verduistering en dynamische veranderingen te hanteren. Zij suggereren ook het opnemen van labelvertrouwen en conditionele afhankelijkheden (bijvoorbeeld het voorkeuren van "oprit" wanneer deze grenst aan "gebouw") om zoek-priors verder te verfijnen.