NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

Dit paper introduceert NeSy-Route, een groot neuro-symbolisch benchmark voor beperkt routeplanning in remote sensing dat een geautomatiseerd data-generatiekader en een hiërarchisch evaluatieprotocol biedt om de tekortkomingen van multimodale grote taalmodellen op het gebied van waarneming en planning te kwantificeren.

De kern

Stel je voor dat je een uitdagende wandeltocht plant in een onbekend landschap, maar je hebt geen kaart, alleen een foto van bovenaf en een lijst met regels.

• "Je mag niet door de modder lopen."
• "Je moet de weg vermijden die te steil is."
• "Je wilt de kortste weg, maar wel de veiligste."

Dit is precies wat een computer moet doen als hij een drone, een auto of een reddingswerker moet sturen op basis van satellietbeelden. Maar tot nu toe waren de tests voor deze computers (die we 'Multimodale Grootte Taalmodellen' of MLLMs noemen) te makkelijk. Ze vroegen alleen: "Wat zie je op de foto?" of "Is dit een boom?". Ze vroegen nooit: "Hoe kom je veilig van punt A naar punt B?"

In dit paper introduceren de auteurs NeSy-Route. Laten we dit uitleggen alsof het een nieuwe, super-strict examen is voor slimme robots.

1. Het Probleem: De "Leerling" die niet kan plannen

Stel je voor dat je een schoolkinderen hebt die heel goed kunnen beschrijven wat ze zien (ze kunnen een boom herkennen en weten dat het een boom is). Maar als je ze vraagt om een route te plannen door een bos zonder in de modder te zakken, raken ze in paniek. Ze weten wat er is, maar niet hoe ze erdoorheen moeten navigeren.

Bestaande tests waren als een meerkeuzetoets: "Welke van deze drie routes is het beste?". De computer kon raden of een beetje slimme logica gebruiken. Maar in het echte leven (bijvoorbeeld bij een aardbeving) moet de computer zelf een route uitvinden, niet kiezen uit een lijstje.

2. De Oplossing: NeSy-Route (De "Neuro-Symbolische" Routeplanner)

De auteurs hebben een nieuw examenbedacht, NeSy-Route. Het is een enorme database met meer dan 10.000 verschillende scenario's. Het is uniek omdat het een combinatie is van twee soorten intelligentie:

• Neuro (De "Gevoelige" kant): Het model kijkt naar de foto en probeert te begrijpen wat het ziet (zoals een mens).
• Symbolisch (De "Logische" kant): Het model moet strikte regels volgen (zoals een computerprogramma).

Het examen bestaat uit drie niveaus, net als een videogame met steeds zwaardere levels:

• Level 1: De Regels begrijpen (De "Vertaler")
  De computer krijgt een tekst: "Je bent een wandelaar met stevige laarzen. Je mag over gras en zand, maar niet door water of dicht struikgewas."
  De computer moet deze tekst omzetten in een strikte lijst van regels.

  • Vergelijking: Het is alsof je een recept leest en moet beslissen welke ingrediënten je mag gebruiken en welke je moet weggooien.

• Level 2: De Regels koppelen aan de Foto (De "Detective")
  Nu krijgt de computer de foto. Hij moet de regels van Level 1 toepassen op de foto. "Ah, dat stukje op de foto is water (verboden), en dat stukje is asfalt (toegestaan)."

  • Vergelijking: Je kijkt naar een plattegrond en markeert met een rode stift waar je niet mag lopen en met een groene stift waar je wel mag lopen.

• Level 3: De Route plannen (De "Navigator")
  Nu moet de computer een lijn trekken van punt A naar punt B die alleen over de groene stukjes gaat en zo kort mogelijk is.

  • Vergelijking: Je tekent de perfecte wandelroute op je kaart, waarbij je elke modderpoel en elke boom vermijdt.

3. Waarom is dit zo slim? (Het "Magische" Deel)

Het grootste probleem bij eerdere tests was: "Hoe weten we of het antwoord van de computer wel goed is?"
Bij NeSy-Route gebruiken de auteurs een slimme truc. Ze laten een perfecte computer (een wiskundig algoritme genaamd A-Star) eerst de perfecte route berekenen.

• Dit is het antwoordmodel.
• Vervolgens laten ze de AI (de student) proberen dezelfde route te vinden.
• Als de AI een route tekent die door een meer loopt, is het fout. Als de route te lang is, is het fout.

Dit zorgt voor een eerlijke en onfeilbare beoordeling. Het is alsof je een wiskundeleraar hebt die het antwoord al op het bord heeft staan, zodat je precies kunt zien hoeveel punten de student mist.

4. Wat hebben ze ontdekt? (De "Schokeffect")

Toen ze de beste AI-modellen van vandaag de dag (zoals de slimste versies van GPT en Qwen) op dit examen zetten, was het resultaat schokkend:

• Ze zijn goed in lezen: Ze begrijpen de regels van Level 1 best goed.
• Ze zijn slecht in kijken: Ze raken in de war als ze de regels moeten koppelen aan de foto (Level 2). Ze zien soms water als gras.
• Ze zijn slecht in plannen: Zelfs als ze de foto goed zien, kunnen ze geen goede route plannen (Level 3). Ze lopen vaak vast, maken omwegen of raken in de modder.

De conclusie: De huidige slimme computers zijn als uitstekende bibliothecarissen die alles over kaarten weten, maar als je ze vraagt om zelf door een doolhof te lopen, struikelen ze over hun eigen voeten. Ze missen het vermogen om te plannen.

Samenvatting in één zin

NeSy-Route is een nieuw, super-strict examen dat laat zien dat onze slimste AI's nog niet klaar zijn om zelfstandig reddingsmissies of logistieke routes in complexe werelden te plannen; ze moeten nog leren hoe ze van "zien" naar "doen" moeten springen.

Technische samenvatting

Probleemstelling

Multimodale Large Language Models (MLLMs) hebben aanzienlijke vooruitgang geboekt in visuele perceptie en complex redeneren, vooral in het domein van remote sensing (aardeobservatie). Echter, bestaande benchmarks voor remote sensing focussen voornamelijk op perceptie (zoals objectdetectie en segmentatie) en redenering (zoals VQA), maar missen een robuuste evaluatie van geplande routeplanning onder specifieke beperkingen.

De huidige uitdagingen zijn:

1. Gebrek aan planning-evaluatie: Bestaande datasets kunnen de capaciteit van modellen om een optimale route te plannen op basis van complexe constraints (zoals terreintypes, agent-vaardigheden en veiligheidsvoorkeuren) niet adequaat meten.
2. Schalings- en validatieproblemen: Het handmatig creëren en valideren van routeplanningstaken op grote schaal is extreem moeilijk.
3. Onnauwkeurige protocollen: Huidige evaluatiemethoden zijn vaak onnauwkeurig of afhankelijk van meerkeuzevragen, wat geen kwantitatieve maatstaf biedt voor daadwerkelijke ruimtelijke redenering en trajectgeneratie.

Methodologie: NeSy-Route

Het paper introduceert NeSy-Route, een groot-schalig neuro-symbolisch benchmark voor beperkte routeplanning. De aanpak combineert neurale netwerken (voor perceptie en taal) met symbolische logica (voor constraints en optimalisatie).

1. Geautomatiseerd Data-Generatie Framework

In plaats van handmatige annotatie, gebruiken de auteurs een geautomatiseerd proces dat drie fasen doorloopt:

• Kennisbasis Constructie: Definities voor 8 landcover-types (bijv. weg, water, bebouwing) en 4 agent-types (voetganger, auto, drone, boot). Voor elke agent worden traversability (doorgankelijkheid) en preference rankings (prioriteit voor snelheid, veiligheid, comfort) vastgelegd.
• Symbolische Query Synthese: Een LLM genereert natuurlijke taalvragen op basis van een configuratie (agent, doel, start/eind). Een tweede LLM voert "self-inference" uit om te verifiëren of de gegenereerde tekst logisch consistent is met de symbolische regels.
• Semantische Grounding & Optimalisatie:
  • Symbolische constraints worden gekoppeld aan hoogwaardige semantische maskers (van OpenEarthMap).
  • Morfologische erosie wordt toegepast om schone, pure regio's te isoleren voor visuele grounding.
  • Een A-Star zoekalgoritme wordt gebruikt om de wiskundig optimale route te berekenen op basis van een kostenkaart (cost map), waarbij doorgang door niet-doorgankelijke gebieden een oneindige kost heeft. Dit garandeert dat de "Ground Truth" (GT) altijd een globaal optimum is.

2. Hiërarchische Evaluatie Taakstructuur

De benchmark evalueert modellen via drie geïntegreerde taken:

• Taak 1: Tekstuele Constraint Understanding: Het model moet natuurlijke taal instructies vertalen naar symbolische vectoren (doorgankelijkheid en prioriteit).
• Taak 2: Tekst-Beeld Constraint Alignment: Het model moet deze symbolische regels toepassen op specifieke visuele regio's in een remote sensing afbeelding om te bepalen welke gebieden veilig zijn en welke prioriteit hebben.
• Taak 3: Beperkte Routeplanning: Het model moet een uitvoerbaar traject (waypoints) genereren tussen start en eindpunt dat obstakels vermijdt en de cumulatieve kosten minimaliseert.

3. Evaluatiemetrics

Een strikt symbolisch evaluatieprotocol wordt gebruikt:

• Taak 1 & 2: Traversability Matching (TM), Preference Ranking Correlation (PR - Kendall Tau), en Region Matching Rate (RM).
• Taak 3:
  • Adherence Rate (AR): Percentage van de waypoints dat in doorgankelijke gebieden ligt.
  • Cost Ratio (CR): Verhouding tussen de kosten van de gegenereerde route en de optimale GT-route.
  • Chamfer Distance (CD): Maat voor de geometrische nabijheid tussen de gegenereerde en optimale trajecten.

Belangrijkste Bijdragen

1. Eerste Neuro-Symbolische Benchmark: NeSy-Route is het eerste benchmark dat routeplanning in remote sensing hiërarchisch evalueert via drie dimensies: tekstuele begrip, tekst-beeld afstemming en daadwerkelijke planning.
2. Grootschalige Dataset: Het bevat 10.821 routeplanningstalen, bijna 10 keer groter dan de grootste bestaande benchmark (XLRS-Bench).
3. Geautomatiseerde, Verifieerbare GT: Door het gebruik van symbolische regels en A-Star zoekalgoritmen wordt gegarandeerd dat elke ground-truth route wiskundig optimaal is, wat een objectieve standaard creëert.
4. Gedetailleerde Analyse: De hiërarchische structuur maakt het mogelijk om fouten specifiek te lokaliseren (bijv. is het een perceptiefout, een redeneerfout of een planningsfout?).

Resultaten

De auteurs hebben de prestaties van diverse state-of-the-art MLLMs (zowel gesloten bron zoals GPT-5.1, Gemini-3-Pro als open source zoals Qwen3-VL en InternVL) getest:

• Taak 1 (Tekstueel Begrip): Gesloten bron-modellen (vooral Gemini-3-Pro) presteren uitstekend in het vertalen van tekst naar symbolische regels. Open-source modellen zoals Qwen-3.5-27B tonen ook sterke prestaties.
• Taak 2 (Tekst-Beeld Afstemming): Er is een drastische daling in prestaties wanneer visuele informatie wordt toegevoegd. Modellen die tekst goed begrijpen, falen vaak bij het koppelen van deze regels aan specifieke pixels in de afbeelding. Dit wijst op een tekortkoming in de visuele perceptie van terrein-kenmerken.
• Taak 3 (Routeplanning): Dit is het grootste knelpunt.
  • Gesloten modellen tonen soms hoge optimaliteit op routes die ze wel vinden, maar hebben een lage "Adherence Rate" (ze vinden vaak geen geldige route).
  • Open-source modellen vinden vaker een route binnen doorgankelijke gebieden (hogere AR), maar de routes zijn vaak inefficiënt, redundant en niet optimaal (hoge CR en CD).
  • Conclusie: Sterke perceptie en redenering zijn niet voldoende voor succesvolle planning. Er is een fundamentele cognitieve kloof tussen het herkennen van attributen en het toepassen van beperkende planning.

Betekenis en Impact

• Nieuwe Standaard: NeSy-Route biedt een rigoureuze, schaalbare en objectieve manier om de planningcapaciteiten van AI-modellen voor remote sensing te testen.
• Inzicht in Limitaties: Het benchmark onthult dat huidige MLLMs, ondanks hun succes in conversatie en perceptie, nog niet klaar zijn voor kritieke toepassingen zoals rampenbestrijding of logistiek in onbekend terrein, waar betrouwbare routeplanning essentieel is.
• Toekomstig Onderzoek: Het paper pleit voor de ontwikkeling van nieuwe architecturen die beter in staat zijn om perceptie, redenering en planning te integreren, en voor trainingen die specifiek gericht zijn op landtype-texturen en geografische constraints.

Kortom, NeSy-Route beweert dat routeplanning een hoog niveau van cognitieve integratie vereist dat de huidige generatie multimodale modellen nog niet volledig beheerst, en biedt de tools om deze beperkingen kwantitatief te analyseren en te overwinnen.