NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

Die Arbeit stellt NeSy-Route vor, ein großes neuro-symbolisches Benchmark-System mit über 10.000 automatisch generierten Routenplanungs-Aufgaben und einem dreistufigen Evaluierungsprotokoll, das die erheblichen Defizite aktueller multimodaler Sprachmodelle in den Bereichen Wahrnehmung, logisches Schlussfolgern und Planung für die Fernerkundung aufdeckt.

Das Wesentliche

NeSy-Route: Ein neuer Prüfstein für KI beim Wegfinden im Weltraum

Stellen Sie sich vor, Sie sind ein Rettungshelfer in einem Katastrophengebiet. Vor Ihnen liegt ein riesiges, verwüstetes Land, das Sie nur aus dem Weltraum sehen können (durch Satellitenbilder). Ihre Aufgabe: Sie müssen einen Weg für einen Hiker finden, der von einem sandigen Strand zu einer sicheren Straße laufen muss. Aber es gibt Regeln: Er darf nicht durch dichten Wald laufen (da er sich verirren könnte), und er mag keine schlammigen Felder.

Das ist genau das Problem, das die Forscher mit ihrer neuen Arbeit „NeSy-Route" lösen wollen. Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: KI ist gut im Sehen, aber schlecht im Planen

Bisher waren KI-Modelle (die sogenannten „Multimodalen Large Language Models" oder MLLMs) wie sehr talentierte Touristenführer, die Bilder beschreiben können. Wenn Sie sie fragen: „Was ist auf dem Bild?", sagen sie: „Da ist ein Fluss und ein Wald."

Aber wenn Sie sie bitten: „Erfinde einen sicheren Weg von A nach B, der keine Bäume kreuzt und den kürzesten Weg nimmt," dann geraten sie oft ins Straucheln.

• Das Problem: Es gab bisher keinen richtigen „Führerschein-Test" für KI, um zu prüfen, ob sie wirklich Wegpläne erstellen können. Die alten Tests waren wie Multiple-Choice-Fragen („Ist Weg A oder Weg B besser?"). Das ist zu einfach. Eine echte KI muss den Weg selbst zeichnen, nicht nur auswählen.

2. Die Lösung: NeSy-Route (Die neue Prüfungsstrecke)

Die Forscher haben eine riesige neue Testumgebung namens NeSy-Route gebaut. Man kann sich das wie einen virtuellen Flugsimulator für KI vorstellen.

• Die Größe: Sie haben nicht nur ein paar Beispiele erstellt, sondern über 10.000 verschiedene Szenarien. Das ist zehnmal mehr als bei allen vorherigen Tests zusammen.

• Die Magie dahinter (Neuro-Symbolisch): Das ist der Clou. Die KI nutzt zwei Gehirnteile gleichzeitig:

  1. Das „Kreativ-Gehirn" (Neuro): Es schaut sich das Bild an und versteht, was dort zu sehen ist (Wasser, Straße, Wald).
  2. Das „Logik-Gehirn" (Symbolisch): Ein strenger Mathematiker im Hintergrund, der die Regeln prüft. Er sagt: „Moment! Der Hiker darf nicht durch Wasser laufen. Das ist verboten!"

  Diese Kombination sorgt dafür, dass für jede Aufgabe eine perfekte, mathematisch bewiesene Lösung existiert. Es gibt kein Raten mehr. Entweder die KI findet den perfekten Weg, oder sie scheitert.

3. Der Prüfungsablauf: Drei Stufen des Wahnsinns

Die KI muss in diesem Test drei aufeinanderfolgende Aufgaben meistern, die immer schwerer werden:

• Stufe 1: Die Sprach-Übersetzung (Das Regelbuch verstehen)

  • Aufgabe: Die KI liest eine Textanweisung: „Der Wanderer hat feste Stiefel, mag aber keine Bäume."
  • Test: Kann sie diese Sätze in eine klare Liste von Regeln umwandeln? (z. B. „Wald = verboten", „Straße = erlaubt").
  • Vergleich: Wie ein Dolmetscher, der eine komplexe Anweisung in eine einfache Checkliste übersetzen muss.

• Stufe 2: Die Bild-Übersetzung (Die Regeln auf das Bild anwenden)

  • Aufgabe: Jetzt bekommt die KI das Satellitenbild. Sie muss sagen: „Aha, auf diesem Bild ist links ein Wald (Regel: verboten) und rechts eine Straße (Regel: erlaubt)."
  • Test: Versteht sie, wo im Bild welche Regel gilt?
  • Vergleich: Wie ein Architekt, der die Baupläne (Text) mit dem echten Grundstück (Bild) abgleichen muss.

• Stufe 3: Der eigentliche Weg (Die Route planen)

  • Aufgabe: „Start hier, Ziel dort. Finde den sichersten Weg."
  • Test: Zeichnet die KI eine Linie, die alle Regeln einhält und den kürzesten Weg nimmt?
  • Vergleich: Wie ein Navigator, der durch ein Labyrinth läuft, ohne gegen die Wände zu laufen, und dabei den schnellsten Weg sucht.

4. Was haben sie herausgefunden? (Die Ergebnisse)

Die Forscher haben die besten KI-Modelle der Welt getestet. Das Ergebnis war ernüchternd, aber wichtig:

• Die KI ist ein guter Leser, aber ein schlechter Navigator.
  Die Modelle waren sehr gut darin, die Textregeln zu verstehen (Stufe 1). Sie konnten die Checkliste perfekt abhaken.
• Der Bruch kommt beim Bild.
  Sobald sie das Bild sehen mussten (Stufe 2), wurde es chaotisch. Viele Modelle verwechselten Dinge oder wussten nicht, wo die Regeln im Bild galten.
• Der Weg ist das größte Problem.
  Bei der eigentlichen Wegplanung (Stufe 3) scheiterten fast alle.
  • Einige Modelle liefen zwar nicht gegen Wände, aber sie liefen in endlosen Schleifen (wie ein Hund, der sein eigenes Schwanz jagt).
  • Andere liefen direkt durch den Wald, obwohl es verboten war.
  • Die besten Modelle (wie Gemini oder GPT) kamen am weitesten, aber selbst sie waren weit entfernt von einem perfekten Plan.

Fazit: Warum ist das wichtig?

Stellen Sie sich vor, Sie schicken eine KI in ein Erdbeben-Gebiet, um Rettungspfade zu planen. Wenn die KI nicht versteht, dass sie nicht über ein instabiles Gebäude laufen darf, oder wenn sie einen Weg findet, der 100 km lang ist, obwohl es einen 1 km langen gibt, dann kostet das Zeit und vielleicht Leben.

NeSy-Route ist wie ein strenger Fahrprüfer, der uns zeigt: „Unsere KI kann zwar gut reden und Bilder beschreiben, aber sie kann noch nicht sicher navigieren."

Mit diesem neuen Test können die Forscher jetzt genau sehen, wo die KI hakt, und bessere Modelle entwickeln, die eines Tages wirklich helfen können, wenn die Welt es am dringendsten braucht.

Technische Zusammenfassung

1. Problemstellung

Fernerkundungsanwendungen (z. B. Katastrophenhilfe, ökologische Feldstudien) erfordern Systeme, die komplexe Szenarien verstehen und unter strengen Randbedingungen zuverlässige Entscheidungen treffen können. Ein zentrales Problem ist die eingeschränkte Routenplanung (z. B. für Rettungskräfte oder Drohnen), bei der Hindernisse (wie Wasser oder dichte Vegetation) und Geländeeigenschaften (z. B. Bodenbeschaffenheit) berücksichtigt werden müssen.

Bisherige Benchmarks für multimodale Large Language Models (MLLMs) im Bereich der Fernerkundung konzentrieren sich hauptsächlich auf Wahrnehmung (z. B. Objekterkennung) und logisches Schließen. Sie vernachlässigen jedoch die Planungsfähigkeit. Dies liegt an zwei Hauptfaktoren:

1. Der Schwierigkeit, planungsbasierte Aufgaben in großem Maßstab zu kuratieren und zu validieren.
2. Der Unzulänglichkeit bestehender Evaluierungsprotokolle, die oft auf Multiple-Choice-Fragen basieren und keine echte Generierung von optimalen Pfaden erlauben.

2. Methodik: NeSy-Route Framework

Die Autoren stellen NeSy-Route vor, einen groß angelegten, neuro-symbolischen Benchmark für die Routenplanung in der Fernerkundung. Das Framework basiert auf dem Datensatz OpenEarthMap und integriert hochpräzise semantische Masken mit heuristischen Suchalgorithmen.

A. Automatisierte Datengenerierung

Ein zentraler Bestandteil ist ein automatisiertes Framework zur Generierung von Trainings- und Testdaten mit beweisbar optimalen Lösungen:

• Wissensbasis (Knowledge Base): Definition von 8 Landbedeckungsklassen (z. B. Ackerland, Wasser, Gebäude) und 4 Agententypen (Fußgänger, Auto, Drohne, Boot). Für jede Kombination werden Durchgängigkeit (traversable/bedingt/undurchlässig) und Prioritätsregeln (schnellste, sicherste, bequemste Route) festgelegt.
• Drei-Stufen-Prozess:
  1. Symbolische Query-Synthese: Ein LLM generiert natürliche Sprachanfragen basierend auf einer Konfiguration (Agent, Ziel, Start). Ein zweites LLM (oder das gleiche) führt eine Selbst-Inferenz durch, um die logischen Vektoren (Durchgängigkeit, Präferenz) zu extrahieren und mit der Wissensbasis abzugleichen.
  2. Semantische Verankerung: Die symbolischen Constraints werden auf die semantischen Masken der Fernerkundungsbilder angewendet. Morphologische Operationen (Erosion) sorgen für reine visuelle Signale in den Regionen.
  3. Trajektorien-Optimierung: Ein A-Suchalgorithmus* berechnet auf Basis einer Kostenkarte (abgeleitet aus den symbolischen Regeln) den mathematisch optimalen Pfad zwischen Start- und Endpunkt. Dies garantiert, dass jede Ground-Truth-Lösung ein globales Optimum darstellt.

B. Hierarchische Evaluierungs-Protokolle

Der Benchmark bewertet MLLMs in drei aufeinander aufbauenden Aufgaben:

1. Textuelle Constraint-Verstehung (Task 1): Extraktion von binären Durchgängigkeitsvektoren und ordinalen Präferenzvektoren aus dem Text.
2. Text-Bild-Constraint-Alignment (Task 2): Zuordnung der symbolischen Regeln zu den spezifischen Regionen im Bild (Welche Region ist durchführbar? Welche Priorität hat sie?).
3. Eingeschränkte Routenplanung (Task 3): Generierung einer Folge von Wegpunkten (Waypoints), die Hindernisse umgehen und die kumulative Kosten minimieren.

C. Metriken

Es werden spezifische Metriken für jede Ebene eingeführt:

• Für Task 1 & 2: Traversability Matching (TM), Preference Ranking Correlation (PR) und Region Matching Rate (RM).
• Für Task 3: Adherence Rate (AR) (Anteil der Pfadpunkte in befahrbaren Zonen), Violation Ratio (VR) (Anteil der Kollisionen), Cost Ratio (CR) (Verhältnis der Pfadkosten zum Optimum) und Chamfer Distance (CD) für die geometrische Ähnlichkeit zum Optimalpfad.

3. Wichtige Beiträge

1. Erster neuro-symbolischer Benchmark: NeSy-Route ist der erste Benchmark, der die Routenplanung in der Fernerkundung systematisch evaluiert. Er umfasst 10.821 hochwertige Stichproben, was fast das Zehnfache des größten vorherigen Benchmarks (XLRS-Bench) ist.
2. Geschlossener Kreislauf: Entwicklung eines automatisierten Frameworks, das neuro-symbolische Generierung (LLMs) mit symbolischer Verifikation (A*-Search) kombiniert, um fehlerfreie Ground-Truth-Daten zu erzeugen.
3. Detaillierte Fehleranalyse: Durch die dreistufige Hierarchie können Forscher genau identifizieren, ob ein Modell bei der Textinterpretation, der Bildwahrnehmung oder der eigentlichen Planung scheitert.

4. Ergebnisse

Die Autoren evaluierten eine Vielzahl von State-of-the-Art-Modellen (sowohl proprietär wie GPT-5.1, Gemini-3-Pro als auch Open-Source wie Qwen3-VL-Serie, InternVL).

• Textuelles Verständnis (Task 1): Proprietäre Modelle (insb. Gemini-3-Pro) und einige große Open-Source-Modelle (Qwen3.5-27B) zeigen hohe Fähigkeiten, textuelle Constraints korrekt in logische Vektoren zu übersetzen.
• Text-Bild-Alignment (Task 2): Hier zeigt sich ein deutlicher Leistungsabfall. Die Modelle scheitern oft daran, die abstrakten Regeln korrekt auf die visuellen Regionen anzuwenden. Die Korrelation zwischen Textverständnis und visueller Verankerung ist schwach.
• Routenplanung (Task 3): Dies ist die größte Schwachstelle.
  • Die meisten Modelle generieren Pfade, die entweder Hindernisse durchqueren (hohe VR) oder extrem ineffizient sind (hohe CR).
  • Auch die besten Modelle erreichen nur eine Adherence Rate von ca. 18–30 %.
  • Schlussfolgerung: Gute Wahrnehmung und logisches Schließen garantieren keine gute Planung. Es besteht eine fundamentale Lücke zwischen der Erkennung von Geländeeigenschaften und der Fähigkeit, eine globale, optimierte Trajektorie zu planen.
  • Die Leistung verschlechtert sich signifikant mit steigender Komplexität der Umgebung (von "Easy" zu "Hard").

5. Bedeutung und Ausblick

NeSy-Route adressiert eine kritische Lücke in der Forschung zu multimodalen KI-Modellen für die Fernerkundung.

• Benchmark-Standards: Es etabliert einen objektiven, mathematisch fundierten Goldstandard für die Bewertung von Planungsaufgaben, der über reine Multiple-Choice-Tests hinausgeht.
• Forschungsrichtung: Die Ergebnisse zeigen, dass aktuelle MLLA-Architekturen (oft auf LLaVA basierend) für komplexe räumliche Planungsaufgaben unzureichend sind. Es wird die Entwicklung neuer Architekturen gefordert, die Wahrnehmung, logisches Schließen und symbolische Planung tiefer integrieren.
• Anwendung: Der Benchmark ist essenziell für die Entwicklung robuster KI-Systeme für reale Anwendungen wie autonome Rettungseinsätze, präzise Landwirtschaft und Umweltmonitoring, wo fehlerhafte Routenplanung katastrophale Folgen haben kann.

Zusammenfassend beweist das Paper, dass die Fähigkeit zur eingeschränkten Planung eine eigenständige, hochkomplexe kognitive Fähigkeit ist, die von aktuellen MLLMs noch nicht beherrscht wird, und bietet mit NeSy-Route das notwendige Werkzeug, um diese Fähigkeiten zu messen und zu verbessern.