NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

Each language version is independently generated for its own context, not a direct translation.

Immagina di dover guidare un'escursionista attraverso un territorio sconosciuto, visto dall'alto tramite una mappa satellitare. Il compito non è solo "vedere" dove sono gli alberi o le strade, ma capire come muoversi in sicurezza, rispettando regole precise: "Non passare attraverso la fitta vegetazione", "Usa solo terreni solidi", "Trova il percorso più sicuro, non necessariamente il più corto".

Questo è il cuore del nuovo lavoro presentato dagli autori: NeSy-Route.

Ecco una spiegazione semplice di cosa fanno e perché è importante, usando qualche analogia creativa.

1. Il Problema: Le Intelligenze Artificiali sono "Brave a Parlare, ma Disastrose a Muoversi"

Negli ultimi anni, abbiamo creato intelligenze artificiali (chiamate MLLM, modelli linguistici multimodali) che sono bravissime a guardare una foto e descriverla: "Vedo un albero, vedo un fiume, vedo una casa". Sono come turisti molto colti che possono descrivere un paesaggio a meraviglia.

Tuttavia, quando si tratta di pianificare un percorso (come farebbe un'ambulanza in un'area disastrata o un drone per consegnare medicine), queste intelligenze spesso falliscono. I vecchi test per misurare questa abilità erano troppo semplici o imprecisi: chiedevano all'AI di scegliere tra tre percorsi predefiniti (A, B o C), invece di farle creare il percorso da zero. È come chiedere a uno studente di scegliere la risposta giusta in un quiz, invece di fargli risolvere un problema di matematica su un foglio bianco.

2. La Soluzione: NeSy-Route, il "Campo di Addestramento" Perfetto

Gli autori hanno creato NeSy-Route, un gigantesco campo di addestramento e un test d'esame per queste intelligenze artificiali, specifico per la pianificazione di percorsi su immagini satellitari.

Immagina NeSy-Route come un videogioco di simulazione ultra-realistico dove:

Il Livello 1 (Capire le Regole): L'AI deve leggere un foglio di istruzioni (es. "L'escursionista ha stivali robusti, quindi può camminare sulla sabbia, ma non sull'acqua") e trasformarle in una lista logica di "sì/no" per ogni tipo di terreno. È come tradurre un linguaggio umano in un codice matematico.
Il Livello 2 (Collegare Testo e Immagine): L'AI deve guardare la foto satellitare, trovare le zone corrispondenti (dov'è l'acqua? dov'è la strada?) e applicare le regole del Livello 1 a quelle zone specifiche. È come prendere la mappa e colorare le zone pericolose di rosso e quelle sicure di verde.
Il Livello 3 (Tracciare il Percorso): L'AI deve disegnare una linea dal punto A al punto B, evitando i "rossi" e passando solo sui "verdi", cercando di fare il percorso più efficiente possibile.

3. La Magia: Come hanno creato il test? (Il "Cucina" Automatica)

Creare migliaia di questi test a mano sarebbe stato impossibile (e noioso!). Gli autori hanno usato un trucco intelligente: un sistema ibrido.

Hanno usato un'AI per inventare scenari e domande (come uno chef che crea nuove ricette).
Hanno usato la matematica pura (algoritmi di ricerca noti come "A-Star") per calcolare la risposta perfetta e matematicamente corretta.
Questo crea un "Gold Standard": sanno esattamente qual è la risposta giusta, quindi possono punire l'AI se sbaglia anche di un millimetro.

Hanno creato 10.821 di questi scenari, un numero enorme rispetto ai precedenti test (che ne avevano circa 1.000).

4. Cosa hanno scoperto? (La Verità Scomoda)

Hanno fatto fare questo esame a diverse intelligenze artificiali, sia quelle più famose e costose (come quelle di Google o OpenAI) sia quelle open-source.

Il risultato è stato un po' deludente, ma molto istruttivo:

Sono brave a leggere: Se gli chiedi solo di capire le regole scritte, molte AI vanno bene.
Si perdono guardando le immagini: Quando devono collegare le regole alla foto reale, commettono errori. Confondono un campo di grano con un prato, o non capiscono che un edificio è un ostacolo.
Non sanno pianificare: Anche quando vedono bene, spesso disegnano percorsi assurdi. Possono attraversare un fiume, fare giri inutili, o non trovare la via d'uscita. È come avere una bussola che funziona, ma un pilota che non sa guidare l'aereo.

5. Perché è importante?

Questo lavoro ci dice che le intelligenze artificiali attuali sono ancora "fragili" quando devono prendere decisioni critiche nel mondo reale (come salvare persone in caso di terremoto o gestire risorse agricole).

NeSy-Route è come un termometro che ci dice esattamente dove fa male: ci dice che non basta far vedere più foto all'AI, dobbiamo insegnarle a pensare come un pianificatore, a collegare la logica alla visione e a prendere decisioni sicure.

In sintesi: Hanno costruito il miglior esame di guida possibile per le intelligenze artificiali, e finora, la maggior parte di loro ha fallito l'esame. Ora, però, sappiamo esattamente dove devono studiare per migliorare.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

Le immagini telerilevate sono fondamentali per applicazioni critiche come il soccorso in caso di disastri, le indagini ecologiche e la pianificazione urbana. In questi scenari, la pianificazione di percorsi vincolati (es. trovare il percorso più sicuro per un soccorritore evitando vegetazione densa o terreni instabili) è essenziale.

Tuttavia, gli attuali benchmark per i Modelli Linguistici Multimodali (MLLM) nel telerilevamento si concentrano prevalentemente sulla percezione (rilevamento oggetti, segmentazione) e sul ragionamento descrittivo. Esistono due carenze principali:

Mancanza di valutazione della pianificazione: I benchmark esistenti non testano la capacità di generare percorsi ottimali vincolati da regole complesse.
Limiti nella generazione e validazione dei dati: Creare task di pianificazione su larga scala con soluzioni ottimali verificate è difficile. I metodi attuali spesso si basano su formati a scelta multipla (come in XLRS-Bench), che non valutano quantitativamente la capacità di generare traiettorie spaziali reali.

2. Metodologia: NeSy-Route

Per colmare queste lacune, gli autori introducono NeSy-Route, un benchmark neuro-simbolico su larga scala. Il sistema si basa su un framework di generazione dati automatizzato che integra maschere semantiche ad alta fedeltà (da OpenEarthMap) con algoritmi di ricerca euristica.

A. Framework di Generazione Dati Automatizzata

Il processo di generazione è strutturato in tre fasi per creare coppie immagine-testo con soluzioni ottimali provate:

Sintesi di Query Simboliche: Viene definita una Knowledge Base (KB) con 8 tipi di copertura del suolo (es. terreno nudo, strada, acqua, edifici) e 4 tipi di agenti (pedone, veicolo, drone, barca). Vengono definite regole di traversabilità e priorità per diversi obiettivi (più breve, più sicuro, più veloce). Un LLM genera query testuali basate su queste regole simboliche, che vengono poi verificate da un altro modello per garantire la coerenza logica.
Grounding Visivo e Identificazione delle Regioni: Le regole simboliche vengono ancorate alle maschere di segmentazione delle immagini. Viene applicato un filtraggio morfologico selettivo per preservare la connettività topologica (es. strade e corsi d'acqua) e rimuovere il rumore visivo.
Generazione di Traiettorie Vincolate: Viene costruito un grafo di connettività tra le regioni. Utilizzando l'algoritmo A-Star su una mappa dei costi derivata dalle regole simboliche, viene calcolata la traiettoria ottimale matematicamente provata ( $\tau^*$ ) per ogni coppia di punti di partenza e arrivo.

B. Protocollo di Valutazione Gerarchica

Il benchmark valuta i modelli attraverso tre task integrati:

Comprensione dei Vincoli Testuali: Il modello deve estrarre vettori simbolici di traversabilità e preferenze direttamente dal testo della missione.
Allineamento Vincoli Testo-Immagine: Il modello deve ancorare i vincoli testuali alle regioni specifiche identificate nell'immagine, determinando la traversabilità e la priorità per ogni tipo di terreno visibile.
Pianificazione del Percorso Vincolato: Il modello deve generare una sequenza di waypoint che minimizzi il costo cumulativo rispettando i vincoli topologici e di tipo di terreno.

C. Metriche di Valutazione

È stato sviluppato un sistema di metriche multivariato:

Per Task 1 & 2: Accuratezza di corrispondenza dei vettori di traversabilità (TM), correlazione di ranking delle preferenze (PR) e accuratezza di corrispondenza completa (FM).
Per Task 3:
- Adherence Rate (AR): Percentuale di percorsi che rispettano i vincoli di traversabilità.
- Violation Ratio (VR): Proporzione di pixel che violano i vincoli.
- Cost Ratio (CR): Rapporto tra il costo del percorso generato e quello ottimale.
- Chamfer Distance (CD): Distanza geometrica tra la traiettoria generata e quella ottimale.

3. Contributi Chiave

Primo Benchmark Neuro-Simbolico: NeSy-Route è il primo benchmark dedicato alla pianificazione di percorsi vincolati nel telerilevamento, valutando simultaneamente percezione, ragionamento e pianificazione.
Generazione Dati su Larga Scala: Il framework automatizzato ha prodotto 10.821 campioni di pianificazione di percorsi, una scala quasi 10 volte superiore ai benchmark precedenti (es. XLRS-Bench). Ogni campione ha una soluzione ottimale matematicamente verificata.
Protocollo di Valutazione Ibrido: L'approccio a tre livelli permette di isolare i colli di bottiglia cognitivi (es. se un modello fallisce nella pianificazione, è dovuto a una cattiva comprensione del testo o a una scarsa percezione visiva?).
Valutazione Estensiva: Ha valutato numerosi MLLM all'avanguardia (sia proprietari come GPT-5.1, Gemini-3-Pro, sia open-source come Qwen3-VL e InternVL), rivelando limiti significativi nelle capacità di pianificazione.

4. Risultati Sperimentali

L'analisi dei risultati su vari modelli rivela diverse conclusioni critiche:

Divario tra Comprensione e Pianificazione: I modelli dimostrano una buona capacità di comprendere i vincoli testuali (Task 1), ma le prestazioni crollano drasticamente quando devono allineare questi vincoli all'immagine (Task 2) e pianificare il percorso (Task 3).
Percezione Visiva Limitata: Anche i modelli proprietari più avanzati (es. Gemini-3-Pro) mostrano difficoltà nell'identificare correttamente le regioni visive e nell'applicare le regole di traversabilità su di esse.
Inefficienza Globale: I modelli open-source tendono a evitare ostacoli locali (buona adesione ai vincoli), ma falliscono nel trovare percorsi globalmente ottimali, producendo traiettorie ridondanti e inefficienti (alto Cost Ratio e Chamfer Distance).
Correlazione Non Lineare: Una forte capacità di percezione e ragionamento non garantisce una buona capacità di pianificazione. Esiste un "divario cognitivo" fondamentale tra il riconoscere gli attributi del terreno e la capacità di pianificare un percorso vincolato.

5. Significato e Impatto

Il lavoro di NeSy-Route è significativo perché:

Stabilisce uno Standard Oggettivo: Fornisce un "gold standard" matematico per valutare la pianificazione di percorsi, superando i limiti delle valutazioni soggettive o a scelta multipla.
Guida lo Sviluppo Futuro: Dimostra che gli attuali MLLM, pur eccellenti nella percezione, non sono ancora pronti per compiti di pianificazione complessi nel mondo reale. Suggerisce la necessità di architetture che integrino meglio la logica simbolica con la percezione neurale.
Applicabilità Pratica: Offre un framework per migliorare sistemi autonomi per il soccorso in disastri e la gestione del territorio, dove la capacità di pianificare percorsi sicuri e ottimali è vitale.

In sintesi, NeSy-Route non è solo un nuovo dataset, ma un nuovo paradigma di valutazione che evidenzia la necessità di evolvere gli MLLM da semplici "osservatori" di immagini a veri "pianificatori" di azioni in ambienti complessi.