NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

O artigo apresenta o NeSy-Route, um novo benchmark neuro-simbólico de grande escala para planejamento de rotas com restrições em sensoriamento remoto, que utiliza um framework de geração de dados automatizado e um protocolo de avaliação hierárquico para demonstrar as deficiências atuais dos Modelos de Linguagem Multimodais (MLLMs) em tarefas de percepção e planejamento.

O essencial

🌍 O Problema: O "GPS" que não entende o terreno

Imagine que você é um guia turístico em uma cidade desconhecida, mas em vez de andar por ruas, você está navegando por imagens de satélite (fotos tiradas de satélites). Sua missão é levar um grupo de turistas (ou um drone, ou um barco) do ponto A ao ponto B.

O problema é que o terreno é complicado:

• Há lama onde você pode afundar.
• Há árvores que bloqueiam o caminho.
• Há estradas de terra que são rápidas, mas sujas.
• Há um rio que só barcos podem cruzar.

Hoje em dia, temos "cérebros de computador" super inteligentes chamados MLLMs (Modelos de Linguagem Multimodal). Eles são como assistentes virtuais que conseguem "ver" fotos e "ler" instruções. Eles são ótimos para dizer: "Olha, ali tem um prédio!" ou "Isso parece uma floresta!".

Mas, quando você pede a eles para planejar a rota mais segura e eficiente, eles tendem a falhar miseravelmente. Eles sabem o que é uma estrada, mas não conseguem calcular o melhor caminho para não se perderem na lama.

🛠️ A Solução: O "NeSy-Route" (O Treinador de Roteiro)

Os autores deste artigo criaram um novo "campo de treinamento" chamado NeSy-Route. Pense nele como uma prova de habilitação extremamente rigorosa para esses cérebros de computador, focada especificamente em planejar rotas em imagens de satélite.

A ideia principal é: não basta o computador "ver" a imagem; ele precisa raciocinar como um ser humano (ou um símbolo lógico) para tomar decisões.

Como funciona a prova? (Os 3 Níveis)

O NeSy-Route divide a tarefa em três níveis de dificuldade, como se fosse um jogo de videogame:

1. Nível 1: O Tradutor de Regras (Entendimento Textual)

   • A Analogia: Imagine que você recebe um bilhete escrito: "O turista está com botas de caminhada, então pode andar na areia, mas não pode entrar na água."
   • O Desafio: O computador precisa transformar essa frase em uma lista de regras matemáticas (ex: Areia = Pode passar; Água = Proibido).
   • O Resultado: Muitos computadores entendem bem a frase, mas falham em transformá-la em regras precisas.

2. Nível 2: O Detetive Visual (Alinhamento Texto-Imagem)

   • A Analogia: Agora, você mostra a foto do terreno e diz: "Encontre a areia e a água nesta foto e marque onde é seguro."
   • O Desafio: O computador precisa olhar para a foto, identificar onde está a areia e onde está a água, e aplicar as regras do Nível 1.
   • O Resultado: Aqui é onde a mágica (ou o desastre) acontece. Muitos modelos conseguem ler o bilhete, mas quando olham para a foto, confundem uma sombra com uma poça de água ou não percebem que uma estrada de terra é diferente de um campo de trigo.

3. Nível 3: O Piloto de Rota (Planejamento Concreto)

   • A Analogia: Finalmente, o computador precisa desenhar a linha no mapa, ponto por ponto, do início ao fim, sem tocar nas áreas proibidas e gastando o mínimo de energia possível.
   • O Desafio: Criar um caminho real que funcione.
   • O Resultado: A maioria dos modelos desenha caminhos tortos, atravessa rios onde não deveria, ou dá voltas desnecessárias.

🤖 O "Segredo" do NeSy-Route: O Cérebro Duplo

O que torna este trabalho especial é como eles criaram as perguntas para a prova. Eles não apenas pediram para humanos desenhar rotas (o que seria lento e subjetivo).

Eles criaram um sistema Neuro-Simbólico:

• Neuro (O Artista): Usa Inteligência Artificial para gerar imagens e textos variados.
• Simbólico (O Matemático): Usa lógica pura e algoritmos de busca (como o A-Star, usado em jogos de videogame) para garantir que a resposta correta (o "GOLD STANDARD") seja matematicamente perfeita.

É como ter um professor que gera milhões de exercícios de matemática e, ao mesmo tempo, um computador que calcula a resposta exata instantaneamente para corrigir o aluno. Isso permite testar 10.821 cenários diferentes, algo 10 vezes maior que qualquer teste anterior.

📉 O Que Eles Descobriram? (Os Resultados)

Ao testar os maiores e mais famosos "cérebros" de IA do mundo (como GPT-4, Gemini, Qwen, etc.), os autores descobriram algumas coisas preocupantes:

1. Eles são ótimos em ler, mas ruins em agir: Os modelos entendem perfeitamente as regras escritas no papel (Nível 1).
2. Eles são cegos para detalhes: Quando precisam aplicar essas regras na foto (Nível 2), eles confundem muito. Não conseguem distinguir bem texturas de terra, água ou vegetação.
3. Eles não planejam: Mesmo quando veem o caminho, não conseguem traçar uma rota eficiente (Nível 3). Eles tendem a criar caminhos longos, redundantes ou que violam as regras.

A Grande Lição: Ter um modelo que "vê" e "fala" bem não significa que ele sabe "planejar". Para salvar vidas em desastres ou gerenciar florestas, precisamos de modelos que não apenas reconheçam objetos, mas que entendam a lógica de como se mover pelo mundo.

🚀 Conclusão

O NeSy-Route é como um novo "olho" para a comunidade de Inteligência Artificial. Ele nos mostra que, embora nossos robôs estejam ficando mais espertos para conversar e identificar coisas, eles ainda são muito "desajeitados" quando o assunto é navegar pelo mundo real com restrições complexas.

Esse benchmark serve como um guia para os cientistas: "Ei, parem de focar apenas em fazer a IA falar melhor. Precisamos ensinar ela a planejar rotas seguras e lógicas, senão ela não será útil em missões reais de resgate ou exploração."

Resumo técnico

Resumo Técnico: NeSy-Route

1. O Problema

O planejamento de rotas em imagens de sensoriamento remoto é crucial para aplicações como resposta a desastres, monitoramento ecológico e alocação de recursos. No entanto, os sistemas atuais enfrentam desafios significativos:

• Limitações dos Benchmarks Atuais: As avaliações existentes para Modelos de Linguagem Multimodal (MLLMs) focam predominantemente em percepção e raciocínio descritivo (ex: VQA, detecção de objetos). Elas falham em avaliar a capacidade de planejamento restrito, onde o modelo deve gerar trajetórias ótimas baseadas em regras complexas de viabilidade e custo.
• Dificuldade de Validação: A curadoria de tarefas de planejamento em escala é difícil, e os protocolos de avaliação atuais são frequentemente imprecisos ou inadequados, muitas vezes dependendo de opções de múltipla escolha em vez de geração real de trajetórias.
• Fragilidade em Cenários Reais: Sistemas tradicionais dependem de levantamentos terrestres caros para mapear redes viárias, tornando-se vulneráveis em áreas desastrosas ou mal mapeadas.

2. Metodologia

Os autores propõem o NeSy-Route, um benchmark neuro-simbólico de grande escala que integra a geração de dados baseada em aprendizado de máquina (neuro) com verificação lógica rigorosa (simbólica).

A. Estrutura Hierárquica de Tarefas
O benchmark avalia os MLLMs através de três níveis integrados:

1. Compreensão de Restrições Textuais: O modelo deve decodificar instruções em linguagem natural para vetores simbólicos de viabilidade (quais terrenos podem ser cruzados) e preferência (ordem de prioridade).
2. Alinhamento Restrição Texto-Imagem: O modelo deve ancorar as restrições textuais em regiões visuais específicas da imagem de sensoriamento remoto, determinando a viabilidade e o ranking de prioridade para cada tipo de cobertura do solo identificado.
3. Planejamento de Rota Restrita: O modelo deve gerar uma sequência de waypoints executável entre um ponto de partida e um destino, minimizando o custo cumulativo e evitando obstáculos, respeitando as restrições topológicas e de tipo de terreno.

B. Framework de Geração de Dados Automatizada
Para superar a dificuldade de criar dados de treinamento e teste, foi desenvolvido um pipeline automatizado:

• Base de Conhecimento (KB): Define 8 tipos de cobertura do solo (ex: solo nu, estrada, água, edifício) e 4 tipos de agentes (pedestre, carro, drone, barco) com regras de viabilidade e objetivos de roteamento (mais rápido, mais seguro, mais confortável, mais curto).
• Síntese de Consultas: Utiliza LLMs (DeepSeek-V3.2, Gemini-3-Pro) para gerar perguntas naturais que são verificadas logicamente para garantir consistência com a KB.
• Grounding Visual: Utiliza máscaras semânticas de alta fidelidade (OpenEarthMap) e filtragem morfológica para identificar regiões puras.
• Geração de Trajetórias Ótimas: Aplica o algoritmo A-Star sobre um mapa de custos derivado das regras simbólicas. Isso garante que a "resposta correta" (Ground Truth) seja matematicamente ótima e verificável.

C. Protocolo de Avaliação
Foi desenvolvido um avaliador simbólico de três níveis com métricas específicas:

• Tarefa 1: Precisão na extração de vetores de viabilidade e correlação de ranking de preferência.
• Tarefa 2: Taxa de correspondência de regiões e alinhamento de restrições no contexto visual.
• Tarefa 3:
  • Taxa de Adesão (AR): Porcentagem de waypoints em regiões transitáveis.
  • Taxa de Violação (VR): Proporção de pixels em áreas não transitáveis.
  • Razão de Custo (CR): Comparação do custo da rota gerada vs. a rota ótima.
  • Distância de Chamfer (CD): Proximidade geométrica entre a trajetória gerada e a ótima.

3. Principais Contribuições

1. NeSy-Route: O primeiro benchmark neuro-simbólico para planejamento de rotas em sensoriamento remoto, com 10.821 amostras (aproximadamente 10x maior que o benchmark anterior mais próximo, XLRS-Bench).
2. Framework de Geração Fechado: Um sistema automatizado que integra geração neuro (LLMs) com verificação simbólica (KB e A-Star), garantindo que cada amostra tenha uma solução ótima provada matematicamente.
3. Avaliação Granular: Um protocolo de avaliação hierárquico que permite isolar falhas específicas em percepção, raciocínio lógico ou capacidade de planejamento, algo que benchmarks anteriores não permitiam.

4. Resultados Experimentais

O benchmark foi utilizado para avaliar diversos MLLMs de última geração (incluindo GPT-5.1, Gemini-3-Pro, Qwen3-VL, InternVL, etc.):

• Compreensão Textual (Tarefa 1): Modelos proprietários de ponta (como Gemini-3-Pro) e alguns open-source (Qwen3.5-27B) demonstraram alta capacidade de entender restrições textuais complexas.
• Alinhamento Texto-Imagem (Tarefa 2): Houve uma queda drástica de desempenho para todos os modelos ao introduzir a imagem. Isso indica que, embora os modelos entendam a lógica textual, sua capacidade de percepção visual para aplicar essas regras em cenários reais é deficiente.
• Planejamento de Rota (Tarefa 3):
  • Os modelos enfrentam grandes dificuldades em gerar trajetórias eficientes e seguras.
  • Modelos proprietários (ex: Gemini-3-Pro) mostraram melhor otimização de custo nas rotas que conseguiram completar, mas com baixa taxa de adesão global.
  • Modelos open-source (ex: Qwen3-VL-32B) tiveram taxas de adesão ligeiramente melhores (evitando obstáculos locais), mas geraram trajetórias altamente redundantes e ineficientes (alto custo).
  • Conclusão Chave: A percepção e o raciocínio são condições necessárias, mas insuficientes para o planejamento bem-sucedido. Existe uma lacuna cognitiva fundamental entre reconhecer atributos e planejar trajetórias complexas sob restrições.

5. Significância e Impacto

• Padrão-Ouro para Planejamento: Estabelece um novo padrão para avaliar a inteligência de planejamento em MLLMs, movendo-se além da simples descrição de imagens.
• Direcionamento de Pesquisa: Revela que os modelos atuais carecem de arquiteturas capazes de integrar percepção, raciocínio e planejamento de forma coesa. Sugere a necessidade de desenvolver modelos específicos para sensoriamento remoto com arquiteturas mais avançadas.
• Aplicações Práticas: Oferece uma ferramenta crítica para desenvolver sistemas autônomos mais confiáveis para missões de resgate e monitoramento ambiental, onde o planejamento de rotas seguro e eficiente é vital.

Em suma, o NeSy-Route expõe as limitações atuais dos MLLMs em tarefas de planejamento espacial complexo e fornece a infraestrutura necessária para guiar o desenvolvimento de futuros modelos mais robustos e inteligentes.