NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

이 논문은 원격 감지 분야에서 제약 조건 하의 경로 계획 능력을 평가하기 위해 대규모 신경-상징적 벤치마크인 'NeSy-Route'를 제안하고, 자동화된 데이터 생성 프레임워크와 계층적 평가 프로토콜을 통해 기존 다중 모달 대규모 언어 모델 (MLLM) 들의 계획 및 지각 능력 부족을 입증합니다.

핵심

1. 배경: 왜 이 시험이 필요한가요?

지금까지 AI(멀티모달 대형 언어 모델) 는 위성 사진을 보고 "저기 나무가 있네", "물이 있네"라고 **보는 것 (지각)**이나 "나무와 물의 관계가 뭐지?"라고 **생각하는 것 (추론)**은 잘해냈습니다.

하지만, **"등산객이 넘어지지 않고 가장 안전한 길로 이동하려면 어디를 거쳐야 할까?"**처럼, 복잡한 규칙을 따르며 경로를 직접 계획하는 능력은 아직 매우 부족했습니다. 기존 시험지들은 이 부분을 제대로 평가하지 못했기 때문에, AI 가 실제로 재난 구조나 자원 배분에 쓰일 수 있는지 알 수 없었습니다.

2. NeSy-Route 란 무엇인가요?

이 연구팀은 AI 의 능력을 3 단계로 나누어 꼼꼼히 시험하는 **새로운 시험지 (벤치마크)**를 만들었습니다. 이를 '신경 - 기호 (Neuro-Symbolic)' 방식이라고 하는데, 쉽게 말해 "AI 의 직관 (뇌)"과 "엄격한 수학 규칙 (컴퓨터)"을 함께 테스트한다는 뜻입니다.

시험은 다음과 같은 3 단계로 진행됩니다:

• 1 단계: 규칙 이해하기 (문자 해독)
  • 상황: "등산객은 신발이 튼튼하지만, 진흙길은 피하고, 나무가 우거진 곳은 넘어질 수 있으니 피해야 해. 가장 안전한 길을 찾아줘."라는 지시를 받습니다.
  • 시험: AI 가 이 말을 듣고 "진흙=통과 가능하지만 비추천", "나무=통과 불가"처럼 수치화된 규칙으로 바꿀 수 있는지 봅니다.
• 2 단계: 지도와 규칙 대입하기 (눈과 뇌 연결)
  • 상황: 위성 사진 (지도) 을 보여줍니다. 사진 속의 '초록색 지역'이 나무인지, '회색 지역'이 도로인지 식별해야 합니다.
  • 시험: 1 단계에서 만든 규칙을 실제 사진의 특정 지역과 정확히 매칭할 수 있는지 봅니다. (예: "사진 속 3 번 지역은 나무니까 통과 불가!")
• 3 단계: 실제 경로 계획하기 (길 찾기)
  • 상황: 시작점과 도착점이 주어집니다.
  • 시험: AI 가 장애물을 피하면서, 가장 안전하고 효율적인 **실제 이동 경로 (좌표)**를 그려냅니다. 이때 AI 가 만든 길이 수학적으로 '최적의 길'과 얼마나 일치하는지 평가합니다.

3. 어떻게 시험지를 만들었나요? (자동 공장)

수천 개의 위성 사진과 문제를 사람이 일일이 만들면 시간이 너무 걸리고 실수가 생길 수 있습니다. 그래서 연구팀은 자동화된 공장을 지었습니다.

• 규칙 생성기: AI 가 먼저 다양한 상황 (비, 눈, 다른 종류의 등산객 등) 을 만들어냅니다.
• 정답 생성기 (수학자): 컴퓨터 알고리즘 (A-Star 검색) 을 이용해, 그 상황에서 수학적으로 100% 확실한 최적의 길을 먼저 계산해 둡니다.
• 결과: 이렇게 만들어진 1 만 개 이상의 문제와 정답은 AI 가 답을 맞췄는지, 아니면 길을 잃었는지를 정확하게 판단할 수 있게 해줍니다.

4. 실험 결과: AI 는 얼마나 잘했나요?

최신 AI 모델들을 이 시험지에 풀어보게 했더니 놀라운 결과가 나왔습니다.

• 규칙은 잘 이해하지만, 지도는 못 봅니다: AI 는 "나무는 피해야 해"라는 말은 잘 알아들었습니다 (1 단계 점수 높음). 하지만 위성 사진에서 실제로 나무를 찾아내어 그 규칙을 적용하는 것은 매우 서툴렀습니다 (2 단계 점수 급감).
• 길 찾기는 아직 초보: 길을 찾아내는 능력은 더 열악했습니다. 많은 AI 가 "나무가 있네"라고 말은 했지만, 실제로는 나무 속으로 길을 그어버리거나, 엉뚱하게 돌아다니는 비효율적인 길을 만들었습니다.
• 결론: 현재 AI 는 지각 (보는 것) 과 추론 (생각하는 것) 은 어느 정도 하지만, 이를 바탕으로 복잡한 계획을 세우는 능력은 아직 부족합니다.

5. 요약: 이 연구의 의미

이 논문은 **"AI 가 위성 사진을 보고 길을 찾을 때, 단순히 '보이는 것'을 넘어서 '규칙을 지키며 최선의 길을 계획하는 능력'을 평가할 수 있는 첫 번째 표준 도구"**를 만들었다는 점에서 의미가 큽니다.

이 시험지를 통해 AI 개발자들은 자신의 모델이 어디서 막히는지 (규칙을 못 읽는지, 지도를 못 보는지, 길을 못 찾는지) 정확히 파악하고, 더 똑똑하고 안전한 AI 를 만들 수 있는 길을 찾게 되었습니다. 마치 등산용 나침반을 더 정밀하게 다듬는 과정과 같습니다.

기술 요약

1. 문제 정의 (Problem)

원격 탐사 (Remote Sensing) 분야는 재난 구호, 생태 조사 등 복잡한 환경에서 의사결정이 필요한 중요한 응용 분야입니다. 최근 멀티모달 대규모 언어 모델 (MLLMs) 은 시각적 인식과 추론 능력에서 큰 발전을 이루었지만, 제약 조건이 있는 경로 계획 (Constrained Route Planning) 능력을 평가하는 데에는 한계가 있습니다.

기존의 원격 탐사 벤치마크들은 주로 지각 (Perception) 과 추론 (Reasoning) 능력에 초점을 맞추고 있으며, 경로 계획 능력을 평가하지 못합니다. 그 이유는 다음과 같습니다:

• 대규모 경로 계획 태스크를 수집하고 검증하는 데 어려움이 있음.
• 기존 평가 프로토콜이 부정확하거나 불충분함 (예: 단순히 여러 선택지 중 하나를 고르는 방식은 실제 공간 추론 능력을 제대로 평가하지 못함).
• 지상 측량에 의존하는 기존 시스템은 재난 지역이나 미지도 지역에서는 취약함.

따라서, MLLM 이 복잡한 원격 탐사 이미지에서 텍스트로 주어진 제약 조건을 이해하고, 이를 시각적 정보와 일치시키며, 최적의 경로를 계획할 수 있는 능력을 종합적으로 평가할 수 있는 새로운 벤치마크가 절실히 필요합니다.

2. 방법론 (Methodology)

저자들은 NeSy-Route라는 대규모 신경 - 심볼릭 (Neuro-Symbolic) 벤치마크를 제안했습니다. 이 벤치마크는 OpenEarthMap 데이터를 기반으로 하며, 자동화된 데이터 생성 프레임워크와 3 단계 계층적 평가 프로토콜을 핵심으로 합니다.

가. 자동화된 데이터 생성 프레임워크

• 지식 기반 (Knowledge Base) 구축: 8 가지 토지 피복 유형 (벌크랜드, 목초지, 개발 공간, 도로, 나무, 물, 농경지, 건물) 과 4 가지 에이전트 유형 (보행자, 차량, 드론, 보트) 에 대해 가시성 (Traversability) 과 선호도 (Priority) 규칙을 정의했습니다.
• 데이터 생성 파이프라인:
  1. 제약 조건 이해 (Task 1): 자연어 쿼리를 심볼릭 논리 (가시성 벡터, 선호도 벡터) 로 변환하는 능력을 평가합니다.
  2. 텍스트 - 이미지 제약 정렬 (Task 2): 텍스트로 정의된 제약 조건을 이미지 내의 특정 영역 (Region) 과 매칭하여, 해당 영역의 가시성과 우선순위를 도출하는 능력을 평가합니다.
  3. 제약 경로 계획 (Task 3): 시작점과 종료점 사이에서 장애물을 피하고 비용 (Cost) 을 최소화하는 최적의 경로 (Waypoint 시퀀스) 를 생성하는 능력을 평가합니다.
• 최적 경로 생성: 심볼릭 규칙을 기반으로 A-Star 검색 알고리즘을 사용하여 수학적으로 증명된 전역 최적 경로 (Ground Truth) 를 생성합니다. 이를 통해 생성된 데이터의 정답이 객관적이고 검증 가능하도록 보장합니다.

나. 3 단계 계층적 평가 프로토콜

MLLM 의 성능을 세 가지 수준에서 정량화합니다:

1. 텍스트 제약 이해: 심볼릭 벡터 추출 정확도 (Traversability Matching, Preference Ranking Correlation).
2. 텍스트 - 이미지 정렬: 시각적 영역 식별 및 심볼릭 규칙 적용 정확도 (Region Matching Rate).
3. 제약 경로 계획: 생성된 경로의 실행 가능성 (Adherence Rate), 최적성 (Cost Ratio), 기하학적 근접성 (Chamfer Distance) 등을 평가합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 신경 - 심볼릭 원격 탐사 경로 계획 벤치마크: 텍스트 제약 이해, 텍스트 - 이미지 정렬, 제약 경로 계획이라는 3 차원 계층적 평가를 통해 MLLM 의 계획 능력을 처음으로 체계적으로 평가합니다.
2. 자동화된 심볼릭 데이터 생성 및 검증 프레임워크: 신경망 (LLM) 을 이용한 질의 생성과 심볼릭 검증 (Self-inference 및 외부 LLM 검증) 을 결합하여, 10,821 개의 대규모 샘플을 생성하고 모든 정답 경로의 최적성을 수학적으로 보장합니다.
3. 포괄적인 MLLM 평가 및 통찰: 최신 MLLM 들을 평가하여 지각, 추론, 계획 능력 간의 격차를 드러냈으며, 향후 모델 개발을 위한 구체적인 방향성을 제시했습니다.

4. 실험 결과 (Results)

저자들은 GPT-5.1, Gemini-3-Pro, Qwen3-VL 시리즈 등 다양한 최신 MLLM 을 NeSy-Route 에서 평가했습니다.

• Task 1 (텍스트 제약 이해): 폐쇄형 모델 (Gemini-3-Pro 등) 과 일부 오픈소스 모델 (Qwen3.5-27B) 은 텍스트 내의 복잡한 제약 조건을 논리적으로 잘 이해했습니다.
• Task 2 (텍스트 - 이미지 정렬): 텍스트 이해 능력이 뛰어난 모델이라도 시각적 영역을 식별하고 제약 조건을 이미지와 매칭하는 데서는 성능이 급격히 떨어졌습니다. 이는 시각적 지각 능력의 부족을 시사합니다.
• Task 3 (경로 계획):
  • 폐쇄형 모델: 높은 정확도로 최적 경로를 찾았으나, 전체적인 준수율 (Adherence Rate) 은 엄격한 논리 요구사항으로 인해 낮았습니다.
  • 오픈소스 모델: 장애물 회피 등 지역적 계획에는 어느 정도 성공했으나 (높은 준수율), 전체적인 경로 최적성 (Cost Ratio) 이 매우 낮았습니다. 즉, 유효한 경로를 찾았더라도 비효율적이고 중복된 경로를 생성하는 경향이 있었습니다.
  • 난이도 영향: 환경이 복잡해질수록 (Hard tier) 모든 모델의 성능이 현저히 저하되었습니다.
• 핵심 통찰: 강력한 지각과 추론 능력이 반드시 성공적인 계획 능력으로 이어지지는 않습니다. 모델은 지각적 속성 인식과 제약 기반 계획 사이의 인지적 간극 (Cognitive Gap) 을 극복해야 합니다.

5. 의의 및 결론 (Significance)

• 새로운 평가 기준 제시: 기존 벤치마크가 놓치고 있던 '제약 조건이 있는 경로 계획'이라는 고차원적 인지 능력을 평가할 수 있는 표준적인 프레임워크를 제공합니다.
• 모델 한계 규명: 현재 MLLM 들이 복잡한 원격 탐사 시나리오에서 실제적인 계획 능력을 갖추기 위해서는 단순한 객체 인식을 넘어, 지형의 물리적 속성과 심볼릭 논리를 통합하는 능력이 필요함을 증명했습니다.
• 미래 연구 방향: 더 강력한 원격 탐사 MLLM 개발을 위해, 심볼릭 검증이 포함된 신경 - 심볼릭 접근법의 중요성과 최신 아키텍처의 필요성을 강조합니다.

결론적으로, NeSy-Route는 원격 탐사 분야에서 MLLM 의 실제 적용 가능성을 검증하고, 지각 - 추론 - 계획의 통합된 능력을 향상시키기 위한 필수적인 도구로 작용할 것입니다.