MapTab: Are MLLMs Ready for Multi-Criteria Route Planning in Heterogeneous Graphs?

이 논문은 다중 기준 경로의 계획 과제를 통해 멀티모달 대형 언어 모델 (MLLM) 의 종합적 추론 능력을 평가하기 위해 메트로 및 여행 지도 데이터를 활용한 새로운 벤치마크 'MapTab'을 제안하고, 현재 모델들이 시각적 지각과 다중 기준 추론에서 여전히 큰 한계를 겪고 있음을 밝혔습니다.

핵심

🗺️ 지도와 표를 함께 보는 AI: 'MapTab' 연구 설명

이 논문은 **"AI 가 복잡한 지도와 숫자 표를 동시에 보며, 여러 조건을 고려해 최적의 길을 찾아낼 수 있을까?"**라는 질문에 답하기 위해 진행된 실험입니다.

상상해 보세요. 여러분이 여행 계획을 세우고 있습니다.

1. 지도를 보며 지하철 노선이나 관광명소의 위치를 파악해야 합니다. (시각 정보)
2. 표를 보며 각 노선의 소요 시간, 요금, 편안함, 신뢰도 같은 숫자 정보를 확인해야 합니다. (구조화된 데이터)
3. 이제 이 두 가지를 합쳐서 **"가장 빠르면서도, cheapest(저렴하고), 편안하며, 믿을 수 있는 길"**을 찾아야 합니다.

이 연구는 바로 이 **'복합적인 의사결정'**을 AI 가 잘 해내는지 테스트한 것입니다.

---

🧩 1. 연구의 핵심: 'MapTab'이라는 새로운 시험지

기존의 AI 시험지들은 주로 "이 그림에 고양이가 있나요?" 같은 단순한 질문이나, "이 수학 문제를 풀어보세요" 같은 텍스트 기반 문제를 냈습니다. 하지만 현실 세계의 문제는 훨씬 더 복잡합니다.

연구팀은 **'MapTab'**이라는 새로운 벤치마크 (시험지) 를 만들었습니다.

• 구성: 328 개의 고해상도 지도 (지하철도 160 개 도시, 관광명소 19 개국) + 관련 데이터 표.
• 질문: 19 만 6 천 개 이상의 경로 찾기 질문과 3 천 9 백 개 이상의 질문지.
• 핵심 조건: 시간, 비용, 편안함, 신뢰도라는 4 가지 기준을 동시에 고려해야 합니다.

비유: 마치 AI 에게 "이 지하철 지도와 요금표, 시간표를 보고, '가장 저렴하면서도 1 시간 안에 도착하고, 에어컨이 잘 나오는 노선'을 찾아줘"라고 시키는 것과 같습니다.

---

🤖 2. 실험 결과: AI 는 아직 '초보 운전사' 수준입니다

연구팀은 최신 AI 모델 15 개를 시험에 참여시켰는데, 결과는 다소 충격적이었습니다.

🚫 문제점 1: "눈이 나쁘면 머리가 나빠진다"

AI 는 지도를 볼 때 글자나 선을 정확히 읽지 못하면 (OCR 오류), 그 뒤의 논리 추론도 엉망이 됩니다.

• 현상: 지도만 보여줬을 때보다, 표 (데이터) 만 보여줬을 때 AI 가 길을 더 잘 찾았습니다.
• 이유: 지도는 시각적 잡음 (복잡한 선, 글자) 이 많아서 AI 가 혼란을 겪지만, 표는 숫자와 글자만 깔끔하게 정리되어 있어 AI 가 계산하기 더 쉽기 때문입니다.
• 교훈: AI 는 아직 복잡한 그림을 읽는 능력이 부족합니다.

🚫 문제점 2: "단순한 길만 찾는다" (Shortest-path Trap)

AI 는 "가장 빠른 길"을 찾으라고 하면, 단순히 거리가 가장 짧은 길만 찾습니다.

• 현상: "편안함"이나 "비용" 같은 조건을 추가해도, AI 는 여전히 "가장 짧은 길"을 고집하며 조건을 무시하는 경우가 많았습니다.
• 비유: "가장 맛있는 음식을 찾아줘"라고 해도, AI 는 "가장 가까운 식당"만 추천하는 것과 같습니다.

🚫 문제점 3: "계산 실수"와 "과도한 고민"

• 계산 실수: "A 역에서 B 역까지 몇 번 환승해야 하나?" 같은 단순한 세기 (Counting) 나 숫자 비교에서도 AI 는 자주 틀렸습니다.
• 과도한 고민 (Overthinking): 간단한 문제일수록 AI 가 "생각하는 과정 (Chain-of-Thought)"을 길게 늘어놓다가 오히려 틀린 답을 내기도 했습니다. 반대로 복잡한 문제는 너무 간단하게 넘겨버렸습니다.

---

💡 3. 왜 이 연구가 중요한가요?

이 연구는 AI 가 **"실제 생활에서 복잡한 결정을 내리는 능력"**이 아직 부족하다는 것을 명확히 보여줍니다.

• 현재 상태: AI 는 "눈" (시각 인식) 이 나쁘고, "손" (숫자 계산) 이 서툴며, "머리" (복합적 논리) 가 아직 완전히 깨어나지 않았습니다.
• 미래 방향: AI 가 실제로 우리 생활을 도와주려면 (예: 자율주행, 여행 플래너, 물류 최적화), 단순히 그림을 보는 것을 넘어 데이터를 이해하고, 여러 조건을 저울질하며, 정확한 계산을 할 수 있어야 합니다.

🎯 결론: 한 줄 요약

"AI 는 아직 지도와 표를 동시에 보며 '가장 좋은 길'을 찾는 데 서툴다. 그림을 잘 읽고, 숫자를 정확히 계산하며, 여러 조건을 저울질할 수 있도록 더 훈련시켜야 한다."

이 연구는 AI 개발자들에게 "단순히 더 똑똑한 모델을 만드는 것보다, 시각 인식과 논리적 추론을 균형 있게 발전시키는 것이 중요하다"는 귀중한 교훈을 남겼습니다.

기술 요약

1. 문제 정의 (Problem)

다중 모달 대규모 언어 모델 (MLLMs) 은 복잡한 의사결정 분야에서 큰 잠재력을 보이지만, 기존 벤치마크는 다중 기준 (Multi-criteria) 제약 하에서의 추론 능력을 엄격하게 평가하기에 부족합니다.

• 현실적 한계: 실제 경로 계획 (Route Planning, RP) 은 단순히 최단 거리를 찾는 것을 넘어, 시간, 비용, 편안함, 신뢰성 등 상충되는 여러 기준을 동시에 고려해야 하는 복잡한 최적화 문제입니다.
• 평가의 부재: 기존 지도 기반 벤치마크는 주로 시각적 인식이나 단순한 질의응답에 집중하며, 구조화된 테이블 데이터와 지도 이미지를 결합하여 이질적인 그래프 (Heterogeneous Graph) 상에서 다중 기준 추론을 수행하는 능력을 체계적으로 측정하지 못했습니다.
• 핵심 과제: MLLM 이 시각적 지도 정보와 구조화된 속성 데이터 (시간, 가격 등) 를 통합하여, 다양한 사용자 선호도에 맞춰 최적의 경로를 계획할 수 있는지 검증할 수 있는 프레임워크가 필요합니다.

2. 방법론 (Methodology)

이 연구는 MapTab이라는 새로운 멀티모달 벤치마크를 제안하며, 이는 비동질적 그래프 추론을 평가하기 위해 설계되었습니다.

• 데이터 구성 (Benchmark Statistics):
  • 시나리오: 지하철 네트워크 (Metromap, 52 개국 160 개 도시) 와 관광지 지도 (Travelmap, 19 개국 168 개 명소) 두 가지 시나리오를 포함합니다.
  • 규모: 총 328 개의 고해상도 지도 이미지, 196,800 개의 경로 계획 (RP) 쿼리, 3,936 개의 질의응답 (QA) 쿼리로 구성됩니다.
  • 다중 기준: 시간 (Time), 가격 (Price), 편안함 (Comfort), 신뢰성 (Reliability) 의 4 가지 핵심 기준을 통합합니다.
• 데이터 구조 (Vision-Structured Data Collaboration):
  • 지도 이미지 ($I$) 만으로는 정량적 속성을 파악하기 어렵기 때문에, Edge_tab(노드 간 연결 속성) 과 Vertex_tab(노드/정류장 속성) 형태의 구조화된 테이블 데이터를 함께 제공합니다.
  • 이를 통해 모델은 시각적 토폴로지 (지도) 와 구조화된 수치 데이터 (테이블) 를 결합하여 이질적인 그래프를 이해하도록 요구받습니다.
• 작업 정의:
  • 입력: 지도 이미지, 엣지 테이블, 버텍스 테이블, 출발지/목적지 및 사용자 선호도 (기준) 쿼리.
  • 출력: 주어진 다중 기준 하에서 전체 경로 비용을 최소화하는 최적 경로 ($r^*$).
  • 최적화 목표: 가중치 합을 통해 시간, 비용, 편안함, 신뢰성을 균형 있게 고려한 경로 탐색.
• 실험 설정:
  • 15 개의 최신 MLLM (Open-source 및 Closed-source, Instruct 및 Thinking 모델 포함) 을 평가합니다.
  • 입력 모달리티 변형: 지도만 (Map-only), 테이블만 (Edge_tab-only), 지도+테이블 (Map+Edge_tab) 등 다양한 조합으로 모델의 시각적 인식과 구조적 추론 능력을 분리하여 평가합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 다중 기준 멀티모달 벤치마크: 시각적 지도와 구조화된 테이블 데이터를 결합하여 이질적 그래프 상의 다중 기준 경로 계획을 평가하는 최초의 프레임워크를 제안했습니다.
2. 대규모 듀얼 시나리오 벤치마크: 52 개국 160 개 도시의 지하철과 19 개국 168 개 관광지를 아우르는 328 개의 지도와 20 만 개 이상의 쿼리를 포함하는 방대한 규모의 데이터를 구축했습니다.
3. 포괄적인 MLLM 평가 및 통찰: 다양한 모델에 대한 체계적인 평가를 통해 현재 MLLM 의 한계를 명확히 규명하고, 다중 모달 협업과 추론 체인 (CoT) 의 효과에 대한 실증적 증거를 제시했습니다.

4. 실험 결과 (Results)

15 개 모델에 대한 평가 결과, 현재 MLLM 은 다중 기준 멀티모달 추론에서 상당한 도전에 직면해 있음이 드러났습니다.

• 시각적 인식의 병목 현상:
  • Observation 1: 시각적으로 복잡한 지하철 (Metromap) 환경에서는 Map+Vertex2_tab 설정이 지도만 사용하는 것보다 성능이 크게 향상되었습니다. 이는 테이블 데이터가 신뢰할 수 있는 상징적 앵커 (Symbolic Anchors) 역할을 하여 OCR 및 개체 인식 오류를 줄여주기 때문입니다.
  • Observation 2: 시각적 인식이 어려운 상황에서는 테이블 데이터가 지도보다 더 견고한 성능을 보입니다. 즉, 시각적 인식이 추론의 주요 병목 현상입니다.
• 이미지의 역할:
  • Observation 3: 시각적으로 복잡한 환경에서는 이미지가 오히려 방해 요소가 될 수 있지만, 단순한 환경 (Travelmap) 에서는 이미지가 성능 상한을 높이는 데 필수적입니다. 따라서 이미지를 배제하기보다 시각적 이해력을 향상시키는 것이 중요합니다.
• CoT (Chain-of-Thought) 의 효과:
  • Observation 4: 'Thinking' 모델은 복잡한 다중 모달 입력 하에서 CoT 를 통해 구조화된 데이터와 시각 정보의 시너지를 잘 내지만, 단순한 환경에서는 과도한 추론 (Overthinking) 으로 인해 성능이 저하되기도 합니다. CoT 는 모델의 본질적 추론 상한을 넘을 수는 없습니다.
• 추론의 한계 (Ablation Study):
  • Shortest-path Trap: 모델들은 실제로 다중 기준을 고려하기보다, 무조건적인 최단 경로 (Shortest Path) 를 추측하는 경향이 강했습니다.
  • 수치 계산 부족: 경로 상의 환승 시간, 총 비용, 평균 편안함 등 수치 계산 및 비교 작업에서 성능이 급격히 떨어졌습니다.
  • 이질적 그래프 이해 부족: 가중치가 부여된 이질적 그래프에서의 추론은 거의 불가능에 가까웠으며, 다단계 추론 (Multi-step reasoning) 이 필요한 경우 실패율이 높았습니다.

5. 의의 및 중요성 (Significance)

• AGI 발전의 진단 도구: MapTab 은 MLLM 이 실제 세계의 복잡한 의사결정 (다중 기준 최적화) 에 얼마나 준비되어 있는지를 진단하는 강력한 테스트베드를 제공합니다.
• 향후 연구 방향 제시:
  • 모듈러 협업 프레임워크: 시각적 인식 (Perception) 과 추론 (Reasoning) 을 분리하여 각각을 최적화하는 아키텍처의 필요성을 강조합니다.
  • 도구 사용 (Tool Use): 계산 및 비교 오류를 해결하기 위해 외부 도구를 활용하는 에이전트적 추론의 중요성을 시사합니다.
  • 후속 학습 전략: 다중 기준 제약 준수와 장기적 추론 일관성을 강화하기 위한 SFT 및 RL 기반의 타겟팅된 후속 학습 (Post-training) 전략의 필요성을 제기합니다.

결론적으로, 이 논문은 MLLM 이 단순한 시각 인식을 넘어, 구조화된 데이터와 결합된 복잡한 다중 기준 추론을 수행하는 데에는 여전히 해결해야 할 과제가 많음을 보여주며, 이를 위한 체계적인 평가 기준과 개선 방향을 제시했습니다.