💬 NLP

WorldTravel: A Realistic Multimodal Travel-Planning Benchmark with Tightly Coupled Constraints

이 논문은 복잡하게 얽힌 제약 조건과 실시간 웹 환경을 반영한 새로운 멀티모달 여행 계획 벤치마크인 **WorldTravel**을 제안하며, 최신 모델들이 시각적 정보 추출과 장기적 추론의 결합 과정에서 심각한 성능 저하를 보인다는 점을 입증했습니다.

원저자: Zexuan Wang, Chenghao Yang, Yingqi Que, Zhenzhu Yang, Huaqing Yuan, Yiwen Wang, Zhengxuan Jiang, Shengjie Fang, Zhenhe Wu, Zhaohui Wang, Zhixin Yao, Jiashuo Liu, Jincheng Ren, Yuzhen Li, Yang Yang, Ji

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zexuan Wang, Chenghao Yang, Yingqi Que, Zhenzhu Yang, Huaqing Yuan, Yiwen Wang, Zhengxuan Jiang, Shengjie Fang, Zhenhe Wu, Zhaohui Wang, Zhixin Yao, Jiashuo Liu, Jincheng Ren, Yuzhen Li, Yang Yang, Jiaheng Liu, Jian Yang, Zaiyuan Wang, Ge Zhang, Zhoufutu Wen, Wenhao Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 지금의 AI는 '눈치 없는 모범생'이에요 🎓

지금까지의 AI들은 시험을 볼 때 아주 깔끔하게 정리된 **'요약 노트(JSON 데이터)'**만 보고 문제를 풀었습니다. "박물관은 10시에 열고, 입장료는 만 원이야"라고 딱 적혀 있는 식이죠. 그래서 AI들은 이 요약 노트만 있으면 꽤 높은 점수를 받았습니다.

하지만 실제 세상은 어떤가요? 우리는 웹사이트에 들어가서 직접 사진을 보고, "예약 가능" 버튼이 활성화되어 있는지 확인하고, 메뉴판 사진을 보며 가격을 계산해야 합니다. 지금의 AI는 이 **'진짜 세상의 복잡함'**을 마주하면 갑자기 멘붕(패닉)에 빠집니다.

2. '월드 트래블(WorldTravel)': AI를 위한 '지옥의 여행 계획 레이스' 🏃‍♂️💨

연구진은 AI의 진짜 실력을 확인하기 위해 **'WorldTravel'**이라는 아주 까다로운 시험지를 만들었습니다. 이 시험지는 단순히 "어디 갈래?"라고 묻지 않습니다. 마치 **'도미노 게임'**처럼 설계되어 있어요.

도미노 효과 (Tightly Coupled Constraints): 예를 들어, "오전 10시에 루브르 박물관에 꼭 가야 해"라는 조건이 하나 붙으면, 점심 식사 시간, 이동 시간, 다음 박물관 입장 시간까지 모든 계획이 도미노처럼 줄줄이 영향을 받습니다. 하나라도 어긋나면 전체 계획이 '꽝'이 되어버리죠.
진짜 웹사이트 환경 (Webscape): AI에게 텍스트 요약본을 주는 대신, 실제 예약 사이트의 스크린샷을 던져줍니다. "자, 여기 예약 사이트 사진이야. '매진'이라고 적힌 회색 버튼은 피해서 예약해봐!"라고 시키는 거죠.

3. 결과는 충격적: "AI, 생각보다 훨씬 허당이네?" 😱

최첨단 AI인 GPT-5.2(논문 속 가상의 최신 모델)조차 이 시험에서는 처참한 성적을 거뒀습니다.

텍스트로만 풀 때: 32% 정도 성공 (그나마 좀 함)
진짜 웹사이트 사진을 보고 풀 때: 19%로 뚝 떨어짐! (눈이 침침하거나 눈치가 없는 거죠)

연구진은 이를 **'인지-행동 격차(Perception-Action Gap)'**라고 불렀습니다. 눈으로 보고 정보를 읽어내는 능력(인지)과, 그 정보를 바탕으로 복잡한 계획을 짜는 능력(행동) 사이의 거대한 골짜기를 발견한 것입니다.

4. 비유로 정리하자면? 🧩

지금의 AI를 **'레고 설명서만 보고 성을 쌓는 아이'**라고 해봅시다.

기존 시험: 레고 조각들이 이미 색깔별, 모양별로 완벽하게 분류되어 있는 상태에서 성을 쌓으라고 함. (AI가 잘함)
WorldTravel 시험: 거실 바닥에 레고 조각들이 마구 흩어져 있고, 어떤 건 상자 안에 숨겨져 있으며, "이 성은 반드시 30분 안에 완성해야 하고, 빨간색 조각은 꼭 5개 써야 해!"라는 까다로운 규칙까지 주는 상황. (AI가 멘붕에 빠짐)

5. 이 연구가 왜 중요한가요? 🚀

우리가 나중에 "내 취향에 딱 맞고, 예산 안에서, 동선 꼬이지 않는 완벽한 유럽 여행 계획 짜줘!"라고 AI 비서에게 시켰을 때, AI가 "아, 그 박물관은 월요일에 쉬는데 예약 버튼이 회색이라 못 가요..."라고 말하며 엉터리 계획을 내놓으면 안 되기 때문입니다.

이 논문은 **"AI가 진짜 우리 삶의 비서가 되려면, 단순히 글만 잘 읽는 게 아니라 눈(시각)과 머리(추론)를 동시에 써서 복잡한 현실을 헤쳐 나가는 능력을 키워야 한다!"**는 숙제를 던져준 것입니다.

[기술 요약] WorldTravel: 긴밀하게 결합된 제약 조건을 가진 현실적인 멀티모달 여행 계획 벤치마크

1. 문제 정의 (Problem Statement)

기존의 AI 에이전트 평가 벤치마크(예: TravelPlanner, ChinaTravel)는 다음과 같은 한계가 있습니다.

느슨한 제약 조건 (Loosely Coupled Constraints): 개별 결정이 전체 계획의 타당성에 큰 영향을 미치지 않는 '탐욕적 결정(Greedy decision)'이 가능한 단순한 구조입니다.
이상적인 데이터 환경 (Idealized Data): 모든 정보가 JSON과 같은 구조화된 텍스트 형식으로 제공되어, 실제 웹 환경에서 정보를 추출하는 능력을 평가하지 못합니다.
현실과의 괴리: 실제 여행 계획은 하나의 예약 시간이나 이동 시간의 미세한 차이가 전체 일정의 불가능(Infeasibility)으로 이어지는 '취약성(Brittleness)'을 가지지만, 기존 벤치마크는 이를 반영하지 못합니다.

2. 방법론 (Methodology)

본 논문은 현실적인 여행 계획 능력을 측정하기 위해 WorldTravel 벤치마크와 WorldTravel-Webscape 환경을 제안합니다.

A. WorldTravel 벤치마크 구성

데이터셋: 5개 유럽 도시(베를린, 빈, 로마, 바르셀로나, 피렌체)를 배경으로 한 150개의 실제 여행 시나리오.
제약 조건 체계:
- Hard Constraints (강한 제약): 시간 예약 슬롯(Timed-entry), 운영 시간, 최소 체류 시간, 활동 간 이동 시간 및 도착 버퍼 등. 하나라도 위반 시 전체 일정은 '불가능'한 것으로 간주됩니다.
- Soft Constraints (약한 제약): 비용 최적화, 숙소 선호도 등. 일정이 타당할 경우 결정의 정확도를 평가합니다.
복잡도: 평균 15개 이상의 상호 의존적인 제약 조건을 포함하여 매우 높은 결합도를 가집니다.

B. WorldTravel-Webscape 환경

멀티모달 상호작용: 에이전트는 구조화된 텍스트 대신, 2,000개 이상의 렌더링된 웹페이지 스크린샷을 보고 정보를 추출해야 합니다.
도구 사용 (Tool Use): 에이전트는 API 호출을 통해 예약 페이지, 가이드, 메뉴, 교통 매트릭스 등의 스크린샷을 받아 시각적 레이아웃에서 파라미터를 직접 인식해야 합니다.

3. 주요 기여 (Key Contributions)

현실적인 벤치마크 구축: 긴밀하게 결합된 시간적/논리적 제약 조건을 가진 엔드투엔드 여행 계획 벤치마크를 최초로 제안했습니다.
멀티모달 환경 설계: 시각적 인지(Perception)와 논리적 추론(Reasoning)을 동시에 요구하는 고충실도 웹 환경을 구축했습니다.
병목 지점 식별: 현재 LLM/VLM 에이전트가 겪는 두 가지 핵심 병목인 **'Perception-Action Gap'**과 'Planning Horizon' 임계치를 규명했습니다.

4. 실험 결과 (Key Results)

10개의 최첨단(Frontier) 모델을 평가한 결과는 다음과 같습니다.

성능 저하 (Performance Collapse): 가장 뛰어난 모델인 GPT-5.2조차 텍스트 전용 설정에서 실행 가능성(Feasibility)이 **32.67%**에 불과하며, 멀티모달(스크린샷) 환경에서는 **19.33%**로 급락합니다.
Perception-Action Gap: 텍스트 기반 추론 능력이 뛰어나더라도, 스크린샷에서 제약 조건을 정확히 추출하는 시각적 인지 능력이 결여되면 전체 계획이 무너짐을 확인했습니다.
Planning Horizon 임계치: 제약 조건의 개수가 약 10개를 넘어서는 시점에서 모델의 성능이 급격히 붕괴(Collapse)되는 현상을 발견했습니다.
독립적 병목 현상: 모든 제약 파라미터를 구조화된 텍스트(Gold- $\theta$ )로 제공하더라도 실행 가능성이 크게 개선되지 않았습니다(GPT-5.2 기준 36.67%). 이는 '정보 추출'의 문제보다 '복잡한 시간적 추론' 자체가 근본적인 병목임을 시사합니다.

5. 의의 (Significance)

본 연구는 차세대 AI 에이전트가 단순한 대화형 비서를 넘어 실제 물류 및 복잡한 운영 연구(Operations Research) 문제를 해결하기 위해서는 **고정밀 시각적 인지(High-fidelity Visual Perception)**와 **장기적 추론(Long-horizon Reasoning)**이 통합된 모델로 진화해야 함을 강력하게 시사합니다.