기술 요약: VeriTrip: 비정형 웹 코퍼스를 기반으로 한 여행 계획 에이전트를 위한 검증 가능한 벤치마크

1. 문제 제기

현재 자율 여행 계획 에이전트를 위한 벤치마크는 평가 패러다임과 실제 배포 환경 간의 근본적인 괴리에 시달리고 있습니다. 기존 벤치마크 (예: TravelPlanner, TripTailor) 는 일반적으로 정제된 API 환경 내에서 작동하며, 사실 정보가 구조화된 인터페이스를 통해 제공됩니다. 이러한 접근법은 개방형 웹의 핵심 인지적 과제들—정보의 노이즈, 다중 출처 간의 사실적 모순, 그리고 시각적 지각을 논리적 계획에 연결 (grounding) 할 필요성—을 추상화해 버립니다.

반면, 심층 연구용 벤치마크들은 종종 합성된 출력물에 대한 엄격한 검증 프로토콜이 부족하여, 미묘한 사실적 왜곡을 탐지하지 못하는 'LLM-as-a-Judge'식 채점에 의존합니다. 본 연구가 다루는 핵심 연구 질문은 다음과 같습니다: 에이전트가 스스로 비정형적이고 멀티모달인 증거에서 사실을 능동적으로 발견해야 할 때, 사실적으로 정확한 계획을 산출할 수 있는가?

2. 방법론

2.1 VeriTrip 환경

API 기반 계획과 개방형 웹 검색 간의 간극을 해소하기 위해, 저자들은 **멀티모달 검색 기반 (Multimodal Retrieval Base, MRB)**과 **검증 가능한 지식 베이스 (Verifiable Knowledge Base, VKB)**를 기반으로 구축된 벤치마크인 VeriTrip을 소개합니다.

• 멀티모달 검색 기반 (MRB): 관광 포털, 포럼, 예약 페이지 등 실제 출처에서 선별된 8,210 개의 문서와 4,146 개의 이미지를 포함한 정적이며 고정된 웹 스냅샷입니다. MRB 는 PII(개인식별정보) 와 은밀한 광고를 LLM 기반 시맨틱 필터 (Qwen3-Max) 로 필터링하는 동시에, "진정한 웹 노이즈"인 구식 의견, 상충되는 리뷰, 홍보성 스팸을 보존하도록 설계되었습니다.
• 작업 구성: 에이전트는 쿼리 $Q = (q_{txt}, q_{img})$를 받습니다. 텍스트 구성 요소는 예산, 기간, 선호도 등의 제약 조건을 명시하고, 이미지 구성 요소는 시각적 앵커 (예: 목적지의 과도하게 잘린 소셜 미디어 사진) 를 제공합니다.
• 에이전트 인터페이스: 에이전트는 제한된 도구 세트를 통해 MRB 와 상호작용합니다:
  • docSearch: 키워드 기반 텍스트 검색.
  • imgSearch: 모호한 앵커를 해결하기 위한 시각적 유사도 검색.
  • getDocument: 전체 텍스트 콘텐츠 가져오기.
  • 구조화된 레스토랑 메타데이터를 위한 전용 함수 (생식 데이터가 종종 파편화되어 있어 평가의 완전성을 보장하기 위함).
• 검증 가능한 지식 베이스 (VKB): MRB 에서 추출된 구조화된 골드 스탠다드로, 에이전트는 엄격하게 접근할 수 없습니다. 여기에는 자동 검증을 위해 사용되는 지상 진실 (ground-truth) 사실 (교통 ID, POI 이름, 영업 시간) 이 포함되어 있습니다.

2.2 평가 프로토콜

VeriTrip 은 표면적 형태 매칭을 넘어 셀 단위 사실 검증 프로토콜로 이동합니다. 평가 파이프라인은 다음을 포함합니다:

1. 전달률 (Delivery Rate, DR): 출력이 유효하고 파싱 가능한 JSON 인지 측정합니다.
2. 사실 신뢰도 (Factual Reliability, FR): 생성된 세부 정보 (예: 항공편 번호, 호텔 이름) 가 VKB 와 정확히 일치하는 비율입니다. 이는 체계적 추론 실패와 매개변수적 환각을 구분합니다.
3. 선호도 충족률 (Preference Fulfillment Rate, PFR) 및 통과율 (Pass Rate, PR): 소프트 제약 조건 (음식 취향) 과 하드 제약 조건 (예산, 시간적 연속성) 준수 여부를 평가합니다.
4. 지리적 일관성: 최적 경로 대비 초과 이동 거리를 측정하여 공간적 상식을 평가하기 위해 여행자 문제 (Traveling Salesperson Problem, TSP) 솔버를 사용하여 **평균 마진 (Average Margin, AM)**을 계산합니다.

2.3 실험 설정

이 벤치마크는 다양한 최신 멀티모달 대형 언어 모델 (MLLM) 세트를 대상으로 평가되었습니다. 여기에는 다음이 포함됩니다:

• 생각 없이 (Without Thinking): GPT-4o, GPT-5-mini, Claude-4.5-Sonnet, Gemini-2.5-flash, Qwen-VL-Max 등.
• 생각과 함께 (With Thinking): o3, o4-mini, Gemini-2.5-pro.
  모델들은 중국과 미국의 15 개 관광 도시를 대상으로 한 다양한 난이도 (간단, 중간, 복잡) 의 작업에서 테스트되었습니다.

3. 주요 기여

1. 비정형 멀티모달 벤치마크: VeriTrip 은 고립된 API 가 아닌 고정된 비정형 멀티모달 웹 코퍼스를 기반으로 여행 계획을 평가하는 최초의 벤치마크입니다. 이는 에이전트가 시각적 모호성을 해결하고 노이즈가 많고 상충되는 증거를 탐색하도록 강요합니다.
2. 셀 단위 검증 프로토콜: MRB 에서 직접 파생된 VKB 를 구축함으로써, 저자들은 사실 신뢰도의 정밀하고 자동화된 정량화를 가능하게 합니다. 이는 진정한 논리적 추론을 내부 매개변수 기억에서 분리합니다.
3. 인지적 트레이드오프 발견: 평가는 중요한 검색 - 추론 트레이드오프를 드러냅니다. 자율적 검색과 시각적 지각에 필요한 인지 부하는 지시 사항 유지 및 고수준 선호도 충족을 크게 저하시킵니다.
4. 시각적 지각 분석: 이 논문은 시각적 도구 (Timg) 가 검색을 강제함으로써 (환각 감소) 사실적 지각을 개선하지만, 동시에 모델의 추론 능력을 소모하여 계획의 질 (PFR) 을 저하시킨다는 것을 보여줍니다.

4. 주요 결과

• 비제약 환경에서의 체계적 실패: 테스트된 모든 MLLM 은 비제약 검색 기반 계획에 어려움을 겪습니다. **전달률 (DR)**은 상대적으로 높게 유지되지만, **사실 신뢰도 (FR)**는 일관되게 낮습니다 (많은 모델의 경우 복잡한 작업에서 50% 미만).
• "게으름" 현상: 모델들은 간단한 작업에서 매개변수 기억에 의존하며 도구 호출 횟수를 줄이는 "게으름"을 보입니다. 이는 FR 을 낮춥니다. 에이전트를 복잡한 작업으로 강제하면 도구 사용이 증가하고 FR 이 향상됩니다 (예: o4-mini 는 복잡한 작업에서 FR 을 8.74% 향상시킴). 이는 능동적 검색이 환각을 줄인다는 것을 확인시켜 줍니다.
• 검색 - 추론 트레이드오프:
  • 사실 신뢰도 vs 선호도 충족률: 작업 복잡도가 증가함에 따라 FR 은 종종 향상되지만 (강제 검색으로 인해), **선호도 충족률 (PFR)**은 붕괴됩니다. 예를 들어, GPT-4o-mini 의 PFR 은 복잡한 작업에서 21.45% 하락했습니다.
  • 시각적 지각 영향: 제거 실험 (ablation studies) 은 시각적 검색 도구를 제공하는 것이 모호성을 해결함으로써 FR 을 향상시키지만, PFR 을 크게 낮춘다는 것을 보여줍니다. 시각적 입력을 처리하는 인지 부하는 글로벌 제약 조건을 충족하는 데 필요한 추론 자원을 소모합니다.
• 노이즈 민감성: MRB 내의 상충되거나 오해의 소지가 있는 정보의 존재는 일반적으로 성능, 특히 전달률과 통과율을 저하시키지만, 일부 모델은 지리적 일관성에서 회복 탄력성을 보입니다.
• 실패 모드: 사례 연구에 따르면 에이전트는 종종 세부 엔티티 인식 (특정 시각적 앵커를 POI 에 연결) 에서 실패하며, 강한 텍스트 사전 지식이 시각적 증거를 대체하는 문맥적 환각을 보입니다 (예: 보스턴 일정에 로스앤젤레스 랜드마크를 강제로 포함).

5. 의의 및 주장

저자들은 VeriTrip 을 에이전트 평가의 필수적인 진화로 위치시키며, 초점을 "도구 실행"에서 "증거 기반 추론"으로 전환합니다.

• 간극 해소: 이 연구는 "보는 것" (시각적 지각) 과 "계획하는 것" (논리적 종합) 사이의 상당한 능력 격차를 강조합니다. 현재의 MLLM 은 외부 검색 없이 이 간극을 메울 수 있는 정밀한 시각적 변별 능력을 결여하고 있습니다.
• 기억보다 견고성: 이 벤치마크는 구조화된 API 환경에서의 높은 성능이 개방형 웹으로 이어지지 않음을 보여줍니다. 진정한 견고성은 노이즈가 많고 비정형적인 출처에 대해 사실을 검증할 수 있는 능력을 요구합니다.
• 한계와 범위: 저자들은 겸손하게 VeriTrip 이 고정된 샌드박스 내의 정적 증거 검색을 평가한다고 주장합니다. 이는 실시간 동적 예약 기능 (예: 라이브 티켓 구매 또는 매진 상황 처리) 을 측정하지 않습니다. 범위는 중국과 미국의 15 개 도시로 제한되며, 평가는 샌드박스의 "증거 충분성" 특성에 의해 제한됩니다.

결론적으로, VeriTrip 은 차세대 계획 에이전트 개발을 위한 엄격한 기반을 제공하며, 향후 진보는 자율적 검색의 인지적 요구와 논리적 계획의 충실도 사이의 긴장 관계를 해결하는 데 달려 있음을 강조합니다.