기술 요약: LLM-WikiRace

문제 정의

대규모 언어 모델(LLM)은 수학적 추론이나 여행 계획과 같은 특정 도메인에서는 뛰어난 능력을 보여주었습니다. 그러나 기존의 벤치마크는 모델이 사전 학습을 통해 습득한 방대한 세계 지식을 어떻게 활용하여 오픈 도메인 환경에서 능동적인 계획 및 추론을 수행하는지를 평가하는 데 한계가 있습니다. 추론과 세계 지식은 흔히 개별적으로 연구되지만, 실제 세계의 과업들은 이 둘의 긴밀한 통합을 요구합니다.

본 논문은 모델이 오직 로컬 정보와 내부 지식만을 사용하여 실제 세계의 지식 그래프(위키피키디아)를 탐색하는 능력을 평가하기 위해 설계된 벤치마크인 LLM-WikiRace를 소개합니다. 이 과업은 에이전트가 단계별로 하이퍼링크를 선택하여 소스 위키피디아 페이지에서 타겟 페이지로 이동할 것을 요구합니다. 결정적으로, 에이전트는 전역 그래프 구조, 최단 경로, 또는 방문하지 않은 페이지의 내용에 접근할 수 없습니다. 따라서 에이전트는 의미론적 연결을 추론하고 장기적인 행동 시퀀스를 계획하기 위해 사전 학습된 세계 지식에 의존해야 합니다.

방법론

벤치마크 구축

• 그래프 소스: 본 벤치마크는 2025년 6월 23일 기준의 위키피디아 스냅샷을 기반으로 구축되었습니다. 저자들은 가장 큰 강결합 컴포넌트(strongly connected component)를 유지하여, 모든 노드가 서로 도달 가능한 549,232개의 페이지로 구성된 그래프를 생성했습니다.
• 과업 메커니즘: 각 단계에서 모델은 현재 페이지 제목, 타겟 페이지 제목, 방문한 페이지의 이력, 그리고 최대 50개의 외부 링크 제목 목록을 받습니다. 모델은 따라갈 링크 하나를 선택해야 합니다. 에이전트가 타겟에 도달하거나 30단계의 예산을 모두 소진하면 에피소드가 종료됩니다.
• 난이도 계층화: 벤치마크는 소스와 타겟 사이의 최단 경로 길이에 따라 세 가지 난이도 수준으로 나뉩니다.
  • Easy (쉬움): 경로 길이가 3 또는 4인 200개의 쌍.
  • Medium (중간): 경로 길이가 5 또는 6인 150개의 쌍.
  • Hard (어려움): 경로 길이가 7 또는 8인 100개의 쌍.
• 제약 사항: 인컨텍스트 검색(in-context retrieval)이 아닌 내부 지식에 의존하도록 하기 위해, 현재 문서의 본문 텍는 프롬프트에서 제외되었습니다. 외부 링크 목록은 50개로 제한됩니다. 페이지에 링크가 더 많은 경우, 알고리즘적 지름길을 방지하기 위해 모델에게는 숨겨진 상태로 타겟과 가장 가까운(최단 경로 기준) 50개의 링크를 선택합니다.

평가 프로토콜

• 평가 대상 모델: Gemini 3.1, GPT-5, Claude Opus 4.6, Grok 4.1과 같은 폐쇄형 프런티어 모델과 LLaMA 3, Gemma 3, DeepSeek R1, Kimi K2, Mistral, Qwen, 그리고 확산 기반(diffusion-based) 모델을 포함한 20개 이상의 다양한 모델을 포함합니다.
• 지표:
  • 성공률 (Success Rate): 단계 예산 내에 완료된 게임의 비율.
  • 차선 단계 (Suboptimal Steps): 성공한 게임에서 발생한 초과 단계의 평균 횟수 (경로 효율성 측정).
  • 세계 지식 프로브 (World Knowledge Probe): 두 페이지가 직접 연결되어 있는지 예측하는 별도의 분류 과업으로, 내부 지식과 계획 성능 간의 상관관계를 파악하는 데 사용됩니다.
• 분석: 계획 전략, 재계획(replanning) 동작, 루프 탐지를 조사하기 위한 궤적 수준의 분석이 포함됩니다.

주요 기여

1. 오픈 도메인 계획을 위한 벤치마크: LLM-WikiRace는 전체 위키피디아 하이퍼링크 그래프 상에서 상호작용적인 다단계 계획을 요구하는 최초의 벤치마크로, 세계 지식과 장기적 추론의 결합을 분리하여 평가합니다.
2. "계획 격차(Planning Gap)" 식별: 저자들은 "추론" 모델(예: GPT-5, DeepSeek R1)과 표준 "지시 미세 조정(instruct-tuned)" 모델 사이의 유의미한 성능 차이를 발견했습니다. 정적 프로브를 통해 측정한 세계 지식 수준이 유사함에도 불구하고, 추론 모델은 성공률이 최대 20% 포인트 더 높았습니다. 이는 추론을 위한 사후 학습이 계획 과정에서 지식을 배치하는 능력을 향상시킨다는 것을 시사합니다.
3. 재계획 실패 진단: 궤적 분석 결과, 강력한 모델들조차 오류로부터 회복하는 데 어려움을 겪는 것으로 나타났습니다. 모델들은 빈번하게 루프(페이지 재방문)에 빠지며, 최적이 아닌 경로임을 인지한 후에도 효과적으로 재계획하는 데 실패합니다. 루프 발생 빈도와 성공률 사이에는 강한 음의 상관관계가 존재합니다.
4. 사후 학습의 한계: DAPO 알고리즘을 사용하여 Qwen-2.5-7B 모델을 미세 조정한 실험 결과, 사후 학습이 쉬운 사례에서의 성능은 개선할 수 있으나(성공률 22.5%에서 67.5%로 증가), 이러한 이득이 중간 또는 어려운 난이도로 전이되지 않고 여전히 0%의 성공률을 보였습니다.

결과

• 난이도별 성능:
  • Easy 분할: 프런티어 모델들은 높은 성공률(>90%)을 달성했으며, Gemini 3.1이 96.0%로 선두를 차지했습니다.
  • Medium 분할: 성능이 크게 하락하여, 상위 모델(Gemini 3.1, Claude Opus 4.6)들이 약 50~70%의 성공률을 보였습니다.
  • Hard 분할: 성능이 붕괴되었습니다. 가장 우수한 모델인 Gemini 3.1조차 어려운 게임에서 29%의 성공률만을 기록했습니다. 대부분의 오픈 소스 모델은 이 분할에서 거의 0%에 가까운 성공률을 보였습니다.
• 모델 비교:
  • Gemini 3.1은 모든 난이도 수준에서 다른 모든 모델을 압도했습니다.
  • GPT-5와 Claude Opus 4.6이 그 뒤를 바짝 쫓았으나, 이전 버전이나 다른 변체(예: GPT-5.2는 Medium/Hard에서 GPT-5보다 낮은 성능을 보임)와 비교했을 때 Medium/Hard 분할에서 눈에 띄는 성능 저하를 보였습니다.
  • 오픈 소스 모델: 특히 Hard 사례에서 폐쇄형 모델들에 비해 전반적으로 뒤처졌습니다. DeepSeek R1과 Kimi K2는 경쟁력은 있었으나 상위 모델들을 따라잡지는 못했습니다.
• 재계획 동작: 성공한 궤적과 실패한 궤적의 분석에 따르면, 모델들은 종종 "허브 추구(hub-seeking)" 전략(초기에 광범위한 주제로 이동)을 보이지만, 일단 루프가 형성되면 탈출하는 데 실패합니다. 예를 들어, Hard 과업에서 Gemini 3는 86%의 사례에서 루프를 경험했으며, 루프가 발생한 궤적의 성공률은 10%에 불과했습니다.

의의 및 주장

본 논문은 LLM-WikiRace가 현재의 추론 시스템의 명확한 한계를 드러내는 "단순한 벤치마크" 역할을 한다고 주장합니다. 이 벤치마크의 의의는 다음과 같습니다:

• 계획 능력의 격리: 도메인 특유의 복잡성이나 도구 사용의 변수를 제거함으로써, 실패의 원인이 단순히 추론 능력의 부족이 아니라, 다단계 계획 중에 세계 지식을 검색하거나 적용하는 능력의 부재에서 기인함을 밝혀냈습니다.
• 재계획 결핍 강조: 본 벤치마크는 현재의 프런티어 모델들이 초기 계획은 가능할지라도 견고한 적응 제어 능력이 부족함을 입증합니다. 모델들은 빈번하게 전략을 수정하는 데 실패하며 반복적인 루프에 빠집니다.
• 한계 설정: 결과는 모델들이 Easy 분할은 마스터했으나, Hard 분할은 여전히 해결되지 않은 과제로 남아 있음을 보여줍니다. "계획 격차"는 현재의 추론을 위한 사후 학습 방법들이 복잡한 오픈 도메인 환경에서 지식 검색과 효과적인 장기 계획 사이의 간극을 완전히 메우기에는 불충분함을 시사합니다.

저자들은 LLM-WikiRace가 계획 능력을 갖춘 LLM들이, 특히 알고리즘의 도움 없이 실제 세계의 지식 그래프를 탐색하는 능력에 있어 여전히 증명해야 할 것이 많음을 보여주는 열린 장이라고 결론짓습니다.