Evaluating the Search Agent in a Parallel World

이 논문은 검색 에이전트 평가의 한계를 해결하기 위해 지식 컷오프 이후의 시나리오와 불변의 사실 기반을 제공하는 'Mind-ParaWorld' 프레임워크와 1,608 개의 사례로 구성된 MPW-Bench 를 제안하며, 이를 통해 에이전트의 정보 수집 능력뿐만 아니라 증거 충분성 판단과 중단 시점 결정에서의 한계를 규명했습니다.

핵심

🚗 문제: 왜 기존 시험은 실패했을까?

지금까지 AI 가 웹 검색을 잘하는지 테스트하려면, 실제 인터넷에서 정보를 찾아오게 했습니다. 하지만 이 방식에는 치명적인 세 가지 함정이 있었습니다.

1. **시험지가 너무 빨리 낡아짐 **(동적 노후화)
   • 비유: 오늘 시험을 치르는데, 내일 뉴스에 "세계 기록이 깨졌다"는 기사가 나면, 어제 만든 정답이 오늘부터는 틀린 답이 됩니다. 인터넷은 살아있는 생물처럼 계속 변하기 때문에, 고정된 시험지는 금방 쓸모없어집니다.
2. **기억력 vs 검색 능력 구분이 안 됨 **(귀속 모호성)
   • 비유: 학생이 문제를 풀었는데, 정답을 맞췄어요. 그런데 이게 **실제로 도서관 **(검색)을 했기 때문인지, 아니면 **과거에 암기해 둔 지식 **(모델의 기억)을 꺼내서 맞춘 건지 알 수 없습니다.
3. 시험 비용과 질의 딜레마
   • 비유: 진짜 어려운 문제를 만들려면 전문가가 수고해야 하지만, AI 가 만들어주는 문제는 논리적 구멍이 많거나 신뢰할 수 없는 경우가 많습니다.

---

🌟 해결책: '마인드 - 파라월드 (Mind-ParaWorld)'

연구팀은 이 문제를 해결하기 위해 **"평행우주 **(Parallel World)라는 가상의 공간을 만들었습니다.

🎭 비유: "미래의 가상의 학교"

상상해 보세요. AI 가 시험을 치르는 곳이 2026 년의 가상의 학교입니다.

• 실제 인터넷은 없습니다. 대신 AI 가 질문하면, **가상의 검색 엔진 **(ParaWorld Engine)이 답변을 줍니다.
• 핵심 규칙: 이 가상의 세계에는 **'불변의 법칙 **(Atomic Facts)이 있습니다. 예를 들어, "2027 년 니코 윌리엄스의 득점수는 11 점이다"라는 법칙이 있다면, AI 가 아무리 검색을 해도 그 숫자는 절대 변하지 않습니다.

이 방식의 장점은 무엇일까요?

1. 기억력 차단: AI 가 훈련할 때 (2024 년 이전) 알 수 없는 미래의 사건을 물어보므로, 반드시 검색을 해야만 답을 찾을 수 있습니다.
2. 공정한 시험: 검색 엔진이 어떤 결과를 보여줄지 연구팀이 완벽하게 통제하므로, AI 의 실력만 정확히 측정할 수 있습니다.
3. 논리적 정합성: 가상의 세계는 모순이 없으므로, AI 가 엉뚱한 정보를 찾아오면 바로 틀린 것으로 판명됩니다.

---

🧩 시험 방식: 3 단계 난이도

연구팀은 AI 의 능력을 세 단계로 나누어 평가했습니다.

1. **단계 A **(정답 제공)
   • 상황: 모든 필요한 정보 (법칙) 를 AI 에게 다 줍니다. 검색은 금지!
   • 목적: "정보를 다 주면, AI 가 논리적으로 답을 잘 조합할 수 있는가?"를 봅니다. (대부분의 AI 가 잘합니다.)
2. **단계 B **(가이드 제공)
   • 상황: 검색은 해야 하지만, "어떻게 검색해야 하는지" 힌트를 줍니다. (예: "한 번에 한 명만 검색해라")
   • 목적: "검색을 잘할 수 있는가?"를 봅니다.
3. **단계 C **(완전 자율)
   • 상황: 아무런 힌트 없이, AI 가 스스로 문제를 분석하고, 검색어를 만들고, 정보를 모으고 답을 내야 합니다.
   • 목적: 진짜 실력을 봅니다.

---

🔍 연구 결과: AI 의 약점은 무엇일까?

1,600 개 이상의 가상의 문제를 통해 다양한 AI 를 테스트한 결과, 놀라운 사실이 드러났습니다.

• 정보 조합은 잘함: 정보를 다 주면 (단계 A) AI 는 아주 잘 답을 냅니다.
• 검색 전략은 약함: 하지만 스스로 정보를 찾아야 하는 단계 C 로 가면 성적이 뚝 떨어집니다.
• 주요 병목 현상:
  1. 검색을 멈추는 타이밍을 모름: 필요한 정보가 아직 부족할 때, "아, 이제 알겠다!"라고 너무 일찍 결론을 내립니다.
  2. 검색어 구성 실패: 복잡한 질문을 "한 번에 다 찾아줘"라고 요청하다가 실패합니다. (예: "A 와 B 의 점수를 비교해줘"라고 하면 실패하고, "A 점수 찾아줘", "B 점수 찾아줘"로 나누어야 합니다.)
  3. 정보 부족 감지 실패: 검색 결과가 부족해도, "이 정도면 충분해"라고 착각하고 엉뚱한 답을 냅니다.

---

💡 결론: 무엇을 배울 수 있을까?

이 연구는 "AI 가 검색을 잘하려면, 단순히 검색을 더 많이 하는 게 아니라, '무엇을', '언제', '어떻게' 검색할지 전략을 세우는 능력이 훨씬 중요하다는 것을 보여줍니다.

한 줄 요약:

"지금의 AI 는 **도서관 **(검색)을 잘하지만, **어떤 책을 찾아야 할지 **(전략)를 스스로 기획하는 능력은 아직 부족합니다. 이 '평행우주' 시험은 그 부족함을 정확히 찾아내어, 더 똑똑한 AI 를 만드는 길을 열어줍니다."

이 연구는 Li Auto(리안) 의 기본 모델 팀에서 진행되었으며, 앞으로 더 정교하고 현실적인 AI 검색 에이전트를 개발하는 데 중요한 기준이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 에 웹 검색 도구를 통합하는 '검색 에이전트'는 실시간 정보와 긴 꼬리 (long-tail) 문제를 해결하는 능력을 크게 향상시켰습니다. 그러나 이러한 에이전트를 평가하는 데는 다음과 같은 중대한 과제들이 존재합니다.

• 고품질 벤치마크 구축의 비용과 신뢰성 문제: 심층 검색 (Deep Search) 을 위한 고품질 벤치마크를 구축하는 것은 전문가의 노력이 과도하게 필요하며, 자동화된 합성 데이터는 종종 신뢰할 수 없는 출처나 논리적 결함을 포함합니다.
• 정적 벤치마크의 동적 노후화 (Dynamic Obsolescence):
  • 난이도 붕괴 (Difficulty Collapse): 인터넷 정보가 축적되면서 복잡한 다단계 추론이 필요한 질문이 단순 검색으로 변질됩니다.
  • 사실 드리프트 (Fact Drift): 스포츠 기록, 주가, 가격 등 시점에 따라 변하는 정보는 정적 벤치마크의 정답 (Ground Truth) 을 빠르게 무효화합니다.
• 귀속 모호성 (Attribution Ambiguity): 에이전트가 도구를 사용하여 문제를 해결했는지, 아니면 사전 학습된 지식 (Parametric Memory) 을 단순히 회상했는지 구분하기 어렵습니다.
• 재현성 부족: 특정 상용 검색 엔진에 의존하면 검색 알고리즘의 불투명성으로 인해 평가 결과의 변동성이 커지고 재현이 어렵습니다.

2. 방법론 (Methodology: Mind-ParaWorld Framework)

저자들은 에이전트의 내부 지식과 인지적으로 격리된 **"평행 세계 (Parallel World)"**를 구축하여 검색 에이전트를 평가하는 새로운 프레임워크를 제안합니다.

핵심 구성 요소

1. 평행 세계 질문 구성 (Question Construction):

   • 실제 세계의 엔티티 (예: 축구 선수, 기업) 를 샘플링하여 모델의 지식 컷오프 (Knowledge Cutoff) 이후인 미래 시나리오를 생성합니다.
   • 다중 사실 의존성: 하나의 질문이 여러 사실의 조합과 계산을 필요로 하도록 설계합니다.
   • 단축로 (Shortcut) 방지: 복잡한 질문을 단일 쿼리로 해결할 수 없도록 하여, 에이전트가 질문을 분해하고 구체적인 하위 쿼리를 수행하도록 유도합니다.

2. 평행 세계 법칙 구성 (Law Construction):

   • 각 질문에 대해 **원자적 사실 (Atomic Facts)**의 집합을 정의합니다. 이는 해당 평행 세계의 물리 법칙과 같습니다.
   • 이 사실들은 상호 모순이 없으며, 질문의 정답을 유일하게 결정할 수 있도록 충분해야 합니다.
   • Ground Truth: 이 원자적 사실들을 기반으로 유일하게 도출된 정답을 생성합니다.

3. 평행 세계 엔진 모델 (ParaWorld Engine Model, PEM):

   • 실제 검색 엔진 대신 에이전트가 상호작용하는 가상 엔진입니다.
   • 에이전트의 쿼리를 분석하여 **원자적 쿼리 (Atomic Query)**인지 **복합 쿼리 (Compound Query)**인지 분류합니다.
   • 정보 통제: 원자적 쿼리에만 해당 사실의 정보를 제공하고, 복합 쿼리나 부정확한 쿼리에는 모호하거나 관련 없는 정보 (Noise) 를 반환합니다. 이를 통해 에이전트의 질문 분해 능력과 증거 수집 전략을 엄격하게 평가합니다.

MPW-Bench (벤치마크)

• 규모: 19 개 도메인 (스포츠, 엔터테인먼트, 기술 등) 에 걸쳐 1,608 개의 인스턴스.
• 구조: 질문, 원자적 사실 (법칙), 정답으로 구성된 인터랙티브 시나리오.
• 난이도: 필요한 원자적 사실의 수에 따라 Easy, Mid, Hard 로 분류됩니다.

3. 주요 기여 (Key Contributions)

1. Mind-ParaWorld 프레임워크 제안: 정적 웹 데이터에 의존하지 않고, 통제 가능하고 재현 가능한 평행 세계 환경에서 심층 검색 에이전트를 평가하는 새로운 패러다임을 제시했습니다.
2. MPW-Bench 공개: 1,608 개의 상호작용 시나리오를 포함하는 오픈 벤치마크를 공개하여, 검색 에이전트 간의 공정한 비교와 재현 가능한 평가를 가능하게 했습니다.
3. 분해된 평가 프로토콜:
   • Setting A (Oracle-Facts): 모든 사실이 제공된 상태에서의 추론 능력 상한선 평가.
   • Setting B (Guided Search): 쿼리 분해 가이드 제공 하에서의 증거 수집 및 커버리지 평가.
   • Setting C (End-to-End): 완전한 자율 검색 (분해, 쿼리 전략, 증거 수집, 종합) 평가.
   • 이 프로토콜을 통해 에이전트의 실패 원인을 '추론 능력'이 아닌 '증거 수집' 단계로 명확히 구분할 수 있습니다.

4. 실험 결과 (Results)

다양한 모델 (Qwen, MindWatcher, MiniMax, GPT-5, Gemini 등) 을 대상으로 한 실험 결과는 다음과 같은 통찰을 제공합니다.

• 증거 수집의 병목 현상: Setting A(모든 사실 제공) 에서 모델들은 높은 정확도 (67~91%) 를 보였으나, Setting C(자율 검색) 로 넘어가면 성능이 급격히 하락했습니다. 이는 모델의 추론 능력 부족이 아니라, 필요한 증거를 수집하고 커버리지 (Fact Coverage Rate, FCR) 를 확보하지 못하는 것이 주요 병목임을 시사합니다.
• 쿼리 분해 및 전략의 부재:
  • 많은 모델이 복잡한 질문을 원자적 쿼리로 분해하지 못하고, 복합 쿼리를 그대로 검색하거나 불필요한 검색을 반복합니다.
  • 조기 종료 (Premature Stopping): 충분한 증거를 수집하기 전에 답변을 생성하려는 경향이 강하게 나타났습니다.
  • 한계 수익 감소: 검색 횟수가 증가할수록 새로 발견되는 사실의 수 (Marginal Coverage) 는 급격히 감소하며, 모델은 효율적인 검색 전략을 스스로 학습하지 못합니다.
• 모델별 차이: MindWatcher 32B 와 MiniMax 모델들이 상대적으로 높은 FCR 과 Hit Rate 를 보이며 더 나은 성능을 발휘했으나, 여전히 복잡한 작업에서는 증거 부족으로 인한 실패가 빈번했습니다.

5. 의의 및 결론 (Significance)

이 연구는 검색 에이전트 평가의 새로운 표준을 제시합니다.

• 평가의 객관성 확보: 지식 컷오프 이후의 미래 시나리오와 통제된 사실 기반 환경을 통해, 모델의 '검색 능력'과 '기억 능력'을 명확히 분리하여 평가할 수 있습니다.
• 진단 가능성: 과정 중심 지표 (Fact Coverage Rate, Hit Rate 등) 를 통해 에이전트가 어디서 실패하는지 (쿼리 분해 실패, 증거 수집 부족, 조기 종료 등) 를 정밀하게 진단할 수 있습니다.
• 향후 방향: 현재 검색 에이전트의 가장 큰 한계는 복잡한 정보를 수집하고 통합하는 '증거 획득 및 커버리지' 단계에 있음을 증명했습니다. 이는 향후 에이전트 개발 시 질문 분해 전략, 적응형 검색 계획, 그리고 언제 검색을 멈추고 답변을 생성할지 결정하는 메커니즘에 대한 연구의 중요성을 강조합니다.

결론적으로, Mind-ParaWorld 는 검색 에이전트의 실제 세계 배포 능력을 향상시키기 위한 견고하고 해석 가능한 평가 플랫폼을 제공하며, 에이전트 기술의 다음 단계 발전을 위한 기초를 마련했습니다.