기술 요약: 미래 사건 예측을 위한 인프라로서의 에이전틱 타임 머신 (Agentic Time Machine)

1. 문제 정의

실제 세계의 미래 사건(예: 선거 결과, 통화 정책 결정, 금융 시장 변동)을 예측하는 것은 대규모 언어 모델(LLM) 에이전트에게 매우 독특한 과제를 안겨줍니다. 일반적인 정보 검색 작업과 달리, 예측 시점에는 "정답"이 온라인상의 어떤 소스에도 존재하지 않기 때문입니다. 에이전트는 노이즈가 섞인 증거를 합성하고, 불확실성을 고려하며, 해결된 지상 진실(ground truth)에 접근할 수 없는 상태에서 잠재적 결과에 대해 추론해야 합니다.

현재의 평가 패러다임은 효율성과 환경 충실도(environment fidelity) 사이에서 근본적인 트레이드오프에 직면해 있습니다.

• 라이브 벤치마크: FutureX, Prophet Arena, ForecastBench와 같은 시스템은 동적인 웹 접근과 개방형 도구 사용을 제공합니다. 그러나 연구자들이 예측 결과를 확인하기 위해 며칠 또는 몇 주를 기다려야 하므로 피드백 루프가 본질적으로 느리다는 단점이 있습니다.
• 회고적/고정형 벤치마크: 개발 속도를 높이기 위해 일부 접근 방식은 정적인 사전 고정 데이터베이스나 폐쇄형 추론을 사용하여 과거의 질문을 재현합니다. 이는 빠른 피드백을 제공하지만, 에이전트를 제한된 비동적 데이터 소스로 제한함으로써 실제 배포 시 요구되는 오픈 웹 상호작용을 시뮬레이션하지 못해 환경적 리얼리즘을 희생합니다. 또한, 단순한 회고적 평가는 업데이트된 웹 스니펫이나 페이지가 의도치 않게 해결된 결과를 드러내는 정답 누출(answer leakage) 문제에 취약합니다.

2. 방법론

본 논문은 이러한 과제를 해결하기 위해 두 가지 핵심 구성 요소인 새로운 평가 인프라와 다중 에이전트 예측 프레임워크를 제안합니다.

2.1. 에이전틱 타임 머신 (Agentic Time Machine, TM)

에이전틱 타임 머신은 예측 작업의 빠르고 재현 가능한 로컬 재생을 가능하게 하면서 정답 누출을 방지하도록 설계된 LLM 기반 평가 인프라입니다.

• 메커니즘: TM은 예측 에이전트와 라이브 웹 도구(검색 및 페이지 페칭) 사이에서 작동합니다. TM은 에이전트에게 도구 출력이 전달되기 전 이를 처리하는 **LLM 기반 누출 필터($\phi$)**를 채택합니다.
• 필터링 로직: 필터는 검색된 각 항목(스니펫 또는 페이지 콘텐츠)을 두 가지 기준에 따라 평가합니다.
  1. 직접 정답 누출: 해당 콘텐츠가 지상 진실 정답($a^\star$)을 명시적으로 언급하거나 강력하게 암시하는가?
  2. 사후 날짜 정보 누출: 해당 콘텐츠에 질문의 컷오프 시간($t$)보다 늦은 시간 신호(발행 날짜, 업데이트 타임스탬프, 이벤트 날짜 등)가 포함되어 있는가?
• LLM 필터링의 근거: 단순한 규칙 기반의 날짜 필터링은 불충분합니다. 왜냐하면 웹 콘텐츠는 안정적인 URL 상에서도 진화할 수 있기 때문입니다(예: URL 날짜는 오래되었지만 데이터 테이블은 매일 업데이트되는 과거 주가 페이지). LLM 필터는 실제 콘텐츠를 검사하여 컷오프 이전의 배경 정보와 컷오프 이후의 폭로를 구분합니다.
• 결과: TM은 웹 상태를 시간 $t$에 존재했던 상태로 근사화하여, 에이전트가 해결된 정답에 접근하지 않고도 동적이고 개방적인 웹 환경과 상호작용할 수 있도록 합니다.

2.2. 플래너-솔버-애그리게이터(Planner-Solver-Aggregator) 다중 에이전트 프레임워크

예측 성능을 향 향상시키기 위해, 저자들은 단일 에이전트 베이스라인 이상의 추가 학습이나 도구가 필요 없이 추론 과정을 분해하는 다중 에이전트 시스템을 제안합니다.

• 플래너 (Planner): 예측 질문을 분석하고, 탐색적 검색을 수행하며, 문제를 2~4개의 뚜렷한 분석적 관점(예: 역사적 기저율, 인과적 동인, 시장 리스크, 캠페인 강도)으로 분해합니다. 또한 각 솔버의 역할과 검색 초점을 정의하는 JSON 계획을 생성합니다.
• 솔버 (Solver): 플래너로부터 할당받은 특정 관점에 따라 여러 솔버 에이전트가 병렬로 실행됩니다. 이들은 지정된 경로를 따라 증거를 수집하기 위해 웹 도구를 능동적으로 사용하며, 사전 지식(priors)이 아닌 증거에 기반한 구조화된 JSON 보고서를 생성합니다.
• 애그리게이터 (Aggregator): 플래너의 계획과 모든 솔버의 보고서를 받습니다. 합의점과 갈등 지점을 식별하고, 필요한 경우 추가적인 타겟 검색을 수행하며, 최종적인 근거 기반 예측을 합성합니다.
• 설계 철학: 이 접근 방식은 단순히 최종 답변을 다양화하는 것(self-consistency 방식)이 아니라, 증거 수집 과정 자체를 다양화합니다. 이를 통해 단일 에이전트가 모든 가능한 추론 경로를 추적하도록 강요하지 않고도 더 많은 관련 증거 조각들을 커버할 수 있게 합니다.

3. 주요 기여

1. 에이전틱 타임 머신 인프라: 특정 과거 시점의 오픈 웹을 시뮬레이션하는 새로운 평가 시스템입니다. 이는 컷오프 이후의 콘텐츠와 정답을 드러내는 정보를 명시적으로 차단함으로써, 예측 가능한 빠른 로컬 재생을 가능하게 하여 라이브 리얼리즘과 오프라인 효율성 사이의 간극을 효과적으로 메웁니다.
2. 플래너-솔버-애거리게이터 프레임워크: 복잡한 예측 작업을 다양한 분석적 관점으로 분해하는 제로샷(zero-shot) 다중 에이전트 아키텍처입니다. 이는 병렬적 증거 수집과 조정 단계를 활용하여 단일 에이전트 베이스라인보다 우수한 성능을 냅니다.
3. 실증적 검증: 다음을 입증하는 포괄적인 증거를 제시합니다:
   • TM이 정보 누출을 효과적으로 감소시켜, 에이전트가 이전에 라이브 웹으로부터 직접 정답을 추출하여 얻었던 높은 점수를 낮추었음을 보여줍니다.
   • TM 환경에서의 오프라인 점수가 라이브 리더보드 성능과 강력한 상관관계($r=0.92$)를 보임을 통해, TM이 실제 세계의 테스트를 위한 신뢰할 수 있는 대리 지표임을 검증합니다.
   • 제안된 다중 에이전트 프레임워크가 오프라인 데이터셋과 라이브 FutureX 리더보드 모두에서 최첨단(SOTA) 성능을 달야함을 입증합니다.

4. 실험 결과

4.1. 에이전틱 타임-머신의 검증

• 누출 감소: 5가지 다른 LLM 백본(GPT-5.4, GLM-5, Kimi-K2.5 포함)을 대상으로 61개 질문 서브셋(FutureX-Past)에 적용했을 때, TM을 활성화하자 점수가 25~37점 하락했습니다. 이 하락은 이전의 높은 점수들이 라이브 웹으로부터의 정답 누출에 의해 부풀려졌음을 확인시켜 줍니다.
• 난이도 민감도: 점수 하락은 직접적인 검색이 불가능한 레벨 4(정량적/개방형) 질문에서 가장 두드러졌습니다. 레벨 1(다지선다형) 질문은 모델이 역사적 기저율과 제거 전략에 여전히 의존할 수 있었기에 점수 하락폭이 작았습니다.
• 라이브 성능과의 상관관계: TM 하의 오프라인 점수는 라이브 FutureX 점수와 높은 피어슨 상관관계($r=0.92$)를 보였으며, 이는 TM이 실제 세계의 예측 제약 조건을 충실히 시뮬레이션함을 확인해 줍니다.

4.2. 다중 에이전트 프레임워크의 성능

• 오프라인 벤치마크 (FutureX-Past & Polymarket):
  • FutureX-Past에서 프레임워크는 가중 점수 39.51을 기록하여, 최상의 self-consistency 베이스라인(SC@5, 36.81)과 가장 강력한 단일 에이전트 도구 증강 베이스라인(35.02)을 능가했습니다.
  • Polymarket (80개 다지선다 질문)에서 프레임워크는 64.99점을 기록하여, SC@5(62.26)와 최상위 단일 에이전트 베이스라인(59.24)을 넘어섰습니다.
• 라이브 리더보드 (FutureX):
  • 본 시스템(FutureGPTv1로 명명됨)은 4주 연속(2026년 4월 3주차 ~ 5월 2주차) 참여했습니다.
  • 이 시스템은 #4, #2, #1, #6위를 기록하며, 비교 대상인 공개 시스템들(MiroFlow 및 H2O AI Super Agent) 중 **최고 평균 순위(3.25)**를 달성했습니다.
  • 2026년 6월 17일 기준, Bradley-Terry 레이팅 4.61로 FutureX의 공식 8주 전체 리더보드에서 1위를 차지했습니다.
• 효율성: 프레임워크는 self-consistency 베이스라인보다 효율적이었습니다. SC@5는 Polymarket에서 단 1.27점의 이득을 위해 평균 81.0회의 도구 호출 라운드를 소모한 반면, 제안된 프레임워크는 47.1 라운드만으로 더 높은 정확도를 달성하여 역할 분해가 반복 샘플링보다 더 효율적임을 입증했습니다.

5. 의의 및 주장

본 논문은 에이전틱 타임 머신이 LLM 예측 분야에 필수적인 인프라를 제공한다고 주장합니다. 누출 없는 빠른 로컬 재생을 가능하게 함으로써, 연구자들이 실제 사건의 해결을 기다리는 막대한 시간 비용 없이 에이전트 설계를 반복 개선할 수 있게 합니다. TM의 오프라인 점수와 라이브 리더보드 성능 사이의 강력한 상관관계는 TM이 진정한 불확실성 하에서의 예측 능력을 평가하는 신뢰할 수 있는 대리 지표임을 입증합니다.

또한, 플래너-솔버-애거리게이터 프레임워크는 복잡한 예측 문제를 다양한 분석적 관점으로 분해하고 병렬적 증거 스트림을 조정하는 것이 단순한 self-consistency 투표나 단일 에이전트 베이스라인보다 우수한 성능을 낸다는 것을 보여줍니다. 저자들은 이러한 개선이 추가적인 미세 조정(fine-tuning)이나 도구 없이 이루어졌음을 강조하며, 구조적 분해가 에이전트 기반 예측을 발전시키는 핵심 동력임을 시사합니다.

결론적으로, 오염되지 않은 평가 환경(TM)과 구조화된 다중 에이전트 추론 프레임워크의 결합은 견고한 실세계 미래 사건 예측 에이전트로 나아가는 중요한 진전입니다.