기술 요약: 시계열 탐색 및 추론의 증류 (Distilling Temporal Search and Reasoning)

문제 정의

미래 사건 예측은 금융, 공중 보건, 정치 분야에서 영향력이 매우 큰 과제이지만, 대규모 언어 모델(LLM)에게는 여전히 도전적인 과제로 남아 있습니다. 현재의 최첨단(SOTA) 접근 방식은 테스트 타임 스케일링(test-time scaling)을 통해 예측 능력을 향提升하기 위해 외부 에이전트 프레임워크(harness)에 의존합니다. 그러나 이러한 능력은 내재화되지 않습니다. 외부 하네스가 제거되면, 내재된 다회차 상호작용 제약 조건의 부재로 인해 모델 성능이 크게 저하됩니다.

최근의 도구 통합 추론(Tool-Integrated Reasoning, TIR) 방식은 '심층 탐색(Deep Search)'(정적 사실에 대한 다단계 검색)을 성공적으로 내재화했지만, 예측에는 불충분합니다. 예측에는 시계열 탐색 및 추론(Temporal Search and Reasoning), 즉 역사적 추세를 분석하고, 역동적인 시간적 변화를 포착하며, 미래의 결과를 추론하는 능력이 필요합니다.

이 과제를 위한 LLM 학습의 주요 장애물은 **데이터 합성(data synthesis)**입니다:

1. 시간적 누수(Temporal Leakage): 과거의 사건을 쿼리로 사용하면 모델이 해당 사건 이후에 발행된 문서를 검색할 수 있게 되어, 정답을 미리 알게 됨으로써 과제가 단순한 정보 검색으로 퇴보합니다.
2. 비효율적 합성: 기존 연구들은 누수를 완화하기 위해 다음과 같은 방법을 시도했습니다:
   • 정적 관찰(Static Observations): 정보 수집 과정을 동결하여 동적인 검색 전략 학습을 방해합니다.
   • 거절 샘플링(Rejection Sampling): 누수가 발생하거나 복잡한 기준을 충족하지 못하는 방대한 양의 데이터를 폐기함으로써 효율성을 떨어뜨립니다.
   • 미해결 쿼리(Unresolved Queries): 실제 사건이 해결될 때까지 기다리는 방식은 과도한 지연 시간과 강화 학습(RL)을 위한 보상 희소성 문제를 야기합니다.

방법론: 시간 절단 하네스 (Time-Truncation Harness)

저자들은 경로 합성 단계에서 엄격한 시간적 차단(cut-off)을 강제하도록 설계된 **시간 절단 하네스(Time-Truncation Harness)**를 제안합니다. 이를 통해 역사적 쿼리로부터 누수가 없는 고품질의 학습 데이터를 효율적으로 생성할 수 있습니다.

핵심 메커니즘

이 하네스는 사후에 쿼리를 필터링하거나 환경을 동결하는 대신, 에이전트 상호작용의 매 턴마다 검색 타임라인을 동적으로 제한합니다:

• 차단 날짜 ($T_{cut}$): $T_{end}$ 시점에 해결되는 쿼리에 대해, 마진 $\Delta T$를 적용하여 $T_{cut} = T_{end} - \Delta T$로 설정합니다.
• 시간 제약 환경 ($E_{T_{cut}}$): 검색 환경을 수정하여 $\rho(d) \leq T_{cut}$인 문서만을 반환하도록 합니다. 이는 다음을 통해 구현됩니다:
  • API 인지형 쿼리 재작성: 검색 백엔드 쿼리에 제약 조건(예: before: {T_cut})을 주입합니다.
  • 사후 웹페이지 필터링: datePublished 필드가 누락되었거나, 파싱할 수 없거나, $T_{cut}$을 초과하는 항목을 폐기합니다.
• 정렬된 시스템 프롬프트: 에이전트의 시간적 맥락이 절단된 환경과 일관되게 유지되도록 시스템 프롬프트에 지침을 주입합니다.

데이터 합성 및 지표

• 코퍼스 구축: 저자들은 기술, 정치, 경제 등 30개 도메인을 아우르는 Manifold Markets의 12,378개 쿼리로 구성된 대규모 코퍼스를 구축했습니다.
• 교사 모델(Teacher Model): 프런티어 LLM(Kimi-K2.5)이 하네스를 사용하는 경우(W/ Harness)와 사용하지 않는 경우(W/o Harness)의 두 가지 조건 하에서 궤적(trajectory)을 생성합니다.
• 프로세스 기반 지표: 검색 품질을 최종 정확도 너머로 평가하기 위해, 저자들은 궤적 내의 검색 쿼리에서 파싱된 달력 날짜의 최대값과 최소값의 차이인 **쿼리 날짜 범위(Query Date-Span)**를 도입했습니다. 이 지표는 검색의 "시간적 폭"을 정량화합니다.

주요 결과

1. 효율성 및 누수 감소

시간 절단 하네스는 데이터 합성 효율을 획기적으로 개선합니다:

• 누수: 200개의 궤적 샘플에서, 하네스는 **날짜 누수(Date-Leak)**를 181개(W/o Harness)에서 0개로, **콘텐츠 누수(Content-Leak)**를 101개에서 23개로 줄였습니다.
• 유효성: 유효한 궤적의 비율이 7.0%(W/o Harness)에서 88.5%(W/ Harness)로 증가하여, 공격적인 거절 샘플링의 필요성을 제거했습니다.

2. 교사 모델의 행동 변화

하네스에 의해 제약된 교사 모델은 뚜렷한 행동 변화를 보입니다:

• 정확도 하락: 최종 답변 정확도가 비제약 베이스라인에 비해 5~25% 감소했는데, 이는 모델이 시간적 지름길(shortcut)에 의존할 수 없음을 확인시켜 줍니다.
• 검색 확장: 모델이 정보를 철저하게 수집하도록 강제됨에 따라 도구 호출(tool call) 횟수가 크게 증가했습니다.
• 시간적 폭: 중앙값 쿼리 날짜 범위가 <150일(W/o Harness)에서 >300일(W/ Harness)로 확장되었습니다. 모델은 합리적 연역을 수행하기 위해 더 넓은 역사적 맥락과 종단적 추세를 검색하는 방향으로 자연스럽게 전환되었습니다.

3. 증류 성능 (Distillation Performance)

합성된 데이터로 Qwen3-8B 및 Qwen3-32B 학생 모델을 지도 미세 조정(SFT)했습니다.

• ForecastBench: 하네스가 개입된 데이터로 학습된 학생 모델은 비하네스 혼합 데이터보다 브라이어 점수(Brier Scores)가 낮아, 각각 19.48% (8B) 및 22.04% (32B) 더 우수한 성능을 보였습니다.
• FutureX: 어려운 과제(L3–L4)에서 하네스 학습 학생 모델은 상당한 이득(32B 모델에서 최대 17.74% 개선)을 보여주었습니다.
• 프로세스 전이: 하네스로 학습된 증류 모델은 가장 높은 중앙값 쿼리 날짜 범위를 나타냈으며, 이는 시간적 탐색 행동이 모델 파라미터에 성공적으로 내재화되었음을 나타냅니다.
• 도구 사용: 성능 향상은 단순히 도구 호출 횟수의 증가가 아니라, 쿼리 구성의 질과 시간적 추론 능력 덕분인 것으로 밝혀졌습니다.

의의 및 주장

본 논문은 외부의 구조화된 시계열 탐색 패턴을 더 작은 모델의 파라미터적 발전으로 변환하는 **모델 진화(model evolution)**의 성공적인 패러다임을 입증한다고 주장합니다.

• 효율성: 시간 절단 하네스는 거절 샘플링에 대한 의존도와 실시간 이벤트 해결을 기다려야 하는 지연 시간을 제거함으로써 확장 가능한 데이터 합성 솔루션을 제공합니다.
• 품질: 교사 모델이 검색 지름길을 우회하도록 강제함으로써, 하네스는 복잡한 수동 기준 없이도 자연스럽게 더 넓은 시간적 폭의 검색을 유도하여 고품질의 추론 데이터를 생성합니다.
• 내재화: 본 연구는 이러한 하네스 개입 궤적을 증류하는 것이 시간적 탐색 및 추론 능력을 효과적으로 전달하여, 더 작은 모델이 정적 또는 누수가 있는 데이터로 학습된 모델보다 미래 사건을 더 정확하게 예측할 수 있게 함을 검증합니다.

저자들은 교사 모델의 고유한 능력에 대한 의존성과 하네스가 누수를 완전히 제거하기보다는 완화한다는 점을 포함한 한계점을 언급했습니다. 향-후 연구로는 학생 모델의 파라미터를 확장하고, 더 깨끗한 보상 계산을 위해 하네스를 강화 학습 환경으로 재활용하는 방안이 제시되었습니다.