💬 NLP

Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters

이 논문은 예측 시장을 공개된 정보의 시간적 차단이 이루어진 고정된 스냅샷에 대해 재현함으로써, 모델이 사후적 회상이 아닌 진정한 선견지명에 따라 평가받도록 보장하여 LLM 예측에서의 데이터 누수를 방지하는 엄격한 평가 프레임워크인 "Hindcast"를 소개한다.

원저자: Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

게시일 2026-07-16

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 탐정이 얼마나 미스터리를 잘 해결하는지 테스트하려고 한다고 상상해 보세요. 당신은 그에게 사건 파일을 건네주며 "누가 쿠키를 훔쳤는가?"라고 묻습니다. 만약 탐정이 단순히 파일을 열어 맨 밑에 적힌 답을 읽기만 한다면, 그는 자신의 탐정 기술을 보여주는 것이 아니라 단지 읽기 능력을 보여주는 것뿐입니다. 이것이 과학자들이 AI 모델의 미래 예측 능력을 테스트할 때 직면하는 까다로운 문제입니다.

AI가 정말 똑똑한지 확인하기 위해, 연구자들은 보통 "2022년 월드컵에서 누가 우승했는가?"와 같이 이미 일어난 일을 예측하도록 AI에게 요청합니다. 문제는 오늘날의 AI 모델들이 결승전이 끝난 후 작성된 기사를 포함하여 인터넷 전체를 학습했다는 점입니다. 따라서 AI가 "아르헨티나가 우승했다"라고 말할 때, 그것은 AI가 사전에 단서들을 파악해낸 결과가 아니라, 학습 데이터에 있는 최종 점수를 기억해낸 것일 수 있습니다. 이는 마치 정답지를 몰래 암기한 채 역사 시험을 치르는 학생과 같습니다. 이를 해결하기 위해 과학자들은 AI가 '정답지'(실제로 일어난 일)를 보고 부정행위를 하지 못하게 하면서도, AI의 '통찰력'(무엇이 일어날지 추측하는 능력)을 테스트할 수 있는 방법을 찾아야 합니다.

여기서 새로운 연구인 HINDCAST가 등장합니다. 연구자들은 AI가 미래를 예측할 수 있는지, 즉 다음에 어떤 일이 일어날지에 대한 지식이 전혀 없는 상태에서 과거에 머물러 있게 했을 때도 가능한지를 알고 싶었습니다. 그들은 예측 시장(결과에 돈을 거는 곳)과 얼어붙은 인터넷 아카이브를 사용하여 시간 여행 시뮬레이션을 설정했습니다. 그들은 AI가 속임수를 쓰지 못하게 막았을 때, AI가 오래된 뉴스를 읽음으로써 더 나은 예측을 할 수 있다는 것을 발견했습니다. 단, 그 뉴스가 실제로 유용한 사실들을 담고 있을 때만 그러했습니다. 만 만약 오래된 뉴스가 그저 사람들의 추측과 의견을 외치는 것에 불과했다면, 그것을 읽는 것은 오히려 AI의 예측력을 떨어뜨렸습니다.

시간 여행 테스트

연구진은 HINDCAST('forecast'의 반대인 'hindcast'를 활용한 이름)라고 불리는 시스템을 구축했습니다. 시간 여행 장치를 상상해 보세요. 이 장치는 예를 들어 큰 스포츠 토너먼트가 시작되기 한 달 전의 특정 시점을 고정합니다. 이 고정된 순간에 AI는 뉴스 기사와 포럼 게시물을 검색할 수 있지만, 반드시 그 날짜 이전에 작성된 것들만 볼 수 있습니다. AI는 설령 오늘날의 도서관에 그 이후의 자료들이 놓여 있다 하더라도, 그 시점 이후에 작성된 것은 아무것도 볼 수 없습니다.

AI를 테스트하기 위해 연구진은 Polymarket이라는 실제 세계의 베팅 시장을 사용했습니다. 이곳은 사람들이 어떤 사건이 일어날지(예: "팀 X가 승리할 것인가?")에 대해 내기를 하는 디지털 카지노와 같습니다. 이 시장들은 이미 종료되었기 때문에, 연구진은 실제 정답을 알고 있습니다. 또한 연구진은 그 고정된 과거 시점에 사람들이 생각했던 확률인 '시장 가격'이 얼마였는지도 알고 있습니다.

설정 방식은 다음과 같습니다:

시간 고정: 시장이 종료되기 전의 과거 날짜( $t_0$ )를 선택합니다.
도서관 잠금: AI는 해당 날짜 이전에 작성된 Reddit(유명한 인터넷 포럼)의 스냅샷만을 검색할 수 있습니다.
예측: AI는 사용 가능한 게시물들을 읽고 결과를 추측합니다.
채점: AI는 두 가지 기준으로 평가받습니다: 실제 최종 결과에 얼마나 근접했는지, 그리고 그 정확한 순간에 인간 베터들이 생각했던 바와 얼마나 근접했는지.

대발견: 사실 vs 선동

연구팀은 9개의 서로 다른 AI 모델을 테스트하여, 이 "얼어붙은 도서관"을 제공하는 것이 AI가 자신의 기억만으로 추측하는 것보다 예측에 도움이 되는지 확인했습니다.

좋은 소식: 대부분의 AI 모델에 있어, 과거의 게시물을 읽는 것은 도움이 되었습니다. 실제로 9개 모델 중 8개 모델에서 AI는 아카이브를 읽을 수 있을 때 오류율이 낮아졌습니다. 가장 큰 개선은 Qwen3-32B라는 모델에서 나타났는데, 이 모델은 오류율을 23% 줄였습니다. 이는 과거에 실제 사실들이 존재할 때, AI가 그 사실들을 이용해 더 똑똑한 추측을 할 수 있음을 시사합니다.

나쁜 소식 (그리고 주의점): 도움 여부는 보편적이지 않았습니다. 그것은 전적으로 AI가 무엇을 읽느냐에 달려 있었습니다.

효과가 있었던 경우: 스포츠, 시상식, 트레이딩 같은 주제에서는 이벤트 전의 인터넷 게시물들이 구체적인 사실들(예: "팀의 스타 플레이어가 부상을 입었다" 또는 "금값이 상승하고 있다")로 가득 차 있었습니다. 이 경우, AI는 사실을 읽고 승자를 더 잘 예측했습니다.
실패한 경우: 엔터테인먼트(예: 어떤 노래가 1위를 할지 맞히기)나 정치 같은 주제에서는 인터넷이 시끄러운 의견, 팬들의 열광, 그리고 추측으로 가득 차 있었습니다. AI가 이 게시물들을 읽었을 때, AI는 혼란에 빠졌습니다. AI는 그 "열기(hype)"를 사실이라고 믿기 시작했습니다. 예를 들어, 팬들이 어떤 노래가 1위를 할 것이라고 소리 높여 외치면, AI는 그 노래에 베팅했습니다. 비록 대부분의 노래가 실제로 정상에 오르지 못하더라도 말입니다. 이런 경우, 아카이브를 읽는 것은 AI가 자신의 논리에 따라 스스로 판단했을 때보다 오히려 예측력을 악화시켰습니다.

"과잉 독해" 문제

연구는 흥미로운 패턴을 발견했습니다. 베팅 시장이 열려 있는 시간이 길어질수록, AI가 소음(noise)에 의해 혼란을 겪을 가능성이 커졌습니다. 만약 베팅 시장이 오랫동안 열려 있었다면, 인터넷은 끝없는 잡담과 상충하는 의견들로 가득 찼을 것입니다. AI는 도움이 되고자 노력하다가 이 모든 것을 읽게 되었고, 결국 과도하게 생각하기 시작하여 견고한 사실 대신 시끄러운 의견들에 기반해 잘못된 추측을 하게 되었습니다.

특히 R1-Distill-Qwen-7B라는 모델은 읽기가 허용되었을 때 전반적으로 성능이 저하되었습니다. 연구진은 모델이 길고 혼란스러운 추론 체계들을 읽는 데 너무 매몰되어, 실제 증거를 잊어버렸기 때문이라고 생각합니다. 이는 마치 학생이 어떤 주제에 대한 너무 많은 의견을 읽다가 단순한 사실들을 잊어버리고 결국 틀린 추측을 하게 되는 것과 같습니다.

이것이 미래에 갖는 의미

HINDCAST의 핵심 결론은 AI의 미래 예측 능력은 사건이 발생하기 전 AI가 찾을 수 있는 정보의 질에 달려 있다는 것입니다. 만약 인터넷이 사실들로 가득 차 있다면, AI는 훌륭한 예언가가 될 수 있습니다. 하지만 인터넷이 소문과 선동으로 가득 차 있다면, AI는 진실 대신 가장 큰 목소리를 믿어버리는 확신에 찬 바보가 될 수도 있습니다.

또한 연구진은 이 "시간 여행" 테스트 방식이 강력한 도구임을 보여주었습니다. 도서관이 고정되어 있기 때문에, 새로운 AI 모델들이 속임수를 쓰지 못하게 하면서 동일한 오래된 질문들에 대해 테스트할 수 있습니다. 이는 우리가 AI가 더 똑똑해짐에 따라 테스트를 계속 발전시켜, 우리가 측정하는 것이 단순히 기억력이 아니라 정말로 어떻게 생각하는지인지 확인할 수 있음을 의미합니다.

요약하자면, HINDCAST는 사실의 도서관을 주는 것이 AI가 미래를 보는 데 도움을 주지만, 소문의 도서관을 주는 것은 AI를 눈멀게 할 수 있다는 것을 증명합니다.

기술 요약: HINDCAST – LLM 예측가 평가를 위한 예측 시장 재현

1. 문제 정의

대규모 언어 모델(LLM) 예측가에 대한 현재의 평가 방식은 해결된 질문을 대상으로 하는 **백테스팅(backtesting)**에 의존하며, 모델이 이미 알려진 결과에 대해 부여하는 확률을 기준으로 점수를 매깁니다. 저자들은 이 패러다임에서 모델이 예측 시점에는 존재하지 않았던 정보에 접근함으로써 '치팅(cheat)'을 할 수 있게 만드는 두 가지 결정적인 "누수(leak)"를 식별했습니다:

검색 누수(Retrieval Leakage): 검색 시스템을 갖춘 모델은 사건 발생 후에 작성된 보고서, 기사 또는 토론 내용을 찾아낼 수 있으며, 이로 인해 예측 작업이 사실상 단순한 정보 조회(lookup) 작업으로 변질됩니다.
학습 데이터 누수(Training Data Leakage): 모델이 현재 시점에 가까운 데이터로 재학습됨에 따라, 이전 버전의 모델에게는 미래였던 질문들이 최신 버전의 학습 데이터의 일부가 됩니다.

결과적으로, 표준적인 평가 방식은 모델의 예측력(foresight)(과거 시점 $t_0$ 에서 모델이 부여했을 반사실적 확률)을 측정하기보다는 모델의 회상 능력(recall)(결과를 기억해내는 능력)을 측정하게 됩니다. 라이브 벤치마크는 개방형 질문을 던짐으로써 이러한 문제를 피할 수 있지만, 해결된 질문이 제공하는 즉각적인 정답(ground truth)과 인간 기준점(시장 가격)이 결여되어 있다는 단점이 있습니다.

2. 방법론: HINDCAST

저자들은 특정 과거 날짜 $t_0$ 에서 이루어진 예측을 시뮬레이션함으로써 이러한 누수를 차단하도록 설계된 평가 프로토콜인 HINDCAST를 소개합니다. 이 시점 $t_0$ 는 결과가 알려지기 전이며, 사후 정보가 검색 코퍼스에 존재하기 전이어야 합니다.

핵심 구성 요소

동결된 정보 환경(Frozen Information Environment): 이 시스템은 공개된 Reddit의 시간적 고정 아카이브(Pushshift 월간 스냅샷에서 파생)를 사용합니다. 이 아카이브는 불변하며, 한 번 스냅샷이 캡처되면 절대 변경되지 않습니다. 이를 통해 시뮬레이션된 시간 $t_0$ 에서의 검색은 반드시 $t_0$ 이전에 생성된 콘텐츠만을 반환하도록 보장합니다.
예측 시장 정답(Prediction Market Ground Truth): 평가는 해결된 Polymarket 이진 시장을 사용합니다. 각 시장에 대해 시스템은 다음을 기록합니다:
- 해결된 결과 ( $y$ ).
- 시점 $t_0$ 에서의 시장 암시 확률 ( $q_{t_0}$ ). 이는 동일한 $t_0$ 이전의 정보를 바탕으로 도출된 인간의 예측 기준점 역할을 합니다.
차단 강제(Cutoff Enforcement): 라우팅 오류를 방지하기 위해, 검색 백엔드는 모든 검색 및 조회 작업에 대해 SQL 레벨에서 엄격한 created_at < t_0 서술어(predicate)를 강제합니다.

평가 파이프라인

본 연구는 동일한 인터페이스에 대해 두 가지 예측 모델 군을 비교합니다:

제로샷 베이스라인(Zero-shot Baseline): LLM은 $t_0$ 시점에 가용했던 지식에만 의존하도록 지시받으며, 오직 자신의 파라미터 메모리만을 사용하여 예측합니다.
검색 에이전트(Retrieval Agent): LLM은 제한된 연구 루프 내에서 작동하며, $t_0$ 시점의 고정된 아카이브를 쿼리하고, 증거를 읽고, 예측을 정교화합니다.

지표

예측값은 두 가지 타겟에 대해 점수가 매겨집니다:

결과 회복(Outcome Recovery): 해결된 이진 결과( $y$ )에 대한 정확도 및 브라이어 점수(Brier score).
시장 개선(Market Improvement): 모델의 예측값과 $t_0$ 시점의 시장 가격 사이의 절대 차이 ( $|\hat{p}_{t_0} - q_{t_0}|$ ).

3. 주요 기여

HINDCAST 프로토콜: 검색 가능한 정보가 고정된 상태에서 과거 $t_0$ 시점의 예측을 측정하는 평가 프레임워크입니다. 이를 통해 모델이 개선되더라도 테스트가 노후화되지 않고 새로운 시장에 대해 지속적으로 수행될 수 있습니다.
불변 아카이브(Immutable Archive): 25개월간의 공개 Reddit 스냅샷(2024년 1월~2026년 1월)을 기반으로 구축된 누수 없는 검색 백엔드로, 밀집 의미론적 검색(dense semantic search) 및 ID 기반 조회를 위해 인덱싱되었으며 엄격한 시간적 필터링을 적용합니다.
이중 참조 예측기(Dual Reference Predictors): 제로샷 베이스라인과 검색 기반 에이전트를 지원하는 통합 인터페이스를 통해 증거 검색의 기여도를 분리합니다.
경험적 분석: 검색이 예측을 개선하는 영역과 추측성 노이즈로 인해 성능을 저하시키는 영역을 식별하는 연구를 수행했습니다.

4. 실험 결과

저자들은 216개의 해결된 Polymarket 시장으로 구성된 균형 잡힌 세트에 대해 9개의 오픈 웨이트 LLM(Qwen3, Llama 3, Gemma 3, Ministral 제품군 포함)을 벤치마킹했습니다.

전반적인 성능: 검색은 9개 모델 중 8개 모델의 브라이어 점수를 낮추었습니다. 가장 유의미한 개선은 Qwen3-32B에서 나타났는데, 이 모델은 브라이어 점수를 0.234에서 0.179로 낮추며 23%의 하락을 기록했습니다.
주제별 변동성: 검색의 이점은 균일하지 않으며, $t_0$ $t_{0}$ 이전 코퍼스의 성격에 크게 좌우됩니다:
- 검색이 도움이 되는 경우: 스포츠(Sports), 어워즈(Awards), 트레이딩/원자재(Trading/Commodities) 분야에서는 검색이 정확도를 유의미하게 향 향상시켰습니다. 이 도메인들에서 Reddit 토론은 모델이 활용할 수 있는 구체적이고 사실에 기반한 사전 이벤트 신호(예: 팀 성적, 가격 추세)를 포함하고 있었습니다.
- 검색이 해가 되는 경우: 엔터테인먼트(Entertainment), 선거/정치(Elections/Politics), 테크/AI(Tech/AI) 분야에서는 검색이 종종 성능을 저하시켰습니다. 이 도메인들에서 사전 이벤트 코퍼스는 추측성 열광이나 의견(예: 차트에 진입하지 못한 노래에 대한 팬들의 흥분)으로 가득 차 있었습니다. 검색 에이전트는 이 "가장 시끄러운" 그러나 예측력은 낮은 잡음에 과잉 반응하여, 확신에 차 있지만 틀린 예측을 내놓았습니다.
- 교정(Calibration) vs 정확도: 일부 사례(예: Llama-3.1-8B)에서 검색은 정확도를 낮추었지만(더 많은 오답 결정), 교정 능력은 개선했습니다(확률이 극단적인 오답보다는 0.5에 가깝게 이동함). 이는 브라이어 점수를 낮추는 결과를 가져왔습니다.
룩백 민감도(Lookback Sensitivity): $t_0$ 를 변화시켜(시장 수명의 25%에서 100%까지) 관찰한 결과, 검색 이득은 전체 가용 룩백 시간보다 훨씬 이전에 포화되었습니다. 이는 검색의 이점이 후기 뉴스보다는 초기 신호에 의해 주도됨을 시사합니다.

5. 의의 및 주장

본 논문은 검색 기반 추론이 보편적으로 유익한 것은 아니다라고 주장합니다. 그 효용성은 사전 이벤트 정보 환경에서 가용한 증거의 품질에 의해 엄격히 제한됩니다.

누수 차단: HINDCAST는 모델이 훈련 데이터나 검색 도구를 통해 "미래를 보는" 것을 방지함으로써 통찰력을 평가하는 엄격한 방법을 제공합니다.
신호 대 노이즈: 연구는 검색이 사전 이벤트 신호(사실, 데이터, 구체적 분석)를 담고 있을 때만 도움이 된다는 것을 입증합니다. 아카이브가 오직 추측만을 담고 있을 때, 검색은 사전 이벤트의 열광을 증폭시켜 예측을 실제로 해칠 수 있습니다.
동적 평가: 정적 벤치마크와 달리 HINDCAST는 모델이 재학습되어도 테스트가 퇴화하지 않도록 고정된 역사적 아카이브를 통해 지속적인 평가를 가능하게 합니다.

저자들은 검색 기반 추론이 사실 중심의 도메인에서는 도움이 되지만, 사전 이벤트의 열광에 과적합되는 것을 피하기 위해서는 신중한 교정이 필요하다고 결론짓습니다. 그들은 HINDCAST를 즉시 배포 가능한 트레이딩 도구가 아닌 연구용 테스트베드로 규정하며, 검증되지 않은 검색 에이전트가 자동화된 결정에 잘못된 권위를 부여할 수 있다고 경고합니다.