Automating Forecasting Question Generation and Resolution for AI Evaluation

이 논문은 대규모 언어 모델 (LLM) 기반 웹 연구 에이전트를 활용하여 자동화되고 검증 가능한 다양한 미래 예측 질문 생성 및 해결 시스템을 구축하고, 이를 통해 AI 예측 모델의 성능 평가와 예측 정확도 향상을 입증했습니다.

핵심

이 논문은 **"미래를 예측하는 AI 를 어떻게 시험하고, 그 능력을 어떻게 키울 것인가?"**에 대한 매우 흥미로운 이야기를 담고 있습니다.

기존의 AI 연구들은 주로 "사과와 오렌지를 구분하는가?" 같은 정해진 정답이 있는 문제를 풀게 했습니다. 하지만 이 논문은 **"내일 비가 올까?", "다음 달 주식 시장이 오를까?"**처럼 정답이 아직 없는 '미래 예측' 능력을 평가하는 새로운 방법을 제시합니다.

이 내용을 마치 미래 예측 대회 (예: 오스카상) 를 준비하는 프로듀서의 관점에서 쉽게 설명해 드리겠습니다.

---

1. 문제: "미래 예측 대회"를 열려면 무엇이 필요할까?

미래를 예측하는 AI 의 실력을 검증하려면 **수천 개의 '질문'**이 필요합니다. 하지만 이 질문들은 단순히 "내일 비가 올까?"처럼 너무 쉬워서는 안 되고, "내일 오후 3 시에 서울역에서 붉은 우산을 든 사람이 10 명 이상 보일까?"처럼 너무 복잡하거나 모호해서도 안 됩니다.

• 기존의 문제점: 과거에는 날씨나 주가 같은 반복되는 데이터만 썼습니다. 마치 축구 경기 결과만 물어보는 것처럼, 질문이 너무 비슷하고 지루했습니다.
• 새로운 시도: 연구팀은 LLM(대형 언어 모델) 이 직접 뉴스 기사를 읽고, 새로운 질문을 만들어내고, 그 질문에 대한 정답을 찾아내는 시스템을 개발했습니다.

2. 해결책: "AI 요리사"와 "미식가 심사단"의 협업

이 시스템은 마치 고급 레스토랑처럼 작동합니다.

1. 재료 준비 (씨앗, Seeds):
   • 시스템은 전 세계 뉴스 (GDELT, 미디어 클라우드 등) 와 주식 시장 보고서에서 '영감'이 되는 재료 (씨앗) 를 줍니다. 예를 들어, "EU 가 새로운 규제를 만들었다"는 뉴스 한 줄이 씨앗이 됩니다.
2. 요리사 (Proto-question 생성):
   • ReAct 에이전트라는 '요리사 AI'가 이 씨앗을 보고 "그럼 EU 가 12 월 31 일까지 이 규제를 발표할까?" 같은 초안 질문을 만듭니다. 이때 인터넷을 검색해서 사실을 확인합니다.
3. 레시피 다듬기 (Refinement):
   • 다른 요리사 AI 가 이 초안을 다듬습니다. "규제 발표"라는 모호한 표현을 "EU 공식 저널에 이 규제가 실리는 것"처럼 정확하게 정의합니다.
4. 미식가 심사단 (Verifier Agents):
   • 이제 심사단 AI들이 등장합니다.
     • "이 질문은 너무 쉬우면 안 돼 (난이도 체크)."
     • "정답이 명확하게 나올 수 있어야 해 (해결 가능성 체크)."
     • "질문이 너무 모호하지는 않아? (모호성 체크)."
   • 이 심사단들이 통과한 질문만 최종 메뉴로 남습니다.
5. 중복 제거 (Deduplication):
   • 같은 질문이 여러 번 만들어지지 않도록, **비유하자면 "유사한 메뉴를 한 번만 등록"**하는 과정을 거칩니다.

결과: 이 과정을 통해 1,499 개의 신선하고 다양한 미래 예측 질문이 만들어졌습니다.

3. 검증: 이 시스템은 얼마나 잘할까?

연구팀은 이 시스템이 만든 질문들이 얼마나 좋은지, 그리고 AI 가 이 질문들을 얼마나 잘 푸는지 테스트했습니다.

• 질문의 질 (메타큘러스 vs 우리 시스템):
  • 유명한 인간 전문가들이 만든 예측 플랫폼 '메타큘러스'의 질문과 비교했습니다. 놀랍게도, 우리 시스템이 만든 질문 중 96% 가 모호함 없이 명확하게 정답을 낼 수 있는 좋은 질문이었습니다. 인간 전문가가 만든 질문의 품질을 능가하거나 비슷했습니다!
• 정답 확인 (Resolution):
  • 시스템이 만든 질문에 대한 정답을 AI 가 찾아냈을 때, 약 95% 의 정확도로 정답을 맞췄습니다.
• AI 의 실력 측정:
  • 더 똑똑한 AI(Gemini 3 Pro, GPT-5 등) 가 이 질문들을 풀었을 때, 더 똑똑한 AI 일수록 점수가 훨씬 높았습니다. 이는 이 질문들이 AI 의 지능을 제대로 측정한다는 뜻입니다.
  • 특히, 질문을 작은 조각 (하위 질문) 으로 나누어 생각하게 하면, AI 의 예측 정확도가 더 올라갔습니다. (예: "내일 비가 올까?" 대신 "구름은 얼마나 많을까? 습도는 어떻게 될까?"를 먼저 예측하게 하는 것)

4. 핵심 메시지: 왜 이것이 중요한가?

이 연구는 "미래를 예측하는 능력"이 인공지능이 얼마나 똑똑한지를 보여주는 가장 강력한 지표라고 말합니다.

• 과거: AI 는 정해진 답을 외우는 시험만 봤습니다.
• 현재와 미래: AI 는 정답이 없는 불확실한 세상에서 정보를 수집하고, 판단하며, 미래를 예측해야 합니다.

이 논문은 AI 가 스스로 질문을 만들고, 정답을 찾아내는 시스템을 구축함으로써, 앞으로 나올 더 똑똑한 AI 들을 평가할 수 있는 **'표준 시험지'**를 만들었습니다. 이는 우리가 AI 의 발전 속도를 정확히 측정하고, 실제 세상에서 AI 를 어떻게 활용할지 결정하는 데 큰 도움이 될 것입니다.

한 줄 요약

"이 논문은 AI 가 스스로 '미래 예측 퀴즈'를 만들고, 그 퀴즈로 AI 의 지능을 측정하는 자동화된 시스템을 개발하여, 인간 전문가 못지않은 고품질의 시험지를 만들어냈음을 보여줍니다."

기술 요약

논문 요약: AI 평가용 예측 질문 생성 및 해결 자동화 (Automating Forecasting Question Generation and Resolution for AI Evaluation)

이 논문은 FutureSearch 연구팀 (Nikos I. Bosse 등) 이 ICLR 2026 워크숍에서 발표한 것으로, 대규모 언어 모델 (LLM) 기반의 웹 연구 에이전트를 활용하여 고품질의 예측 질문을 자동 생성하고 해결하는 시스템을 제안합니다. 이 시스템은 AI 예측 능력의 진보를 측정하기 위한 대규모 벤치마크 데이터 부족 문제를 해결하고, 더 정교한 AI 모델 평가 체계를 마련하는 것을 목표로 합니다.

---

1. 문제 정의 (Problem)

• 예측 평가의 데이터 부족: AI 예측 능력을 평가하려면 방대하고 다양하며 어려운 질문이 필요하지만, 기존 벤치마크 (Metaculus, ForecastBench 등) 는 인간이 수동으로 큐레이션하거나 반복적인 데이터 소스 (날씨, 주가 등) 에서 자동 생성하는 데 의존합니다. 이는 질문의 다양성과 실용성을 제한합니다.
• 샘플 복잡성 (Sample Complexity): 예측은 확률적 성격을 가지므로, 특정 질문에 대한 '정답'은 단일 사건 (발생/미발생) 으로만 관측됩니다. 따라서 모델의 예측 정확도 (Calibration) 를 통계적으로 유의미하게 평가하려면 수많은 질문이 필요합니다.
• 질문 생성의 어려움: 고품질 예측 질문은 모호하지 않은 해결 기준 (Resolution Criteria) 이 명확해야 하며, 객관적으로 해결 가능해야 합니다. 이를 수동으로 대규모로 생성하는 것은 시간과 비용이 많이 드는 노동 집약적 작업입니다.

2. 방법론 (Methodology)

저자들은 LLM 기반의 다단계 에이전트 워크플로우를 설계하여 질문 생성부터 해결까지를 자동화했습니다.

2.1. 질문 생성 파이프라인 (Question Generation Pipeline)

시스템은 다음과 같은 단계를 거칩니다 (Figure 1 참조):

1. 시드 (Seeds) 생성: GDELT, Media Cloud, Stockfisher 등의 뉴스 및 기업 보고서에서 2,500 개의 시드 (주제) 를 추출합니다.
2. 프로토 질문 (Proto-questions) 생성: ReAct 에이전트가 시드를 바탕으로 1~7 개의 초기 예측 질문을 제안합니다. 이때 웹 검색을 통해 사실 확인을 수행하여 환각 (Hallucination) 을 줄입니다.
3. 정제 (Refinement): 또 다른 ReAct 에이전트가 프로토 질문을 구체적인 해결 기준 (Resolution Criteria) 을 포함한 명확한 예측 질문으로 다듬습니다.
4. 검증 (Verification): 4 가지 검증 에이전트가 질문을 평가합니다.
   • 전체 품질: 비일상적이고 예측 가치가 있는가?
   • 모호성: 명확하게 해결 가능한가?
   • 해결 가능성: AI 에이전트가 자동으로 해결할 수 있는가?
   • 예측 (Forecast): 사소한 질문 (확률이 0% 또는 100% 에 가까운) 이 아닌지 확인.
5. 중복 제거 (Deduplication): 임베딩 (Embedding) 과 DBSCAN 클러스터링, 그리고 LLM 을 사용하여 의미상 중복된 질문을 제거합니다.

2.2. 질문 해결 (Question Resolution)

생성된 질문에 대한 정답을 도출하기 위해 다음과 같은 방식을 사용합니다:

• 앙상블 에이전트: 인터넷 접속이 가능한 3 개의 Gemini 3 Pro 에이전트 (서로 다른 프롬프트 사용) 를 사용하여 해결을 시도합니다.
• 동점자 결정 (Tiebreaker): 3 개 에이전트의 의견이 일치하지 않을 경우, Opus 4.5 에이전트가 최종 결정권을 가집니다.
• 해결 정확도 평가: 인간 전문가가 무작위 샘플을 직접 해결하여 자동화 시스템의 정확도를 검증합니다.

2.3. 평가 프로세스

• 데이터셋: 최종적으로 1,499 개의 고품질 예측 질문을 생성했습니다.
• 예측 수행: 다양한 LLM (GPT-5, Gemini 3 Pro 등) 을 사용하여 웹 검색 (Research) 과 확률 추정 (Forecasting) 단계를 분리하여 수행했습니다.
• 하위 질문 분해 (Subquestion Decomposition): 복잡한 질문에 대해 하위 질문을 생성하고 이를 해결한 후 상위 질문에 대한 예측을 수행하는 전략을 테스트했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 자동화 예측 질문 생성 시스템: 정적 지식에 의존하지 않고, 실시간 웹 연구를 통해 시의성 있고 구체적인 예측 질문을 대규모로 생성하는 최초의 시스템 중 하나입니다.
2. 고품질 데이터셋: 1,499 개의 질문으로 구성된 데이터셋을 공개하며, 이는 다양한 주제 (지정학, 정책, 경제, 안보 등) 를 포괄하고 있습니다.
3. 검증된 자동화 품질:
   • 생성된 질문의 약 96% 가 모호하지 않고 검증 가능한 것으로 평가되었습니다 (Metaculus 의 인간 큐레이션 기준보다 높은 비율).
   • 자동화된 해결 시스템의 정확도는 약 95% 로 추정됩니다.
4. 지능과 노력에 따른 성능 향상 입증: 더 똑똑한 모델 (Gemini 3 Pro) 이 더 낮은 Brier Score (0.134) 를 기록하여, 이 벤치마크가 모델의 지능 수준을 잘 반영함을 증명했습니다. 또한 하위 질문 분해 전략을 통해 예측 성능이 유의미하게 향상됨을 보였습니다.

4. 결과 (Results)

• 질문 구성: 1,499 개 질문은 규제/정책 (22.5%), 미국 정부 정책 (12.6%), 거시경제 (11.7%) 등 12 가지 주요 주제로 분류되었으며, 주제 내 다양성도 높았습니다.
• 해결 통계:
  • 자동 해결 시 29.1% 가 'YES', 70.6% 가 'NO'로 해결되었으며, **취소 (Annulment) 비율은 약 0.3%**였습니다.
  • 인간 검증 샘플을 기반으로 추정한 전체 취소율은 약 3.9% (95% CI: 1.1%~8.4%) 로, 인간이 큐레이션한 Metaculus 의 역사적 취소율 (약 8%) 보다 낮거나 동등한 수준입니다.
  • 자동 해결기의 오류율은 약 **4.9%**로 추정되었습니다.
• 모델 성능 비교 (Brier Score):
  • Gemini 3 Pro: 0.134 (최고 성능)
  • GPT-5: 0.149
  • GPT-5 Mini: 0.155
  • Gemini 2.5 Flash: 0.179
  • 더 큰 모델과 최신 모델이 일관되게 더 좋은 성능을 보였습니다.
• 하위 질문 분해 효과: 하위 질문 분해 전략을 적용한 경우 Brier Score 가 0.141 에서 0.132로 개선되어, 추가적인 연구 노력 (Effort) 이 예측 정확도를 높인다는 것을 입증했습니다.

5. 의의 및 결론 (Significance)

• AGI 진전 측정 도구: 예측은 일반 지능 (AGI) 의 진전을 측정하는 강력한 지표입니다. 이 연구는 AI 예측 능력을 평가할 수 있는 대규모, 고품질, 자동화된 벤치마크를 제공함으로써 AGI 개발 현황을 추적하는 데 기여합니다.
• 실용적 의사결정 지원: 생성된 질문들은 실제 세계의 중요한 결정 (지정학, 정책, 경제 등) 과 관련된 분야를 다루므로, AI 시스템의 실용적 유용성을 평가하는 데 적합합니다.
• 자동화의 한계와 가능성: 현재 LLM 에이전트는 복잡한 상호작용이 필요한 데이터베이스 접근이나 미시적 정보 부재 확인 등에서는 한계가 있으나, 대부분의 경우 인간 수준의 해결 능력을 보여주며, 모델의 발전과 함께 해결 능력이 향상될 것으로 기대됩니다.

이 논문은 AI 평가 인프라의 자동화를 통해 데이터 부족 문제를 해결하고, 더 정교한 AI 모델의 예측 능력을 객관적으로 측정할 수 있는 새로운 패러다임을 제시했다는 점에서 중요한 의의를 가집니다.