기술 요약: LLM 기반 이벤트 예측을 위한 강화 학습

문제 정의

본 논문은 대규모 언어 모델(LLM)이 판단적 예측(judgmental forecasting)—즉, 즉각적인 정답(ground truth)이 존재하지 않는 미래의 이진 이벤트(예: 선거 결과, 지정학적 갈등)의 확률을 예측하는 작업—을 수행하도록 훈련하는 과제를 다룹니다. 수학이나 코딩과 같이 검증 가능한 도메인과 달리, 예측은 우연적 불확실성(aleatoric uncertainty)(내재된 무작위성)을 포함합니다. 여기서 "정답"이란 단일 이벤트 인스턴스의 결과(예: 동전 던지기에서 앞면이 나옴)가 반드시 실제 기저 확률(예: 50%)을 반영하는 것은 아닙니다.

핵심적인 어려움은 훈련 신호에 있습니다. 만약 LLM이 이벤트의 확률을 예측하도록 훈련되는데, 보상이 이진 결과(0 또는 1)를 기준으로 주어진다면 보상은 노이즈가 심해집니다. 예를 들어, 어떤 모델이 정확한 확률(예: 0.5)을 예측하더라도 결과가 0으로 결정되면 벌점을 받을 수 있는 반면, 결정론적인 1.0을 예측한 모델은 운 좋게 보상을 받을 수도 있습니다. 본 논문은 강화 학습(RL)이 이러한 노이즈가 존재하는 상황에서도 LLM이 정확하게 예측하도록 효과적으로 훈련할 수 있는지, 그리고 특정 훈련 방법론과 컨텍스트 도구가 갖춰졌을 때 더 작은 모델이 더 크고 지식이 풍부한 모델보다 뛰어난 성능을 낼 수 있는지 조사합니다.

방법론

1. 이론적 토대: 우연적 불확실성

저자들은 먼저 RL이 우연적 불확실성이 존재하는 환경에서 학습할 수 있는지 테스트하기 위해 GSM8K 데이터셋을 사용하여 베이스라인 실험을 수행합니다. 이들은 세 가지 훈련 모드를 정의합니다:

• Regular (일반): 모델이 숫자(25–75)를 예측하고, 정답과의 일치 여부에 따라 보상을 받습니다(확률 자체가 정답인 시나리오를 시뮬레이션).
• Randomized (무작위화): 모델이 예측한 숫자를 베르누이 시행(Bernoulli trial)의 확률로 취급합니다. 정답은 무작위 추출에 따라 0 또는 1로 붕괴됩니다. 이는 실제 예측 환경(오직 결과만 알 수 있고 실제 확률은 알 수 없는 상황)을 시뮬레이션합니다.
• Format Only (형식 전용): 모델은 정답에 대한 보상을 받지 않고, 오직 형식에 대한 보상만 받습니다.

이 단계의 결과는 "Randomized" 모드(결과 기반)로 훈련하는 것이 특정 무작위 결과 시퀀스("동전 던지기")에 매우 민감하다는 것을 보여주었습니다. 대부분의 경우, 우연적 불측성에 의한 노이즈는 실제 확률을 정답으로 가질 때보다 학습을 저해하는 것으로 나타났습니다.

2. 훈련 파이프라인: GRPO 및 정답 근사

주요 방법론은 별도의 가치 모델(critic)을 필요로 하지 않는 메모리 효율적인 RL 알고리즘인 **그룹 상대 정책 최적화(GRPO)**를 사용합니다.

• 정답 프록시 (Ground Truth Proxy): 이진 이벤트의 결과(우연적 노이즈가 발생하는) 대신, 저자들은 Polymarket의 시장 가격을 정답으로 사용합니다. 거래량이 많은 예측 시장의 가격이 가용한 정보를 바탕으로 한 이벤트의 실제 우연적 확률에 근접한다고 가정합니다.
• 컨텍스트 제공: 지식 컷오프 문제를 극복하기 위해, LLM에 두 가지 방식으로 컨텍스트를 제공합니다:
  1. 요약된 뉴스: Perplexity의 Sonar Reasoning Pro를 사용하여 현재 사건에 대한 관련 요약본을 생성합니다.
  2. Wikipedia 수정 도구: 모델이 특정 타임스탬프의 과거 위키피디아 문서를 쿼리할 수 있도록 합니다(시간적 누출을 방지하기 위해 해결된 이벤트에 사용됨).
• 보상 함수: 모델의 예측 확률과 Polymarket 시장 가격 사이의 음의 교차 엔트로피(Negative Cross Entropy)(또는 음의 이차 오차)를 사용하여 모델을 미세 조정합니다.

3. 실험 설정

• 모델: Qwen 2.5 모델을 1.5B에서 14B 파라미터 범위까지 사용합니다.
• 데이터셋: Polymarket의 거래량이 많은 512개의 이진 질문.
• 비교 대상: 더 늦은 지식 컷오프를 가진 더 큰 모델인 Claude 3.5 Sonnet과 벤치마크를 비교합니다.

주요 기여

1. 예측을 위한 GRPO의 입증: 본 논문은 GRPO를 사용하여 LLM을 판단적 예측 작업에 훈련시키는 데 성공하였으며, 신뢰할 수 있는 정답 프록시(시장 가격)가 사용될 경우 RL이 우연적 불확실성 속에서도 예측 성능을 크게 향상시킬 수 있음을 보여주었습니다.
2. 제한된 컨텍스트에서의 소형 모델 우위: 역설적인 발견 중 하나는, GRPO 미세 조정을 거친 1.5B 파라미터 모델(Qwen 2.5 1.5B)이 동일한 데이터셋에서 Claude 3.5 Sonnet보다 우수한 예측 성능을 달មាន했다는 점입니다. 이는 시장 확률에 대한 음의 교차 엔트로피로 측정되었습니다.
3. 스케일링 및 병목 현상 분석: 연구 결과, "저정보(low information)" 설정(제한된 컨텍스트 요약)에서는 훈련 후 모델 크기가 스케일링 이점을 제공하지 못함을 밝혔습니다. 모든 모델이 유사한 성능 수준에서 정체되었으며, 이는 모델의 내부 용량보다 **제공된 컨텍스트의 질과 양(요약본)**이 주요 병목 현상임을 시사합니다.
4. 불확실성의 분류: 본 연구는 인식적 불확실성(epistemic uncertainty)(지식의 부족, 줄일 수 있음)과 우연적 불확실성(aleatoric uncertainty)(내재된 무작위성, 줄일 수 없음)의 구분을 명확히 하며, 이진 결과(우연적)로 훈련하는 것이 확률 분포(인식적)로 훈련하는 것보다 훨씬 비효률적임을 입증했습니다.

결과

• 성능 향상: GRPO 훈련은 Qwen 모델의 초기 예측 능력을 개선했습니다. 예를 들어, Qwen 1.5B 모델은 평균 음의 교차 엔트로피(Mean NCE)를 -1.66에서 -0.415로 개선했습니다.
• 대형 모델과의 비교: 미세 조정된 1.5B 모델은 -0.415의 NCE를 달성하여, 동일한 검증 세트에서 -0.62를 기록한 베이스라인 Claude 3.5 Sonnet보다 높은 성능을 보였습니다.
• 스케일링 한계: 모델 크기를 1.5B에서 7B로 늘려도 저정보 설정에서의 최종 성능 정체에는 유의미한 변화가 없었습니다. 모든 Qwen 변체들은 유사한 NCE 점수(약 -0.3 ~ -0.4)로 수렴했으며, 이는 요약 도구에 의해 제공되는 정보가 추가적인 이득을 제한했음을 나타냅니다.
• 실패 사례: 모델은 요약 도구가 잘못된 정보를 제공할 때 지속적으로 실패하는 경향을 보였습니다. 이스라엘-이란 휴전과 관련된 특정 사례에서, 요약기는 이미 시장이 해결되었다고 잘못 주장하여 모델이 시장 가격이 0%인 이벤트에 대해 100% 확률을 예측하게 만들었습니다.

의의 및 주장

본 논문은 판단적 예측이 RL을 위한 실행 가능한 영역임을 주장하며, 이는 수학이나 코드와 같은 완벽하게 검증 가능한 도메인과는 구별됩니다. 주요 의의는 다음과 같습니다:

• 효율성: 신뢰할 수 있는 훈련 신호(시장 가격)가 있다면, GRPO를 통해 작은 모델(1.5B)로도 고성능 예측을 달성할 수 있습니다. 이는 더 큰 모델을 훈련하는 것보다 계산 비용이 저렴하고 빠릅니다.
• 데이터가 크기보다 중요: 컨텍스트가 제한된 예측 작업에서는 모델의 규모보다 제공된 정보의 질과 훈련 목표(이진 결과가 아닌 시장 확률 사용)가 성공의 더 결정적인 요인입니다.
• 실질적 실현 가능성: 이 훈련 파이프라인은 제한된 하드웨어(예: 7B 이하 모델에 대해 단일 H100으로 2~3시간)에서도 실행 가능하여, 고급 예측 능력을 막대한 컴퓨팅 클러스터 없이도 접근 가능하게 만듭니다.

저자들은 모델이 기본적으로는 일반적으로 더 큰 모델이 더 뛰어나지만, 전략적인 GRPO 미세 조정과 고품질의 정답 프록시를 사용하면 특정 정보 제한 환경에서 이러한 계층 구조를 역전시킬 수 있다고 결론지었습니다. 또한, 현재의 성능이 제공된 컨텍스트 요약의 정확도에 의해 제한되고 있으므로, 정보 검색의 병목 현상을 해결하는 것이 향후 과제임을 강조했습니다.