Is Capability a Liability? More Capable Language Models Make Worse Forecasts When It Matters Most

기술적 요약: 분포 예측에서 능력은 책임이 될 수 있음

문제 제기
대형 언어 모델 (LLM) 은 일반적으로 다양한 작업에서 향상된 성능을 보이지만, 본 논문은 능력 증가가 오히려 성능 저하로 이어지는 특정 유형의 '역스케일링 (inverse scaling)'을 식별합니다. 구체적으로 저자들은 더 능력이 뛰어난 LLM 이 **초선형 성장 (superlinear growth)**을 보이다가 체제 변화의 꼬리 위험 (tail risk of regime change) (예: 갑작스러운 붕괴나 개입) 을 수반하는 시계열에 대해 열악한 분포 예측을 산출한다고 기록합니다. 이러한 구조는 금융, 역학, 경제학에서 흔히 발견됩니다. 핵심 실패 양상은 유능한 모델이 성장 신호를 정확하게 감지하지만 이를 과도하게 외삽하여 상향 꼬리 예측을 상향 조정한다는 점입니다. 체제가 변화하고 성장이 반전될 때, 이러한 상승된 상향 꼬리는 막대한 오차를 초래하는 반면, 능력이 덜한 모델은 더 잘 고정되어 있습니다.

중요하게도, 이 역스케일링은 표준 이진 또는 단일 임계값 지표 (예: 중요한 절단점에서의 브라이어 점수) 하에서는 보이지 않으며, 이러한 지표들은 종종 양의 스케일링을 보여줍니다. 이러한 실패는 연속적이고 꼬리를 포함하는 스코어링 규칙 (예: CRPS) 을 통해서만 감지 가능하며, 동일한 모델 출력이 기존 벤치마크에서는 '더 나은' 것으로 평가받지만 분포 정확도 지표에서는 '더 나쁜' 것으로 평가받는 상황을 초래합니다.

방법론
본 연구는 이 현상을 분리하고 검증하기 위해 다각적인 접근 방식을 사용합니다:

1. ForecastBench-Sim (FBSim): 전략 게임 FreeCiv에서 절차적으로 생성된 롤아웃을 기반으로 구축된 오염 없는 벤치마크입니다. 이는 재정, 영토, 인구 등 여섯 가지 템플릿에 걸쳐 쌍을 이루는 이진 및 연속 질문을 생성합니다. 저자들은 하락이 모달 결과인 '교란 가능 (disruptable)' 템플릿과 '비교란 가능 (non-disruptable)' 템플릿을 구분합니다.
2. 합성 메커니즘 분리: 역스케일링의 동인을 분리하기 위해 저자들은 통제된 SIR (감염 가능 - 감염 - 회복) 역학 모델을 사용합니다. 그들은 동일한 붕괴 구조를 가진 선형 성장 시계열과 비교하여 초선형 성장 후 체제 변화를 수반하는 시계열을 비교합니다.
3. 동일 계열 제거 실험: Llama-3.1 계열 ({70B, 405B} $\times$ {base, instruct}) 에 대한 통제된 $2 \times 2$ 실험을 통해 모델 규모와 사후 학습 (RLHF/지시 튜닝) 의 독립적 및 누적 효과를 분리합니다.
4. 실제 세계 복제: 이 패턴은 네 가지 실제 세계 도메인에서 테스트됩니다:
   • COVID-19 발생률 (60 개국).
   • 미국 주택 가격 (2003–2006 거품).
   • 초인플레이션 사례 (10 개국에서 발생한 12 건).
   • 백신 이전 미국 홍역 데이터 (1928–1962, 35 시즌, 심각도 선택 없음).
5. 개입 탐지: 저자들은 도메인 지식 (예: 도메인 명시 또는 불확실성 단서 제공) 이 보정 (calibration) 을 회복시키는지 테스트합니다.
6. 지표: 분포 정확도를 위해 연속 순위 확률 점수 (CRPS) 를, 이진/임계값 정확도를 위해 브라이어 점수를 사용하여 성능을 평가합니다. 핀볼 손실 분해는 분위별 오차를 분석하는 데 사용됩니다.

주요 결과

• 장기적 관점에서의 역스케일링: FBSim 에서 모델 능력 (Epoch Capabilities Index, ECI) 과 예측 정확도 (CRPS) 간의 상관관계는 단기 관점에서는 양의 상관 ($\rho \approx +0.67$) 을 보이다가 장기 관점에서는 음의 상관 ($\rho \approx -0.42$) 으로 반전합니다. 이 반전은 공급자와 모델 계보 전반에 걸쳐 견고합니다.
• 메커니즘 식별: 역스케일링은 구체적으로 초선형 성장과 체제 변화의 결합에 의해 주도됩니다.
  • 합성 SIR 데이터 (초선형 성장 + 붕괴) 에서 유능한 모델은 강력한 역스케일링을 보입니다 ($\rho = -0.62$).
  • 동일한 붕괴 구조를 가진 선형 성장 데이터에서 유능한 모델은 양의 스케일링을 보입니다 ($\rho = +0.61$).
  • 실패는 **상향 꼬리 (p90)**에 집중됩니다. 더 유능한 모델은 외삽된 성장 궤적을 추적하기 위해 p90 을 상향 조정하는 반면 하향 꼬리 (p10) 는 고정된 상태를 유지합니다. 붕괴가 발생하면 상승된 p90 은 막대한 핀볼 패널티를 부과하여 CRPS 를 지배합니다.
• 규모와 사후 학습: Llama-3.1 $2 \times 2$ 연구는 규모 증가 (70B 에서 405B 로) 와 사후 학습 (base 에서 instruct 로) 이 모두 붕괴 체제에서의 오차를 독립적으로 증폭시킨다는 것을 확인합니다. 이 효과는 누적되어 405B instruct 모델이 가장 나쁜 성능을 보입니다. 피해는 작은 규모에서는 상향 꼬리에서 시작하여 더 큰 규모에서는 중심 경향성으로 전파됩니다.
• 실제 세계 검증: 역스케일링은 COVID-19, 주택 거품, 초인플레이션, 백신 이전 홍역에서 재현됩니다. 특히 심각도에 따라 선택되지 않은 홍역 데이터셋은 관점이 증가함에 따라 양의 스케일링에서 역스케일링으로 전환되는 동일한 교차점을 보여, 이 효과가 극단적 사건을 사전에 선택한 인공물이 아님을 확인시켜 줍니다.
• 도메인 지식의 실패: 프롬프트 개입의 효과는 일관성이 없습니다. 도메인을 명시하는 것은 COVID-19 에 대해서는 보정을 회복시키고 주택 및 홍역에 대해서는 부분적으로 완화시키지만, 초인플레이션에는 효과가 없습니다. 중요한 점은 모델이 48 건의 직접 탐지 중 46 건에서 초인플레이션 위기를 정확히 식별함에도 불구하고, 예측 시 이 지식을 보정된 꼬리로 전환하지 못한다는 것입니다.
• 지표 의존성: 본 논문은 스코어링 규칙에 따라 능력 - 정확도 관계의 부호가 반전됨을 보여줍니다. FBSim 에서 유능한 모델은 이진 브라이어 점수에서는 개선되지만 ($\rho = +0.45$), CRPS 에서는 저하됩니다 ($\rho = -0.42$). 동일한 연속 예측에서 브라이어 점수를 유도하면 양의 스케일링이 재현되므로, 실패는 이진 결과가 아닌 상향 꼬리 적분에 있음을 증명합니다.

의의 및 주장
본 논문은 꼬리 위험과 관련된 작업에 대해 이진 또는 단일 임계값 지표에만 의존하는 현재 LLM 예측 벤치마크는 근본적으로 결함이 있다고 주장합니다. 이러한 벤치마크는 꼬리를 포함하는 스코어링이 치명적인 저하를 드러내는 곳에서 능력을 인증합니다.

저자들은 가장 유능한 모델이 성장 궤적에 '조기 전념 (prematurely commit)'할 가능성이 가장 높으며, 이로 인해 체제가 변화할 때 보정이 잘못될 수 있다고 주장합니다. 이는 주의 산만 오류가 아니라 '역량 주도 과전념 (competence-driven overcommitment)'의 한 형태입니다. 표준 학습 목표와 평가 지표가 임계값 정확도를 보상하기 때문에, 이러한 과전념은 규모 확대만으로는 수정되지 않을 가능성이 높으며 추가적인 스케일링과 함께 누적될 수 있습니다.

본 논문은 LLM 예측 평가가 임계값 지표와 함께 상향 꼬리 실패를 감지할 수 있는 연속적이고 무제한의 정확도 측정치 (CRPS 또는 로그 점수 등) 를 포함해야 한다고 권장합니다. 이 발견들은 적절한 분포 보정 없이 현재 최첨단 모델을 전염병 개입 시기, 금융 리스크 관리, 통화 정책 등 꼬리 민감 작업에 배포할 경우 체계적인 과잉 추정과 예방 가능한 실제 피해를 초래할 수 있음을 시사합니다.