기술 요약: UNPREDICTABENCH

문제 정의

대규모 언어 모델(LLM)은 경제 시뮬레이션, 역학 모델링, 다중 에이전트 환경과 같은 응용 분야에서 인간의 행동 및 확률적 시스템을 대신하는 대리인(proxy)으로서 점점 더 많이 배치되고 있습니다. LLM은 확률 분포를 추론하고 확률을 추정하는 능력을 보여주지만, 기저의 타겟 분포를 충실히 반영하는 샘플을 생성하는 능력에는 결정적인 격차가 존재합니다. 현재의 모델들은 단일한 그럴듯한 답변이나 좁은 출력 범위로 "붕괴(collapse)"되는 경향을 보이며, 이는 실제 세계의 확률적 과정에 내재된 진정한 예측 불가능성과 분산을 포착하지 못하는 결과를 초래합니다. 출력의 다양성을 개선하려는 기존의 연구들은 단순히 다양한 출력을 만드는 것을 넘어, 특정 타겟 분포에 통계적으로 일치하는 샘플을 요구하는 이러한 시뮬레이션 작업에는 불충분합니다. LLM이 실제 정답 분포와 통계적으로 일치하는 불확실한 결과를 생성할 수 있는지 판단하기 위한 체계적인 평가 도구가 부족한 실정입니다.

방법론

이러한 격차를 해결하기 위해 저자들은 LLM의 분포적 무작위성을 평가하기 위해 설계된 벤치마크인 UNPREDICTABENCH를 소개합니다.

벤치마크 구성

본 벤치마크는 40개의 타겟 확률 분포(단봉형에서 다봉형, 이산형에서 연속형까지 포함)로부터 유도된 448개의 테스트 인스턴스로 구성됩니다. 과제는 다양한 표현 방식에 걸쳐 분포적 이해도를 조사하기 위해 7가지 유형으로 분류됩니다:

1. 텍스트 명시적(Text Explicit): 분포와 매개변수가 명시적으로 이름 붙여져 있으며, 모델은 샘플을 생성해야 합니다.
2. 텍스트 암시적(Text Implicit): 분포의 이름을 명시하지 않고 실제 세계의 시나리오가 설명되며, 모델은 확률적 과정을 추론하고 샘플링해야 합니다.
3. 코드 명시적(Code Explicit): 모델은 분포로부터 직접 샘플링하는(예: NumPy 사용) Python 프로그램의 출력을 예측합니다.
4. 코드 암시적(Code Implicit): 모델은 타겟 분포가 명시적인 이름 없이 변환(예: 감마 변수의 비율)을 통해 유도되는 프로그램의 출력을 예측합니다.
5. 멀티모달(Multimodal): 둘 이상의 구성 분포의 혼합으로부터 샘플링합니다.
6. 셔플링(Shuffling): 리스트의 균등한 무작위 순열을 생성합니다(평가를 위해 Lehmer 코드로 인코딩됨).
7. 실제 세계 시나리오(Real-World Scenarios): 본질적으로 불확실한 환경(예: 레이스 컨디션, MCMC 역학, 네트워크 시뮬레이션)을 포함하는 수동으로 큐레이션된 과제들입니다.

평가 지표: KS@N

주요 평가 지표는 Kolmogorov-Smirnov(KS) 통계 검정을 사용하여 분포적 충실도를 정량화하는 KS@N입니다.

• 절차: 주어진 문제에 대해 모델은 $N$개의 독립적인 샘플을 생성합니다(통상 $N=100$). 이 샘플들은 정답 분포에서 추출된 $M=10,000$개의 참조 샘플 세트와 비교됩니다.
• 계산: 두 샘플 간의 KS 검정을 수행하여 p-값을 얻습니다. 만약 p-값이 엄격한 임계값($p_{threshold} = 0.0001$)을 초과하면, 모델의 샘플은 정답과 일치하지 않는 것으로서 기각되지 않습니다.
• 점수: KS@N은 모델의 샘플이 기각되지 않은 문제의 비율로 정의됩니다. 점수가 높을수록 분포적 보정(calibration) 능력이 우수함을 나타냅니다.
• 보완 지표: 연구에서는 꼬리 부분의 동작(tail behavior)과 위치 이동을 포착하기 위한 Debiased Wasserstein-1 Distance (WDZ) 및 밀도 수준의 형태 불일치를 측정하기 위한 **Jensen–Shannon Divergence (JSD)**를 함께 보고합니다.

주요 결과

저자들은 다양한 오픈 웨이트 및 독점 모델(GPT-4o/5.4, Claude Sonnet, Llama 3, Qwen, Nemotron, DeepSeek 포함)을 평가했습니다.

• 일반적 성능: 어떤 모델도 KS@100 점수 40%를 달성하지 못했습니다. 가장 우수한 성능을 보인 모델은 Nemotron-3 Super 120B로 **32.64%**를 기록했으며, 많은 프런티어 모델들(예: GPT-5.4, Claude Sonnet 4.6)은 15% 미만의 점수를 받았습니다. 대부분의 모델은 0%에서 20% 사이에 분포했습니다.
• 실패 모드: 모델은 두 가지 방식으로 실패합니다: (1) 타겟 분포에 대한 내부 표현이 부족하거나, (2) 대략적인 형태는 이해하지만 좁은 출력 범위로 붕괴하는 것(mode collapse)입니다.
• 과제 난이도:
  • 셔플링 및 코드 과제는 가장 어려운 과제로, 어떤 모델도 40%를 넘지 못했으며 강력한 성능을 보이는 모델들도 0%로 붕괴되었습니다.
  • 실제 세계 과제는 일부 모델(예: Llama-3.2-1B가 59.09% 달성)에서 가장 높은 개별 점수를 기록했는데, 이는 해당 특정 시나리오에서 유효한 출력 범위가 더 좁기 때문으로 보입니다.
  • 멀티모달 분포는 결정론적 성향이 강한 모델들에게 훨씬 더 어려운 과제였으며, 종종 완전한 붕괴를 야기했습니다.
• 개입의 영향:
  • 추론(Reasoning): 추론 토큰을 활성화하면 일부 모델의 최종 출력 성능이 향상되었으나, 다른 모델들의 경우 추론 토큰이 최종 출력보다 더 넓은 후보군을 포함하고 있어 "말하는 것보다 더 많이 알고 있음"이 드러나기도 했습니다.
  • 명령어 튜닝(Instruction Tuning): 명령어 튜닝은 미미한 이점만을 제공하거나, 어떤 경우에는 베이스 모델에 비해 출력 다양성을 오히려 감소시켰습니다.
  • 온도(Temperature): 높은 온도(예: $T=1.2$)는 다양성을 증가시켜 일반적으로 KS@100을 개선했지만, 약한 모델들은 때때로 증가된 꼬리 편차(tail deviations)로 인해 어려움을 겪었습니다.
  • 리스트 프롬프팅(List Prompting): 모델에게 샘플 리스트(예: 한 번에 10개씩)를 생성하도록 요청하는 것은 유능한 모델들에게는 전역적 커버리지를 개선해주었으나, 다른 모델들(예: Llama-3.2-1B)에게는 성능을 저해했습니다.

의의 및 주장

본 논문은 UNPREDICTABENCH를 복잡한 확률적 시스템을 신뢰할 수 있는 대리인으로 사용하기 위한 필수적인 첫 단계로 규정합니다.

• 통계적 근거: "LLM-as-a-judge" 평가와 달리, UNPREDICTABENCH는 알려진 정답(ground truth)에 대한 분포적 충실도를 직접 측정하는 통계적으로 근거 있는 지표(KS@N)를 제공합니다.
• 유용성과의 상관관계: 이 벤치마크는 창의성 벤치마크(NoveltyBench, CREATE)의 유용성 지표와 강한 상관관계를 보이며, 이는 분포적 충실도가 창의적이고 다양한 생성과 관련된 진정한 품질 측면을 포착함을 시사합니다.
• 현재의 한계: 저자들은 단순한 분포 시뮬레이션조차 현재 모델들에게는 여전히 중대한 도전 과제임을 강조합니다. 현재의 성능과 이론적 상한선(Random Machine) 사이의 큰 격차는 LLM이 아직 충실한 무작위성을 요구하는 고위험 시뮬레이션 작업에 투입될 준비가 되지 않았음을 나타냅니다.
• 향후 로드맵: 이 벤치마크는 확장 가능한 난이도 곡선(N을 통한 조절)과 무작위성, 불확실성 보정, 그리고 학습 목표(예: RLHF)가 확률적 행동에 미치는 영향을 조사하기 위한 통합된 테스트베드를 제공함으로써 향후 연구를 위한 템플릿을 제시합니다.

결론적으로, LLM은 무작위성에 대해 추론할 수는 있지만, 이를 생산하는 능력은 근본적으로 결함이 있으며, 이는 보정(calibration)을 희생하지 않으면서 출력 다양성을 유지할 수 있는 모델 아키텍처 및 학습 전략에 대한 추가적인 연구가 필요함을 시사합니다.