Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions

1. 문제 제기 (Problem Statement)

대형 언어 모델 (LLM) 이 단순한 대화 도구를 넘어 확률적 파이프라인 (stochastic pipelines) 과 일반 지능 (AGI) 에 근접하는 시스템의 핵심 구성 요소로 자리 잡으면서, 지정된 확률 분포에서 신뢰할 수 있게 샘플링 (sampling) 하는 능력은 이론적 호기심이 아닌 기능적 필수요건이 되었습니다.

그러나 현재 LLM 은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 내부 샘플러 부재: LLM 이 외부 라이브러리 (예: numpy.random) 없이 자체적으로 확률 분포를 시뮬레이션할 수 있는지 여부는 불분명합니다.
• 편향된 생성: 기존 연구들은 LLM 이 특정 숫자를 선호하거나 (favorite numbers), 동전 던지기 (Bernoulli) 작업에서 목표 확률과 크게 벗어난다는 것을 보여주었습니다.
• 하류 작업의 위험성: LLM 이 생성하는 데이터 (예: 교육용 문제, 합성 이미지 프롬프트) 가 통계적 무작위성을 따르지 못하면, 하류 응용 분야에서 체계적인 편향 (bias) 이 발생할 수 있습니다.

2. 방법론 (Methodology)

저자들은 11 개의 최첨단 LLM 을 대상으로 15 가지 확률 분포를 평가하는 대규모, 통계적으로 검증된 감사 (audit) 를 수행했습니다.

A. 평가 대상 및 설정

• 모델: GPT-5.2, GPT-4o, Gemini-3, DeepSeek-V3.2, Kimi-K2, Qwen3, Llama-3.3/4 등 11 개 모델.
• 분포 Taxonomy: 3 단계 복잡도로 분류된 15 가지 분포.
  • Tier I (기본): Uniform, Gaussian, Bernoulli
  • Tier II (제약): Beta, Binomial, Poisson, Exponential
  • Tier III (복잡/Heavy-tailed): Cauchy, Student's t, Chi-Square, Gamma 등
• 샘플 크기: 각 설정당 $N=1000$개의 샘플을 생성하여 통계적 검증력을 확보했습니다.

B. 이중 프로토콜 설계 (Dual-Protocol Design)

모델의 실패 원인을 분리하기 위해 두 가지 프로토콜을 비교했습니다.

1. 배치 생성 (Batch Generation): 단일 프롬프트로 $N=1000$개의 샘플을 한 번의 응답으로 생성. (문맥 의존성 테스트)
2. 독립 요청 (Independent Requests): $N=1000$번의 상태 비저장 (stateless) 호출을 통해 각각 1 개의 샘플 생성. (내부 무작위성 테스트)

C. 평가 지표

• 통계적 유효성 검정: 연속 분포는 Kolmogorov-Smirnov (KS) 검정, 이산 분포는 Chi-square 적합도 검정을 사용 ($\alpha=0.01$).
• 정밀도 측정: Wasserstein-1 거리 ($W_1$) 와 KL 발산 (KL Divergence) 을 사용하여 생성된 분포와 목표 분포 간의 기하학적 거리를 정량화했습니다.

3. 주요 기여 (Key Contributions)

1. 내부 샘플러 부재 증명: 현재 LLM 은 확률적 샘플링을 위한 기능적 내부 메커니즘이 없음을 입증했습니다.
2. 복잡도에 따른 성능 저하: 분포의 복잡도가 증가할수록 샘플링 충실도 (fidelity) 가 단조적으로 감소함을 발견했습니다.
3. 샘플 크기 증가에 따른 역설적 저하: 샘플 수 ($N$) 가 증가할수록 분포 준수도가 오히려 악화되는 '역 스케일링 (Inverse Scaling)' 현상을 발견했습니다.
4. 하류 작업 편향 입증: 추상적인 수치 생성 실패가 실제 응용 (객관식 문제 생성, 텍스트 - 이미지 프롬프트 생성) 에서 심각한 편향으로 이어짐을 시연했습니다.

4. 주요 결과 (Key Results)

A. 프로토콜 비대칭성 (Protocol Asymmetry)

• 배치 생성: 모델들이 문맥 내 자기 수정 (self-correction) 을 통해 어느 정도 통계적 유효성을 보였습니다. (중앙값 합격률 7%, 최상위 모델 40%).
• 독립 요청: 11 개 모델 중 10 개가 모든 분포에서 완전히 실패했습니다. 1000 번의 독립 호출 중 단 하나의 분포도 통계적 검정을 통과하지 못한 경우가 대부분이었습니다.
• 의미: LLM 의 '무작위성'은 독립적인 확률적 능력이 아니라, 긴 문맥 (context) 에 의존한 autoregressive(자기회귀) 조건부 생성의 부산물임을 시사합니다.

B. 복잡도와 샘플 크기 영향

• 복잡도: Tier I(기본) 에서 Tier III(복잡) 로 갈수록 합격률이 급격히 떨어지고 $W_1$ 거리가 증가했습니다. 특히 Cauchy 분포나 Chi-Square 분포와 같은 heavy-tailed 분포에서는 모든 모델이 실패했습니다.
• 샘플 크기 ($N$) 효과: $N$이 증가할수록 (50 에서 2000 까지), KS 검정 p-value 는 유의수준 ($\alpha=0.01$) 아래로 떨어지고 $W_1$ 거리는 증가했습니다. 즉, 샘플을 더 많이 요청할수록 LLM 의 통계적 불일치가 더 뚜렷하게 드러납니다.

C. 하류 작업에서의 편향 (Downstream Biases)

1. 객관식 문제 (MCQ) 생성: 정답 위치 (A, B, C, D) 를 균일하게 분포하라는 명시적 지시에도 불구하고, 모델들은 특정 위치 (예: GPT-OSS 는 C, GPT-4o 는 B) 를 극단적으로 선호했습니다.
2. 속성 제약 프롬프트 생성: 인구통계학적 비율 (성별, 인종) 이나 키 분포를 따르도록 지시했을 때, 모델들은 목표 분포와 완전히 다른 편향을 보였습니다.
   • 예: 키 분포에서 목표 표준편차 ($\sigma=10$) 에 비해 모델들은 $\sigma \approx 1 \sim 6$으로 분산을 축소 (variance collapse) 시켰습니다.
   • 예: coat color(코트 색상) 에서 균일 분포를 요구했음에도 특정 색상 (예: 녹색, 빨간색) 으로 집중되는 모드 붕괴 (mode collapse) 가 발생했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 이 통계적 무작위성을 내재화하지 못함을 명확히 보여줍니다.

• 기능적 한계: LLM 은 확률 분포의 수학적 구조를 이해하는 것이 아니라, 훈련 데이터에 존재하는 분포의 '표면적 통계 (surface statistics)'를 모방하는 데 그칩니다.
• 실무적 시사점: 통계적 엄밀함이 요구되는 분야 (합성 데이터 생성, 시뮬레이션, 공정한 평가 도구 제작 등) 에서 LLM 을 직접적인 샘플러로 사용하는 것은 위험합니다.
• 해결 방안: 통계적 보장이 필요한 응용 분야에서는 LLM 이 외부 도구 (Python 코드, numpy 등) 를 호출하도록 유도하거나, 외부 샘플러를 사용하는 것이 필수적입니다.

결론적으로, **"LLM 은 나쁜 주사위 플레이어"**이며, 현재 기술 수준에서는 내부적으로 신뢰할 수 있는 확률적 샘플링을 수행할 수 없으므로 외부 도구의 의존이 불가피하다는 것이 이 논문의 핵심 메시지입니다.