논문 요약: LLM 의 확률적 무작위성의 환상 (The Illusion of Stochasticity in LLMs)

이 논문은 대규모 언어 모델 (LLM) 이 에이전트 (Agent) 로서 작동할 때 요구되는 신뢰할 수 있는 확률적 샘플링 (Reliable Stochastic Sampling) 능력이 근본적으로 결여되어 있음을 증명합니다. 저자들은 LLM 이 학습된 분포를 추론할 수는 있지만, 해당 분포에 따라 실제로 무작위 표본을 생성하는 능력은 실패하며, 이는 '알고 있음 - 행동함 (Knowing-Doing)' 간극의 주요 원인 중 하나라고 주장합니다.

1. 문제 제기 (Problem)

• 에이전트 시스템의 요구사항: 복잡한 환경과 상호작용하는 LLM 에이전트는 최적의 정책을 추론할 뿐만 아니라, 해당 정책에 따라 확률적으로 행동해야 합니다. (예: 탐험 - 활용 균형, 다중 선택지 문제의 정답 위치 무작위화 등)
• 현재 LLM 의 한계: 표준 강화학습 (RL) 에이전트는 외부의 샘플링 메커니즘을 사용하지만, LLM 은 내부 확률 추정치를 토큰 생성으로 직접 매핑해야 합니다.
• 핵심 가설: LLM 은 분포를 이해할 수는 있어도 (Knowing), 그 분포에 따라 무작위성을 가진 출력을 생성하는 것 (Doing) 에서 실패합니다. 이는 훈련 데이터의 편향이나 토큰 생성 과정의 구조적 한계로 인해 발생합니다.

2. 연구 방법론 (Methodology)

저자들은 다양한 모델 패밀리 (Gemini, Qwen3, OLMO-3 등), 모델 크기, 프롬프트 스타일, 그리고 분포 유형을 대상으로 엄격한 실증 분석을 수행했습니다.

• 독립 샘플링 (Independent Sampling): LLM 에게 특정 분포 (균일 분포, 가우시안 분포 등) 에서 값을 하나씩 생성하도록 지시하고, 생성된 N 개의 샘플 (보통 1024 개) 의 경험적 분포를 목표 분포와 비교했습니다.
  • 검증 방법: 카이제곱 검정 (Chi-Square), 콜모고로프 - 스미르노프 검정 (Kolmogorov-Smirnov) 등을 사용하여 적합도 (Goodness-of-fit) 를 평가했습니다.
• 변수 조작 실험:
  • 디코딩 파라미터: Temperature, Top-p, Top-k 등을 다양하게 변경하여 샘플링 실패가 해결되는지 확인.
  • Chain-of-Thought (CoT): 사고 과정을 포함하거나 배제하여 무작위성 생성에 미치는 영향 분석.
  • 순차 및 배치 샘플링: 이전 샘플을 문맥에 포함 (Sequential) 하거나 한 번에 여러 개를 생성 (Batched) 하는 방식 테스트.
• 도구 사용 및 PRNG 시뮬레이션:
  • Tool Use: LLM 이 Python 코드를 생성하여 random 라이브러리를 실행하게 함 (시드 설정 유무에 따른 비교).
  • PRNG 시뮬레이션: LLM 에게 PRNG 알고리즘 코드와 시드를 제공하고, 직접 계산하여 무작위 수를 생성하도록 유도.
• 분포 변환 (Distribution Conversion): [0, 1] 범위의 균일 분포로 샘플링된 숫자를 LLM 에게 다른 분포 (균일, 가우시안, 혼합 모델 등) 로 변환하도록 지시.

3. 주요 결과 (Key Results)

A. 독립 샘플링의 실패

• 편향 현상: LLM 은 균일 분포나 가우시안 분포를 따르지 못했습니다. 특정 숫자 (예: 7, 42) 나 특정 위치 (예: 보기 C) 를 선호하는 강한 편향을 보였습니다.
• 통계적 유의성: 모든 모델에서 목표 분포에 대한 적합도 검정 p-value 가 0.05 미만 (대부분 0 에 가까움) 으로 나타나, 샘플링이 무작위성이 아님을 통계적으로 증명했습니다.
• 파라미터 무효성: Temperature, Top-p 등 디코딩 파라미터를 조정하거나 CoT 를 사용하더라도 이러한 실패 패턴은 해결되지 않았습니다.

B. 순차 및 배치 샘플링의 한계

• 순차 샘플링: 이전 샘플을 문맥에 포함하는 방식은 균일 분포에서는 어느 정도 개선되었으나, 가우시안 분포에서는 여전히 실패했습니다. 또한, 시간적 편향 (Temporal bias) 이 발생하여 샘플 간 상관관계가 생겼습니다.
• 배치 샘플링: 한 번에 여러 값을 생성하도록 요청하면 LLM 은 생성된 숫자의 개수를 정확히 맞추지 못하거나 (카운팅 능력 부족), 특정 패턴 (예: 0~9 의 반복) 을 보이는 등 시간적 편향이 심화되었습니다.

C. 도구 사용과 PRNG 시뮬레이션

• 도구 사용 (Tool Use): LLM 이 Python 코드를 실행할 수 있게 하면 샘플링이 개선되지만, 랜덤 시드 (Random Seed) 가 명시적으로 설정되지 않으면 실행 환경의 고정된 시드 때문에 여전히 편향이 발생합니다. 시드를 현재 시간 등으로 설정하도록 지시하면 최첨단 모델 (Gemini-3.0-Pro 등) 은 성공하지만, 이는 모델의 지시 따르기 능력에 의존적입니다.
• PRNG 시뮬레이션: LLM 에게 PRNG 알고리즘 코드를 제공하고 직접 계산하게 하면, 균일 분포에서는 높은 정확도 (90% 이상) 를 보였습니다. 그러나 가우시안 분포 (Box-Muller 변환 등 복잡한 계산 필요) 나 큰 수의 곱셈이 필요한 경우, LLM 의 계산 능력 한계로 인해 실패했습니다.

D. 분포 변환 능력 (Emergent Property)

• 성공적인 변환: LLM 에게 [0, 1] 의 균일 분포 숫자를 입력으로 주고, 이를 다른 분포로 변환하도록 요청하면 (확정적 알고리즘 수행), 모델 크기가 충분히 크면 (예: Qwen3-8B 이상) 매우 정확하게 변환했습니다.
• 발현 특성 (Emergent Property): 분포 변환의 성공은 모델 크기에 따라 발현되었습니다. 균일 분포 변환은 1.7B 이상, 가우시안 분포 변환은 4B 이상의 모델에서 p-value > 0.05 를 달성했습니다. 이는 LLM 이 확률적 샘플링 자체는 어렵지만, 확정적 변환 알고리즘은 수행할 수 있음을 시사합니다.

4. 핵심 기여 (Key Contributions)

1. LLM 의 확률적 무결성 결여 증명: LLM 이 에이전트로서 신뢰할 수 있는 확률적 행동을 할 수 없으며, 이는 단순한 디코딩 파라미터 조절로 해결되지 않는 근본적인 문제임을 다양한 실험을 통해 입증했습니다.
2. 샘플링 vs 변환의 이분법: LLM 은 직접 무작위 수를 생성하는 것은 실패하지만, 외부에서 제공된 무작위 시드나 숫자를 기반으로 확정적 변환 (Deterministic Conversion) 을 수행하는 능력은 모델 크기가 커짐에 따라 획득함을 발견했습니다.
3. 에이전트 시스템에 대한 시사점: LLM 기반 에이전트 시스템은 내부적인 무작위성에 의존해서는 안 되며, 외부의 신뢰할 수 있는 샘플링 도구 (Stateful Sampler) 를 제공받거나, 확률적 행동을 위해 외부에서 생성된 시드를 활용하는 구조가 필요함을 제안했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 복잡한 에이전트 작업을 수행할 때 발생할 수 있는 치명적인 약점을 지적합니다. LLM 이 "무작위성"을 이해하고 설명할 수는 있어도, 실제 행동으로 옮길 때는 훈련 데이터의 편향이나 구조적 한계로 인해 예측 가능한 패턴을 보입니다.

• 보안 및 게임 이론: LLM 이 카드 게임이나 전략 게임에서 무작위성을 요구할 때, 이 편향은 상대방에게 예측 가능성을 제공하여 쉽게 공격당할 수 있음을 의미합니다.
• 시스템 설계: 신뢰할 수 있는 확률적 샘플링이 필요한 에이전트 시스템은 LLM 에게 "무작위 수 생성"을 직접 맡기는 대신, 외부 상태가 있는 샘플러 (Stateful Sampler) 를 도구로 제공하거나, LLM 에게는 확정적 변환 로직만 수행하게 하고 무작위성은 외부에서 공급받는 하이브리드 아키텍처가 필수적입니다.

결론적으로, 현재 최첨단 LLM 들은 확률적 무작위성의 환상 (Illusion of Stochasticity) 을 보여줄 뿐이며, 진정한 무작위성을 구현하기 위해서는 모델 내부의 생성 메커니즘이 아닌 외부 시스템의 개입이 필요합니다.