The Dice Roll Method: A StandardizedProtocol for Measuring Stochastic Bias in Large Language Model Output

기술 요약: LLM의 확률적 편향 측정을 위한 다이스 롤(Dice Roll) 방법론

문제 제기
연구자들은 LLM 출력의 확률적 편향을 측정하기 위해 동일한 프롬프트를 반복적으로 사용하는 방식에 점점 더 의존하고 있습니다. 그러나 이 분야에는 적절한 반복 횟수를 결정하기 위한 표준화된 프로토콜, 적절한 안정성 지표 선택, 또는 신뢰도 임계값 설정에 대한 표준화된 절차가 부족합니다. 기존 연구들은 종종 임의적인 반복 횟수(5회에서 40회 사이)에 의존하며, 자기회귀적 텍text 생성의 본질을 위반하는 통계적 가정을 사용합니다. 구체적으로, 기존 방식은 반복되는 쿼리를 독립 동일 분포(i.i.d.) 가우시안 표본으로 취급하는 경우가 많으며, 이는 토큰 생성의 조건부 의존성, 과분산(over-dispersed) 및 영과잉(zero-inflated) 특성을 가진 카운트 데이터(예: 브랜드 언급 횟수)의 성격, 그리고 모델 스냅샷의 잠재적 시간적 드리프트(temporal drift)를 간과합니다. 본 논문은 "다이스 롤 방법(Dice Roll Method)"을 온도 조절 기반 핵 샘플링(temperature-scaled nucleus sampling)의 생성 메커니즘에 근거한 엄격하고 표준화된 감사 프로토콜로 정식화함으로써 이러한 격차를 해결합니다.

방법론
본 논문은 매개변수적 정규 이론 가정을 조건부 비매개변수 혼합 모델 프레임워크로 대체하는 개정된 분석 스택을 제안합니다. 주요 방법론적 구성 요소는 다음과 같습니다:

• 생성 모델 및 분산 분해: 프로토콜은 온도 조절 기반 핵 샘플링의 명시적 모델에 기반합니다. 전체 응답 분산은 네 가지 구성 요소로 분해됩니다: 토큰 수준 샘플링($\sigma^2_{tok}$), 프롬프트 구절($\sigma^2_P$), 모델 차이($\sigma^2_M$), 그리고 모델 버전/시간적 드리프트($\sigma^2_{V,T}$).
• 추론 프레임워크:
  • 모델링: 독립 표본 t-검정을 **음이항 일반화 선형 혼합 모델(Negative-Binomial GLMM)**로 대체합니다. 이는 카운트 데이터의 과분산을 설명하며, 반복 횟수를 프롬프트와 모델 내에 중첩된 반복 측정치로 취급합니다.
  • 효과 크기: Cohen's $d$를 대신하여 왜도와 두꺼운 꼬리(heavy tails)에 강건한 분포 무관 효과 크기인 Cliff's $\delta$(및 순위 이항 상관계수)를 주요 지표로 사용합니다.
  • 재표집(Resampling): 일반적인 부트스트랩 대신 이동 블록 부트스트랩(moving-block bootstrap)(조건부 의존성 보존 목적) 및 매개변수 부트스트랩(GLMM의 계수 불확실성 목적)을 사용합니다.
  • 검정력 분석: 클래식한 검정력 테이블 대신 GLMM 구조에 데이터를 적합시키는 simr 절차를 사용하는 시뮬레이션 기반 검정력 분석을 사용합니다.
• 신뢰도 및 드리프트:
  • 일반화 이론(G-theory): 프롬프트, 반복, 모델 요인 간의 분산을 분해하기 위해 G-study 및 D-study를 사용하며, 다양한 반복 횟수에 따른 일반화 계수($G$)를 투영합니다.
  • 정상성(Stationarity): 연속적 지표에 대한 Kolmogorov–Smirnov (KS) 검정과 이산적 카운트에 대한 인구 안정성 지수(PSI)를 사용하여 명시적인 드리프트 진단을 구현합니다.
• 지표 배터리: 안정성 지표를 네 가지 계열(볼륨, 집합 구성, 분포 형태, 의미적 일관성)로 분류하고, 공정성이 조정된 가시성을 위한 PASOR(Prompt-Adjusted Share of Recommendation)를 도입합니다. 의미적 일관성은 분산을 전파하기 위해 세 개의 임베딩 모델 앙상블을 통해 측정됩니다.

주요 결과
저자들은 개정된 스택을 사용하여 다섯 가지 실증 연구의 원시 데이터(35개의 LLM, 270개 이상의 브랜드, 35개 언어에 걸친 약 190,000개의 관측치)를 재분석했습니다:

• 반복 횟수 가이드라인: G-study에 따라 세 단계의 반복 횟수 계층이 설정되었습니다:
  • 탐색적 ($n=5$): $G \approx 0.58$. 매우 큰 효과의 기술적 보고에 적합합니다.
  • 확증적 ($n=10$): $G \approx 0.74$. 대부분의 감사를 위한 기본 권장 사항이며, 큰 효과에 대한 추론을 지원합니다.
  • 엄격한 ($n=15$): $G \approx 0.81$. 그룹 수준의 의사결정 임계값인 0.80을 통과하며, 중간 크기의 효과 탐지를 지원합니다.
• 수렴성: 블록 부트스트랩 분석 결과 수렴의 한계 효용 체감 패턴이 나타났습니다. 점근적 정밀도의 약 77.5%가 $n=7$에서 도달하며, 94.4%가 $n=8-9$에서 도달합니다. 이 궤적은 로그 감소가 아닌 멱법칙($n^{-0.5}$)과 일치합니다.
• 지표 직교성: 테스트된 "발렌타인데이" 서브셋에서 구조적 카운트 기반 지표(CV, Gini, Shannon)는 하나의 지배적인 차원으로 붕괴되었습니다($|r| > 0.97$). 그러나 본 논문은 간결한 세 가지 핵심 지표, 즉 하나의 구조적 지표(Gini 또는 CV), 의미적 일관성(임베딩 앙상블을 통한 코사인 유사도), 그리고 공정성이 조정된 가시성(PASOR-Gini)을 사용할 것을 주장합니다.
• 효과 크기 검증: 성별 편향 효과를 재분석한 결과, 일부 효과(예: Grok, $\delta \approx 0.26$)는 탐지 가능했으나, 다른 효과(예: GPT, $\delta \approx 0.18$)는 확증적 검정력을 위해 더 높은 반복 횟수를 요구했습니다. BCa 부트스트랩 구간을 사용한 Cliff's $\delta$의 활용은 이전의 Cohen's $d$ 계산보다 더 정직한 불확실성 추정치를 제공했습니다.
• 드리프트 및 비용: 드리프트 진단 결과, 짧은 수집 기간(예: 2주) 동안은 정상성이 유지되나 장기 연구에서는 모니터링이 필요함을 나타냈습니다. 비용 효율성 분석에 따르면, 반복 횟수를 5회에서 10회로 늘리는 것은 미미한 비용 증가(예: 250-쿼리 연구당 약 $18.75)에 비해 상당한 검정력 이득을 제공합니다.

의의 및 주장
본 논문은 자기회귀적 생성에 내재된 조건부 의존성과 비가우시안 분포를 존중하는, 확률적 LLM 동작 감사를 위한 최초의 통계적 원칙 기반 프로토콜을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 정식화: 핵 샘플링의 명시적 생성 모델에 근거하여 다이스 롤 방법론을 정립했습니다.
2. 통계적 엄격성: 결함이 있는 정규 이론 가정을 과분산과 의존성을 처리할 수 있는 GLMM 기반 스택으로 대체했습니다.
3. 경험적 가이드: 임의적인 예산 제약이 아닌 일반화 계수에 기반한 데이터 중심의 반복 횟수 임계값(5, 10, 15)을 제공합니다.
4. 재현성: 미래의 LLM 감사를 표준화하기 위해 완전한 오픈 소스 Python 구현체(glmmTMB, simr, 드리프트 진단 포함)를 제공합니다.

저자들은 이 프로토콜이 기존의 발견을 무효화하는 것이 아니라, 특히 낮은 반복 횟수($n=5$)를 사용한 연구의 통계적 검정력과 분포 무관 효과 크기 및 드리프트 진단의 필요성에 대한 해석을 정교화하는 것이라고 강조합니다. 이 프로토콜은 연구자, 감사관 및 규제 기관이 AI 편향 연구에서 증거적 방어력을 확보할 수 있도록 하는 도구로 제시됩니다.