기술 요약: D-모델과 E-모델: 대규모 언어 모델의 샘플링 동작에서의 다양성-안정성 트레이드오프

문제 정의

대규모 언어 모델(LLM)은 코드 생성, 검색, 추천 시스템과 같은 웹 규모 애플리케이션에 점점 더 많이 배치되고 있습니다. 이러한 맥락에서 모델의 생성 과정은 잠재적 아이템들의 분포로부터의 샘플링 연산으로 볼 수 있습니다. LLM이 현실 세계의 분포를 근사하는 것으로 알려져 있지만, 미세한 단계별 토큰 샘플링 확률($P_{token}$)이 작업 수준의 타겟 분포($P_{task}$)와 충실하게 일치하는지에 대한 이해에는 중요한 격차가 존재합니다.

기존 연구들은 난수 생성이나 동전 던지기 능력에 있어 LLM의 결함을 식별해 왔으나, 이러한 연구들은 대부분 경험적이고 특정 시나리오에 국한되어 있습니다. 내부적인 토큰 수준 분포($P_{token}$)와 작업 수준의 목표 분포($P_{task}$) 사이의 매핑에 대한 체계적인 분석이 부족하며, 이러한 내부 메커니즘이 복잡한 작업의 실제 결과에 어떻게 영향을 미치는지에 대한 명확한 이해도 부족합니다. 핵심 질문은 다음과 같습니다: LLM은 서로 다른 작업 목표 분포를 효과적으로 이해하고 적응할 수 있는가, 그리고 그들의 내부 샘플링 동작은 다양성과 안정성에 영향을 미치는 뚜렷한 패턴을 보이는가?

방법론

저자들은 세 가지 핵심 분포를 연관시킴으로써 LLM 샘플링 동작을 분석하기 위한 확률적 프레임워크를 제안합니다:

1. $P_{task}$: 작업에 의해 정의된 후보 집합에 대한 타겟 확률 분포 (예: 특정 숫자의 분포 생성).
2. $P_{token}$: 각 생성 단계에서 모델이 출력하는 어휘집(vocabulary)에 대한 내부 확률 분포.
3. $P_{result}$: 최종 생성된 출력의 경험적 분포.

실험 설계

본 연구는 다단계 검증 접근 방식을 채택합니다:

• 시뮬레이션된 분포 작업: 저자들은 명시적으로 정의된 $P_{task}$를 가진 이산 확률 샘플링 작업(예: 하나의 지배적인 토큰이 있는 "극단적 분포" 및 균등한 확률을 가진 "평탄한 분포")을 설계했습니다. 모델은 이러한 분포를 엄격히 준수하며 숫자 시퀀스를 생성하도록 프롬프트되었습니다.
• 지표:
  • e-score: $P_{token}$의 극단성을 정량화합니다 (각 단계에서의 최대 확률의 평균). 높은 점수는 결정론적 동작을 나타냅니다.
  • ATVD (Average Total Variation Distance): 분포 간의 괴리($P_{task}$ vs $P_{token}$, $P_{task}$ vs $P_{result}$, $P_{token}$ vs $P_{result}$)를 측정합니다.
  • ATVD-step: $P_{token}$과 $P_{task}$ 사이의 단계별 정렬도를 측정합니다.
• 다운스트림 작업 평가: 식별된 모델 유형은 코드 생성(HumanEval 벤치마크) 및 추천(MovieLens-1M 데이터셋)에 대해 평가되었습니다.
  • 코드: $\Delta_{pass}$(성공적인 솔루션의 다양성) 및 벡터 유사도를 통해 측정됩니다.
  • 추천: 정밀도(Precision) 및 "can-hit" 비율(제시된 후보 리스트 내에 포함되는 추천의 비율)을 통해 측정됩니다.
• 내부 메커니즘 분석: 연구는 온도(Temperature), 사전 편향(Prior Bias) (내재된 숫자 선호도), 계층별 확률 진화(Layer-wise Probability Evolution), 그리고 쿼터 보상 가설(Quota Compensation Hypothesis) (모델이 과거 샘플링 오류를 바탕으로 미래의 로짓을 조정하는지 여부)의 효과를 조사했습니다.

주요 결과 및 모델 분류

통제된 시뮬레이션과 다운스트림 평가를 통해, 저자들은 LLM 동작에서 나타나는 놀라운 이분법을 식별하고 모델을 두 가지 유형으로 분류합니다:

1. D-모델 (Deterministic Models, 결정론적 모델)

• 예시: Qwen-2.5, Llama-3.1, DeepSeek-R1, DeepSeek-v3.
• 동작: 높은 e-score(종종 > 0.9)를 보이며, 이는 타겟 분포와 상관없이 $P_{token}$이 단일 토큰에 고도로 집중되어 있음을 나타냅니다.
• 메커니즘: 이들은 **결정론적 글로벌 플래닝(deterministic global planning)**을 사용합니다. 균일한 출력이 요구될 때조차 특정 토큰에 고착되는 경향이 있으며, 이로 인해 $P_{token}$에서 단계별 변동이 크게 나타납니다.
• 성능:
  • 코드 생성: 결정론적 핵심(deterministic core)에 대한 미세한 섭동(perturbation)을 통해 다양한 후보 솔루션을 생성함으로써 성능이 우수하며, 높은 $\Delta_{pass}$를 기록합니다.
  • 추천: "can-hit" 비율이 낮게 나타나며, 종종 제공된 후보 리스트에서 벗어나 다양하지만 잠재적으로 무관한 아이템을 생성합니다.

2. E-모델 (Exploratory Models, 탐색적 모델)

• 예시: Mistral-Small, Gemma-2, GPT-3.5-Turbo, GPT-4o.
• 동작: 낮은 e-score를 보이며, $P_{token}$ 분포가 $P_{task}$와 더 밀접하게 일치합니다.
• 메커니즘: 이들은 **탐색적 로컬 플래닝(exploratory local planning)**을 보여줍니다. 토큰 확률은 더 안정적이며 작업이 요구하는 분포에 적응하지만, 엄격히 요구되는 것보다 더 높은 집중도를 보이는 경향이 있습니다.
• 성능:
  • 코드 생성: $\Delta_{pass}$가 낮게 나타납니다. 구문(syntax)에 민감한 작업에서의 넓은 탐색은 종종 의미적 또는 실행상의 오류를 유발합니다.
  • 추천: 후보 집합 제약 조건과 더 밀접하게 정렬된 생성을 수행하므로, 더 높은 "can-hit" 비율과 정밀도를 달성합니다.

내부 특성

• 온도 민감도: E-모델은 온도 변화에 매우 민감하여 다양성에 대한 유연한 제어가 가능합니다. 반면 D-모델은 높은 온도에서도 낮은 엔트로피 샘플링을 유지하며, 분포 평탄화에 저항성을 보입니다.
• 사전 편향: 분석 결과, $P_{task}$로부터의 이탈은 모델의 내재적인 숫자 선호(priors) 때문이 아님이 확인되었습니다.
• 계층 진화: 초기 계층에서는 두 모델 유형 모두 균등한 확률을 보입니다. 그러나 "상위 계층(up-layers)"(출력 근처)에서 D-모델은 극단적인 확신을 유지하는 반면, E-모델은 점진적으로 작업 분포로 수렴합니다.
• 쿼터 보상: D-모델이 $P_{task}$에 맞추기 위해 샘플링 오류를 보상하여 미래의 로짓을 조정한다는 가설은 기각되었습니다. 상관관계 분석 결과, 과거의 샘플링 잔차(residual)와 미래의 확률 조정 사이에 유의미한 관계가 없었으며, 이는 D-모델이 반응적 보상이 아닌 글로벌 플랜에 의존함을 시사합니다.

주요 기여

1. 웹 작업에 대한 확률적 관점: 본 논문은 웹 작업을 확률적 샘플링 프로세스로 공식화하고, $P_{token}$과 $P_{task}$ 사이의 정렬을 기반으로 두 가지 뚜렷한 모델 행동(D-모델 및 E-모델)의 존재를 검증했습니다.
2. 작업별 트레이드오프: 연구는 체계적인 다양성-안정성 트레이드오프를 밝혀냈습니다. D-모델은 다양성과 결정론적 정교화(코드 생성에 유리)를 선호하지만, 엄격한 제약 조건 준수에는 어려움이 있습니다(추천에 불리). E-모델은 안정성과 제약 조건 준수(추천에 유리)를 선호하지만, 복잡한 코드 탐색에 필요한 통제된 다양성이 부족할 수 있습니다.
3. 메커니즘 분석: 온도 민감도, 계층별 진화 및 보상 메커니즘을 조사함으로써, 본 논문은 이러한 행동 차이가 왜 존재하는지에 대한 인과적 통찰을 제공하여 단순한 경험적 관찰을 넘어 기계적 이해로 나아갔습니다.

의의 및 주장

저자들은 이러한 발견이 LLM의 확률적 샘플링 동작에 대한 기초적인 통찰을 제공한다고 주장합니다. D-모델과 E-모델의 식별은 실세계 웹 애플리케이션을 위한 모델 선택 및 구성에 실질적인 가이드를 제공합니다:

• 신뢰성과 엄격한 제약 준수가 필요한 작업(예: 검색, 추천, 존재하지 않는 아이템의 환각이 치명적인 대화형 에이전트)의 경우, E-모델이 선호됩니다.
• 다양한 솔루션 탐색 및 반복적 정교화가 필요한 작업(예: 코드 생성, 창의적 글쓰기)의 경우, D-모델이 더 효과적일 수 있습니다.

본 논문은 샘플링 프로세스를 감사 가능하고 설명 가능하게 만드는 것이 책임감 있는 AI 개발에 필수적이라고 결론짓습니다. 모델이 D-모델로 작동하는지 또는 E-모델로 작동하는지를 이해함으로써, 실세계의 불확실성 속에서 다양성과 신뢰성 사이의 균형을 더 잘 맞출 수 있습니다.