기술 요약: 대규모 언어 모델의 모호성의 저주 (The Curse of Ambiguity in Large Language Models)

문제 정의

대규모 언어 모델(LLM)은 추론 시 스케일링, 강화 학습, 그리고 합성 데이터 생성을 통한 성능 향상을 위해 샘플링에 점점 더 많이 의존하고 있습니다. 이러한 방법들은 모델이 학습한 다음 토큰 분포의 충실도(fidelity)에 결정적으로 의존합니다. 그러나 모든 분포가 동일하게 학습 가능한 것은 아닙니다. 본 논문은 **모호성의 저주(curse of ambiguity)**라고 명명된 근본적인 한계를 식별합니다. 즉, 자기회귀적 언어 모델(및 이산 확률 분포를 생성하는 광범위한 신경망)에서 다음 토큰 분포가 더 모호할수록(즉, 더 많은 토큰이 상당한 확률 질량을 공유할수록), 이를 정확하게 학습하는 것이 더 어려워진다는 것입니다.

이 현상은 모델의 성능에 위험을 초래하며, 특히 여러 연속된 내용이 그럴듯한 모호한 상황에서 문제가 됩니다. 만약 모델이 전체 분포를 포착하지 못하고 단일 모드(mode)로 붕괴된다면, 이는 생성된 콘텐츠의 다양성 결여로 이어지고, 재귀적 학습에서의 오류를 심화시키며, 고위험 애플리케이션에서의 보정(calibration) 성능을 저하시킬 수 있습니다.

방법론

저자들은 이론적 분석, 통제된 합성 실험, 그리고 실제 데이터에 대한 평가를 결합한 다각적인 접근 방식을 채택했습니다.

1. 이론적 프레임워크

저자들은 다음 토큰 예측을 컨텍스트-투-토큰 분류 문제로 공식화합니다. 트랜스포머 아키텍처의 선형 헤드(linear head)를 분리하여, 백본의 컨텍스트 임베딩을 주어진 것으로 간주하고, 어휘 크기 $d$에 대해 정의된 타겟 분포 $p_i$를 적합시키는 데 따르는 구체적인 과제를 분석합니다.

• 모호성 지표: 모호성은 서포트 크기(support size) $k$(그라운드 트루스에서 확률이 0이 아닌 토큰의 수)로 정량화됩니다. 균등 분포의 경우 $k$는 정확한 서포트 크기이며, 비균등 분포의 경우 유효 서포트 크기(엔트로피의 지수)입니다.
• 아키텍처 분석 (섹션 3): 저자들은 선형 헤드의 용량과 표현 요구 사항을 분석합니다.
  • 용량(Capacity): Hebbian 방식의 구성을 사용하여, 모델이 저장할 수 있는 컨텍스트의 수는 서포트 크기 $k$에 반비례하여 스케일링된다는 것을 도출했습니다.
  • 임베딩 차원(Embedding Dimension): 압축 센싱(compressed sensing)과 볼록 다면체(convex polytopes) 이론(특히 $k$-neighborliness)을 활용하여, 모든 가능한 크기-$k$ 분포를 정확하게 표현하기 위해서는 임베딩 차원 $h$가 $k$에 선형적으로 스케일링되어야 함($h \ge 2k$)을 증명합니다.
• 학습 역학 분석 (섹션 4): 저자들은 그래디언트 흐름(gradient flow)과 확률적 경사 하강법(SGD)의 역학을 연구합니다.
  • 최적화 속도: 모호한 분포를 학습하는 것은 각 토큰이 관찰되는 빈도가 낮아 신호가 약해지기 때문에 초기 단계에서 더 느립니다. 후기 단계의 수렴 속도는 $k$와 무관하지만, 손실(loss)의 전계수(prefactor)는 $k$에 따라 스케일링됩니다.
  • 샘플링 노이즈: 전체 분포가 아닌 단일 샘플링된 토큰으로 학습할 때의 효과를 분석합니다. 샘플링이 KL 발산(KL divergence)에서 $k$에 따라 스케일링되는 "노이즈 플로어(noise floor)"를 도입하여, 모델이 결정론적 타겟만큼의 점근적 손실에 도달하는 것을 방해함을 보여줍니다.

2. 경험적 검증

• 합성 태스크 (섹션 5.1): 저자들은 TinyStories 코퍼스에서 파생된 통제된 3-gram 태스크에 대해 트랜스포머를 학습시킵니다. 그라운드 트루스 분포가 알려져 있으므로 예측 오차를 정밀하게 측정할 수 있습니다. 이들은 모델 용량, 임베딩 차원, 학습 단계, 그리고 손실 함수(교차 엔트로피 vs. KL 발산)를 절제 실험(ablation)합니다.
• 실제 모델 (섹션 5.2): 자연 데이터(Dolma v1.7)에 대해 사전 학습된 모델(OLMo-2 1B 및 13B)을 평가합니다. 그라운드 트루스를 알 수 없으므로, 더 큰 모델을 실제 분포의 대리자(proxy)로 사용하고 임베딩 유사도를 통해 컨텍스트 빈도를 추정합니다.

주요 기여

1. 모호성의 저주 공식화: 본 논문은 높은 모호성(큰 서포트 크기 $k$)이 정확한 분포 학습을 어렵게 만든다는 현상을 정의하고 공식화했습니다.
2. 아키텍처적 근원 식별:
   • 용량 제약: 모호한 분포는 결정론적인 분포보다 저장하기 위해 $k$배 더 많은 파라미터 용량을 필요로 합니다($Capacity \propto hd/k$).
   • 표현 제약: 모호한 분포를 오차 없이 표현하려면 임베딩 차원이 서포트 크기에 선형적으로 스케일링되어야 합니다($h \ge 2k$).
3. 학습적 근원 식별:
   • 최적화 지연: 모호한 분포는 초기에 더 느리게 학습되며(속도 $\propto 1/k$), 더 높은 손실 고원(plateau)에 도착합니다.
   • 노이즈 증폭: (표준 관행인) 샘플링된 토큰으로 학습하는 것은 모호한 분포에서 노이즈를 증폭시켜, 완벽한 보정을 방해하는 $k$에 의존적인 KL 발산 노이즈 플로어를 생성합니다.
4. 경험적 검증: 이 연구는 합성 환경과 실제 언어 모델 모두에서 이러한 이론적 징후를 확인하였으며, 컨텍스트 빈도가 일정하더라도 유효 서포트 크기가 증가함에 따라 성능이 저하됨을 보여줍니다.

결과

• 용량 및 임베딩: 합성 데이터에 대한 실험은 임베딩 차원이나 모델 용량을 늘리는 것이 모든 서포트 크기에 걸쳐 균일하게 성능을 개선함을 확인했습니다. 특히, 임베딩 차원을 늘리거나 기대 KL 발산을 최적화(샘플링 노이즈 제거)하는 것은 결정론적 컨텍스트에는 거의 영향을 주지 않으면서 고도의 모호성을 가진 컨텍스트의 모델링을 크게 개선합니다.
• 학습 역학: 시뮬레이션은 모호한 분포가 그래디언트 흐름에서는 나타나지 않는 SGD 상의 "노이즈 플로어"를 겪음을 보여줍니다. 학습이 진행됨에 따라 모호한 분포의 손실은 정체되는 반면, 결정론적 분포의 손실은 계속 감소합니다.
• 실제 동작: 실제 모델에서, 높은 유효 서포트 크기를 가진 컨텍스트는 더 높은 KL 발산을 보이며, 실제 서포트 외부로 확률 질량을 체계적으로 "유출(leak)"하여 시퀀스 수준의 분포에서 과잉 엔트로피(over-entropy)를 유발합니다.

의의 및 주장

본 논문은 LLM의 통계적 능력에 대한 새로운 관점을 제공하며, 모델의 출력 분포를 언제 신뢰할 수 있는지에 대한 실질적인 프레임워크를 제시한다고 주장합니다.

• 메커니즘적 통찰: 이 연구는 경험적 스케일링 법칙을 넘어, 모델이 왜 불확실성을 다루는 데 어려움을 겪는지에 대한 메커니즘적 설명을 제공합니다. 이는 모호성을 학습하는 것의 어려움을 신경망의 근본적인 기하학적 및 최적화 특성과 연결합니다.
• 스케일링에 대한 시사점: 저자들은 스케일링(파라미터 및 데이터 증가)이 이를 완화하긴 하지만, 오직 점근적으로만 가능하다는 점을 주장합니다. 거대한 규모에서도, 특히 매우 모호한 컨텍스트에 대해서는 잔여 분량의 분포가 모델링되지 않은 채 남게 됩니다.
• 광범위한 관련성: 이 결과는 LLM을 넘어 이산 확률 분포를 생성하는 모든 신경망으로 확장됩니다. 논문은 이를 인지 심리학의 "선택의 역설(paradox of choice)"과 병치하며, 많은 옵션에 퍼져 있는 분포를 표현하는 것이 단일한 답을 표현하는 것보다 근본적으로 더 많은 용량과 샘플을 요구한다는 점을 시사합니다.
• 실무적 프레임워크: 연구 결과는 높은 충실도의 분포 모델링이 필요한 작업(예: 추론, 계획, 또는 다양한 콘텐츠 생성)의 경우, 단순히 모델 크기를 키우는 것만으로는 불충분할 수 있음을 시사합니다. 임베딩 차원에 대한 구체적인 주의나 샘플링 노이즈 처리(예: KL 발산 최적화 또는 더 큰 배치 크기)가 필요할 수 있습니다.

저자들은 모호성의 저주가 불확실성이 포함된 작업을 설계할 때 반드시 고려해야 할 근본적인 제약이며, 현재의 모델들은 아마도 모호한 자연어 컨텍스트의 진정한 복잡성을 과소 적합(underfit)하고 있을 것이라고 결론짓습니다.