Revisiting the Uniform Information Density Hypothesis in LLM Reasoning

1. 문제 제기 (Problem)

• CoT 의 취약성: 체인 오브 씽킹 (Chain-of-Thought, CoT) 은 LLM 의 추론 능력을 향상시키지만, 생성된 중간 추론 단계들이 논리적으로 일관성이 없거나 부조화적인 경우가 많습니다. 이는 모델이 단순히 일관된 텍스트를 생성하는 것일 뿐, 실제로 효과적으로 추론하고 있는지 판단하기 어렵게 만듭니다.
• UID 가설의 적용 가능성: 언어심리학의 UID 가설은 "효과적인 의사소통을 위해 화자는 정보의 흐름을 가능한 한 균일하게 분배하여 청자의 인지 부하를 줄인다"고 주장합니다.
• 핵심 질문: LLM 의 추론 과정에서도 정보 흐름의 균일성이 추론의 질을 반영하는가? 즉, 인간 의사소통과 유사한 정보 분포가 LLM 의 성공적인 추론을 예측하는가?

2. 방법론 (Methodology)

저자들은 LLM 이 생성한 추론 궤적 (reasoning trace) 의 정보 흐름을 정량화하기 위해 엔트로피 기반의 단계별 정보 밀도 (Step-wise Information Density, ID) 를 정의하고, 이를 국소적 (Local) 과 전역적 (Global) 두 차원에서 분석합니다.

• 정보 밀도 (ID) 정의:

  • 각 추론 단계 $z_i$ 내의 토큰 예측 분포의 엔트로피 ($H_t$) 를 평균하여 해당 단계의 정보 밀도 ($ID_i$) 를 계산합니다.
  • $ID_i = \frac{1}{M_i} \sum H_t$ (여기서 $M_i$는 단계 내 토큰 수).
  • 엔트로피는 모델의 불확실성 (uncertainty) 을 나타내며, 높은 엔트로피는 다양한 가능성이 존재함을, 낮은 엔트로피는 확신 있는 예측을 의미합니다.

• 균일성 측정 지표:

  1. 전역 균일성 (Global Uniformity): 전체 추론 궤적에 걸쳐 정보 밀도가 얼마나 균등하게 분포하는지 측정합니다.
     • 측정법: 정규화된 정보 밀도 벡터의 분산 (Variance) 을 계산합니다. 분산이 낮으면 전역적으로 균일함 (Global Uniformity), 분산이 높으면 전역적으로 불균일함 (Global Non-uniformity) 을 의미합니다.
  2. 국소 균일성 (Local Uniformity): 인접한 추론 단계 간의 정보 밀도 변화가 얼마나 매끄러운지 측정합니다.
     • 측정법: 단계 간 변화량 ($\Delta_i$) 을 계산하고, 통계적 임계값 (예: 평균 $\pm$ 3 표준편차) 을 초과하는 급격한 상승 (Spike) 또는 하락 (Fall) 의 횟수를 세어 국소 불규칙성 (Local Irregularity) 을 측정합니다. 불규칙성이 적을수록 국소 균일성이 높습니다.

3. 주요 발견 및 결과 (Key Findings & Results)

7 개의 추론 벤치마크 (AIME2025, BRUMO2025, HMMT2025, MinervaMath, GPQA, LSAT 등) 와 3 개의 LLM (Deepseek-R1, Qwen3 등) 을 대상으로 한 실험 결과는 다음과 같은 반직관적 (Counter-intuitive) 패턴을 보여줍니다.

• 성공적인 추론의 패턴:
  • 높은 국소 균일성 (High Local Uniformity): 인접한 단계 간의 정보 흐름이 매끄럽고, 불필요한 급격한 변동 (스파이크) 이 없습니다.
  • 낮은 전역 균일성 (Low Global Uniformity = High Global Non-uniformity): 전체 궤적 차원에서는 정보 밀도가 고르지 않게 분포합니다. 즉, 초기 탐색 단계 (높은 엔트로피) 와 최종 결론 도출 단계 (낮은 엔트로피) 로 명확하게 구조화되어 있습니다.
• 실패한 추론의 패턴:
  • 국소적으로 불규칙한 변동 (매우 거친 스파이크) 이 발생하거나, 전역적으로 정보 밀도가 평탄하고 무의미하게 균일한 (구조가 없는) 경향을 보입니다.
• 성능 향상:
  • Best-of-N 샘플링: 여러 개의 추론 경로 중 UID 지표 (국소 균일성 + 전역 불균일성) 가 가장 좋은 경로를 선택하는 방식은 기존 자기 확신 (Self-Certainty), 고신뢰도 (High Confidence), 저엔트로피 (Low Entropy) 기반 선택법보다 모든 벤치마크에서 더 높은 정확도를 기록했습니다.
  • 모델 크기 및 도메인: 모델 크기가 커질수록 (1.7B → 8B) 전역 불균일성의 중요성이 증가하는 경향이 있으며, 수학 영역뿐만 아니라 논리 (LSAT) 및 과학 (GPQA) 영역에서도 일관된 성능 향상을 보였습니다.

4. 인간 의사소통 vs LLM 추론의 차이 (Significance of Divergence)

논문은 LLM 의 성공적인 추론이 인간 의사소통의 UID 원칙과 다른 이유를 다음과 같이 설명합니다.

• 인간 의사소통 (Listener-Optimized): 청자의 인지 부하를 줄이기 위해 정보를 시간적으로 균일하게 분배하려 합니다. 따라서 전역 균일성이 중요합니다.
• LLM 추론 (Computation-Driven): 외부 청자가 없는 내부 계산 과정입니다. 문제 해결의 단계 (탐색 $\rightarrow$ 통합 $\rightarrow$ 결론) 에 따라 정보 밀도가 자연스럽게 변합니다. 초기에는 다양한 가능성을 탐색하므로 엔트로피가 높고, 결론이 나면 엔트로피가 급격히 떨어집니다.
  • 따라서 전역적 불균일성은 모델이 혼란에 빠진 것이 아니라, 구조화된 문제 해결 과정을 거치고 있음을 나타내는 지표입니다.
  • 국소적 매끄러움만이 인간과 LLM 에 공통적으로 적용되는 일관성 (Coherence) 의 지표입니다.

5. 결론 및 의의 (Conclusion & Impact)

• 새로운 평가 지표: UID 기반 지표는 LLM 의 추론 품질을 평가하는 강력한 내부 신호 (Internal Signal) 로 작용합니다.
• 이론적 기여: 언어심리학의 UID 가설을 LLM 추론 맥락에 적용하여, 인간과 기계의 정보 처리 방식이 목적 (의사소통 vs 계산) 에 따라 어떻게 다른지 규명했습니다.
• 실용적 가치: 추론 과정의 구조적 특성을 분석함으로써, 단순히 정답 여부뿐만 아니라 추론의 신뢰성을 진단하고, Best-of-N 전략 등을 통해 LLM 의 성능을 안정적으로 향상시킬 수 있는 방법을 제시했습니다.

요약하자면, 이 논문은 **"LLM 이 잘 추론할 때는 단계 간 변화는 매끄럽지만 (국소 균일성), 전체 과정은 탐색에서 결론으로 가는 명확한 구조적 변화 (전역 불균일성) 를 보인다"**는 사실을 발견하고, 이를 통해 추론 품질을 예측하고 향상시킬 수 있음을 증명했습니다.