기술 요약: 미세 조정(Fine-Tuning)이 언어 모델의 정보 전달력을 향상시키는 방식

문제 정의

기존 문헌은 미세 조정(지시어 튜닝 및 정렬 포함)이 거대 언어 모델(LLM)의 다양성과 불확실성을 감소시켜 모델을 더 결정론적으로 만든다고 주장한다. 그러나 본 논문은 이러한 기존 분석들이 **출력 길이(output length)**를 통제하는 데 크게 실패했다는 결정적인 한계를 지적한다. 길이는 다양성 측정의 주요 혼란 변수(confounder)이다. 유형-토큰 비율(type-token ratio)이나 n-gram 다양성과 같은 지표들은 텍스트 길이에 의해 편향될 수 있으며, 이로 인해 짧은 응답이 인위적으로 더 다양해 보일 수 있다. 또한, 기존 연구들은 다양성을 정적인 속성으로 취급하여, 생성 궤적(generation trajectories)을 따라 불확실성이 어떻게 진화하는지 또는 다양한 출력 길이에 걸쳐 불확실성이 어떻게 할당되는지를 분석하지 못했다. 결과적으로, 미세 조정이 단순히 다양성을 억제하는 것인지, 아니면 더 정보가 풍부하고 의미 있는 생성을 위해 다양성을 재구성하는 것인지가 불분명한 상태로 남아 있었다.

방법론

캐노피 엔트로피 ($CE^\star$)

이러한 공백을 메우기 위해 저자들은 언어 생성을 트리 관점에서 바라보는 정보 이론적 척도인 **캐노피 엔트로피 ($CE^\star$)**를 제안한다.

• 개념: "캐노피(canopy)"는 모델이 가질 수 있는 모든 가능한 완성된 롤아웃(리프 노드)의 집합을 나타낸다. $CE^\star$는 국소적 분기 폭(토큰 수준의 불확실성)과 궤적 깊이(정지 시간 가변성)를 결합하여 고려함으로써, 이 생성 공간의 유효 부피를 정량화한다.
• 공식 정의: $CE^\star$는 생성 궤적을 따른 국소 엔트로피 합의 기댓값으로 정의된다:
  $$CE^\star := \mathbb{E}\left[\sum_{t=1}^{N(x)} \tilde{H}(g_t | x)\right]$$
  여기서 $N(x)$는 무작위 정지 시간(길이)이고, $g_t$는 생성 이력이며, $\tilde{H}$는 다음 토큰(EOS 토큰 포함)의 국소 엔트로피이다.
• 이론적 등가성: 저자들은 $CE^\star$가 생성 과정의 전체 샤논 엔트로피(Shannon entropy)와 정확히 동일함을 증명한다:
  $$CE^\star = H(N, Y_{1:N} | X)$$
  이는 전체 불확실성을 길이 불확실성 $H(N|X)$ (정지 시간의 예측 가능성)와 내용 불확실성 $H(Y_{1:N}|N, X)$ (고정된 길이에 따른 시퀀스의 다양성)로 분해한다.

파생 지표

$CE^\star$를 해석 가능하게 만들기 위해 두 가지 정규화된 변형 모델이 도입된다:

1. 생성 퍼플렉시티 (GenPPL): $CE^\star$의 토큰 수준 정규화로, 전형적인 토큰의 다양성을 반영한다.
2. 분기 계수 (Branching Factor, BF): 궤적 수준의 정규화(엔트로피율의 기댓값)로, 전형적인 궤적의 다양성을 반영한다.

길이-엔트로피 상관관계 ($\rho(N, r_N)$)

본 논문은 생성 길이에 따라 불확실성이 어떻게 진화하는지 연구하기 위해 새로운 지표를 도입한다: 출력 길이 $N$과 엔트로피율 $r_N$(토큰당 내용 불확실성) 사이의 상관관계.

• 정의: $\rho(N, r_N)$은 긴 생성이 정보를 계속 유지하는지(양의 상관관계), 아니면 점점 더 중복되거나 예측 가능해지는지(음의 상관관계)를 측정한다.
• 의의: 이 지표는 길이의 혼란 효과를 다루며, 순수한 정보 획득과 긴 텍스트에서 나타나는 통계적 인공물(artifact)을 구분한다.

추정

모든 롤아웃의 지수적 공간에 대해 $CE^\star$를 계산하는 것은 불가능하므로, 저자들은 **몬테카를로 추정기(Monte Carlo estimators)**를 개발한다. 저자들은 최대 길이 $T_{max} \to \infty$로 갈 때 절단 편향(truncation bias)이 감소한다는 조건 하에 이 추정기들의 일관성을 확립하며, 적절한 절단 길이를 설정한다. 오차 범위는 몬테카를로 샘플링 오차와 절단 편향으로 분해된다.

주요 결과

저자들은 LLaMA-3.1-8B, Qwen3-8B, Gemma-3-12B의 세 가지 모델 패밀리를 네 가지 작업(수학, 코딩, 문장 완성, 스토리 생성)에 대해 평가하였으며, 베이스 모델과 지시어 튜닝된 변형 모델을 비교하였다.

1. 정규화된 불확실성의 감소:
   미세 조정은 거의 모든 모델과 작업에서 토큰 수준(GenPPL) 및 궤적 수준(BF)의 정규화된 불확실성을 일관되게 감소시킨다. 감소 폭은 작업에 따라 크게 달라지는데 (예: Qwen의 수학 작업에서는 약 5%, 문장 완성에서는 약 80%), 이는 정렬(alignment)이 생성 공간을 압축하지만 작업 구조에 따라 이질적으로 수행함을 시사한다.

2. 전체 불확실성($CE^\star$)에 대한 작업 의존적 효과:

   • 구조적 작업 (수학, 코딩, 문장 완성): 미세 조정 후 유효한 생성 공간이 소수의 정답 궤적으로 축소됨에 따라 $CE^\star$가 크게 감소한다.
   • 개방형 작업 (스토리 생성): $CE^\star$가 증가할 수 있다. 미세 조정된 모델은 더 길고 정교한 시퀀스를 생성한다. 국소적 분기 다양성은 감소하지만, 궤적 깊이(정지 시간 불확실성)의 증가가 수학적으로 국소 엔트로피의 감소를 상쇄할 수 있어 전체 생성 공간의 부피가 커질 수 있다.

3. 길이-엔트로피 상관관계의 변화:
   핵심적인 발견은 미세 조정이 상관관계 $\rho(N, r_N)$을 음(-)에서 양(+)으로 체계적으로 변화시킨다는 점이다.

   • 베이스 모델: 음의 상관관계를 보인다. 즉, 출력이 길어질수록 엔트로피율이 낮아지며, 이는 후반부 토큰이 중복적임을 의미한다.
   • 미세 조정된 모델: 양의 상관관계를 보인다. 즉, 긴 생성물에서도 높은 엔트로피율을 유지하며, 이는 추가된 토큰들이 반복에 빠지지 않고 여전히 정보를 담고 있음을 나타낸다.

4. 의미적 다양성의 효율성:
   Beta 혼합 효과 회귀(mixed-effects regression) 프레임워크를 사용하여, 저자들은 미세 조정이 고정된 엔트로피율에서 기초적인 의미적 다양성을 감소시키기는 하지만, 의미적 다양성의 엔트로피율에 대한 민감도를 거의 3배 높인다는 것을 발견했다. 이는 정렬된 모델이 토큰 수준의 불확실성을 더 효율적으로 활용하여, 베이스 모델보다 의미 있는 의미적 변이로 더 효과적으로 전환함을 의미한다.

의의 및 주장

본 논문은 미세 조정이 단순히 다양성을 줄인다는 기존의 견해가 불완전하다고 주장한다. 대신, 결과는 미세 조정이 불확실성을 근본적으로 재구성함을 보여준다.

• 단순한 감소가 아닌 재구성: 미세 조정은 단순히 생성 공간을 축소하는 것이 아니라, 생성 궤적에 걸쳐 불확실성이 어떻게 할당되는지를 재구조화한다.
• 정보 효율성: 정렬된 모델은 더 조직적이고 의미 있는 출력을 생성한다. 이들은 긴 궤적에 걸쳐 정보 밀도를 유지함으로써, 베이스 모델에서 흔히 보이는 "완성 함정(completion traps)"과 중복성을 피한다.
• 방법론적 기여: $CE^\star$와 길이-엔트로피 상관관계를 도입함으로써, 본 논문은 기존 지표들이 가진 출력 길이의 혼란 효과를 극복하고 생성 다양성을 평가할 수 있는 원칙적이고 길이를 고려한 프레임워크를 제공한다.

저자들은 미세 조정이 언어 모델의 **정보 전달력(information conveyance)**을 향상시켜, 불확실성을 의미적으로 다양하고 과업에 적합한 생성물로 변환하는 데 더 효과적으로 만든다고 결론짓는다.