기술 요약: 전력 분포가 샘플링, 자기 보상 강화학습 및 자기 증류를 연결함

1. 문제 제기

최근 실증 분석들은 대규모 언어 모델 (LLM) 에서의 등장적 추론 능력의 주요 동인이 강화학습 (RL) 인지에 대해 의문을 제기하고 있습니다. 연구들은 RL 적용 후 모델이 대규모 샘플링 예산으로 평가될 때 RL 적용 전 모델보다 종종 더 나은 성과를 내지 못함을 시사하며, 이는 RL 의 이득이 새로운 추론 경로의 생성이 아닌 '분포의 날카로워짐 (distribution sharpening)'에서 비롯될 수 있음을 의미합니다. 동시에, 전력 샘플링 (power sampling, $\pi^\alpha$ 분포로부터 샘플링) 및 자기 증류 (self-distillation) 와 같은 추론 시 기술들은 외부 보상 없이 추론 능력을 향상시키는 가능성을 보여주고 있습니다.

그러나 샘플링, RL, 자기 증류라는 세 가지 패러다임 간의 이론적 관계는 여전히 불명확합니다. 구체적으로, 전력 샘플링의 성공이 RL 및 증류와 구별되는 메커니즘을 반영하는 것인지, 아니면 공통된 구조적 목적을 통해 서로 연결되어 있는지는 알려지지 않았습니다. 또한, 전력 샘플링에 필요한 비싼 추론 시 계산 비용을 오프라인 학습으로 상쇄 (amortize) 할 수 있는지도 불분명합니다.

2. 방법론 및 이론적 프레임워크

저자들은 전력 분포 (power distribution) 가 이러한 방법들을 연결하는 통합적인 이론적 다리 역할을 한다고 제안합니다. 기본 정책 $\pi$와 지수 $\alpha > 1$에 대해, 전력 분포는 다음과 같이 정의됩니다:
$$\pi_\alpha(y | x) \propto \pi(y | x)^\alpha$$

2.1 샘플링 관점: 국소 근사의 한계

본 논문은 먼저 전력 분포가 추론 시 국소적 (토큰 수준) 연산을 사용하여 저렴하게 근사될 수 있는지 조사합니다.

• 토큰 단위 온도 스케일링 (Token-wise Temperature Scaling): 저자들은 토큰 단위 (온도 스케일링) 로 전력 변환을 적용하는 것이 시퀀스 수준의 전력 분포를 재현하지 못함을 보여줍니다. 그들은 (명제 1) 토큰 단위 온도와 시퀀스 수준 전력 간의 격차가 접미사 분포의 레니 엔트로피 (Rényi entropy of the suffix distribution) 에 의해 지배됨을 증명합니다. 구체적으로, 시퀀스 수준 전력은 더 낮은 접미사 엔트로피 (더 뾰족한 접미사) 를 가진 연속체를 선호하는 반면, 이러한 특성은 전역 시퀀스 정보 없이는 국소 근사가 포착할 수 없습니다.
• 순차적 중요도 샘플링 (SIS): 저자들은 $\pi_\alpha$를 대상으로 하는 SIS 를 위한 최적의 1 단계 제안 분포를 분석합니다. 그들은 (명제 2) 분산을 최소화하는 제안 분포가 접두사 합계 (prefix totals, 모든 가능한 접미사에 걸친 전력 질량의 합) 에 대한 지식을 필요로 함을 보여줍니다. 따라서 저렴한 국소 제안 분포는 목표 분포를 일치시킬 수 없으며, 이는 기존 연구가 전력 샘플링을 근사하기 위해 계산적으로 비싼 추론 시 절차 (예: Metropolis-Hastings) 를 필요로 하는 이유를 설명합니다.

2.2 RL 관점: 폐쇄형 최적해

저자들은 전력 샘플링을 KL 정규화 RL과 연결합니다. 그들은 보상이 모델 자신의 시퀀스 수준 로그 확률 (자기 보상, $r_{self}(x, y) = \log \pi(y|x)$) 인 RL 목적 함수를 고려합니다.

• 코롤러리 1: 그들은 보상이 자기 보상이고 $\alpha = 1 + \beta^{-1}$일 때, 전력 분포 $\pi_\alpha$가 KL 정규화 RL 목적 함수의 폐쇄형 최적해 (closed-form optimizer) 임을 증명합니다. 이는 전력 샘플링을 휴리스틱이 아닌 특정 자기 개선 RL 문제의 정확한 해로 식별합니다.

2.3 증류 관점: 전력 자기 증류

RL 연결을 활용하여 저자들은 전력 자기 증류 (Power Self-Distillation) 를 유도합니다.

• 유도: RL 목적 함수를 재작성함으로써, 그들은 역 KL 발산 (표준 RL) 을 최소화하는 것이 교사 분포 $\pi_\alpha$에서 학생 정책으로의 순방향 KL 발산을 최소화하는 것과 동등함을 보여줍니다.
• 알고리즘: 이를 통해 $\pi_\alpha$로부터 샘플링하는 데 드는 비싼 추론 시 비용을 오프라인 학습으로 상쇄할 수 있습니다. 과정은 다음과 같습니다:
  1. 근사 샘플러 (예: Metropolis-Hastings) 를 사용하여 $y_i \sim \pi_\alpha(\cdot|x_i)$인 데이터셋 $D = \{(x_i, y_i)\}$를 샘플링합니다.
  2. 이 "전력 샘플링된" 완성들에 대한 최대 가능도를 위해 $D$에서 지도 미세 조정 (SFT) 을 통해 학생 모델을 학습시킵니다.
• 날카로워짐 보장: 저자들은 샘플 수 $n \to \infty$이고 $\alpha \to \infty$로 갈 때, 증류된 모델이 $(\epsilon, \delta)$-날카로워짐을 달성하여 확률 질량을 자기 보상 최대화자에 집중시킨다는 이론적 경계 (명제 3) 를 제공합니다.

2.4 진정한 보상 정렬

본 논문은 자기 보상을 날카롭게 만드는 것이 "진정한" 외부 보상 $r^*$ (예: 정확성) 을 향상시키는지 여부를 다룹니다.

• 명제 4: 전력 분포 하에서 진정한 보상과 자기 보상 간의 공분산 (covariance) 에 의해 $\alpha$에 대한 기대 진정한 보수의 변화율이 결정됩니다: $\partial_\alpha \mathbb{E}_{\pi_\alpha}[r^*] = \text{Cov}_{\pi_\alpha}(r^*, r_{self})$.
• 함의: 진정한 보상의 향상은 전력 분포 하에서 자기 보상 (로그 확률) 이 진정한 보상과 양의 상관관계를 가질 때만 보장됩니다. 만약 그들이 상관없거나 음의 상관관계라면, 날카로워짐은 진정한 성능을 향상시키지 않거나 (심지어 저하시킬 수 있습니다).

3. 주요 기여

1. 이론적 통합: 본 논문은 전력 샘플링, 자기 보상 KL 정규화 RL, 자기 증류가 전력 분포를 통해 자연스럽게 연결됨을 확립합니다. 전력 분포는 샘플링 목표, RL 최적해, 그리고 교사 분포 역할을 합니다.
2. 샘플링의 난이도: 접미사 수준 정보에 접근하지 않는 한 저렴한 토큰 수준 근사 (온도 스케일링, 단순 SIS) 가 시퀀스 수준 전력 샘플링을 재현할 수 없음을 증명하여, 기존 연구에서 비싼 추론 시 계산이 필요한 이유를 설명합니다.
3. 전력 자기 증류: 전력 샘플링의 비용을 지도 학습으로 상쇄하여 추론 시 전력 샘플링을 요구하지 않으면서도 유사한 성능 향상을 달성하는 오프라인 증류 알고리즘을 도입합니다.
4. 공분산 조건: 자기 개선 (날카로워짐) 이 진정한 보상 향상으로 이어지는 조건을 규명하며, 이 이득을 자기 보상과 진정한 보상 간의 공분산과 연결합니다.

4. 실험 결과

저자들은 Qwen2.5-Math-7B 및 Phi-3.5-mini-instruct 와 같은 모델을 사용하여 추론 작업 (MATH, HumanEval, MBPP, GPQA) 에서 프레임워크를 평가했습니다.

• RQ1 (자기 보상 증가): 전력 샘플링은 표준 샘플링 및 토큰 단위 온도 스케일링에 비해 일관되게 자기 보상 ($r_{self}$) 을 증가시켰습니다.
• RQ2 (진정한 보상 정렬): $r^*$가 $r_{self}$와 정렬될 때 진정한 보상 ($r^*$) 향상이 관찰되었습니다. 예를 들어, MATH 에서 전력 샘플링은 정확도를 향상시켰습니다. 그러나 $r_{self}$가 정확성과 상관관계가 없는 무작위 초기화 모델 (RandW) 에서는 진정한 보상 향상이 관찰되지 않아 공분산 조건을 검증했습니다.
• RQ3 (증류 성능): 전력 자기 증류는 자기 개선을 달성했습니다. 증류된 모델은 비싼 전력 샘플링을 사용하는 기본 모델과 동일하거나 더 나은 성능을 보이며 표준 자기회귀 디코딩 (온도 사용) 을 사용했습니다.
  • 정성적 분석: 기하학 문제에서 온도 스케일링을 적용한 기본 모델은 환각된 공식을 생성했습니다. 전력 샘플링은 올바른 논리를 생성했으나 실행되지 않은 코드를 포함했습니다. 전력 증류된 모델은 표준 디코딩을 사용하여 올바른 답변과 함께 견고한 단계별 추론을 생성했습니다.
• 효율성: 증류된 모델은 배포 중 비싼 추론 시 샘플링 (Metropolis-Hastings) 을 제거하고 계산 비용을 오프라인 학습으로 이전시켰습니다.

5. 중요성 및 주장

본 논문은 LLM 에서의 최근 "추론" 이득 뒤에 있는 메커니즘을 명확히 한다고 주장합니다. 다음과 같이 제시합니다:

• 전력 샘플링의 성공은 RL 과 구별되는 현상이 아니라, 자기 보상 RL 목적 함수에 대한 폐쇄형 해입니다.
• RL 로부터의 겉보기 "추론" 향상은 새로운 능력의 등장보다는 분포의 날카로워짐 (높은 확률 및 높은 보상 경로에 질량을 집중) 의 결과일 수 있습니다.
• 전력 자기 증류는 비싼 추론 시 검색을 오프라인 학습으로 전환함으로써 이러한 날카로워짐 이득을 더 낮은 추론 비용으로 달성할 수 있는 실용적인 경로를 제공하며, 고급 추론 능력을 더 접근 가능하게 만듭니다.

저자들은 겸손하게, 자기 개선은 기본 모델의 능력에 의해 제한됨을 지적합니다. 기본 모델에 필요한 추론 경로가 없다면 날카로워짐은 이를 생성할 수 없습니다. 이 분석은 유한 시간 범위의 자기회귀 모델을 대상으로 합니다.