기술 요약: 특권적 가능도(Privileged Likelihood)는 자동으로 가치(Value)가 되지 않는다

문제 정의

대규모 언어 모델(LLM)의 온-폴리시 자기 증류(on-policy self-distillation) 연구에서, 연구자들은 훈련 중에만 사용 가능한 '특권적(privileged)' 정보(예: 참조 솔루션, 사후 비평, 또는 환경 피드백)를 사용하여 모델 자신의 롤아웃(rollout)을 재점수화함으로써 토큰 수준의 크레딧(credit)을 할당하려고 시도하곤 한다. 이들의 핵심 가설은 특정 토큰이 특권적 정보에 조건화되었을 때 그 가능도(likelihood)가 높아진다면, 해당 토큰이 "정답"이거나 "도움이 되는" 단계라는 것이다.

그러나 본 논문은 토큰 가능도의 변화(특권적 가능도)가 반드시 결과적 크레딧(action value)과 동일한 것은 아니라고 주장한다. 저자들은 결정적인 간극을 식별하였다: 토큰 가능도 점수는 구조적으로 잘 형성되어 있고 활성화되어 있을 수 있지만, 실제로는 작업 성공을 추적하거나 유익한 파라미터 업데이트를 유도하지 못할 수 있다는 점이다. 본 논문은 기존의 자기 증류 방식에서 흔히 혼동되는 세 가지 별개의 질문을 공식적으로 분리하고자 한다:

1. 점수가 작업 성공을 추적하는가?
2. 롤아웃들이 일관된 점수 규칙 하에 비교되는가?
3. 훈련 손실(training loss)은 어떤 행동을 강화하는가?

방법론 및 프레임워크

저자들은 특권적 자기 증류를 분석하기 위해 **토큰 가능도 점수(token likelihood scores)**와 **행동 가치(action values)**를 구분하는 공식적인 프레임워크를 제안한다.

공식 정의

• 특권적 가능도 점수 ($d$): 텍스트 컨텍스트가 베이스라인 $c^-$에서 특권적 컨텍스트 $c^+$(예: 비평)로 변할 때, 특정 토큰 $v$에 대한 스코어러의 확률이 어떻게 변하는지를 측정한다.
  $$d(s, v) = \log q(v | s, c^+) - \log q(v | s, c^-)$$
• 행동 가치 ($Q^\pi_U$): 다음 토큰이 $v$로 설정되고 정책 $\pi$에 따라 생성이 계속될 때의 기대 종단 유틸리티(expected terminal utility).

본 논문은 $d$와 $Q^\pi_U$가 본질적으로 동일하지 않음을 입증한다. $d$가 $Q^\pi_U$를 나타내기 위해서는 특정 조건(예: 양의 아핀 동등성, positive-affine equivalence)이 충족되어야 하며, 자유 형식의 텍스트 피드백은 이를 보장하지 못한다.

세 가지 검증(The Three Checks)

방법론은 특권적 자기 증류를 분석하는 세 가지 구체적인 진단 질문을 중심으로 구성된다:

1. Q1: 교사(Teacher)의 선호도가 작업 성공을 추적하는가?
   본 논문은 특권적 컨텍스트에 의해 선호되는 토큰이 실제로 더 나은 최종 결과로 이어지는지를 조사한다. 저자들은 랭킹의 정확성과 특정 토큰 행동의 가치를 식별하는 것 사이의 차이를 구분한다. 저자들은 가능도 비율(likelihood ratios)이 원칙적인 크레딧을 나타내려면, 조건부 변수들이 결합 분포로부터 도출된 일관된 결과 조건부(outcome conditionals)여야 하지만, 자유 형식의 비평은 그렇지 않은 경우가 많다는 것을 증명한다.

2. Q2: 롤아웃들이 동일한 점수 규칙 하에 비교되는가?
   저자들은 "자기 의존성(self-dependence)" 문제를 지적한다: 만약 롤아웃 $Y$가 스스로의 피드백 $C(Y)$를 생성하고, $Y$가 다시 $C(Y)$에 의해 점수가 매겨진다면, 그 점수는 솔루션의 품질과 $Y$가 자신의 설명과 얼마나 잘 일치하는지를 동시에 측정하게 된다. 이를 해결하기 위해 저자들은 동일한 문제에 대해 다른 롤아웃(donor)에서 생성된 피드백을 타겟 롤아웃을 점수 매기는 데 사용하는 교차 적합(cross-fitting) 방식을 도입한다. 이는 직접적인 자기 의존성을 제거하지만, 점수가 유용하다는 것을 보장하지는 않는다.

3. Q3: 훈련 손실은 어떤 행동을 강화하는가?
   점수가 성공을 추적하더라도, 훈련 손실은 그 점수가 모델을 어떻게 업데이트할지를 결정한다. 본 논문은 서로 다른 손실 함수(예: Forward KL, Reverse KL, bounded rewards)가 토큰 점수를 어떻게 파라미터 그래디언트로 변환하는지 분석한다. 저자들은 스칼라 불변량(예: 점수의 부호나 총 가중치 보존)이 유익한 파라미터 업데이트 방향을 보장하지 못함을 보여준다. 특히 모델이 특정 토큰에 대해 확신을 가지고 있을 때 더욱 그러하다.

실험 설정

• 모델: gpt-oss-20b (200억 파라미터).
• 데이터셋: AIME 2025 (미국 수학 협회 경시 대회 문제).
• 피드백 생성: 외부 LLM 심판이 문제를 읽고, 참조 솔루션, 검증 결과, 전체 트레이스를 바탕으로 "도움이 되는" 설명($C^+$)과 "그럴듯하지만 틀린" 대응물($C^-$)을 작성한다.
• 점수 산출: 동결되거나 이전 체크포인트인 모델이 이러한 피드백 텍스트를 기반으로 토큰 가능도 차이를 계산한다.
• 훈련 변형: 결과 전용 제어 집단(outcome-only control)(최종 정답 여부만 사용)과 토큰 점수를 포함하는 다섯 가지 변형(엔트로피 가중치가 포함된 가산 변형, 소스 클리핑, KL 정규화 변형 등)을 비교한다.

주요 결과

실험은 특권적 가능도 점수가 이 환경에서 유용한 결과적 크레딧으로서 작동하는 데 자주 실패한다는 구체적인 증거를 제공한다.

1. Q1 결과 (성공 추적):

   • 구현된 가산적(additive) 토큰 점수는 정답 궤적과 오답 궤적을 구별하는 데 있어 우연(chance) 수준의 성능을 보였다.
   • AUC (곡선 아래 면적): 0.505 (95% CI: [0.483, 0.524])로, 무작위 추측(0.5)과 통계적으로 구별되지 않는다.
   • 응답 길이를 조정한 후, 점수는 오히려 오답 궤적을 약간 선호했다 (AUC = 0.474).
   • 단방향 교사 잔차(one-sided teacher residuals)는 정답과 오답 롤아웃 모두에서 음수였으며, 이는 교사가 두 경우 모두 점수를 낮게 책정하되, 정답 롤아웃에 대해 덜 낮게 책정했음을 의미한다.

2. Q2 결과 (피드백 구성):

   • 교차 적합(held-out feedback)을 통해 자기 의존성을 제거해도 점수가 결과를 추적하는 능력이 개선되지 않았다. 홀드아웃 마스크 피드백의 AUC는 여전히 우연 수준 근처에 머물렀다 (생 데이터 0.512, 길이 조정 후 0.485).
   • "자신의 롤아웃" 피드백에서 유도된 점수는 더 강해 보였으나(AUC ~0.588), 이는 솔루션의 객관적 유용성이 아니라 솔루션과 그 자체의 비평 사이의 일치도를 측정하는 자기 의존적 결과임이 밝혀졌다.

3. Q3 결과 (훈련 행동):

   • 성능 저하: 다섯 가지 토크 점수 훈련 변형 모두 결과 전용 제어 집단보다 현저히 낮은 성능을 보였다.
   • 정확도 격차: 결과 전용 제어 집단은 **64.2%**의 정확도(avg@4)를 달성했다. 반면, 토큰 점수 변형들은 24.2%에서 33.9% 사이의 정확도를 기록하며, 제어 집단에 비해 30.4에서 40.0 퍼센트 포인트의 성능 하락을 보였다.
   • 메커니즘: 토큰 점수 변형들은 높은 엔트로피와 참조 정책으로부터의 높은 KL 발산을 향해 움직였던 반면, 결과 전용 제어 집단은 정확도를 높이면서 이러한 변화 없이 개선되었다. 토큰 점수는 올바른 추론 단계보다는 고엔트로피의 무관한 토큰들을 강화하는 것으로 나타났다.

주요 기여

1. 형식적 구분: 본 논문은 토큰 가능도 점수와 행동 가치를 분리하는 공식적인 프레임워크를 제공하며, 가능도의 변화가 자동으로 결과적 크레딧을 의미하지 않음을 증명한다.
2. 세 가지 검증 프레임워크: 특권적 자기 증류의 평가를 세 가지 별개의 검증(성공 추적, 피드back 구성, 손실 행동)으로 체계화하여, 하나를 통과한다고 해서 나머지도 통과하는 것은 아님을 보여준다.
3. 이론적 증명:
   • Forward-KL 분해에서 조건부 상호 정보량(conditional mutual information) 항은 고정된 타겟에 대해 학생 모델과 무관하게 일정하며, 따라서 작업 그래디언트가 아님을 증명한다.
   • 토큰 점수의 스칼라 부호나 총 가중치를 보존하는 것이 기대 파라미터 그래디언트를 보존하지 못함을 입증한다.
4. 경험적 입증: AIME 2025를 이용한 매칭된 실험을 통해, 구조적으로 건전한 특권적 가능도 신호가 활성화되어 있음에도 불구하고 유용하거나 음의 효용을 제공하여, 결과 전용 훈련에 비해 심각한 성능 저하를 초래할 수 있음을 보여준다.

의의 및 주장

본 논문은 특권적 가능도는 자동으로 가치가 되지 않는다고 주장한다. 저자들은 가능도 신호를 크레딧으로 취급할 때는 다음과 같은 엄격한 검증이 필요하다고 강조한다:

• 점수가 실제로 작업 성공과 상관관계가 있는지.
• 피드백 구성이 자기 의서성(self-dependence) 루프를 피하는지.
• 특정 훈련 손실이 원하는 행동을 강화하는지.

저자들은 이러한 결과가 모든 자기 증류 방식이 실패한다는 것을 증명하는 것이 아니라, 특권적 가능도를 직접적인 크레딧 신호로 사용하는 특정 메커니즘이 매우 취약하며 효과적이지 않은 경우가 많음을 보여준다고 겸허히 밝힌다. 이 연구 결과는 성공적인 방법론이 단순히 사후 관점에서의 교사의 선호도를 기여도의 대리 지표로 가정하는 것이 아니라, 가능도 신호와 작업 결과 사이의 정렬(alignment)을 명시적으로 검증해야 함을 시사한다.

결론적으로, 본 논문에서 제시된 형식적 구분은 일반적인 원리에 적용되지만, 수치적 결과는 gpt-oss-20b와 AIME 2025 설정에 특화된 것이다. 그러나 식별된 실패 모드(자기 의존성, 손실로 인한 그래디언트 불일치, 결과 추적 부족)는 향후 온-폴리시 자기 증류 연구를 위한 중요한 진단 도구 역할을 한다.