How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

"모델이 감시 신호에 얼마나 빠르게 헌신해야 하는가? Tsallis 손실 연속체에서 추론 모델 훈련"에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 출력 수준 감시만 사용하여 추론 모델(답변을 생성하기 전에 잠재적 사고 체인을 생성하는 모델)을 훈련할 때 발생하는 두 가지 치명적인 실패 모드를 다룹니다:

1. 콜드스타트 정지 (Cold-Start Stalling): 초기 성공 확률 ($p_0$) 이 매우 낮을 때, 표준 검증 가능 보상 기반 강화 학습 (RLVR) 과 그 변형들 (GRPO 또는 Rao-Blackwellized REINFORCE 등) 은 종종 진전을 이루지 못합니다. 기울기 신호가 '콜드스타트' 영역을 탈출하기에 너무 약합니다.
2. 노이즈 암기 (Noise Memorization): 반면, 훈련 분포에 모델이 적극적으로 적합하도록 밀어붙이는 방법들 (표준 지도 미세 조정 또는 최대 우도 추정 등) 은 레이블 오류와 노이즈를 암기하는 경향이 있어 일반화와 자기 일관성을 저하시킵니다.

기존 접근법들은 이러한 문제들을 별개의 것으로 취급합니다. 저자들은 이러한 문제들이 모델의 감시 신호에 대한 **"헌신 (commitment)"**에 의해 지배되는 스펙트럼의 양극단이라고 주장합니다. 그들은 콜드스타트 탈출 속도와 노이즈에 대한 강건성 사이의 균형을 맞추기 위한 통합된 이론적 프레임워크를 제안합니다.

2. 방법론: $J_Q$ 손실 연속체

핵심 기여는 Tsallis $q$-로그에서 유도된 손실 계열인 $J_Q$의 정의입니다. 이 계열은 두 극단 사이를 보간합니다:

• 활용 극단 (Exploitation Pole, $q=0$): 기대 정확도 최대화에 해당합니다 (정확 일치 보상을 가진 RLVR 과 동일). 손실은 유계입니다 ($1 - P_\theta$).
• 밀도 추정 극단 (Density-Estimation Pole, $q=1$): 잠재적 궤적에 대한 로그 주변 우도 최대화에 해당합니다 (표준 SFT/ML 과 동일). 손실은 무계입니다 ($-\log P_\theta$).

핵심 이론적 통찰: 기울기 증폭

$J_Q$ 계열의 모든 구성원은 동일한 예제별 기울기 방향을 공유하며, 스칼라 증폭 인자만 다릅니다:
$$\nabla_\theta \ell_q = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q} \nabla_\theta \ell_1$$
여기서 $P_\theta = p_\theta(y^*|x^*)$는 모델의 조건부 성공 확률입니다.

• 매개변수 $q$ (헌신): "어려운" 예제 (낮은 $P_\theta$) 에 대해 기울기가 얼마나 증폭되는지를 제어합니다.
  • 낮은 $q$ (0 에 가까움): 최소한의 증폭. 모델은 이미 알고 있는 것에 집중합니다 (노이즈에 강건함) 하지만 콜드스타트 탈출이 느립니다 ($\Omega(1/p_0)$ 시간).
  • 높은 $q$ (1 에 가까움): 낮은 확률 예제에 대한 막대한 증폭. 모델은 낯선 감시를 적극적으로 탐색하여 콜드스타트를 빠르게 탈출합니다 ($\Theta(\log(1/p_0))$ 시간) 하지만 노이즈를 암기할 위험이 있습니다.

기울기 추정기

$P_\theta$는 모든 잠재적 궤적에 대한 합계를 포함하므로 계산이 불가능 (intractable) 하므로, 저자들은 기울기의 이중 분해에 기반한 두 가지 몬테카를로 추정기를 유도했습니다:

1. GARL (기울기 증폭 RL):

   • 메커니즘: 사전 (prior) $p_\theta(z|x^*)$에서 궤적을 샘플링하고 표준 RL 기울기를 $(\bar{w}_M)^{-q}$로 증폭합니다.
   • 특징: 분산이 낮으며, RB-REINFORCE ($q=0$) 와 IWAE ($q=1$) 를 일반화합니다.
   • 사용 사례: 사후 샘플링이 유효한 궤적을 전혀 생성하지 않는 콜드스타트 시나리오에 필수적입니다.

2. PAFT (사후 감쇠 미세 조정):

   • 메커니즘: 사후 (posterior) (답변에 동의하는 것들) 에서 궤적을 중요도 재샘플링하고 SFT 기울기를 $(\bar{w}_M)^{1-q}$로 감쇠시킵니다.
   • 특징: 의미적으로 일관된 기울기를 생성합니다 (유효한 논리 근거에 대해서만 업데이트) 하지만 재샘플링 노이즈로 인해 분산이 더 높습니다. EM 의 E-단계를 일반화합니다 ($q=1$).
   • 사용 사례: 복잡한 데이터셋에서 GARL 에서 관찰된 "붕괴"를 방지하는 웜스타트 훈련 중 더 안정적입니다.

3. 주요 기여

1. 통합 이론적 프레임워크: 이 논문은 콜드스타트 정지와 노이즈 암기를 매개변수 $q$에 의해 제어되는 트레이드오프로 통합하는 최초의 이론적 설명을 제공합니다.
2. 탈출 속도 분석: 이론적 증명 (정리 5.1 및 5.2) 은 $q=0$일 때 콜드스타트 탈출 시간이 $\Omega(1/p_0)$로 스케일링되지만, $q=1$일 때 $\Theta(\log(1/p_0))$로 개선됨을 보여줍니다. 이는 $p_0$가 작을 때 표준 RLVR 이 실패하는 이유를 설명합니다.
3. 이중 추정기 (GARL 및 PAFT): 모델 아키텍처를 변경하지 않고도 실무자가 "헌신" 수준을 조정할 수 있는 두 가지 실용적인 플러그인 추정기의 유도.
4. 편향 - 분산 트레이드오프: 높은 $q$가 학습을 가속화하지만 추정기 편향 ($O(q/MP_\theta^{q+1})$) 을 도입한다는 분석으로, 최적의 성능을 위해 중간 값의 $q$가 필요함을 보여줍니다.

4. 실증 결과

저자들은 Qwen 3 0.6B 모델을 사용하여 세 가지 추론 벤치마크 (FinQA, HotPotQA, MuSiQue) 에서 GARL 과 PAFT 를 평가했습니다.

• 콜드스타트 성능:

  • 표준 GRPO 와 $q=0$ (RB-RLOO) 은 콜드스타트 작업에서 완전히 실패했습니다 (0% 정확도).
  • $q=0.75$인 GARL은 콜드스타트를 성공적으로 탈출하여 유의미한 정확도를 달성했습니다 (예: FinQA 에서 maj@16 38.3% 대 GRPO 의 0%).
  • $q=1$은 콜드스타트를 탈출했지만 더 높은 노이즈 암기로 인해 $q=0.75$보다 최종 정확도가 낮았습니다.

• 웜스타트 성능:

  • FinQA: 모든 $q$에서 훈련이 안정적이었습니다. $q=0.25$인 GARL이 가장 좋은 결과를 달성했습니다 (maj@16 38.7%, GRPO 대비 +11.8 포인트).
  • HotPotQA 및 MuSiQue: GARL 은 테스트한 모든 $q$ 값에서 훈련 중 붕괴되었습니다 (검증 정확도가 0 으로 떨어짐). 이는 경로별 항 손상 또는 과적합 때문일 가능성이 높습니다.
  • PAFT 안정성: PAFT 는 어떤 벤치마크에서도 붕괴되지 않았습니다. $q=0.75$인 PAFT는 HotPotQA (maj@16 47.9%, GRPO 대비 +14.4) 와 MuSiQue (maj@16 22.4) 에서 가장 안정적이고 좋은 결과를 달성했습니다.

• 프롬프트 독립성: 주목할 만한 점은, 작업별 프롬프트 없이 훈련된 콜드스타트 GARL 모델이 프롬프트와 함께 훈련된 웜스타트 GRPO 모델보다 모든 지표에서 더 우수한 성능을 보였다는 것입니다. 이는 강력한 헌신 ($q \approx 0.75$) 이 모델이 입력 - 출력 쌍에서 직접 작업 구조를 발견할 수 있게 함을 시사합니다.

5. 중요성과 실용적 함의

• 콜드스타트 병목 현상 해결: 이 논문은 RLVR 의 병목 현상이 단순히 기울기 분산 (Rao-Blackwellization 으로 해결됨) 이 아니라 낮은 확률 예제에 대한 기울기 증폭의 부재임을 증명합니다. $q$를 증가시키는 것이 이를 해결합니다.
• 동적 훈련 전략: 저자들은 다음과 같은 실용적인 레시피를 제안합니다:
  • 콜드스타트: 모델을 영구 보상 영역에서 벗어나게 하기 위해 높은 $q$ ($\approx 0.75$) 의 GARL을 사용합니다.
  • 웜스타트: 훈련이 안정적이라면 (예: FinQA), 편향을 최소화하기 위해 낮은 $q$ ($\approx 0.25$) 의 GARL을 사용합니다. 훈련이 불안정하다면 (예: HotPotQA), 일관된 기울기를 통해 안정성을 유지하기 위해 높은 $q$ ($\approx 0.75$) 의 PAFT로 전환합니다.
• RLVR 을 넘어선 접근: 이 프레임워크는 강화 학습과 지도 미세 조정 사이를 보간하는 원칙적인 방법을 제공하며, "SFT 그 다음 RL"이라는 경직된 파이프라인을 넘어 헌신의 연속 스펙트럼으로 이동합니다.

요약하자면, 이 논문은 감시 신호에 대한 헌신이 조정 가능한 하이퍼파라미터임을 보여줍니다. $q$를 조정함으로써 실무자는 학습 속도 (콜드스타트 탈출) 와 학습의 강건성 (노이즈 암기 회피) 사이의 트레이드오프를 제어할 수 있으며, 이는 복잡한 추론 작업에서 최첨단 성능으로 이어집니다.