기술 요약: DASH - 추론 모델의 온-폴리시 자기 증류를 위한 발산 적응형 감독 지평 (Divergence-Adaptive Supervision Horizons)

1. 문제 정의

검증 가능한 보상(Verifiable Rewards)을 활용한 강화 학습(RLVR)은 자동 검증 가능한 신호(예: 정답 여부)를 사용하여 대규모 언어 모델(LLM)의 추론 능력을 향상시켜 왔습니다. 그러나 표준 RLVR은 희소한 시퀀스 수준의 보상에 의존하기 때문에, 최종 결과에 대한 개별 토큰 수준 결정의 기여도를 구분하기 어려운 "시간적 신용 할당(temporal credit assignment)" 문제를 야기합니다.

이를 완화하기 위해 **온-폴리시 자기 증류(On-Policy Self-Distillation, OPSD)**가 도입되었습니다. OPSD에서 학생 모델은 응답을 생성하고, 특권 정보(예: 참조 솔루션)가 조건화된 동일한 모델이 교사 역할을 수행하여 조밀한 토큰 수준의 분포적 감독(distributional supervision)을 제공합니다.

핵심 한계점: OPSD는 신호의 희소성을 완화하지만, 본 논문은 표준("vanilla") OPSD가 롤아웃의 **시간적 구조(temporal structure)**를 충분히 활용하지 못한다는 점을 지적합니다. Vanilla OPSD는 모든 토кен에 대해 균등한 계수($1/T$)를 사용하여 로컬 분포 차이(발산)를 집계하며, 이는 다음 사항들을 고려하지 않습니다:

1. 토큰의 위치.
2. 해당 토큰까지 이어진 불일치의 이력.

저자들은 자기 회귀 생성(autoregressive generation)에서 동일한 로컬 발산 크기가 매우 다른 시간적 맥락(예: 긴 올바른 추론 이력 이후 vs. 일련의 오류 이후)에서 발생할 수 있다고 주장합니다. 로컬 스칼라 값만으로는 이러한 맥락을 구분할 수 없으므로, 균등한 가중치를 할당하는 것은 실현된 불일치 시퀀스에 적응하는 것을 방해합니다.

2. 방법론: 발산 적응형 감독 지평 (DASH)

Vanilla OPSD가 시간적 불일치 프로파일에 적응하지 못하는 문제를 해결하기 위해, 저자들은 DASH를 제안합니다. 이 방법은 생성 과정 중 로컬 발산이 어떻게 진화하는지에 따라 토큰 수준의 감독 가중치를 동적으로 조정하는 메커니즘을 도입합니다.

주요 구성 요소

1. 시퀀스 상대적 발산 갭 (Sequence-Relative Divergence Gaps):
   DASH는 로컬 발산 값($d_t$)을 직접 사용하는 대신, 로컬 증류 신호와 시퀀스 수준 평균($\bar{r}$) 사이의 갭을 계산합니다:
   $$g_t = r_t - \bar{r}$$
   여기서 $r_t$는 단계 $t$에서의 클리핑된 로컬 KL 발산입니다.

2. 적응형 전파 게이트 ($\lambda_t$):
   이 갭들은 민감도 파라미터 $\kappa$를 가진 시그모이드 함수를 통해 적응형 전파 게이트로 매핑됩니다:
   $$\lambda_t = \text{sg}[\sigma(-\kappa g_t)]$$

   • 논리: 로컬 발산이 평균보다 낮으면 ($g_t < 0$), 게이트 $\lambda_t$가 커져서 미래의 신호가 더 멀리 뒤로 전파될 수 있도록 합니다. 반대로 발산이 평균보다 높으면 ($g_t > 0$), 게이트가 작아져 전파를 제한합니다. 이는 시퀀스에 적응하는 "감독 지평(supervision horizon)"을 생성합니다.

3. 역방향 다단계 집계 (Backward Multi-Step Aggregation):
   DASH는 vanilla OPSD의 균등 집계를 대신하여, 경로 의존적인 집계 신호($A_t$)를 구축하는 역방향 재귀를 사용합니다:
   $$A_T = r_T$$
   $$A_t = r_t + \lambda_t A_{t+1} \quad \text{for } t = T-1, \dots, 1$$
   최종 손실은 이러한 집계된 신호들의 평균입니다:
   $$L_{\text{DASH}} = \frac{1}{T} \sum_{t=1}^T A_t$$

구조적 통찰

저자들은 기대 목적 함수(expected objective)에 대한 고정 지평 그래디언트 분해(fixed-horizon gradient decomposition)를 유도하여, 정확한 그래디언트가 미래의 발산에 의존하는 계수를 포함하는 궤적 항을 포함하고 있음을 보여줍니다. DASH는 미래의 발산을 명시적으로 추정하거나 스코어 함수 그래디언트(score-function gradients)를 사용하지는 않지만, 실현된 불일치 시퀀스를 사용하여 직접 증류 항의 가중치를 조건화함으로써 이러한 순서 의존적 구조를 모사합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 시간적 간극 식별: 저자들은 균등한 가중치를 할당하는 것이 로컬 발산 값의 시간적 배치를 변화시켜도 목적 함수를 불변하게 만들어, 시간적 구조에 대한 적응을 방해한다는 vanilla OPSD의 한계를 규명했습니다.
2. DASH 제안: 시퀀스 상대적 발산 갭을 사용하여 적응형 전파 게이트를 구축하는 새로운 방법을 제안합니다. 이를 통해 밀집된 증류 감독이 다단계 집계를 통해 로컬 불일치의 시간적 진화를 활용할 수 있게 합니다.
3. 실험적 검증: 세 가지 수학적 추론 벤치마크(AIME 2024, AIME 2025, HMMT 2025)와 세 가지 모델 규모(Qwen3-1.7B, 4B, 8B)에 걸친 포괄적인 실험을 통해 DASH가 매칭된 vanilla OPSD 재실행 및 기타 최신 증류 베이스라인보다 일관되게 우수한 성능을 보임을 입증했습니다.

4. 실험 결과

저자들은 수학적 추론 작업을 위해 Qwen3 Instruct 모델(1.7B, 4B, 8B)을 사용하여 실험을 진행했습니다.

• 성능 향상: DASH는 9개의 벤치마크-모델 설정 모두에서 베이스라인(Base, SFT, GRPO, OPSD, EOPD, AVSD, PW-OPSD) 대비 가장 높은 점수를 기록했습니다.
  • Qwen3-1.7B에서 DASH는 평균 정확도를 41.87%(OPSD)에서 45.07%(+3.20 포인트)로 향상시켰습니다.
  • Qwen3-4B에서 **63.60%**에서 65.00%(+1.40 포인트)로 향상시켰습니다.
  • Qwen3-8B에서 **64.80%**에서 66.40%(+1.60 포인트)로 향상시켰습니다.
• 절제 연구 (Ablation Studies):
  • 적응형 vs. 고정형: 적응형 게이트를 고정 계수($\lambda$)로 대체했을 때 vanilla OPSD보다는 개선되었으나 DASH에는 미치지 못했으며, 이는 특정 불일치 시퀀스에 적응하는 것이 중요하다는 점을 확인시켜 줍니다.
  • 게이트 방향: 게이트 함수의 부호를 반전시킨 경우(Inverse-gap) 성능이 저하되어, 작은 불일치 후에는 전파를 열어두고 큰 불일치 후에는 제한해야 한다는 특정 설계 가설을 검증했습니다.
  • 계수 할당 vs. 규모: 상대적 계수 프로파일과 평균 규모를 분리한 결과, 주요 이득은 단순히 전체적인 감독 규모를 늘리는 것이 아니라 불일치 조건부 할당에서 온다는 것을 보여주었습니다.
• 설계 선택:
  • 민감도 ($\kappa$): 적절한 민감도($\kappa=5$)가 불충분한 적응과 과도하게 날카로운 반응 사이의 균형을 맞추며 최적의 결과를 냈습니다.
  • 발산 메트릭: Forward KL divergence가 대칭 JSD 및 Reverse KL보다 우수한 성능을 보였습니다.
  • 어휘 지원: 전체 어휘 지원(Full vocabulary support)이 최적이었으며, top-1 토큰으로 압축할 경우 성능이 크게 하락했습니다.

5. 의의 및 주장

본 논문은 DASH가 추가적인 계산 오버헤드 없이 시간적 구조를 활용함으로써 온-폴리시 자기 증류를 유의미하게 개선한다고 주장합니다.

• 효율성: DASH는 표준 OPSD에서 이미 계산된 교사와 학생의 분포를 재사용합니다. 따라서 추가적인 교사 또는 학생의 순전파(forward pass)가 필요하지 않아 계산 효율적입니다.
• 일반화 가능성: 개선 효과가 다양한 모델 규모와 벤치마크에서 일관되게 나타났으며, 이는 이 방법이 특정 모델 용량이나 데이터셋에 국한되지 않음을 시사합니다.
• 통찰: 이 연구는 밀집된 감독을 장기 호라이즌(long-horizon) 추론에 어떻게 할당해야 하는지에 대해, 균등 가중치를 넘어 시퀀스 인식 및 적응형 지평을 사용하는 새로운 통찰을 제공합니다.

저자들은 토큰 수준의 가중치를 실현된 불일치 시퀀스에 적응시킴으로써, DASH가 표준 RLVR 및 OPSD 방식에 내재된 시간적 신용 할당 문제를 효과적으로 해결한다고 결론짓습니다.