기술 요약: GAC – 하이브리드 SFT-RL 후학습을 위한 노이즈 인식 적응형 믹싱

1. 문제 정의

대규모 언어 모델 (LLM) 은 일반적으로 지도 미세 조정 (SFT) 과 강화 학습 (RL) 을 결합한 하이브리드 패러다임을 사용하여 후학습을 수행합니다. SFT 는 전문가 시연을 통해 모델 출력 형식을 안정화하는 반면, RL 은 온-정책 롤아웃을 통해 보상 추구 행동을 개선합니다. 그러나 이러한 목표는 상호 저하 없이 완전히 분리될 수 없습니다 (Niu et al., 2026).

현재의 하이브리드 방법들은 종종 SFT 와 RL 기울기를 균형 있게 맞추기 위해 고정된 믹싱 스케줄 또는 휴리스틱 규칙에 의존합니다. 이러한 정적 접근법은 훈련 중 두 신호의 상대적 노이즈가 변화할 때 적응하지 못합니다. 구체적으로 다음과 같은 요소를 고려하지 못합니다:

• 진화하는 정책 드리프트: 시간에 따른 모델 분포의 변화.
• 보상 노이즈: RL 이점 추정의 변동성.
• 기울기 불일치: SFT 와 RL 목표 간의 충돌.

이러한 적응성 부재는 엔트로피 붕괴, 후기 단계의 과도한 모방, 또는 보상 해킹을 유발할 수 있습니다. 최근 연구들 (예: CHORD, SRFT, HPT) 은 동적 가중치 부여 또는 충돌 인식 결합을 도입했지만, 최적의 믹싱 가중치를 도출하기 위해 기울기 노이즈 분산과 SFT-RL 불일치를 동시에 명시적으로 모델링한 사례는 없습니다.

2. 방법론: GAC (Guided Adaptive Controller)

제안된 방법인 GAC는 믹싱 문제를 노이즈 인식 제어 작업으로 재해석합니다. 이는 이론적 폐쇄형 추정기와 실용적인 가이드 컨트롤러로 구성됩니다.

2.1 이론적 기반: 폐쇄형 $\mu^*$

핵심 기여는 혼합된 확률적 기울기와 목표 기울기 간의 평균 제곱 오차 (MSE) 를 최소화함으로써 최적의 믹싱 가중치 $\mu^*$를 유도하는 것입니다.

• 가정: $\hat{g}_s$와 $\hat{g}_r$을 SFT 와 RL 에 대한 기울기 추정기로 정의하며, 이는 노이즈가 없는 기울기 ($g^*_s, g^*_r$) 와 분산이 $\sigma^2_s$와 $\sigma^2_r$인 평균이 0 인 노이즈 ($\varepsilon_s, \varepsilon_r$) 로 구성됩니다.
• 목표: $E(\mu) = E[\|\mu\hat{g}_s + (1-\mu)\hat{g}_r - g^*\|^2]$를 최소화합니다. 여기서 $g^*$는 원하는 트레이드오프 비율 $\alpha_{tgt}$로 정의된 목표 기울기입니다.
• 결과: 독립 가정 하에, 유일한 최소점은 다음과 같습니다:
  $$\mu^* = \frac{\alpha_{tgt} \Delta g^2 + \sigma^2_r}{\Delta g^2 + \sigma^2_s + \sigma^2_r}$$
  여기서 $\Delta g^2 = \|g^*_s - g^*_r\|^2$는 기울기 불일치를 나타냅니다.
• 해석: 이 공식은 편향 - 분산 트레이드오프를 구현합니다. 불일치 ($\Delta g^2$) 가 낮을 때 가중치는 역분산 가중치에 가까워집니다. 불일치가 높을 때 가중치는 사용자가 지정한 선호도 $\alpha_{tgt}$로 기본값이 설정됩니다.

2.2 실용적 구현: 프록시 신호 및 온라인 추정

실제 기울기 통계를 매 단계 계산하는 것은 비용이 많이 들기 때문에, GAC 는 기존 훈련 텐서에서 온라인으로 추정되는 계산적으로 실행 가능한 프록시 신호를 사용합니다:

1. RL 불확실성 ($\sigma^2_r$): 시퀀스 수준 이점 분산을 통해 추정.
2. SFT 불확실성 ($\sigma^2_s$): 길이 정규화 및 트리밍된 음의 로그 가능도 (NLL) 분산을 통해 추정.
3. 불일치 프록시 ($\Delta \tilde{g}^2$): RL 과 SFT 기울기 간의 z-정규화 계수 차이의 분산을 통해 추정.

이러한 프록시들은 실제 기울기 통계와 높은 피어슨 상관관계 ($r \approx 0.76\text{--}0.84$) 를 가지는 것으로 검증되었습니다.

2.3 안정성 기반 설계 가이드라인

급격한 변화를 방지하고 훈련 안정성을 보장하기 위해, 원시 추정기 $\mu^*$는 세 가지 보호 단계를 거치는 가이드 적응형 컨트롤러를 통해 처리됩니다:

1. EMA 평활화: $\mu_{ada} = \beta \mu_{t-1} + (1-\beta)\mu^*$로 고주파 노이즈를 감쇠시킵니다.
2. 스케줄 사전 혼합: $\mu_{blend} = (1-\lambda)\mu_{prior} + \lambda \mu_{ada}$로, 여기서 $\mu_{prior}$는 웜업/코사인 스케줄이며, 컨트롤러가 합리적인 기준선에서 너무 멀어지지 않도록 보장합니다.
3. 캡 업데이트: 단계 변화 $\delta_t$를 불안정화를 방지하기 위해 작은 상한 $\bar{c}$ (예: 0.01) 으로 클리핑합니다.

또한, 목표 비율 $\alpha_{tgt}$는 KL 제어 히스테리시스 규칙을 사용하여 $\alpha_{ctrl}$로 동적으로 조정되어 정책 드리프트를 방지합니다.

3. 주요 기여

1. 노이즈 인식 믹싱 컨트롤러 (C1): MSE 최소화로 유도된 최적 믹싱 가중치를 위한 폐쇄형 솔루션으로, 기울기 노이즈 분산과 목표 불일치를 균형 있게 조절합니다. 이는 z-정규화 프록시를 통해 구현되며 <1% 의 계산 오버헤드를 가진 안정성 보장 컨트롤러로 감싸져 있습니다.
2. 토큰 단위 재가중치 통합 (C2): 시스템은 CHORD (Zhang et al., 2025) 의 토큰 단위 재가중치 함수 $\phi(p) = p(1-p)$를 채택합니다. 저자들은 이 구성 요소가 글로벌 컨트롤러와 직교하며 추가적인 +0.4–1.4pp 의 성능 향상을 제공함을 입증했습니다.
3. 체계적 평가 (C3): 1.5B, 7B, 14B 파라미터 규모에서 수학, 코드, 과학, 논리 벤치마크에 대한 포괄적인 평가.

4. 실험 결과

실험은 OpenR1-Math-220k 및 기타 벤치마크 (MBPP, HumanEval, GPQA, SciBench, BBH) 를 사용하여 Qwen2.5-7B-Instruct 모델 (1.5B/14B 로 확장됨) 에서 수행되었습니다.

• 성능 향상:
  • 수학 (AMC): GAC + Token-φ는 **67.2%**를 달성하여, 최우수 하이브리드 베이스라인 (HPT, 63.4%) 보다 +3.8pp 더 높고, 노이즈 인식 컨트롤러 단독 (GAC w/o φ) 보다 +3.0pp 더 높은 규칙 기반 컨트롤러보다 우위를 점했습니다.
  • 코드: GAC 는 MBPP 에서 78.8% (CHORD 대비 +3.4pp) 와 HumanEval 에서 **83.5%**를 달성했습니다.
  • 과학/논리: GAC 는 HPT 대비 GPQA 를 +3.9pp, BBH 논리 하위 집합을 +3.1pp 개선했습니다.
• 안정성 개선:
  • KL-드리프트: 고정 믹싱 대비 KL-드리프트 영역을 28% 감소시켰습니다.
  • 대규모 변화: 큰 $|\Delta \mu|$ 사건을 >70% 감소시켰습니다.
  • 훈련 역학: GAC 는 고정 스케줄에 비해 더 높은 롤아웃 정확도, 적절한 응답 길이 (보상 해킹 급증 방지), 그리고 더 빠른 엔트로피 안정화를 유지합니다.
• 확장성: 성능 향상은 모델 크기에 따라 증가하여 1.5B 에서 +2.2pp, 7B 에서 +3.8pp, 14B 에서 +3.3pp 를 보여주었습니다.
• 효율성: 이 방법은 3 개의 EMA 스칼라만 추가하며, 측정 가능한 메모리 증가 없이 <1% 의 월타임 오버헤드를 초래합니다.

5. 중요성 및 주장

이 논문은 GAC 가 휴리스틱 스케줄링 작업이 아닌 노이즈 인식 제어 문제로 SFT-RL 믹싱을 성공적으로 재해석했다고 주장합니다.

• 주요 동인: 인과적 귀속 분석은 노이즈 인식 추정기 (MSE 유도 신호) 가 성능 향상의 주된 기여자 (+3.7pp) 임을 확인했으며, EMA 평활화와 스케줄 사전은 필요한 안정성을 제공하지만 더 작은 점진적 향상을 제공합니다.
• 강건성: 컨트롤러는 약하거나 잘못 지정된 사전 스케줄에 대해 강건합니다. "나쁜" 고정 사전이 있더라도 GAC 는 믹싱 가중치를 효과적으로 보정합니다.
• 한계: 저자들은 안정성 분석이 이상화된 가정 (L-스무스 손실, KL-바운드 업데이트) 에 의존하며 엄격한 수렴 보장이 아닌 설계 가이드라인을 제공한다고 지적합니다. 이 방법은 현재 검증 가능한 보상을 가진 작업에서 검증되었으며, 학습된 보상 모델과의 개방형 정렬로 확장하는 것은 향후 과제로 남아 있습니다.

요약하자면, GAC 는 실시간 불확실성 추정을 기반으로 SFT 와 RL 을 동적으로 균형 있게 조절하는 이론적으로 근거가 있으며 오버헤드가 낮은 메커니즘을 제공하여, 다양한 추론 작업에서 고정된 스케줄과 휴리스틱 컨트롤러를 크게 능가합니다.