💬 NLP

Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models

이 논문은 교차 적합 스타일 잔차화(cross-fitted style residualization)를 사용하여 스타일적 차이를 실제 추론 신호로부터 분리함으로써, SFT 데이터 생성 모델과 증류 교사 모델이 서로 다른 경우에도 효과적인 지식 전이를 가능하게 하여 교차 교사 설정에서의 스타일 편향을 완화하는 새로운 온-폴리시 증류 방법인 Lightning OPD 2.0을 소개한다.

원저자: Yecheng Wu, Song Han, Han Cai

게시일 2026-07-31

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yecheng Wu, Song Han, Han Cai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 복잡한 퍼즐을 푸는 법을 가르치려는 천재적이지만 괴짜 같은 학생을 상상해 보세요. 당신에게는 수학과 코딩에 천재적인 '선생님'과, 배우고자 하는 열의가 가득한 '학생'이 있습니다. 인공지능의 세계에서 이것을 **증류(distillation)**라고 부릅니다. 학생은 선생님의 사고 과정을 복제하여 더 똑똑해지려고 노력합니다. 보통 가장 좋은 방법은 학생이 선생님이 이미 풀어놓은 문제들로 연습하게 한 뒤, 선생님이 학생의 새로운 시도들을 한 줄 한 줄 채점하는 것입니다. 이것을 **온폴리시 증류(On-Policy Distillation)**라고 합니다. 이는 마치 코치가 게임이 끝날 때까지 기다렸다가 "잘했어" 또는 "다시 해봐"라고 말하는 대신, 당신의 모든 움직임을 지켜보며 즉각적인 피드백을 주는 것과 같습니다.

하지만 여기에는 함정이 있습니다. 이 코칭이 완벽하게 작동하려면, 선생님은 학생이 공부했던 원래의 연습 문제를 작성한 사람과 동일 인물이어야 합니다. 만약 학생이 "선생님 A"가 쓴 교과서로 공부했는데, 이제 "선생님 B"가 채점을 하고 있다면 상황은 엉망이 될 수 있습니다. 선생님 B가 비록 천재라 할지라도, 그들은 다른 스타일을 가졌거나, 다른 단어를 사용하거나, 다른 리듬으로 생각할 수 있습니다. 학생은 선생님이 자신의 수학을 교정하는 것이 아니라 단순히 자신의 글씨체에 짜증을 내고 있는 것이라고 오해하며 혼란에 빠질 수 있습니다. 이 논문은 "선생님"이 원래의 예제를 작성한 모델과 다를 때 어떤 일이 발생하는지, 그리고 어떻게 그 혼란을 해결하여 학생이 여전히 효과적으로 학습할 수 있게 만드는지를 다룹니다.

문제: 코치와 교과서가 일치하지 않을 때

연구진은 한 가지 좌절스러운 결함을 발견했습니다. 그들은 AI 모델이 수학과 코딩 실력을 향상하도록 훈련하기 위해 Lightning OPD(On-Policy Distillation)라는 기술을 사용하고 있었습니다. 설정은 간단했습니다. 이미 몇 가지 예시로부터 학습한 모델(SFT 참조 모델)을 가져와서, 그 모델이 새로운 답변을 생성하게 하고, 그 다음 매우 똑똑한 "선생님" 모델이 그 답변을 채점하여 학생을 더 가르치게 하는 방식입니다.

문제는 "선생님"이 원래의 예제를 작성한 모델과 다를 때 발생했습니다. 연구진은 더 강력한 다른 선생님으로 교체했을 때, 학생의 성능이 좋아지는 것이 아니라 오히려 나빠지기도 한다는 것을 발견했습니다.

왜 그럴까요? 연구진은 선생님이 단순히 논리(수학이나 코드)만을 교정하는 것이 아니라, 스타일 또한 교정하고 있다는 사실을 깨달았습니다. 학생이 수학 증명을 쓰고 있다고 상상해 보세요. 학생은 "그러므로, 답은 42이다"라고 쓸 수 있습니다. 하지만 다른 선생님은 "따라서, 우리는 결론적으로 해가 42임을 알 수 있다"라는 표현을 선호할 수도 있습니다. 만약 선생님이 스타일에 엄격하다면, 수학은 완벽하더라도 "그러므로"라는 단어 때문에 낮은 점수를 줄 수 있습니다. 학생은 혼란에 빠져, 선생님의 글쓰기 습관에 맞추기 위해 자신의 논리를 바꾸기 시작합니다. 학생은 선생님의 불만 사항이 유용한 교정(틀린 단계를 고치는 것)인지, 아니면 무의미한 노이즈(단어 선택을 고치는 것)인지 구분할 수 없었습니다. 연구진은 이를 **"스타일 편향(Style Bias)"**이라고 불렀습니다. 선생님의 불만은 학생의 논리와의 불일치 중 유용한 교정과 무의미한 노이즈가 섞여 있었던 것입니다.

해결책: Lightning OPD 2.0

이를 해결하기 위해 팀은 Lightning OPD 2.0을 발명했습니다. 그들의 아이디어는 학생이 학습하기 전에 선생님의 스타일 불평과 논리 불평을 분리하는 탐정 역할을 하는 것이었습니다.

그들이 이 일을 어떻게 수행했는지, 재미있는 비유를 들어 설명하겠습니다:

선생님과 학생이 대화를 나누고 있다고 상상해 보세요. 선생님은 "나는 네가 사용한 그 단어가 마음에 안 들어"라고 말하기도 하고, "나는 네가 취한 그 수학적 단계가 마음에 안 들어"라고 말하기도 합니다.

탐정 작업: 연구진은 "스타일" 불평은 예측 가능하다는 것을 깨달았습니다. 만약 선생님이 수학 문제에서 "그러므로"라는 단어를 싫어한다면, 특정 숫자에 상관없이 모든 수학 문제에서 그 단어를 싫어할 것입니다. 이는 반복되는 패턴입니다.
교차 적합(Cross-Fitting) 기법: 이러한 패턴을 찾기 위해, 그들은 모든 연습 문제를 그룹으로 나누었습니다. 그들은 그룹 A를 보고 그룹 B에서 선생님이 무엇에 대해 불평하는지 확인했고, 그룹 B를 보고 그룹 A에서 선생님이 무엇에 대해 불평하는지 확인했습니다. 이것을 **교차 적합(cross-fitting)**이라고 합니다. 이는 마치 친구들에게 "선생님이 항상 싫어하는 단어가 뭐야?"라고 묻는 것과 같으며, 이때 판단을 받는 당사자가 답변에 영향을 미치지 않도록 하는 것입니다.
노이즈 제거: 일단 "스타일 편향"(단어, 서식, 리듬에 대한 반복적인 불평)을 파악한 후, 그들은 이를 선생님의 전체 점수에서 뺐습니다.
결과: 남은 것은 "잔차(Residual)"였으며, 이는 순수하고 유용한 실제 추론에 대한 피드백이었습니다. 이제 학생은 스타일적인 까다로움을 무시하고, 문제를 푸는 데 실제로 중요한 부분에 대해서만 선생님의 피드백으로부터 배울 수 있게 되었습니다.

연구 결과

연구진은 이 새로운 방법을 두 가지 서로 다른 AI 학생에게 테스트했습니다: 40억 개의 파라미터를 가진 모델(더 작고 빠른 학습자)과 80억 개의 파라미터를 가진 모델(더 크고 고급스러운 학습자)입니다. 그들은 두 모델 모두에 대해 매우 똑똑한 거대 모델을 "선생님"으로 사용했습니다.

결과는 명확했습니다:

수정 전 (Original Lightning OPD): 선생님이 원래의 예제 작성자와 다를 때, 학생의 성능은 거의 향상되지 않았습니다. 스타일 편향이 좋은 조언을 압도해 버렸습니다.
수정 후 (Lightning OPD 2.0): 학생은 훨씬 더 빠르게 학습했으며 훨씬 더 똑똑해졌습니다.

구체적으로, 80억 파라미터 모델을 기준으로 했을 때, 새로운 방법은 AI가 AIME 2024(어려운 고등학교 수학 경시 대회)에서 **82.4%**의 정확도를 달 달성하고, LiveCodeBench v5(코딩 챌린지)에서 **63.0%**의 정확도를 달성하도록 도왔습니다. 이는 "선생님이 일치하지 않는" 시나리오에서 어려움을 겪었던 기존 방식에 비해 큰 도약이었습니다.

이것이 왜 중요한가

이 논문은 이제 "선생님"과 "예제 작성자"를 동일한 인물로 강제할 필요가 없다는 점을 시사합니다. 과거에는 특정 초지능형 선생님을 사용하여 AI를 훈련시키고 싶다면, 그 선생님이 모든 훈련 데이터를 직접 작성하도록 해야 했습니다. 이는 비용이 많이 들고 제한적이었습니다.

Lightning OPD 2.0은 채점을 위한 최고의 선생님과 훈련 데이터를 위한 최고의 소스를 서로 다르더라도 선택할 수 있음을 보여줍니다. 수학적으로 "스타일"에 대한 불평을 제거함으로써, AI는 선생님의 "성격" 때문에 혼란을 겪지 않고 "추론"을 배울 수 있습니다. 이는 연구자들이 서로 충돌할 걱정 없이 사용 가능한 최선의 도구들을 조합하여 AI 훈련을 더욱 유연하고 효율적으로 만들 수 있는 실질적인 방법입니다.

기술 요약: Lightning OPD 2.0

문제 정의

온-폴리시 증류(On-policy distillation, OPD)는 사후 학습(post-training) 단계의 대규모 추론 모델을 위한 안정적이고 비용 효율적인 강화 학습의 대안으로 부상했습니다. 이는 고성능 교사(teacher) 모델을 활용하여 학생(student) 모델이 생성한 궤적(trajectory)에 대해 밀도 높은 토큰 수준의 감독(supervision)을 제공합니다. 그러나 이전 연구(Lightning OPD)에서 확인된 효과적인 OPD를 위한 핵심 전제 조건은 **교사의 일관성(teacher consistency)**입니다. 즉, OPD 감독을 제공하는 모델은 초기 지도 미세 조정(SFT) 참조 정책(reference policy)에 사용된 데모네스트레이션을 생성한 모델과 동일해야 합니다.

실무에서는 이러한 조건이 빈번하게 위반됩니다. SFT 데이터는 출처가 혼합되어 있거나 문서화되지 않은 경우가 많으며, 실무자들은 특정 모델에 의해 생성된 SFT 데이터셋을 사용하면서 동시에 더 강력할 수 있는 다른 교사 모델로 증류하기를 원할 수도 있습니다. 이러한 **교차 교사 설정(cross-teacher setting)**은 원시 교사-참조 불일치(raw teacher–reference disagreement)에 단순한 맥락적 추론 신호뿐만 아니라, 스타일 차이(어투, 포맷팅, 추론 리듬)와 관련된 반복적인 성분이 포함되도록 만듭니다. 이를 교정하지 않으면 이 "스타일-토큰 편향(style-token bias)"이 롤아웃(rollout) 전반에 걸쳐 축적되어, 새로운 교사가 원래의 SFT 생성기보다 더 강력함에도 불구하고 증류 성능을 저하시키는 체계적인 방해 요인으로 작용합니다.

방법론: Lightning OPD 2.0

이를 해결하기 위해 저자들은 **교차 적합 스타일 잔차화(cross-fitted style residualization)**를 통해 스타일 편향을 완화하는 방법인 Lightning OPD 2.0을 소개합니다. 핵심 통찰은 스타일 관련 불일치는 단순한 어휘 및 거친 맥락적 좌표를 기반으로 캐시된 롤아웃 전반에 걸쳐 예측 가능한 반면, 추론 관련 불일치는 특정 문제 상태에 더 의존한다는 점입니다.

방법론은 다음과 같이 진행됩니다:

불일치의 분해: 원시 교사-참조 로그 확률 차이( $d_{it} = \ell^T_{it} - \ell^R_{it}$ )를 반복되는 스타일 편향 성분 $b(z_{it})$ 와 잔차 변동 $v_{it}$ (맥락 특화된 증거를 나타냄)의 합으로 모델링합니다.
$d_{it} = b(z_{it}) + v_{it}$
관측 가능한 좌표: $b(z_{it})$ $b (z_{i t})$ 를 추정하기 위해 두 가지 유형의 좌표를 사용합니다:
- 토큰 정체성(Token Identity): 어휘적 선호도를 포착합니다.
- 거친 맥락(Coarse Context): 정규화된 응답 위치와 참조 정책의 서프라이절(surprisal, SFT 참조 하에서 해당 토큰이 얼마나 이례적인지를 나타내는 척도)로 정의됩니다.
교차 적합 추정: 캐시된 롤아웃을 $K$ $K$ 개의 폴드(fold)로 분할합니다. 홀드아웃 폴드 $k$ $k$ 에 대해, 나머지 $K-1$ $K - 1$ 개의 폴드만을 사용하여 두 개의 룩업 테이블(lookup table)을 구축합니다:
- 토큰 정체성당 평균 불일치를 추정하는 토큰 룩업 테이블.
- 맥락 좌표 쌍당 평균 불일치를 추정하는 맥락 룩업 테이블.
- 이 테이블들은 희소한 그룹을 처리하기 위해 스무딩(smoothing) 처리가 됩니다.
잔차화(Residualization): 각 홀드아웃 폴드의 토큰에 대해, 추정된 스타일 편향 $\hat{b}_{it}$ 는 토큰 및 맥락 룩업 예측값의 평균으로 계산됩니다. 이 추정값은 원시 불일치에서 차감되어 잔차화된 신호를 생성합니다:
$d^*_{it} = d_{it} - \hat{b}_{it}$
최적화: 잔차화된 불일치 $d^*_{it}$ 가 Lightning OPD 목적 함수에서 원시 불일치를 대체합니다. 학생 정책은 이 잔차화된 신호로부터 도출된 어드밴티지(advantage)를 사용하여 업데이트되며, 이는 반복되는 스타일 편향을 제거하면서 맥락 특화된 추론 증거를 보존합니다.

주요 기여

교차 교사 OPD의 공식화: 본 논문은 SFT 데이터 생성기와 OPD 교사를 독립적으로 선택하는 설정을 공식적으로 정의하며, 이 설정에서 단순한 OPD 적용이 상당한 성능 저하를 초기함을 입증했습니다.
스타일-토큰 편향 식별: 저자들은 롤아웃 전반에 걸쳐 예측 가능하며 스타일 차이와 연관된, 교사-참조 불일치의 반복적인 성분을 식별하여 왜 원시 교차 교사 감독이 오해를 불러일으킬 수 있는지 설명했습니다.
Lightning OPD 2.0 알고리즘: 토큰 및 맥락 룩업 테이블을 사용하여 편향을 추정하고 이를 차감하는 교차 적합 스타일 잔차화 기술을 도입했습니다. 이를 통해 SFT 파이프라인을 재구축하지 않고도 SFT 참조 모델과 증류 교사 모델을 독립적으로 선택할 수 있습니다.

실험 결과

본 방법론은 두 가지 서로 다른 교차 교사 설정을 사용하여 수학적 추론 및 코드 생성 벤치마크에서 평가되었습니다:

설정 1: SFT 참조는 Qwen3-4B(Qwen3-8B에 의해 생성됨)이며, OPD 교사는 Qwen3-30B-A3B-Thinking-2507임.
설정 2: SFT 참조는 Klear-Reasoner-8B(DeepSeek-R1 증류 데이터로 학습됨)이며, 동일한 Qwen3-30B OPD 교사를 사용함.

주요 발견:

성능 향상: Lightning OPD 2.0은 교차 교사 설정에서 베이스라인 Lightning OPD 및 기타 OPD 변체(IW-OPD, TA-OPD)보다 일관되게 우수한 성능을 보였습니다.
- Qwen3-4B 설정에서, 베이스라인 Lightning OPD 대비 평균 수학 추론은 3.1 포인트, 코드 생성은 1.4 포인트 향상되었습니다.
- Klear-Reasoner-8B 설정에서, 평균 수학 추론은 1.0 포인트, 코드 생성은 1.4 포인트 향상되었습니다.
최고 수준 성능(SOTA): Klear-Reasoner-8B-SFT를 시작점으로 하여, Lightning OPD 2.0은 AIME 2024에서 82.4%, LiveCodeBench v5에서 **63.0%**를 달달성했습니다.
메커니즘 분석: 사후 분석 결과, 잔차화가 진단용 참조 신호(이상적인 교사 일관 신호를 나타냄)로부터의 훈련 신호 편차를 유의미하게 줄였음을 보여주었습니다. 예를 들어, Qwen3-4B 설정에서 교정 후 큰 편차(>1 nat)를 보이는 토큰의 비율이 8.14%에서 3.85%로 감소했습니다.
어블레이션(Ablation): 토큰 룩업, 맥락 룩업, 또는 교차 적합 중 하나라도 제거하면 성능이 낮아졌으며, 이는 자기 적합(self-fitting)을 방지하기 위해 lexical 및 contextual 추정치를 샘플 분할과 결합하는 것이 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 Lightning OPD 2.0이 교차 교사 온-폴리시 증류를 위한 실용적인 접근법을 확립한다고 주장합니다. 교사의 일관성이라는 엄격한 요구 사항을 완화함으로써 실무자가 다음과 같은 작업을 수행할 수 있게 합니다:

(최종 사후 학습 결과를 극대화하기 위해) 증류 교사와 독립적으로 (최적의 SFT 데모네스트레이션을 생성하기 위해) 가장 적합한 모델을 선택할 수 있습니다.
매 후보 교사마다 데모네스트레이션을 재생성하는 상당한 비용 없이 기존 SFT 데이터셋을 활용할 수 있습니다.

저자들은 이 연구를 추론 모델 스케일링의 실질적인 병목 현상에 대한 해결책으로 제시하며, SFT 생성기와 OPD 교사가 분리된 더욱 유연하고 효율적인 사후 학습 파이프라인을 가능하게 한다고 설명합니다. 이 방법론은 오프라인 OPD의 안정성과 비용 효율성을 유지하면서 추론 벤치마크에서 최첨단 성능을 달성하는 견고한 프레임워크로 제시됩니다.