💬 NLP

ROSD: Reflective On-Policy Self-Distillation for Language Model Reasoning across Domains

본 논문은 기존 온-정책 자기 증류 방법의 과적합 및 일반화 성능 저하라는 한계를 극복하기 위해, 자기 반성기를 활용하여 오류를 국소화하고 오류에 특화된 표적 증류를 유도함으로써 도메인 전반에 걸친 언어 모델 추론 능력을 향상시키는 반성적 온-정책 자기 증류 (ROSD) 프레임워크를 소개합니다.

원저자: Ziqi Zhao, Xinyu Ma, Liu Yang, Yujie Feng, Daiting Shi, Jingzhou He, Xin Xin, Zhaochun Ren, Xiao-Ming Wu

게시일 2026-05-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziqi Zhao, Xinyu Ma, Liu Yang, Yujie Feng, Daiting Shi, Jingzhou He, Xin Xin, Zhaochun Ren, Xiao-Ming Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 학생에게 복잡한 수학 문제를 푸는 법을 가르친다고 상상해 보세요. 당신은 스스로 연습하며 배우려는 똑똑한 교사 (AI 모델) 를 가지고 있습니다.

문제: "모방자" 교사

과거에 이 학생이 실수를 했을 때, 그들을 가르치는 표준적인 방법은 교과서에서 완벽한 최종 답안을 보여주고 "이걸 봐! 너는 네 답안을 이걸과 정확히 똑같이 써야 해"라고 말하는 것이었습니다.

이 논문은 이를 **온-정책 자기 증류 (On-Policy Self-Distillation, OPSD)**라고 부릅니다. 문제는 학생이 "모방자"처럼 행동하기 시작한다는 점입니다.

해결책이 아닌 스타일을 암기합니다: 그들이 왜 실수했는지 배우는 대신, 교사의 특정 단어와 형식을 그대로 복사합니다.
이미 옳았던 것을 망칩니다: 학생이 답안의 앞부분은 올바르게 풀었지만 뒷부분을 틀렸다면, 교사는 교과서와 일치하도록 전체를 다시 쓰게 강요합니다. 이는 우연히 그들이 이미 알고 있던 좋은 부분을 덮어쓰게 하여, 자신의 유효한 추론을 잊게 만듭니다.

이 방식은 특정 연습 문제에는 그럭저럭 작동하지만, 학생이 새로운 유형의 문제 (다른 도메인) 를 마주치면 실패합니다. 그들은 답안의 "외형"을 암기했을 뿐, 논리는 배우지 못했기 때문입니다.

해결책: ROSD ("성찰적 튜터")

저자들은 ROSD(Reflective On-Policy Self-Distillation, 성찰적 온-정책 자기 증류)라는 새로운 방법을 제안합니다. ROSD 를 완성된 에세이를 건네주는 교사가 아니라, 돋보기를 사용하는 비판적 편집자로 생각하세요.

ROSD 가 작동하는 방식은 다음과 같습니다.

1. "자기 반성자" (탐정)
완벽한 답안만 보여주는 대신, 시스템은 먼저 탐정처럼 행동합니다. 학생의 틀린 답안과 정답을 나란히 살펴봅니다.

질문합니다: "정확히 어디서 논리가 무너졌나요?"
찾아냅니다: 학생이 길을 잃은 특정 문장이나 단계를 찾아냅니다.
"수정 아이디어"를 생성합니다: (예: "여기서 단위를 변환하는 것을 잊었습니다"와 같이) 그 특정 실수를 어떻게 고칠지 설명하는 짧은 메모를 작성합니다. ("전체 에세이를 여기 있습니다"가 아니라)

2. "오류 인용" (하이라이터)
시스템은 단순히 추측하지 않습니다. 학생의 답안에서 오류가 발생한 정확한 텍스트 덩어리를 물리적으로 하이라이트합니다. 마치 교사가 붉은 펜으로 틀린 문장만 동그라미를 치고 페이지의 나머지는 건드리지 않는 것과 같습니다.

3. 표적 수정 (수술)
이제 "자기 교사"가 개입합니다. 하지만 학생에게 에세이 전체를 다시 쓰게 하는 대신, 교사는 하이라이트된 오류에 대해서만 지침을 제공합니다.

학생은 자신의 올바른 서론과 유효한 추론 단계 (유효한 접두사) 를 유지합니다.
그들은 "수정 아이디어"에 안내받아 틀린 부분만 다시 씁니다.

비유: 고장 난 자동차 수리

구식 방법 (OPSD): 당신의 차가 타이어가 펑크 났습니다. 정비사는 차 전체를 분해하고, 엔진, 좌석, 바퀴를 버린 뒤 청사진을 바탕으로 차를 처음부터 새로 만듭니다. 작동은 하지만, 이미 작동하던 모든 것을 잃게 됩니다.
ROSD: 정비사는 차를 살펴보고 펑크 난 타이어 (오류) 를 찾아냅니다. 그리고 "알겠습니다, 엔진과 좌석은 괜찮습니다. 이 타이어 하나만 교체하고 제대로 공기압이 차 있는지 확인합시다"라고 말합니다.

결과

이 논문은 다양한 "과목"(물리학, 화학, 컴퓨터 도구 사용 등) 에서 이를 테스트했습니다.

과목 능력 향상: 학생들은 이전보다 자료를 더 잘 학습했습니다.
새로운 과목에 대한 적응력 향상: 답안의 스타일을 암기하는 대신 오류를 수정하는 논리를 배웠기 때문에, 이전에 본 적 없는 문제를 푸는 데 훨씬 능숙해졌습니다.
안정성: 구식 방법은 학생이 너무 많이 복사하려고 시도하며 혼란스러워질수록 시간이 지남에 따라 종종 더 나빠졌습니다. ROSD 는 안정적으로 유지되며 계속 발전했습니다.

요약하자면: ROSD 는 AI 가 처음부터 끝까지 완벽한 모델을 복사하도록 강요하는 대신, 자신의 추론 중 좋은 부분을 보존하면서 자신의 실수를 외과적으로 수정하도록 가르칩니다.

기술 요약: 반성적 온-폴리시 자기 증류 (ROSD)

문제 제기

검증 가능한 reward 를 활용한 강화 학습 (RLVR) 은 검증 가능한 도메인에서 대규모 언어 모델 (LLM) 을 최적화하는 데 효과적임이 입증되었으나, GRPO 와 같은 표준 알고리즘은 희소한 결과 수준의 reward 에 의존합니다. 중간 추론 단계에 대한 토큰 수준의 감독이 부족하다는 점은 모델이 추론의 질을 개선하는 능력을 제한합니다.

온-폴리시 자기 증류 (OPSD) 는 올바른 해법에 기반한 "자기 교사"로부터 밀도 높은 토큰 수준의 감독을 제공함으로써 이 문제를 해결합니다. 그러나 기존 OPSD 방법은 도메인 내 안정성과 도메인 외 (OOD) 일반화 모두를 저해하는 두 가지 치명적인 한계를 안고 있습니다:

수정보다 모방: 검증된 해법에 기반하여 자기 교사를 조건화하면 학생 모델이 참조 궤적의 특정 패턴과 도메인 특화 표현을 모방하도록 유도하여, 자신의 특정 오류를 수정하는 법을 배우는 대신 이를 모방하게 됩니다.
유효한 추론의 덮어쓰기: 전체 응답에 증류 손실을 적용하면 모델이 모든 토큰에 걸쳐 교사 분포와 정렬되도록 강제합니다. 이는 유효한 추론 접두사를 덮어쓰고 훈련 도메인의 선호도를 올바른 단계에 주입하여 과적합과 낮은 일반화로 이어질 수 있습니다.

방법론: ROSD

저자들은 참조 해법 모방에서 표적 추론 수정으로 자기 증류를 전환하도록 설계된 반성적 온-폴리시 자기 증류 (ROSD) 프레임워크를 제안합니다. ROSD 는 두 가지 주요 메커니즘을 통해 작동합니다:

1. 오류 중심 자기 반성

ROSD 는 교사의 컨텍스트로 올바른 해법을 직접 사용하는 대신, 학생/교사와 동일한 모델 가중치를 사용하는 자기 반성기 (self-reflector) 를 활용하여 학생의 롤아웃과 올바른 해법 간의 불일치를 분석합니다.

잘못된 롤아웃의 경우: 반성기는 동일한 그룹에서 잘못된 롤아웃 ( $y^-$ $y^{-}$ ) 과 가장 짧은 올바른 롤아웃 ( $y^*$ $y^{*}$ ) 을 비교합니다. 그리고 두 가지 출력을 생성합니다:
- 수정 아이디어 ( $e$ ): 롤아웃이 실패한 이유와 논리를 어떻게 수정할지에 대한 설명.
- 오류 인용구 ( $q$ ): 추론이 처음으로 잘못되는 구간을 표시하는 잘못된 롤아웃의 정확한 부분 문자열.
올바른 롤아웃의 경우: 반성기는 올바른 답변의 핵심 아이디어와 추론의 유효성을 요약하여 직접적인 전체 해법 모방을 피합니다.

2. 인용구 지역화 자기 증류

자기 교사는 전체 참조 해법이 아닌 수정 아이디어 ( $e$ ) 를 기반으로 조건화됩니다. 이를 통해 교사는 오류별 지침을 제공합니다.

지역화: 오류 인용구 ( $q$ ) 는 원래 학생 롤아웃과 정렬되어 오류의 시작 토큰 인덱스 ( $k$ ) 를 식별합니다.
선택적 손실: 증류 손실 함수에 마스크가 적용됩니다. 모델은 토큰 $k$ 이후 (오류가 있는 접미사) 로부터만 교사 분포와 일치하도록 훈련됩니다. 유효한 추론 접두사 (토큰 $< k$ ) 는 보존되며 손실 계산에서 제외됩니다.
목적: 훈련 목적은 학생과 마스크된 교사 분포 간의 토큰 수준 제이슨 - 샤논 발산 (JSD) 을 최소화하여 업데이트가 수정이 필요한 구간으로만 제한되도록 보장합니다.

주요 기여

ROSD 프레임워크: 참조 해법 모방에서 선택적 추론 수정 수행으로 전환하는 새로운 반성적 온-폴리시 자기 증류 방법.
이중 기술 설계:
- 수정 아이디어를 추출하고 첫 번째 오류 구간을 정확하게 위치시키는 오류 중심 자기 반성기.
- 식별된 오류부터 시작하는 접미사로만 감독 업데이트를 제한하여 유효한 추론 접두사를 보존하는 오류 지역화 증류.
실증적 검증: ROSD 가 도메인 내 추론 성능을 향상시키면서 표준 OPSD 방법에서 관찰되는 OOD 일반화 붕괴를 크게 완화한다는 것을 보여주는 광범위한 실험.

실험 결과

저자들은 Qwen3-4B 와 Qwen3-8B 백본을 대상으로 5 개의 데이터셋 (화학, 물리학, 생물학, 재료 과학의 4 개 과학 QA 벤치마크 및 도구 사용 데이터셋) 에서 ROSD 를 평가했습니다.

도메인 내 성능: ROSD 는 두 모델 규모 모두에서 가장 높은 평균 점수 (4B 기준 72.83%, 8B 기준 73.45%) 를 달성하여 GRPO 와 표준 SDPO 베이스라인 모두를 능가했습니다. 개선은 대부분의 도메인에서 일관되어 특정 영역에서의 유의미한 트레이드오프가 없음을 나타냅니다.
도메인 외 일반화: ROSD 는 SDPO 에 비해 훨씬 더 뛰어난 OOD 견고성을 보여주었습니다.
- SDPO 는 훈련 및 테스트 도메인이 크게 다를 때 심각한 저하를 겪었습니다 (예: ToolUse 로 훈련하고 Science QA 로 테스트할 때 SDPO 는 평균 약 2.88% 로 하락). 반면 ROSD 는 강력한 성능 (~41.31%) 을 유지했습니다.
- 이는 ROSD 가 전체 응답 증류와 관련된 노이즈와 과적합을 효과적으로 줄인다는 것을 시사합니다.
훈련 역학: ROSD 는 베이스라인보다 빠르게 수렴하고 훈련 내내 안정적인 성능을 유지했습니다. 반면 SDPO 는 초기 이득 후 성능이 하락하는 경향을 보였는데, 이는 훈련 도메인 해법 스타일에 과적합되었음을 나타냅니다.
절대 연구: 반성 구성 요소나 지역화 증류 메커니즘 중 하나를 제거하면 성능이 저하되어, 오류 중심 지침과 선택적 감독이 모두 필요하며 상호 보완적임을 확인했습니다.

중요성 및 주장

이 논문은 ROSD 가 효과적인 추론 사후 훈련을 위해 오류를 인식하고 선택적으로 적용된 감독의 중요성을 강조한다고 주장합니다. 결함이 있는 추론 단계를 수정하면서 유효한 접두사를 보존함으로써 ROSD 는 도메인 특화 참조 궤적을 모방하는 함정을 피합니다.

저자들은 ROSD 를 도메인 간에 일반화할 수 있는 더 견고한 추론 모델로 나아가는 한 걸음으로 위치시킵니다. 그러나 그들은 ROSD 가 표준 OPSD 보다 OOD 성능을 개선하지만, 모든 설정에서 GRPO 의 OOD 견고성을 완전히 따라잡지는 못하므로 교차 도메인 일반화를 완전히 강화하기 위해서는 추가적인 발전이 필요하다고 겸손하게 지적합니다. 이 작업은 강력한 추론 능력은 잠재적 오용을 방지하기 위해 엄격한 안전 정렬이 필요함을 강조합니다.