💬 NLP

Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge

이 논문은 정답 레이블 없이 대규모 LLM 을 판사 (Judge) 로 활용하여 단일 토큰 출력으로 효율적인 보상을 생성하는 강화학습 기반 지식 증류 프레임워크를 제안하며, 이를 통해 수학 추론 성능을 크게 향상시킬 수 있음을 보여줍니다.

원저자: Yiyang Shen, Lifu Tu, Weiran Wang

게시일 2026-04-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiyang Shen, Lifu Tu, Weiran Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎓 1. 기존 방식: "정답지 있는 시험"의 한계

지금까지 AI 를 가르칠 때는 **정답이 있는 문제집 (Ground Truth)**이 필수였습니다.

상황: 학생 (작은 AI) 이 문제를 풀고, 선생님이 정답지를 보고 "맞았습니다 (1 점)" 또는 "틀렸습니다 (0 점)"라고 알려줍니다.
문제: 하지만 세상의 모든 문제, 특히 창의적인 문제나 복잡한 추론 문제는 정답지가 없거나, 정답을 확인하는 데 너무 많은 비용이 듭니다. 이 경우 AI 는 더 이상 배울 수 없게 됩니다.

🧙‍♂️ 2. 이 연구의 핵심 아이디어: "스승의 눈"과 "한 마디 평가"

이 연구는 **"정답지 없이도 AI 가 스스로 성장할 수 있다"**는 것을 증명했습니다. 이를 위해 두 가지 핵심 장치를 사용했습니다.

① LLM-as-a-Judge (AI 심판관)

정답이 없는 문제라도, **더 똑똑한 큰 AI(심판관)**에게 "이 학생의 풀이가 논리적으로 맞나요?"라고 물어보는 것입니다.

비유: 수학 경시대회에서 정답지가 없더라도, **수학 교수님 (큰 AI)**이 학생의 풀이 과정을 보고 "아, 이 학생은 논리적으로 잘 풀었구나 (Yes)" 혹은 "아니야, 여기가 틀렸어 (No)"라고 판단해 주는 것과 같습니다.

② 한 마디로 끝나는 평가 (Single-token Output)

기존에는 심판관이 긴 글을 써서 피드백을 줬는데, 이 연구는 심판관에게 "Yes(맞음)" 또는 "No(틀림)" 두 가지 단어 중 하나만 고르게 했습니다.

비유: 시험지를 채점할 때, 긴 코멘트를 적는 대신 점수판에 'O'나 'X'만 찍는 것처럼 매우 빠르고 효율적입니다. 이 'O'와 'X'의 확률만으로도 AI 는 "내가 얼마나 잘했는지"를 수치로 받아볼 수 있습니다.

🚀 3. 학습 과정: "시행착오를 통한 성장"

이 연구는 AI 를 가르치는 방식을 **강화학습 (Reinforcement Learning)**이라는 게임 방식에 비유할 수 있습니다.

학생 AI (작은 모델): 문제를 풀고 추론 과정을 적어냅니다.
심판관 AI (큰 모델): 학생의 풀이를 보고 "Yes"일 확률이 높은지 "No"일 확률이 높은지 빠르게 판단합니다.
보상 (Reward): "Yes"일 확률이 높으면 학생 AI 는 "잘했다!"는 보상을 받고, 다음에는 그 방식을 더 자주 쓰게 됩니다.
반복: 이 과정을 수만 번 반복하며, 학생 AI 는 정답을 몰라도 논리적으로 맞는 추론을 스스로 찾아내는 법을 터득합니다.

🌟 4. 놀라운 결과: "작은 AI 의 대변신"

이 방법을 적용한 결과, **작은 AI 모델 (작은 뇌)**이 놀라운 성장을 했습니다.

수학 문제 해결 능력 향상: 정답이 있는 데이터만 썼을 때보다, 정답이 없는 데이터까지 섞어서 심판관의 평가를 받으며 학습했을 때 수학 추론 능력이 5~10% 이상이나 뛰었습니다.
익숙하지 않은 문제에도 강함: 학교에서 배운 문제 (학습 데이터) 가 아니라, 완전히 새로운 유형의 문제 (시험 문제) 가 나와도 잘 풀었습니다. 이는 AI 가 단순히 답을 외운 게 아니라 추론하는 법을 진짜로 배웠기 때문입니다.
큰 AI 도 더 좋아짐: 이미 똑똑한 큰 AI 에도 이 방법을 적용하면, 조금 더 똑똑해졌습니다.

💡 5. 한 줄 요약

"정답지가 없어도, 더 똑똑한 AI 심판관이 "맞다/틀리다"만 알려주면, 작은 AI 도 스스로 생각하고 추론하는 법을 배워 수학 문제를 척척 풀 수 있다!"

이 연구는 앞으로 **정답을 구하기 어려운 복잡한 문제들 (과학 연구, 법률, 창의적 글쓰기 등)**에서도 AI 가 스스로 학습하고 발전할 수 있는 새로운 길을 열었다고 볼 수 있습니다. 마치 정답지가 없는 시험장에서, 훌륭한 멘토의 짧은 조언만으로 학생이 스스로 성장하는 모습과 같습니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 최근 강화 학습 (RL) 은 대규모 언어 모델 (LLM) 의 추론 능력을 획기적으로 향상시키는 것으로 입증되었습니다 (예: DeepSeek-R1). 그러나 기존 RL 기반 접근법 (RLVR 등) 은 정답이 명확히 존재하는 **검증 가능한 보상 (Verifiable Rewards)**에 의존합니다.
문제점:
1. 레이블 부족: 많은 실제 시나리오에서는 정답 (Ground Truth) 이 없거나 수집 비용이 너무 비싸서 RL 을 적용하기 어렵습니다.
2. 기존 지식 증류의 한계: 전통적인 지도 미세 조정 (SFT) 기반 지식 증류는 표면적인 토큰 모방에 그쳐, 모델의 내재된 추론 과정을 학습하지 못해 일반화 성능이 떨어집니다.
3. 기존 LLM-as-a-Judge 의 한계: 현재 'LLM 을 심사관으로 활용'하는 패러다임은 주로 생성된 결과의 사후 평가 (Post-hoc evaluation) 에 그치고 있으며, RL 미세 조정 과정에서의 실시간 보상 신호로 활용되는 연구는 부족합니다. 또한, 기존 모델 기반 피드백 방식은 복잡한 reward 모델링 파이프라인을 요구하거나 오프라인 선호 데이터셋에 의존하는 단점이 있습니다.

2. 제안 방법론 (Methodology)

저자들은 레이블이 없는 대량의 데이터를 활용하여 작은 학생 모델 (Student Model) 의 추론 능력을 증류하는 새로운 RL 프레임워크를 제안합니다.

핵심 아이디어: LLM-as-a-Judge 를 통한 실시간 보상 생성

구조:
1. 학생 모델 (Student): 주어진 문제에 대해 추론 과정 (Chain-of-Thought, CoT) 을 생성합니다.
2. 심사관 모델 (Judge LLM): 학생이 생성한 (질문, CoT) 쌍을 평가합니다.
3. 보상 신호 (Reward): 심사관 모델이 "Yes" 또는 "No"만 출력하도록 프롬프트를 설계합니다. 이때 단일 토큰 (Single-token) 출력의 로짓 (Logits) 을 기반으로 연속적인 스칼라 보상을 계산합니다.
  - 보상 함수: $s(p(Yes), p(No)) = \sigma(u) \cdot I\{\sigma(u) \ge a\}$
  - 여기서 $u$ 는 "Yes"와 "No" 로짓의 차이를 온도 파라미터로 정규화한 값이며, $\sigma$ 는 시그모이드 함수입니다.
효율성: 전체 CoT 를 생성하여 점수를 매기는 것이 아니라, 심사관 모델이 한 번의 추론 단계로 "Yes/No" 확률만 계산하므로 보상 계산 비용이 매우 낮습니다.

학습 목표 (Training Objective)

세 가지 손실 함수를 가중치 합으로 결합하여 학습합니다:

$L_{PPO}^{VR}$ (Verifiable Reward): 정답이 있는 데이터 (GSM8K 등) 에서 코드 실행 결과나 정답 일치 여부에 기반한 이진/부분 보상.
$L_{PPO}^{YoN}$ (LLM-as-a-Judge Reward): 정답이 없는 대량의 무레이블 데이터 (GSM8K-aug 등) 에서 심사관 LLM 이 제공하는 연속 보상.
$L_{PPO}^{Rerank}$ (Pretrained Reranker Reward): 사전 학습된 리랭킹 모델을 보조 심사관으로 활용.

최종 손실 함수: $L_{overall} = \lambda L_{PPO}^{VR} + \mu L_{PPO}^{YoN} + \rho L_{PPO}^{Rerank}$

알고리즘

PPO (Proximal Policy Optimization): 안정성을 위해 기준 모델 (SFT 로 워밍업된 모델) 과의 KL 발산을 정규화 항으로 포함합니다.
GRPO (Group Relative Policy Optimization): 비교 실험을 수행했으나, 계산 오버헤드가 크고 PPO 와 유사한 성능을 보여 대부분의 실험에서 PPO 를 사용했습니다.

3. 주요 기여 (Key Contributions)

레이블 없는 지식 증류 프레임워크: 정답 레이블이 없는 데이터에서도 LLM 심사관을 통해 효과적인 RL 학습 신호를 생성하여, 작은 모델의 추론 능력을 증류하는 새로운 패러다임을 제시했습니다.
효율적인 보상 메커니즘: 복잡한 Reward Model 학습 없이, LLM 의 단일 토큰 로짓을 기반으로 실시간 보상을 계산하여 RL 파이프라인을 간소화하고 확장성을 높였습니다.
성능 향상 및 일반화: 소규모 모델 (125M, 350M) 에서 수학 추론 벤치마크 성능을 크게 향상시켰으며, 특히 Out-of-Domain (OOB) 평가에서 기존 RLVR 방식보다 우수한 강건성 (Robustness) 을 보였습니다.

4. 실험 결과 (Results)

데이터셋: GSM8K, SVAMP (레이블 데이터), GSM8K-aug, GSM-Plus (무레이블 데이터).
모델: Galactica-125M, CodeGen-350M (소규모), Galactica-6.7B (대규모).
주요 성과:
- 소규모 모델 (125M/350M):
  - 기존 검증 가능한 보상 (RLVR) 만 사용한 경우보다 5~10 포인트 이상의 성능 향상을 기록했습니다.
  - 예: Galactica-125M 의 GSM8K 정확도는 SFT(25.25%) → RLVR(30.48%) → 제안 방법 (40.71%) 으로 대폭 상승했습니다.
  - 무레이블 데이터 (GSM8K-aug) 만을 사용한 경우에도 RLVR 보다 높은 성능을 보여, "노이즈가 있는 보상"이라도 대규모 데이터로 학습하면 효과적임을 입증했습니다.
- 아웃오브도메인 (OOB) 평가:
  - GSM-Plus, GSM-Symbolic 등 훈련 데이터와 분포가 다른 테스트셋에서도 기존 방법보다 월등히 높은 성능을 보여 추론 능력의 일반화가 잘 이루어졌음을 증명했습니다.
- 대규모 모델 (6.7B):
  - 이미 성능이 포화 상태에 가까운 6.7B 모델에서도 제안된 보상 프레임워크를 적용하면 정확도가 69.07% 에서 70.43% 로 상승하여, 모델 크기뿐만 아니라 학습 데이터의 양과 품질이 중요함을 보여주었습니다.
- GRPO vs PPO: GRPO 가 PPO 보다 더 큰 성능 향상을 보였으나, 계산 비용 문제로 PPO 를 주력으로 사용했습니다.

5. 의의 및 결론 (Significance)

데이터 효율성: 고비용의 정답 레이블 수집 없이도, 무레이블 데이터와 LLM 심사관을 결합하여 고품질의 RL 학습 신호를 생성할 수 있음을 입증했습니다.
소규모 모델의 역량 강화: 대규모 모델의 추론 능력을 소규모 모델로 효율적으로 증류 (Distillation) 하여, 리소스가 제한된 환경에서도 고성능 추론 모델을 배포할 수 있는 길을 열었습니다.
미래 방향: 이 연구는 RL 기반 지식 증류의 새로운 지평을 열었으며, 향후 확산 모델 (Diffusion Models) 이나 더 정교한 정책 경사 알고리즘으로 확장될 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 **"정답이 없는 데이터에서도 LLM 이 심사관 역할을 하여 실시간 보상을 제공하고, 이를 통해 작은 모델의 추론 능력을 강화한다"**는 혁신적인 접근법을 제안하고, 수학 추론 벤치마크에서 이를 통해 획기적인 성능 향상을 달성했음을 증명했습니다.