💬 NLP

Explain in Your Own Words: Improving Reasoning via Token-Selective Dual Knowledge Distillation

이 논문은 제한된 용량의 학생 모델이 복잡한 추론 과제를 효과적으로 학습할 수 있도록, 중요한 토큰을 선택적으로 증류하고 간접 피드백을 활용하여 학생이 스스로 추론하는 능력을 키우는 '토큰 선택적 듀얼 지식 증류 (TSD-KD)' 프레임워크를 제안하며, 이를 통해 기존 방법론과 교사 모델보다 뛰어난 추론 성능을 달성함을 보여줍니다.

원저자: Minsang Kim, Seung Jun Baek

게시일 2026-03-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minsang Kim, Seung Jun Baek

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎓 비유: "명문대 교수님 (선생님) 과 고등학생 (학생) 의 수학 수업"

기존의 지식 전달 방식 (기존 KD) 은 다음과 같았습니다.

기존 방식: 교수님이 문제를 풀면서 한 마디, 한 마디를 학생이 그대로 따라 하게 합니다. "이제 5 를 빼고, 3 을 더하고..."라고 교수님이 하는 모든 말투와 순서를 학생이 완벽하게 모방해야 합니다.
문제점: 학생의 머리가 작아서 교수님의 복잡한 논리 흐름을 다 따라 하려다 보니, 오히려 혼란이 생기고 "내가 왜 이렇게 해야 하지?"라는 의문이 들며 스스로 생각하는 능력이 떨어집니다.

이 논문이 제안하는 TSD-KD는 세 가지 핵심 전략을 사용합니다.

1. 🧭 "가장 중요한 나침반"만 보여주기 (토큰 선택적 학습)

수학 문제를 풀 때, 모든 숫자를 계산하는 것보다 첫 단계에서 방향을 잡는 것이 가장 중요합니다.

비유: 길을 찾을 때, "왼쪽으로 100m, 오른쪽으로 50m..."라고 모든 길목을 다 알려주는 대신, **"가장 중요한 분기점 (어느 방향으로 가야 할지)"**만 교수님이 알려주는 것입니다.
실제 기술: 학생이 문제를 풀 때, 가장 헷갈려 하거나 중요한 '초반 단계'의 토큰 (단어/숫자) 만 골라 집중적으로 가르칩니다. 나머지 부분은 학생이 스스로 생각하게 내버려 둡니다.

2. 🗣️ "스스로 말하게 하고, 교수님이 고쳐주기" (간접 지식 전달)

기존에는 교수님이 정답을 말하면 학생이 따라 했습니다. 하지만 이 방법은 다릅니다.

비유: 학생이 문제를 풀며 "아, 이걸 빼야겠다!"라고 3 가지 가능성을 스스로 떠올립니다. (예: "5 를 빼자", "3 을 더하자", "나누자")
- 기존: 교수님이 "정답은 5 를 빼는 거야"라고 바로 말함.
- TSD-KD: 학생이 3 가지를 제시하면, 교수님은 **"너가 생각한 3 가지 중 '5 를 빼는 것'이 가장 좋아"**라고 순서만 매겨줍니다.
효과: 학생이 스스로 답을 고르는 과정을 경험하므로, 교수님의 말투를 그대로 베끼는 게 아니라 자신만의 논리로 문제를 해결하는 법을 배웁니다.

3. 🛡️ "혼란스러울 때만 도와주기" (직접 지식 전달 + 엔트로피 정규화)

학생이 너무 헷갈려서 막막할 때만 교수님이 직접 개입합니다.

비유: 학생이 "이게 뭐지? 모르겠어!"라고 당황할 때 (불확실성이 높을 때), 교수님이 "이건 이렇게 해!"라고 확실히 알려줍니다. 하지만 학생이 "아, 알겠어!"라고 자신감 있을 때는 간섭하지 않습니다.
효과: 학생이 스스로 확신을 가질 수 있도록 도와주면서, 불필요한 간섭으로 인해 학생의 자신감을 떨어뜨리지 않습니다.

🏆 왜 이 방법이 대단한가요?

이 논문의 실험 결과는 놀라웠습니다.

학생이 선생님을 이겼다: 작은 모델 (학생) 이 이 방법으로 훈련하자, 원래의 큰 모델 (선생님) 보다 더 좋은 점수를 받은 경우가 4 개나 나왔습니다.
성능 대폭 향상: 기존 방법들보다 수학 문제나 코딩 같은 복잡한 추론 작업에서 최대 54% 까지 성능이 향상되었습니다.
비용 절감: 거대한 AI 모델을 다 쓸 필요 없이, 작은 모델로도 똑똑한 추론 능력을 갖출 수 있게 되어 운영 비용을 아낄 수 있습니다.

💡 한 줄 요약

**"무조건 따라 하게 하는 게 아니라, 학생이 스스로 생각할 기회를 주되, 가장 중요한 순간과 헷갈릴 때만 적절히 도와주는 '스스로 성장하는' AI 교육법"**입니다.

이 방법은 AI 가 단순히 지식을 복사하는 것을 넘어, 진짜로 추론하는 능력을 기르도록 도와줍니다.

논문 요약: Token-Selective Dual Knowledge Distillation (TSD-KD)

논문 제목: EXPLAIN IN YOUR OWN WORDS: IMPROVING REASONING VIA TOKEN-SELECTIVE DUAL KNOWLEDGE DISTILLATION
발표: ICLR 2026 (가상/제안된 연도)
저자: Minsang Kim, Seung Jun Baek (Korea University, SK Telecom)

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 추론 능력을 작은 모델 (Student) 로 이전하는 **지식 증류 (Knowledge Distillation, KD)**는 추론 비용 절감에 필수적입니다. 그러나 기존 KD 방법론은 다음과 같은 한계가 있습니다.

분포 불일치 (Distribution Mismatch): 기존 오프-폴리시 (Off-policy) KD 는 교사가 생성한 고정된 데이터를 사용하지만, 온-폴리시 (On-policy) KD 는 학생 모델이 생성한 데이터에 교사의 분포를 강제합니다.
과도한 감독 (Overwhelming Supervision): 복잡한 추론 작업에서 학생 모델은 교사의 전체 토큰 분포를 모방하도록 강요받습니다. 이는 제한된 용량을 가진 학생에게 과도한 부담을 주어, 오히려 분포 불일치를 심화시키고 일반화 성능을 저하시킵니다.
학생 중심성 부재: 학생 모델이 자신의 추론 과정을 설명할 수 있는 여지를 주지 않고, 단순히 교사의 패턴을 복사하도록만 강요합니다.

2. 제안 방법: TSD-KD (Token-Selective Dual Knowledge Distillation)

저자들은 **"학생 중심 (Student-centric)"**의 접근법을 제안하며, 중요한 토큰에만 선택적으로 집중하고 학생이 자신의 언어로 추론할 수 있도록 유도하는 TSD-KD 프레임워크를 개발했습니다. 이 방법은 세 가지 핵심 요소로 구성됩니다.

2.1. 간접 증류 (Indirect Distillation) - 선호도 기반

개념: 교사가 학생이 생성한 후보 토큰들에 대해 **선호도 순위 (Preference Ranking)**만 제공하는 방식입니다.
동작:
1. 학생이 각 단계에서 상위 $k$ 개의 후보 토큰을 생성합니다.
2. 교사는 이 후보들만 재평가하여 순위 ( $\pi_t$ ) 를 매깁니다 (교사의 전체 분포를 강제하지 않음).
3. 학생은 Plackett-Luce 모델을 사용하여 자신의 토큰 순위가 교사의 선호도와 일치하도록 학습합니다.
선택적 적용 (Opener): 추론의 초기 단계에서 토큰 엔트로피가 높은 부분 (중요한 분기점, 'Opener') 에만 적용합니다. 나머지 부분은 학생이 자유롭게 추론하도록 허용하여 분포 이동을 줄입니다.

2.2. 직접 증류 (Direct Distillation) - 불확실성 갭 기반

개념: 학생은 불확실하지만 (High Entropy), 교사는 확신하는 (Low Entropy) 토큰에 대해 선택적 분포 매칭을 수행합니다.
동작:
- 학생과 교사의 엔트로피 차이 ( $H_t(p_S) - H_t(p_T)$ ) 가 큰 토큰을 식별합니다.
- 시그모이드 게이트 함수를 사용하여 이러한 토큰에만 KL 발산 (또는 일반화된 JSD) 손실을 적용합니다.
- 학생이 확신하는 토큰에는 증류를 적용하지 않아 학생의 자유로운 추론을 보장합니다.

2.3. 엔트로피 정규화 (Entropy Regularization)

목적: 학생 모델의 추론 신뢰도를 높이기 위해, 가장 불확실한 토큰 (상위 10% 엔트로피) 의 엔트로피를 최소화합니다.
효과: 중간 추론 단계의 불확실성을 줄여 더 안정적이고 신뢰할 수 있는 추론 경로를 유도합니다.

2.4. 최종 손실 함수

$\min_{\theta} \mathbb{E}_{x \sim X} [\alpha L_{Indirect} + L_{Direct} + L_{EM}]$
여기서 $\alpha$ 는 간접 증류의 가중치이며, 세 가지 요소가 상호 보완적으로 작용합니다.

3. 주요 기여 (Key Contributions)

학생 중심 증류 프레임워크: 교사의 전체 분포를 모방하는 대신, 학생이 자신의 추론 과정을 설명할 수 있도록 유도하는 새로운 패러다임을 제시했습니다.
이중 증류 메커니즘: 간접적 선호도 피드백과 직접적 불확실성 기반 분포 매칭을 결합하여, 중요한 토큰에만 집중하는 정밀한 증류를 가능하게 했습니다.
토큰 선택성 (Token-Selectivity): 엔트로피와 불확실성 갭을 기반으로 중요한 토큰 (Opener 및 불확실한 토큰) 만을 선별하여 증류함으로써, 학생 모델의 과적합과 분포 이동을 방지했습니다.
성능 기록: 10 개의 추론 벤치마크에서 SOTA 성능을 달성했으며, 특정 경우 학생 모델이 교사 모델을 능가하는 결과를 보여주었습니다.

4. 실험 결과 (Results)

데이터셋: Qwen2.5 (14B $\to$ 1.5B), Gemma2 (9B $\to$ 2B), Qwen3 (8B $\to$ 1.7B) 모델 쌍을 사용.
벤치마크: GSM8K, MATH, ScienceQA, MBPP, BBH 등 10 가지 복잡한 추론 태스크.
주요 성과:
- 기존 방법 대비 우세: Baseline 학생 모델 대비 최대 54.4% 정확도 향상, 2 위 방법 대비 최대 40.3% 향상.
- 교사 모델 초월: MATH 벤치마크에서 TSD-KD 로 훈련된 1.5B 학생 모델이 14B 교사 모델보다 20.3% 더 높은 성능 (26.1 vs 21.7) 을 기록했습니다.
- 일반성: Qwen2.5, Gemma2, Qwen3 등 다양한 아키텍처에서 일관된 성능 향상을 보였습니다.
- Ablation Study: 간접 증류, 직접 증류 (게이팅), 엔트로피 정규화 세 가지 구성 요소가 모두 결합되었을 때 가장 큰 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 복잡한 추론 작업을 수행하는 소형 언어 모델을 훈련시킬 때, 교사의 전체적인 지식을 무조건 복사하는 것이 아니라, 학생 모델이 스스로 추론할 수 있는 여지를 주면서 중요한 부분 (불확실한 토큰, 초기 분기점) 에만 집중적으로 피드백을 제공하는 것이 핵심임을 증명했습니다.

TSD-KD 는 단순한 모델 압축을 넘어, 학생 모델이 자신의 언어로 추론을 설명하고 (Explain in your own words) 스스로 개선할 수 있는 능력을 키우는 데 성공했습니다. 이는 추론 비용이 높은 복잡한 작업을 저비용 모델로 이전하는 데 있어 새로운 표준을 제시하며, 특히 학생 모델이 교사 모델을 능가할 수 있는 가능성을 보여주었다는 점에서 매우 중요한 의미를 가집니다.