🤖 machine learning

One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context

이 논문은 소프트 프롬프트 특권 컨텍스트를 통한 멀티태스크 온폴리시 증류(Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context)를 소개하며, 이는 고정된 백본 모델과 태스크별 학습 가능한 소프트 프롬프트를 교사로 활용하여 단일 학생 모델이 치명적 망각을 겪거나 전체 가중치 미세 조정을 요구하지 않고도 여러 태스크의 지식을 병렬적으로 효율적으로 흡수할 수 있도록 하는 방법이다.

원저자: Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

게시일 2026-07-22

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 약간은 덜렁대는 학생에게 복잡한 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이 학생은 '대규모 언어 모델(LLM)'입니다. 이 모델은 인터넷에 있는 거의 모든 것을 읽었으며 이야기를 쓰고, 질문에 답하고, 수학 문제를 풀 수 있는 컴퓨터 프로그램입니다. 하지만 때때로 이 초천재적인 모델들도 막히거나 어처l한 실수를 하곤 합니다. 이를 해결하기 위해 과학자들은 '증류(distillation)'라고 불리는 기술을 사용합니다. 이것은 마치 마스터 셰프(선생님)가 주니어 요리사(학생)를 레시피를 통해 지도하는 것과 같습니다. 학생은 단순히 완성된 요리를 복사하는 것이 아니라, 요리의 결과물이 아닌 요리의 과정, 즉 모든 칼질, 젓기, 맛보기를 관찰하며 배웁니다.

오랫동안 이 AI 학생들을 가르치는 가장 좋은 방법은 선생님이 완벽한 답안을 작성하여 학생에게 보여주는 것이었습니다. 하지만 여기에는 숨겨진 함정이 있었습니다. 선생님이 실제로 단계별로 문제를 풀기보다는, 먼저 답을 추측한 다음 그 답을 정당화하기 위해 이야기를 지어낼 때가 있었던 것입니다. 그러면 학생도 이 나쁜 습관을 배우게 됩니다. 또 다른 방법은 선생님의 지능(내부 가중치) 전체를 변경하여 더 똑똑하게 만드는 것이었지만, 이는 선생님이 새로운 작업에 집중하는 동안 시 쓰기나 대화 같은 다른 일을 하는 법을 잊어버리게 만드는 경우가 많았습니다. 과학자들이 던져온 큰 질문은 이것입니다. 어떻게 하면 올바른 경로를 보여줄 만큼 똑똑하면서도, 기존의 기술을 잊어버리거나 정답지를 훔쳐보며 속임수를 쓰지 않을 만큼 안정적인 선생님을 만들 수 있을까?

이 논문은 PROMPTSD(Prompt-based On-Policy Soft-Distillation)라는 영리한 해결책을 소개합니다. 미국과 싱가포르의 대학들로 구성된 저자 팀은, 선생님과 학생이 거의 동일하지만 선생님의 지시문 앞에 아주 작고 보이지 않는 '마법의 메모'가 붙어 있는 형태의 모델을 제안합니다.

이것이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다. 학생과 선생님이 똑같은 뇌와 성격을 공유하는 쌍둥이라고 상상해 보세요. 보통 학생에게 새로운 기술을 가르치기 위해, 당신은 선생님에게 완전히 새로운 안경을 씌워주거나(뇌를 변경함) 정답이 적힌 치트 시트를 줄 수도 있습니다(정답지를 줌). 두 방법 모두 문제가 있습니다. 새로운 안경은 선생님이 다른 것을 보는 법을 잊게 만들고, 치트 시트는 선생님을 게으르게 만들어 문제를 해결하는 대신 답을 정당화하게 만듭니다.

PROMPTSD는 다르게 행동합니다. 그것은 선생님에게 **소프트 프롬프트(soft prompt)**를 제공합니다. 이것은 "기억해, 이 특정 수학 문제에 대해서는 분수부터 먼저 생각해"라고 적힌 아주 작고 보이지 않는 포스트잇 같은 것입니다. 이 메모는 단어가 아닌 숫자로 이루어져 있으며, 선생님과 학생 사이에서 변하는 유일한 요소입니다. 선생님의 뇌는 얼어붙은 듯 그대로 유지되며 학생과 정확히 일치합니다. 선생님은 정답지를 보고 있는 것이 아니기 때문에, 올바른 경로를 생성하기 위해 실제로 문제를 생각해서 풀어내야만 합니다. 또한 선생님의 뇌가 재작성되지 않았기 때문에, 다른 일을 하는 법을 잊어버리지 않습니다.

연구진은 이 아이디어를 Qwen3-1.7B-Base와 Phi-4-mini-instruct라는 모델로 테스트했습니다. 그들은 이 모델들에게 과학, 도구 사용(계산기나 검색 엔진 등), 생물학, 수학이라는 네 가지 기술을 가르쳤습니다. 그들은 자신들의 '마법의 메모' 선생님이 믿기 힘들 정도로 효과적이라는 것을 발견했습니다. 단일 작업에서 학생은 선생님이 완전히 재학습되었을 때와 마찬가지로 잘 학습했을 뿐만 아니라, 전체 뇌의 100%를 조정해야 하는 전체 재학습과 달리 단 0.05%의 파라미터만을 조정했기 때문에 훨씬 더 빠르게 학습했습니다.

더욱 인상적인 것은, 그들이 학생에게 네 가지 기술을 동시에 가르치려고 시도했다는 점입니다. 보통 한 번에 너무 많은 것을 배우려고 하면 예전에 배운 것을 잊어버리는 문제(캐타스트로픽 포게팅, 파괴적 망각)가 발생합니다. 하지만 PROMPTSD 선생님은 이러한 작은 작업별 메모만을 사용했기 때문에, 학생은 혼란을 겪거나 일반적인 지능을 잃지 않고 네 명의 서로 다른 선생님으로부터 지식을 동시에 흡수할 수 있었습니다. 실제로 Qwen3-1.7B-Base 모델에서 이 멀티태스킹 접근 방식은 평균 점수 56.2를 기록하며 다른 모든 방법을 제치고 승리했습니다.

논문은 몇 가지 흔한 아이디어들을 명시적으로 배제합니다. 단순히 선생님에게 정답을 주는 것(예: "Gold Answer" 선생님)이 오히려 학생에게 해가 된다는 것을 보여줍니다. 왜냐하면 선생님이 답을 도출하는 대신 답을 정당화하기 때문입니다. 또한 선생님을 훨씬 더 크게 만드는 것(예: 4B 또는 8B 파라미터 모델 사용)이 항상 도움이 되는 것은 아니라는 점도 시사합니다. 때로는 올바른 "사고 패턴"을 가진, 학생과 크기가 같은 선생님이 더 낫습니다. 나아가, 강화 학습(시행착오를 통해 배우는 방법)은 학생이 이미 가진 기술을 날카롭게 다듬는 데는 좋지만, 완전히 새로운 지식을 처음부터 가르치는 데는 적합하지 않다는 것을 발견했습니다.

저자들은 실험을 여러 번 수행하고 숫자를 주의 깊게 확인했기 때문에 이 결과에 대해 매우 확신하고 있습니다. 그들은 학생의 사고가 선생님과 얼마나 겹치는지 정확하게 측정했으며, 자신들의 방법이 완벽한 중첩을 만들어냈음을 발견했습니다. 즉, 배울 수 있을 만큼 충분히 겹치되, 새로운 것을 발견할 여지가 없을 정도로 과하게 겹치지는 않는 수준입니다. 또한 그들은 자신들의 방법이 모델을 재학습시켜 일반적인 능력을 잊게 만드는 "SFT 트랩"을 피한다는 것을 증명했습니다.

결론적으로, PROMPTSD는 AI를 가르치는 비결이 반드시 선생님을 더 크게 만들거나 정답을 주는 데 있는 것이 아님을 시사합니다. 대신, 선생님에게 아주 작고 유연한 자극인 '소프트 프롬프트'를 주어, 정체성을 바꾸지 않으면서도 사고를 가이드하는 것이 핵심입니다. 이를 통해 단 한 명의 학생이 여러 명의 서로 다른 선생님으로부터 동시에 배울 수 있으며, 자신의 정체성을 잃지 않고도 다양한 기술의 달인이 될 수 있습니다. 이는 마치 매 과목마다 당신의 귀에 올바른 전략을 속삭여 주는 개인 튜터를 두는 것과 같습니다. 단, 그 튜터는 당신의 뇌를 다시 쓰거나 시험 답안을 훔쳐보게 만들지 않습니다.

기술 요약: PROMPTSD

문제 정의

온폴리시 자기 증류(On-policy self-distillation, OPSD)는 학생 모델과 동일한 백본을 공유하며 자신의 롤아웃(rollout)을 감독하는 교사 모델을 사용하여 대규모 언어 모델(LLM)에 새로운 기술을 가르치는 것을 목표로 합니다. 그러나 기존의 교사 구축 방식은 다음과 같은 중대한 구조적 한계를 가집니다:

관찰 기반 교사(예: 골드 답변이나 데모를 입력 컨텍스트로 주입하는 방식)는 **사후 합리화(post-hoc rationalization)**를 유발합니다. 골드 답변( $y_{gold}$ )을 조건으로 설정함으로써, 교사는 추론 과정을 도출하는 대신 이미 결정된 결과를 정당화하게 되며, 이는 추론 시 골드 답변을 사용할 수 없는 상황에서 학생이 물려받게 되는 실패 모드입니다.
가중치 수정형 교사(예: Full Fine-Tuning(FFT) 또는 LoRA)는 **분포 드리프트(distributional drift)**와 "침입 차원(intruder dimensions)"을 축적합니다. 이들은 새로운 지식을 주입할 수는 있지만, 모델의 표현 기하학(representational geometry)을 왜곡하여 태스크를 순차적으로 적용할 때 일반적인 능력에 대한 파괴적 망각을 초래합니다.
RL 튜닝된 교사는 새로운 능력을 주입하기보다는 기존의 잠재적 행동을 증폭시키는 경우가 많으며, 보편적으로 사용 가능한 태스크별 검증기(verifier)를 필요로 합니다.

핵심 과제는 세 가지 요구 사항을 동시에 만족하는 교사 구축 방법을 찾는 것입니다: (D1) 사고 패턴 일관성(학습 신호가 흡수될 수 있도록 학생의 가중치를 공유함), (D2) 능력 격차 흡수(새로운 태스크 지식을 인코딩함), (D3) 사후 합리화 방지(골드 답변을 조건으로 설정하지 않음).

방법론: PROMPTSD

저자들은 가중치 수정이나 입력 측 컨텍스트 주입 대신 **소프트 프롬프트 튜닝(soft-prompt tuning)**을 통해 교사를 구축하는 프레임워크인 PROMPTSD(Prompt-based On-policy Distillation)를 제안합니다.

1. 소프트 프롬프트 교사 구축

각 태스크 $k$ 에 대해, 학습 가능한 연속 임베딩 집합 $P_k$ (소프트 프롬프트)를 동결된(frozen) 학생 백본 $\pi_\theta$ 의 입력 임베딩 레이어에 부착합니다.

훈련: 프롬프트 $P_k$ 는 $(x, y_{gold})$ 쌍에 대해 표준 지도 미세 조정(SFT)을 통해 다음 토큰 크로스 엔트로피를 최소화하도록 최적화됩니다.
결과: 이를 통해 학생과 모든 트랜스포머 가중치를 공유하지만 입력 측 조건부만 다른 태스크 특화 교사 $\pi_{\theta+P_k}$ 가 생성됩니다. 프롬프트는 모델의 내부 기하학을 변경하지 않고( $\Delta W = 0$ ) 태스크 지식을 인코딩하는 매개변수적 형태의 관찰 역할을 합니다.

2. 온폴리시 증류 (On-Policy Distillation)

학생 $\pi_\theta$ 는 온폴리시 역(reverse)-KL 발산 최소화를 통해 업데이트됩니다:

학생은 프롬프트 $x$ 가 주어졌을 때 롤아웃 $Y_s$ 를 생성합니다.
교사 $\pi_{\theta+P_k}$ (동결된 프롬프트 $P_k$ 포함)는 학생이 방문한 것과 동일한 상태(states)에 대해 토큰별 감독 분포를 제공합니다.
결정적으로, 교사는 증류 과정 중에 골드 답변을 보지 않습니다. 오직 소프트 프롬프트 $P_k$ 와 입력 $x$ 만을 봅니다. 이는 사후 합리화를 제거합니다.

3. 병렬 멀티 태스크 확장

PROMPTSD는 $K$ 개의 태스크를 하나의 코퍼스로 병합함으로써 멀티 태스크 환경으로 확장됩니다.

라우팅: 병합된 코퍼스의 각 예시는 태스크 태그 $k$ 를 유지합니다. 훈련 중에 예시는 그에 대응하는 소프트 프롬프트 교사 $\pi_{\theta+P_k}$ 로 라우팅됩니다.
병렬성: 모든 $K$ 개의 소프트 프롬프트는 동시에 훈련되고 사용 가능합니다. 학생은 모든 교사로부터 병렬로 학습하며, 이를 통해 순차적 학습과 관련된 파괴적 망각을 피합니다.
추론: 모든 소프트 프롬프트는 폐기됩니다. 배포되는 모델은 베이스 백본 $\pi_\theta$ 뿐이며, 파라미터나 레이턴시 오버헤드가 발생하지 않습니다.

주요 기여

새로운 교사 아키텍처: 본 논문은 프롬프트 튜닝을 통해 구축된 최초의 온폴리시 증류 교사를 소개합니다. 이 설계는 효과적인 OPD를 위한 세 가지 요구 사항을 독특하게 만족합니다: 사고 패턴 일관성 유지(가중치 공유), 능력 흡수 가능(학습 가능한 프롬프트), 그리고 사후 합리화 방지(골드 답변을 컨텍스트에 포함하지 않음).
병렬 멀티 태스크 증류: 본 프레임워크는 단일 학생을 여러 태스크 특화 소프트 프롬프트 교사로 동시에 라우팅하는 방법을 보여주며, 파괴적 망각 없이 우수한 멀리 태스크 성능을 달ien합니다.
원칙의 실증적 검증: 저자들은 광범위한 실험을 통해 OPD를 위한 두 가지 설계 원칙을 확립합니다:
- 교사 패밀리는 태스크 유형과 일치해야 합니다(능력 주입에는 SFT 기반 교사, 인출(elicitation)에는 RL 기반 교사).
- 교사의 규모보다 교사가 새로운 지식을 담고 있는지가 더 중요합니다.

실험 결과

실험은 Qwen3-1.7B-Base와 Phi-4-mini-instruct를 대상으로 Science, Tool Use, Biology, Math의 네 가지 태스크에서 수행되었습니다.

단일 태스크 성능: 단일 태스크 변형(PT 교사를 사용한 OPD)은 훈련 파라미터 수가 수십 배 적음에도 불구하고 FFT 및 LoRA 베이스라인과 대등하거나 이를 능가하는 성능을 보였습니다. 특히 Biology 태스크에서 학생은 **62.0%**의 정확도를 달성하여, 자신의 교사(58.0%)를 능가하고 LoRA 기반 학생보다 훨씬 뛰어난 성과를 냈습니다.
멀티 태스크 성능: 멀티 태스크 PROMPTSD는 가장 강력한 단일 태스크 베이스라인보다 +2.3포인트 높고, 크로스 사이즈 증류 베이스라인보다 +7.7포인트 높은 최고 평균 정확도(Qwen3-1.7B-Base 기준 56.2%)를 달성했습니다.
일반 능력 유지: 순차적 SFT가 파괴적 망각으로 인해 일반 벤치마크(MMLU-Pro, HellaSwag, TruthfulQA) 성능을 저하시키는 것과 달리, PROMPTSD는 태스크별 정확도를 개선하면서도 일반 능력을 보존했습니다.
절제 연구(Ablation Studies):
- 프로프트 길이: 긴 프롬프트(예: $L=400$ )는 일반적으로 Math 및 Tool Use와 같은 복잡한 태스크에서 성능을 향상시켰으나, 수확 체감 현상이 관찰되었습니다.
- 발산(Divergence): 역(reverse)-KL(모드 탐색형)이 Math 추론에 더 우수한 것으로 나타났으며, 지식 집약적 태스크에서는 다른 발산 방식들도 유사한 성능을 보였습니다.
- 교사의 기여: '하나의 교사를 제외(Leave-one-teacher-out)' 분석 결과, Math의 경우 이득이 특정 Math 교사보다는 교차 태스크 노출(인출)에서 주로 왔으며, Science와 Biology의 경우 전용 교사가 필수적임이 밝혀졌습니다.

의의 및 주장

본 논문은 PROMPTSD가 기존 교사 설계의 트레이드오프를 해결한다고 주장합니다. 소프트 프롬프트를 "매개변수적 특권 컨텍스트(parametric privileged context)"로 사용함으로써, 학생이 가중치 업데이트(FFT/LoRA)로 인한 오프 매니폴드(off-manifold) 드리프트나 골드 답변 조건부 설정으로 인한 추론 지름길 없이 새로운 태스크 지식을 흡수할 수 있게 합니다.

저자들은 PROMPTSD를 지속적 학습에서의 "SFT 함정"에 대한 해결책으로 제시하며, 단일 학생이 일반 능력을 유지하면서 여러 전문화된 교사로부터 병렬로 지식을 흡수할 수 있음을 입증합니다. 이 연구는 능력 주입 태스크의 경우, 베이스 모델의 가중치를 수정함으로써 발생하는 파괴적 망각을 피할 수 있기 때문에 프롬프트 튜닝된 교사가 전체 미세 조정(full fine-tuned)된 교사보다 더 효과적인 증류 소스가 될 수 있음을 시사합니다.

논문은 실험 범위가 최대 1.7B 파라미터 모델로 제한되었고, 개방형 생성, 다국어 또는 에이전트 설정은 다루지 않았음을 인정하며 범위를 겸손하게 설정했습니다. 또한 세 가지 요구 사항에 대한 운영적 정의가 공식적으로 증명된 것이 아니라 경험적으로 검증된 것임을 명시하고 있습니다.