🤖 machine learning

When Context Returns: Toward Robust Internalization in On-Policy Distillation

이 논문은 특권적 문맥(privileged context)을 증류된 학생 모델에 재도입하는 것이 성능을 저해하는 현상인 '문맥 유도 저하(context-induced degradation)'를 식별하고 이를 해결하기 위해, 다양한 도메인에 걸쳐 견고한 내재화와 문맥 제거 가능성을 보장하는 경량 일관성 정규화 도구를 제안한다.

원저자: Xun Wang, Ruishuo Chen, Zhuoran Li, Yu Chen, Longbo Huang

게시일 2026-06-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xun Wang, Ruishuo Chen, Zhuoran Li, Yu Chen, Longbo Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 학생을 마스터 셰프로 키우고 있다고 상상해 보십시오.

과거의 방식 (문제점):
보통 당신은 학생에게 특별한 "비밀 레시피 북"(특권적 문맥/privileged context)을 읽으며 요리하는 모습을 보여줌으로써 가르칩니다. 이 책은 까다로운 식재료를 어떻게 다루는지, 혹은 어떤 풍미를 목표로 해야 하는지를 정확히 알려줍니다. 학생은 이를 지켜보며 배우고, 결국 책 없이도 완벽하게 요리할 수 있을 정도로 요리를 숙달하여 암기하게 됩니다.

하지만 연구진들은 이상한 결함을 발견했습니다. 일단 학생이 레시피를 암기하고 나면, 요리하는 도중에 다시 그 "비밀 레시피 북"을 건네주었을 때 갑자기 혼란에 빠진다는 것입니다. 학생은 과하게 생각하기 시작하며, 만약 기억에 의존해 요리했을 때 저지르지 않았을 실수들을 저지르게 되고, 결과적으로 필요 이상으로 길고 장황한 레시피 카드를 작성하게 됩니다.

연구진은 이를 **"문맥 유도 퇴화(Context-Induced Degradation)"**라고 부릅니다. 이는 마치 교과서를 너무 잘 외운 학생이 시험 중에 책을 펼치게 되면, 정보가 중복되고 혼란스러워지는 바람에 당황하여 모든 것을 잊어버리는 것과 같습니다.

새로운 해결책 (NCA):
저자들은 **무문맥 앵커링(No-Context Anchoring, NCA)**이라는 간단한 해결책을 제안합니다.

이렇게 생각해 보십시오. 훈련 과정에서 선생님은 학생에게 이렇게 말합니다. "먼저 책 없이 이 요리를 해봐. 그리고 네가 무엇을 했는지 정확히 적어봐. 그것이 너의 **앵커(Anchor, 닻)**이다."

그다음 선생님은 말합니다. "이제, 책을 보고 똑같은 요리를 해봐." 하지만 여기에는 규칙이 있습니다: 책이 있을 때의 결과물은 책이 없을 때의 결과물과 반드시 동일해야 한다.

만약 학생이 책 때문에 경로를 이탈하거나 혼란을 겪기 시작하면, 선생님은 부드럽게 그를 "앵커"(책이 없는 버전)로 다시 되돌려 놓습니다. 선생님은 본질적으로 이렇게 말하는 것입니다. "그 책은 이제 네 머릿속의 일부가 되었으니, 무엇을 해야 할지 알기 위해 책을 볼 필요가 없다. 만약 책을 보고 마음을 바꾼다면, 그것은 잘못된 것이다."

이 방법을 시도했을 때 어떤 일이 일어났을까요?
연구진은 의료 질문 답변부터 텍스트 기반 어드벤처 게임에 이르기까지 12가지의 서로 다른 시나리오에서 이 방법을 테스트했습니다. 결과는 다음과 같았습니다:

패닉 방지: 거의 모든 경우에서 "패닉"(퇴화) 현상이 멈췄습니다. 문맥(책)이 다시 도입되었을 때, 모델은 더 나빠지지 않고 안정적인 상태를 유지했습니다.
더 나은 기억력: 놀랍게도, 훈련 중에 책을 무시하도록 강제한 것이 책 없이 요리할 때의 능력까지 더 향상시켰습니다. 책 때문에 주의가 분산되는 것을 막음으로써, 모델이 핵심 과업을 더 깊이 있게 학습하게 된 것으로 보입니다.
더 짧아진 답변: 이전에는 모델이 책을 보면 답변을 길고 장황하게 쓰는 경향이 있었습니다. 하지만 이 새로운 방법을 통해 모델은 답변을 늘리지 않고 핵심만을 바로 전달하게 되었습니다.
"두뇌" 점검: 연구진은 모델의 "두뇌"(은닉층) 내부를 살펴보았습니다. 그 결과, 새로운 방법을 사용했을 때 책이 있든 없든 모델의 내부 상태가 거의 동일하다는 것을 발견했습니다. 정보가 모델의 구조 자체에 진정으로 흡수되어, 외부의 책이 불필요해진 것입니다.

세 가지 유형의 학생들:
연구진은 책이 재도입되었을 때 나타나는 세 가지 반응 유형을 관찰했습니다:

유형 A (혼란형): 책이 없을 때는 훌륭했지만, 책이 등장하자 오히려 실력이 떨어지는 학생. (이것이 가장 흔한 문제였으며, 새로운 방법이 이를 해결했습니다.)
유형 B (학습형): 여전히 책이 있어야 잘 해내는 학생. 즉, 아직 레슨을 완전히 익히지 못한 상태입니다.
유형 C (마스터형): 이미 너무 숙련되어 있어서 책의 유무가 상관없는 학생.

핵째 요점:
이 논문은 단순히 모델에게 "치트 시트(컨닝 페이퍼)"를 사용하는 스승을 복제하도록 가르치는 것만으로는 충분하지 않다는 것을 보여줍니다. 모델을 진정으로 견고하게 만들려면, 그 치트 시트가 자신의 마음속에 들어와 있다는 것을 가르쳐야 합니다. 나중에 치트 시트를 다시 도입하더라도 모델의 행동은 변하지 않아야 합니다. 이 새로운 방법은 모델이 치트 시트가 있든 없든 일관되고 차분한 상태를 유지하도록 보장하는, 가볍고 쉽게 추가할 수 있는 규칙입니다.

기술 요약: 강건한 내부화를 향한 온-폴리시 증류 (On-Policy Distillation)

1. 문제 정의

최근 온-폴리시 증류(On-Policy Distillation, OPD)의 발전은 학생 모델이 특권적 컨텍스트(예: 시스템 프롬프트, 작업 힌트 또는 게임 상태 설명)를 파라미터 내로 내부화하여, 추론 시 해당 컨텍스트 없이도 우수한 성능을 발휘할 수 있게 하였다. 그러나 본 논문은 **컨텍스트 유발 퇴보(context-induced degradation)**라고 명명된, 기존에 연구되지 않았던 현상을 식별한다.

내부화된 지식이 컨텍스트를 불필요하게 만들 것이라는 직관(항등 연산으로서의 직관)과 달리, 저자들은 증류된 학생 모델에 특권적 컨텍스트를 다시 도입했을 때 오히려 성능이 저하되고 응답 길이가 늘어나는 현상을 관찰하였다. 이는 컨텍스트가 없는 상태에서도 모델이 정답을 맞히는 인스턴스에서도 발생한다. 이러한 현상은 표준 OPD가 오직 특권적 충실도(privileged fidelity)(컨텍스트가 조건화된 교사의 출력과 일치하는 것)만을 최적화할 뿐, 컨텍스트가 존재할 때의 학생 모델의 행동에 대해서는 아무런 제약을 가하지 않기 때문에 발생한다. 결과적으로 학생 모델은 컨텍스트 제거 가능성(context removability), 즉 특권적 컨텍스트의 제공 여부와 관계없이 모델의 출력이 안정적으로 유지되는 성질을 달성하지 못한다.

저자들은 증류 후의 컨텍스트 상호작용을 세 가지 체제로 분류한다:

체제 A (Regime A): 컨텍스트 없이 수행할 때는 성능이 좋으나, 컨텍스트를 재도입하면 정확도가 크게 떨어지고 높은 "해악률(harm rate)"(정답을 오답으로 바꾸는 비율)을 보인다. 실험에서 가장 흔하게 나타나는 체제이다.
체제 B (Regime B): 컨텍스트가 여전히 유용한 스캐폴드(scaffold) 역할을 수행하며, 이는 불완전한 내부화를 의미한다.
체제 C (Regine C): 학생 모델이 컨텍스트를 성공적으로 내부화하였으며, 컨텍스트 유무와 관계없이 성능이 안정적이다.

2. 방법론: 무-컨텍스트 앵커링 (No-Context Anchoring, NCA)

컨텍스트 유발 퇴보를 해결하기 위해, 저자들은 경량 일관성 정규화 기법인 **무-컨텍스트 앵커링(NCA)**을 제안한다. 핵심 아이디어는 컨텍스트가 없는 뷰( $q_x$ )를 앵커로 취급하여, 컨텍스트가 조건화된 학생의 출력( $q_c$ )이 $q_x$ 와 일관성을 유지하도록 강제하는 것이다.

목적 함수

표준 OPD는 학생의 무-컨텍스트 출력과 교사의 컨텍스트 조건부 분포 사이의 KL 발산을 최소화한다:
$\mathcal{L}_{OPD} = \mathbb{E}_{x \sim D} [\text{KL}(q_x \parallel f(y \mid x, c))]$

NCA는 여기에 다음과 같은 일관성 항을 추가한다:
$\mathcal{L} = \mathcal{L}_{OPD} + \beta \cdot \mathcal{L}_{NCA}$
여기서 $\mathcal{L}_{NCA}$ 는 다음과 같이 정의된다:
$\mathcal{L}_{NCA} \triangleq \text{KL}(\text{sg}[g_\theta(\cdot \mid x)] \parallel g_\theta(\cdot \mid x, c))$

주요 설계 선택 사항

Stop-Gradient 앵커링: 무-컨텍스트 뷰 $q_x$ 는 stop-gradient 연산자(sg)를 통과한다. 이는 $q_x$ 가 오직 기본 OPD 손실로부터만 그래디언트를 받고, $q_c$ 는 오직 NCA 손실로부터만 그래디언트를 받도록 보장한다. 이를 통해 두 목적 함수 사이의 그래디언트 경쟁을 제거한다.
Forward KL 발산: 저자들은 역(reverse) KL 대신 $\text{KL}(q_x \parallel q_c)$ (forward KL)를 선택하였다. 이 선택은 "모드 커버링(mode-covering)" 특성을 가져 $q_c$ 가 $q_x$ 의 모드를 붕괴시키는 것을 방지한다. 또한, 기대값이 $q_x$ 하에 놓이므로, $q_c$ 를 위한 별도의 롤아웃(rollout) 없이도 OPD를 위해 생성된 온-폴리시 샘플을 재사용할 수 있다.
계산 효율성: NCA는 훈련 단계당 단 한 번의 추가적인 순방향 패스(forward pass)(즉, $q_c$ 를 계산하기 위함)만을 요구한다. $q_x$ 의 로짓(logits)은 계산 그래프에서 분리되며, 온-폴리시 시퀀스가 재사용되므로 오버헤드가 미미하다.

3. 실험 설정

저자들은 다음을 포함하는 12가지 구성에 대해 NCA를 평가하였다:

도메인: 시스템 프롬프트 QA (MedMCQA, Safety 데이터셋) 및 텍스트 게임 (Sokoban, FrozenLake).
모델: 다양한 Llama-3 및 Qwen 모델 (1.7B에서 8B 파라미터 범위), 자기 증류(self-distillation) 및 교차 모델 증류(cross-model distillation) 시나리오 모두 포함.
지표: 컨텍스트 유무에 따른 정확도/승률, 해악률(정답을 오답으로 바꾸는 확률), Both-Correct/Won 비율, 상대적 응답 길이 변화.

4. 주요 결과

12가지 설정 전반에 걸쳐 NCA는 다음과 같은 효과를 입증하였다:

컨텍스트 유발 퇴보 완화: NCA는 12개 설정 중 11개에서 컨텍스트 유발 해악을 감소시켰다. 체제 A(퇴보가 심각했던 설정)에서 NCA는 컨텍스트 재도입 시 발생하는 정확도 저하를 유의미하게 줄였다.
안정성 향상: NCA는 "BothCorrect" 또는 "BothWon" 비율을 일관되게 높였으며, 이는 모델이 두 뷰(view) 모두에서 올바른 행동을 유지함을 나타낸다.
응답 길이 팽창 제거: 표준 OPD는 컨텍스트가 재도입될 때 모델이 훨씬 긴 응답을 생성하게 만드는 경우가 많았다(최대 +39.5% 길이 증가). NCA는 대부분의 설정에서 이러한 팽창을 효과적으로 제거하여 길이 변화를 거의 제로에 가깝게 줄였다.
무-컨텍스트 성능 향상: 12개 설정 중 7개에서 NCA는 기본 훈련 목적(무-컨텍스트 정확도)을 0.6~3.6 퍼센트 포인트 개선하였다. 저자들은 이를 두 뷰 사이의 상충하는 행동을 수용하려는 파라미터 업데이트를 방지하는 정규화 역할을 하는 일관성 제약 덕분이라고 분석한다.
경계 사례: 한 가지 체제 B 설정(FrozenLake, 교차 모델)에서는 NCA가 해악을 약간 증가시켰는데, 이는 컨텍스트가 여전히 고유하고 내부화되지 않은 정보를 담고 있을 때, 엄격한 제거 가능성을 강제하는 것이 안정성을 위해 컨텍스트 조건부 성능을 일부 희생할 수 있음을 시사한다.

5. 메커니즘 분석

논문은 NCA가 어떻게 컨텍스트 제거 가능성을 달성하는지 설명하기 위해 Sokoban 작업에 대한 메커니즘 사례 연구를 제공한다:

표현 레벨 (Representation Level): 은닉 상태(hidden state) 분석 결과, 표준 OPD는 컨텍스트 뷰와 무-컨텍스트 뷰 사이의 발산을 줄였으나 중간 및 후기 레이어에서 눈에 띄는 격차가 남아 있었다. 반면, NCA는 모든 레이어에서 거의 완벽한 코사인 유사도( $\ge 0.997$ )를 유지하였으며, 이는 컨텍스트 제거 가능성이 표현 레벨에서 달성됨을 확인시켜 준다.
그래디언트 정렬 (Gradient Alignment): 표준 OPD에서 증류 목적과 컨텍스트 조건부 뷰를 위한 그래디언트는 거의 직교(orthogonal)하였다. NCA는 컨텍스트를 활용한 증류와 컨텍스트에 대한 불변성을 유지하는 힘 사이의 균형을 능동적으로 맞추는 새로운 그래디디언트 방향을 도입한다.
파라미터 업데이트: OPD와 NCA 모두 얕은 레이어(특히 $k\_proj$ 및 $q\_proj$ )에 파라미터 업데이트가 집중된다. 그러나 NCA에 의해 구동되는 특정 업데이트는 OPD와 구별되는 특징을 가지며, 이는 컨텍스트 제거 가능성이 주로 OPD 단독으로는 생성하지 못하는 얕은 레이어의 지식 표현 수정(modification)을 통해 달성됨을 시사한다.

6. 의의 및 주장

저자들은 자신들의 연구가 특권적 컨텍스트 증류에 대한 평가 패러다임을 전환한다고 주장한다. 이들은 강건한 내부화를 위해서는 단순히 교사의 행동을 맞추는 것(특권적 충실도)뿐만 아니라, **컨텍스트 제거 가능성(context removability)**을 확보하는 것이 필요하다고 강조한다.

독창성: 특권적 컨텍스트를 재도입했을 때 모델의 성능이 저하되는 현상을 식별하고 이를 해결한 최초의 연구이다.
실용성: 제안된 방법(NCA)은 단 한 번의 순방향 패스와 표준 일관성 정규화만을 요구하는 매우 단순한 방식임에도 불구하고, 주요 증류 목표를 희생하지 않으면서 퇴보 문제를 효과적으로 해결한다.
일반성: 이 방법은 다양한 모델 제품군, 작업, 그리고 증류 설정(자기 및 교차 모델) 전반에서 성능을 개선한다.

본 논문은 결론적으로, 증류된 모델을 평가할 때 무-컨텍스트 성능뿐만 아니라 컨텍스트 재도입에 대한 강건성(robustness) 또한 평가할 것을 권고하며, 이를 통해 내부화된 지식이 실수나 의도적인 컨텍스트 제공 시 리스크가 되지 않도록 보장해야 한다고 촉구한다.