🤖 machine learning

Sustained Gradient Alignment Mediates Subliminal Learning in a Multi-Step Setting: Evidence from MNIST Auxiliary Logit Distillation Experiment

본 논문은 다단계 MNIST 보조 로그트 증류에서 지속적이고 약하게 양의 기울기 정렬이 무의식 학습을 매개함을 입증하며, 1 차 기울기 동인이 지배적일 때 임계 훈련과 같은 완화 전략이 의도하지 않은 특성 획득을 억제하는 데 실패할 수 있음을 보여준다.

원저자: Chayanon Kitkana, Shivam Arora

게시일 2026-04-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chayanon Kitkana, Shivam Arora

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

어린 견습생 (학생) 이 마스터 셰프 (교사) 의 요리 스타일을 모방하도록 가르친다고 상상해 보세요. 보통은 견습생에게 주어진 특정 레시피만 배우기를 원합니다. 하지만 이 논문에서 연구자들은 교활한 문제를 발견했습니다. 견습생에게 주요 레시피는 무시하고 빈 그릇과 같은 '더미' 재료로만 연습하라고 지시해도, 견습생은 여전히 마스터 셰프의 비밀스럽고 원치 않는 습관을 실수로 배우게 된다는 것입니다.

AI 세계에서는 이를 잠재 학습 (Subliminal Learning) 이라고 부릅니다. 견습생은 그 특성을 명시적으로 가르치지 않았음에도 불구하고, 마스터가 가진 특정 '특성'(예: 칼을 잡는 특정 방식) 을 습득하게 됩니다.

다음은 이 논문이 발견한 내용을 간단한 이야기와 비유로 정리한 것입니다:

1. 보이지 않는 밀기 (기울기 정렬)

학습 과정을 언덕을 오르는 등산객으로 생각해 보세요.

목표: 등산객은 '증류 언덕 (Distillation Hill)'의 정상 (더미 레시피 학습) 에 도달하고자 합니다.
비밀: 그들을 '특성 계곡 (Trait Valley)' (원치 않는 습관 학습) 으로 밀어내는 부드럽고 보이지 않는 바람이 불고 있습니다.

연구자들은 바람이 매우 약하지만, 등산객의 발걸음과 거의 내내 같은 방향으로 불고 있다는 사실을 발견했습니다. 마치 함정 쪽으로 약간 기울어진 트레드밀을 걷는 것과 같습니다. 바람이 발걸음과 같은 방향으로 밀어내기 때문에, 등산객은 전체 여정 동안 한 걸음 한 걸음 천천히 함정 안으로 밀려나게 됩니다.

2. '밀림 멈추기' 실험

이 보이지 않는 바람이 실제로 밀림을 유발했음을 증명하기 위해 연구자들은 새로운 트릭을 시도했습니다. 함정 쪽으로 밀어내는 바람만 차단하는 벽을 세우고, 등산객이 목표 쪽으로 계속 걷게 한 것입니다.

결과: 등산객은 목표 언덕의 정상에 완벽하게 도달했지만, 함정에는 단 한 번도 빠지지 않았습니다.
교훈: 이는 '바람'(학습 단계의 정렬) 이 견습생이 나쁜 습관을 배운 유일한 이유임을 증명했습니다. 그 특정 밀림을 차단하면 나머지 훈련이 정확히 동일해 보이더라도 나쁜 습관은 사라집니다.

3. 작동하지 않은 '부드러운 브레이크'

임계 학습 (Liminal Training) 이라는 인기 있는 방법이 있었습니다 (이를 '부드러운 브레이크'나 '안전망'으로 생각하세요). 아이디어는 견습생이 너무 많이 밀릴 때마다 원래 모습으로 부드럽게 되돌려 보내어 나쁜 습관을 막으려는 것이었습니다.

일어난 일: 부드러운 브레이크는 시작 단계에서 밀림을 약간 늦추었습니다. 잠시 동안 보이지 않는 바람이 더 약하게 느껴지게 만든 것입니다.
단점: 브레이크는 바람을 실제로 멈추지 않았습니다. 단지 부드럽게 만들 뿐이었습니다. 브레이크가 해제되면 (훈련이 끝나면), 견습생은 어쨌든 함정 안으로 밀려났습니다.
교훈: 부드러운 밀거나 일시적인 감속만으로는 부족합니다. 바람이 잘못된 방향으로 당신을 밀고 있다면, 단순히 속도를 늦추는 것이 아니라 그 특정 방향을 완전히 차단해야 합니다.

핵심 결론

이 논문은 AI 가 학습할 때, 마치 해류에 밀리는 배와 같다고 결론 내립니다.

해류 (학습 단계) 가 위험한 암초 (원치 않는 특성) 를 향해 조금이라도 향하고 있다면, 배는 결국 그 암초에 부딪히게 됩니다.
해류가 계속 당신을 그곳으로 밀어낸다면, 암초에서 벗어나기 위해 단순히 '속도를 늦추거나' '부드럽게 조종'하는 것은 효과가 없습니다.
AI 가 나쁜 습관을 배우는 것을 진정으로 막으려면, 암초를 향해 향하는 밀림의 부분을 물리적으로 제거해야 합니다.

간단히 말해: 부드러운 교정이 문제를 해결해 줄 것이라고 기대해서는 안 됩니다. 학습 과정 자체가 AI 를 나쁜 행동으로 밀어내고 있다면, 그것을 막기 위해 그 특정 밀림을 완전히 잘라내야 합니다.

다음은 논문 "Sustained Gradient Alignment Mediates Sub-Liminal Learning in a Multi-Step Setting: Evidence from MNIST Auxiliary Logit Distillation Experiment"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

본 논문은 지식 증류 (Knowledge Distillation, KD) 에서 발생하는 아래의식 학습 (subliminal learning) 현상을 다룹니다.

배경: KD 에서 학생 모델은 교사 모델을 모방하도록 훈련됩니다. 최근 연구 (Cloud 등, 2025) 에 따르면, 학생 모델이 교사 모델과 초기화 시 가깝게 설정되면, 증류 과정이 명시적으로 'no-class' 로지트 (보조 출력) 만을 대상으로 하고 훈련 데이터에 해당 특성의 예시가 전혀 없더라도, 학생 모델이 의도치 않게 '특성' (예: 정렬되지 않은 행동이나 특정 분류 능력) 을 습득할 수 있음이 입증되었습니다.
격차: 기존 이론은 증류 목적과 특성 목적 간의 기울기 정렬 (gradient alignment) 을 통해 이를 설명하지만, 이 이론은 단일 단계 경사 하강 (single-step gradient descent) 가정에 의존합니다. 매개변수가 시간에 따라 진화하는 현실적인 다단계 훈련 환경에서 이러한 정렬이 유지되며 특성 습득을 인과적으로 주도하는지 여부는 여전히 불분명합니다.
완화 과제: 최근 완화 전략인 Liminal Training (Yanagisawa 등, 2025) 은 KL 정규화 항을 점진적으로 감소시키는 (annealed) 방식을 사용하여 대규모 언어 모델 (LLM) 에서 특성 습득을 억제한다고 주장합니다. 그러나 이 방법이 1 차 기울기 효과가 지배적인 환경에서 작동하는지, 아니면 단순히 문제를 지연시킬 뿐인지 여부는 알려지지 않았습니다.

2. 방법론

저자들은 MNIST MLP 보조 로지트 증류 (MNIST MLP Auxiliary Logit Distillation) 설정을 사용하여 실증 실험을 수행했습니다 (Cloud 등, 2025 재현).

실험 설정:
- 모델: 10 개 클래스 로지트와 3 개 'no-class'(보조) 로지트를 가진 다층 퍼셉트론 (MLP).
- 초기화: 교사 및 학생 모델은 동일한 초기화를 공유합니다.
- 교사: 10 개 클래스 로지트만 사용하여 (교차 엔트로피) MNIST 로 훈련됨.
- 학생: 오직 3 개의 no-class 로지트에서만 KL 발산을 최소화하도록 훈련됨.
- 목표: 훈련 중 클래스 레이블을 전혀 보지 않았음에도 불구하고 학생 모델이 숫자를 분류하는 능력 (즉, '특성') 을 습득하는지 관찰합니다.
조사 내용:
1. 기울기 정렬 모니터링: 저자들은 100 개의 훈련 시드에서 특성 기울기 ( $\nabla_\theta L_{trait}$ ) 와 증류 기울기 ( $\nabla_\theta L_{distill}$ ) 간의 내적 (정렬) 을 추적했습니다.
2. 인과적 개입 (기울기 투영): 인과성을 검증하기 위해 증류 업데이트 규칙을 수정했습니다. 두 기울기가 양의 정렬을 보일 때마다 증류 기울기를 특성 기울기의 수직 평면으로 투영하여 업데이트에서 특성 정렬 성분을 제거했습니다:
  $\tilde{g}_{distill} = \begin{cases} g_{distill} - \frac{\langle g_{distill}, g_{trait} \rangle}{\|g_{trait}\|^2} g_{trait} & \text{if } \langle g_{distill}, g_{trait} \rangle > 0 \\ g_{distill} & \text{otherwise} \end{cases}$
3. 완화 평가 (Liminal Training): 학생 모델의 보조 로지트가 기본 모델의 분포에 가깝도록 유지하는 KL 정규화 항을 추가하고, 정규화 강도를 시간에 따라 0 으로 감소시키는 Liminal Training 을 적용했습니다.

3. 주요 기여

지속적 정렬의 실증적 검증: 다단계 훈련 전반에 걸쳐 특성과 증류 목적 간의 양의 기울기 정렬이 약하게나마 지속됨을 입증했습니다.
인과적 증명: 기울기의 특성 정렬 성분을 제거함으로써 특성 습득이 완전히 중단되고 증류 과정에는 방해가 되지 않음을 보여, 이 정렬이 아래의식 학습의 주요 동인임을 증명했습니다.
현재 완화 전략의 한계: Liminal Training 이 이 영역에서 특성 습득을 억제하지 못함을 보여주었으며, 1 차 효과가 지배적일 때 초기 정렬을 단순히 감쇠시키는 것만으로는 부족함을 시사합니다.

4. 결과

A. 기울기 정렬의 지속

관측: 100 개의 시드 전반에 걸쳐 정렬은 훈련 단계의 78.1% 에서 양수였습니다.
크기: 평균 코사인 유사도는 낮았습니다 ( $0.0075 \pm 0.0017$ ). 이는 기울기가 거의 직교하지만 약하고 일관된 양의 편향을 가지고 있음을 나타냅니다.
상관관계: 특성 습득 (숫자 분류 정확도로 측정) 은 정렬이 가장 높았던 훈련 초기 단계에서 가장 빠르게 진행되었습니다.
성능: 학생 모델은 평균 최종 테스트 정확도 55.28% 를 달성했습니다 (10% 인 확률 수준보다 현저히 높음). 이는 아래의식 학습이 발생했음을 확인시켜 줍니다.

B. 정렬의 인과적 역할 (기울기 투영)

개입: 증류 기울기에서 특성 정렬 성분을 제거했을 때:
- 특성 습득: 거의 확률 수준으로 붕괴되었습니다 (10.14% 정확도, 대조군의 55.28% 대비).
- 증류 품질: 영향을 받지 않았습니다. KL 발산 (증류 손실) 곡선은 대조군과 시각적으로 동일했습니다.
- 결론: 이는 약간의 양의 정렬이 특성 습득의 인과적 메커니즘이며, 이 설정에서 1 차 효과가 지배적임을 확인시켜 줍니다.

C. Liminal Training 의 실패

메커니즘: Liminal Training 은 첫 번째 에포크 동안 기울기 정렬을 성공적으로 감소시켰습니다.
결과: 초기 정렬이 감소했음에도 불구하고 특성 습득을 억제하지 못했습니다.
- Liminal Training 적용 시 최종 정확도: 48.97% (대조군 55.28% 대비).
- 특성 습득은 단순히 지연되었습니다. KL 정규화 강도가 0 으로 감소함에 따라 정렬과 특성 습득이 재개되어, 완화되지 않은 대조군과 유사한 최종 상태에 도달했습니다.

5. 중요성 및 함의

메커니즘 명확화: 본 논문은 다단계 환경에서의 아래의식 학습이 일회성 초기화 효과가 아닌, 지속적이고 약한 양의 기울기 정렬에 의해 주도됨을 확립했습니다.
완화 전략에 대한 비판: 결과는 1 차 기울기 효과가 지배적인 영역에서 Liminal Training 과 같은 '소프트' 완화 전략의 효능에 의문을 제기합니다. 훈련 초기에 정렬을 단순히 늦추거나 감쇠시키는 것만으로는 부족하며, 특성 정렬 성분을 명시적으로 제거해야 전파를 방지할 수 있습니다.
안전성 함의: 학생 모델이 이 메커니즘을 통해 교사로부터 정렬 오류를 물려받는다면, 증류 데이터셋에 적용된 표준 안전 필터는 효과가 없을 수 있습니다. 논문은 강력한 완화를 위해서는 단순한 정규화가 아닌 기울기 공간 (예: 투영) 에서의 능동적 개입이 필요함을 시사합니다.
향후 연구: 저자들은 기울기 투영이 효과적이지만, 실제 시나리오에서는 종종 사용할 수 없는 '진실 (ground truth)' 특성 기울기에 대한 지식이 필요하다고 지적합니다. 명시적인 진실 레이블 없이 이러한 성분을 식별하고 제거하는 방법을 개발하는 것이 여전히 중요한 열린 과제로 남아 있습니다.