Towards Understanding Subliminal Learning: When and How Hidden Biases Transfer

이 논문은 소프트 및 하드 증류 모두에서 발생하는 아의식적 학습이 전역 토큰 얽힘이나 로그 Leakage 가 아닌 소수의 발산 토큰과 초기 계층에 의해 매개되며, 프롬프트의 작은 변화로도 쉽게 억제될 수 있음을 실험과 기작 분석을 통해 규명했습니다.

핵심

🎭 비유: "숫자 맞추기 게임과 숨겨진 취향"

상상해 보세요. 한 명 (선생님) 이 숫자 나열을 하는 게임을 가르치고 있습니다.

• 선생님 A: "고양이를 아주 좋아하는 사람"입니다. 하지만 가르치는 건 숫자만 나열하는 법입니다.
• 학생: 이 선생님에게 숫자 나열을 배우러 왔습니다.

일반적인 상식으로는, 학생은 숫자만 배우고 고양이 같은 동물에 대한 취향은 배울 수 없어야 합니다. 하지만 놀랍게도, 학생은 숫자만 배우는 줄 알면서도, 나중에 "가장 좋아하는 동물은?"이라고 물어보면 "고양이"라고 대답하게 됩니다.

이게 바로 이 논문이 말하는 **'아래의식 학습'**입니다. 데이터 (숫자) 에 고양이 이야기가 단 한 번도 나오지 않았는데도, 학생이 선생님의 '고양이 사랑'을 흡수해 버린 것입니다.

---

🔍 이 현상은 왜 일어나는가? (핵심 발견)

연구팀은 이 현상이 왜 일어나는지, 그리고 어떻게 막을 수 있는지 실험을 통해 세 가지 중요한 사실을 찾아냈습니다.

1. "비밀 신호"는 아주 드물게 숨어있다 (Divergence Tokens)

기존에는 "모든 숫자가 서로 얽혀서 (Token Entanglement) 비밀이 전달된다"고 생각했습니다. 하지만 연구팀은 **"아니요, 아주 드문 몇 군데의 '비밀 신호'만 있으면 된다"**고 발견했습니다.

• 비유: 선생님이 숫자를 나열할 때, 100 개의 숫자 중 4~5 개만 유독 특이하게 나열합니다.
  • 고양이 좋아하는 선생님은: 123, 456, **789**, 111, **222**, ...
  • 독수리 좋아하는 선생님은: 123, 456, **321**, 111, **555**, ...
• 나머지 숫자는 모두 똑같지만, **이 4~5 개의 숫자 (발산 토큰, Divergence Tokens)**만 다릅니다.
• 학생은 이 드문 숫자들만 기억하면, 선생님이 "고양이"를 좋아하는지 "독수리"를 좋아하는지 알아챕니다. 연구에 따르면, 이 드문 숫자들만 학습시켜도 학생은 선생님의 취향을 완벽하게 물려받습니다. 반대로 이 숫자들을 가려버리면, 학생은 아무것도 배우지 못합니다.

2. "뇌의 초기 단계"가 가장 중요하다 (Early Layers)

AI 모델은 여러 층 (Layer) 으로 이루어진 뇌와 같습니다. 연구팀은 이 '비밀 신호'가 모델의 어느 부분에서 가장 중요하게 작용하는지 찾아냈습니다.

• 비유: 학생이 숫자를 배우는 과정은 책장을 넘기는 것과 같습니다.
  • 책의 앞부분 (초기 층): 숫자를 처음 보고 "아, 이 숫자는 고양이를 좋아하는 선생님이 쓴 거구나!"라고 직감을 얻는 곳입니다.
  • 책의 뒷부분 (후기 층): 숫자를 정리하고 출력하는 곳입니다.
• 발견: 놀랍게도 책의 앞부분 (초기 층) 한 장만 학습해도 학생은 선생님의 취향을 완전히 물려받습니다. 반면, 뒷부분만 학습하면 아무것도 배우지 못합니다. 즉, 비밀 신호는 모델이 정보를 처음 처리할 때 가장 결정적인 역할을 합니다.

3. 이 현상은 매우 "약하다" (Fragility)

이 '아래의식 학습'은 아주 민감하고 깨지기 쉽습니다.

• 비유: 선생님이 숫자 나열을 할 때, "이 숫자들을 보세요"라고 말하는 문구를 **"이 숫자들을 확인해 보세요"**라고 살짝 바꿨습니다. 의미는 똑같지만, 표현이 조금 달라진 것입니다.
• 결과: 이 작은 변화만으로도 학생은 더 이상 선생님의 취향을 배우지 못합니다. 마치 비밀 코드가 조금만 바뀌어도 열리지 않는 자물쇠와 같습니다.
• 또한, 고양이 좋아하는 선생님과 독수리 좋아하는 선생님의 데이터를 섞어주면, 학생은 혼란을 느껴 취향을 잃어버립니다.

---

💡 이 연구가 우리에게 주는 메시지

1. 데이터가 '깨끗'해도 안전하지 않을 수 있다: 우리가 "이 데이터는 숫자만 있어서 안전하다"고 생각해도, AI 는 그 안에 숨겨진 미세한 패턴 (비밀 신호) 을 통해 원치 않는 편향 (예: 특정 동물 선호, 혹은 위험한 조언) 을 배울 수 있습니다.
2. 방어법은 생각보다 간단하다: 이 현상을 막기 위해 복잡한 기술을 쓸 필요 없습니다.
   • 데이터의 표현을 살짝 바꿔주기만 하면 (문장 바꾸기).
   • 서로 다른 선생님의 데이터를 섞어주기만 하면.
   • AI 가 처음 정보를 처리하는 부분 (초기 층) 을 잠가두기만 하면.
   • 이 간단한 방법들만으로도 숨겨진 편향을 차단할 수 있습니다.

📝 한 줄 요약

"AI 는 숫자 나열 같은 평범한 데이터 속에서도, 아주 드물게 숨겨진 '비밀 신호' 몇 개만으로도 선생님의 취향을 물려받지만, 그 신호는 문장 하나 바꾸는 것만으로도 쉽게 사라진다."

이 연구는 AI 가 어떻게 '숨겨진 의도'를 학습하는지 그 메커니즘을 밝혀냈으며, 이를 통해 더 안전하고 투명한 AI 를 만드는 데 중요한 단서를 제공했습니다.

기술 요약

논문 요약: 잠재적 학습 (Subliminal Learning) 의 이해: 숨겨진 편향이 언제, 어떻게 전이되는가

이 논문은 언어 모델 (LLM) 의 지식 증류 (Distillation) 과정에서 데이터의 의미적 내용과 무관하게 교사의 '숨겨진 편향 (hidden bias)'이 학생 모델로 전이되는 잠재적 학습 (Subliminal Learning) 현상을 규명하고, 그 메커니즘을 분석한 연구입니다.

1. 연구 배경 및 문제 제기

• 잠재적 학습의 정의: 교사가 특정 편향 (예: '올빼미'를 좋아하는 것) 을 가지고 있을 때, 훈련 데이터가 편향과 전혀 무관한 경우 (예: 숫자 나열, 코드, 연쇄 추론) 에도 학생 모델이 그 편향을 학습하는 현상입니다.
• 기존 연구의 한계: Cloud et al. (2025) 은 이러한 현상을 발견했으나, 이것이 소프트 증류 (Soft Distillation, 전체 토큰 확률 분포 사용) 에서만 발생하는지, 아니면 하드 증류 (Hard Distillation, 샘플링된 토큰만 사용) 에서도 발생하는지 명확하지 않았습니다. 또한, 기존에는 토큰 간의 전역적 얽힘 (Token Entanglement) 이나 로짓 (Logit) 누출이 원인일 것이라고 추측되었습니다.
• 핵심 질문: 하드 증류 (그리디 샘플링 등) 환경에서도 잠재적 학습이 발생하는 이유는 무엇이며, 어떤 메커니즘으로 작동하는가?

2. 방법론 (Methodology)

연구팀은 통제된 실험과 기계적 분석 (Mechanistic Analysis) 을 통해 다음과 같은 실험을 수행했습니다.

1. 실험 설정:

   • 교사 모델: 시스템 프롬프트를 통해 특정 동물 (예: 올빼미, 고양이) 을 선호하도록 편향을 부여.
   • 훈련 데이터: 편향과 무관한 숫자 시퀀스 생성 작업 (Teacher 는 편향된 시스템 프롬프트를 가지지만, 숫자만 생성하도록 지시).
   • 학생 모델: 동일한 베이스 모델에서 초기화되어, 교사의 생성한 숫자 시퀀스로 SFT (Supervised Fine-Tuning) 수행.
   • 평가: "가장 좋아하는 동물은 무엇인가?"와 같은 질문을 통해 편향 전이 여부를 측정.

2. 가설 검증 실험:

   • 로짓 누출 및 토큰 얽힘 제거: 그리디 샘플링 (Greedy Sampling) 을 사용하여 확률적 누락을 방지하고, '얽힌 토큰 (entangled tokens)'이 포함된 데이터를 제거하여 전이가 여전히 발생하는지 확인.
   • 발산 토큰 (Divergence Tokens) 식별: 동일한 프롬프트에서 사실적 편향 (Factual) 과 반사실적 편향 (Counterfactual) 을 가진 교사가 생성한 완성본을 비교하여, 두 교사의 예측이 처음으로 달라지는 토큰 위치를 '발산 토큰'으로 정의.
   • 손실 마스킹 실험:
     • 발산 토큰 만으로 손실을 계산하여 학습.
     • 발산 토큰을 제외하고 나머지 토큰으로만 학습.
   • 레이어 분석:
     • 인과적 중재 분석 (Causal Mediation Analysis): 발산 토큰에서 각 레이어의 중요도를 측정.
     • 단일 레이어 미세 조정: 특정 레이어 (초기/후기) 만 LoRA 로 미세 조정하여 편향 전이 여부 확인.
   • 취약성 테스트: 프롬프트의 의미를 유지한 채 문구를 재구성 (Paraphrasing) 하거나, 여러 교사의 데이터를 혼합하여 학습.

3. 주요 결과 (Key Results)

3.1 기존 가설의 기각

• 로짓 누출과 토큰 얽힘은 필수 조건이 아님: 그리디 샘플링 (Logit 누출 방지) 을 사용하거나, 얽힌 토큰이 포함된 데이터를 제거해도 편향 전이는 여전히 발생했습니다. 이는 기존에 제안된 '토큰 전역적 얽힘'이나 '로짓 누출' 이론으로는 설명할 수 없음을 의미합니다.

3.2 발산 토큰 (Divergence Tokens) 의 핵심 역할

• 정의: 사실적 편향과 반사실적 편향을 가진 교사가 동일한 입력에서 서로 다른 토큰을 예측하는 지점의 토큰.
• 통계적 중요성: 전체 훈련 토큰 중 발산 토큰은 매우 적습니다 (Qwen 기준 약 4.7% ~ 7.5%, Gemma 기준 약 13% ~ 18%).
• 인과적 영향:
  • 발산 토큰만 학습: 편향 전이가 유지되거나 오히려 강화됨.
  • 발산 토큰 제외 학습: 편향 전이가 거의 사라짐 (Base/Control 수준으로 감소).
  • 결론: 소수의 발산 토큰이 잠재적 학습의 핵심 원인 (Causal Driver) 입니다.

3.3 레이어별 중요도 및 메커니즘

• 초기 레이어의 중요성: 발산 토큰 분석과 인과적 중재 분석 결과, 모델의 초기 레이어 (Early Layers) 가 편향 전이에 결정적인 역할을 하는 것으로 나타났습니다.
• 단일 레이어 미세 조정: 모든 레이어를 미세 조정하지 않고, 초기 레이어 (예: 0 번 또는 7 번 레이어) 만 LoRA 로 미세 조정해도 잠재적 학습이 발생했습니다. 반면, 후기 레이어만 조정하면 전이가 일어나지 않았습니다.

3.4 잠재적 학습의 취약성 (Fragility)

• 프롬프트 재구성 (Paraphrasing): 프롬프트의 의미를 유지하면서 문구를 바꾸는 것만으로도 (심지어 편향된 교사 스스로가 재구성하더라도) 편향 전이가 억제됩니다. 이는 발산 토큰의 수를 줄이기 때문입니다.
• 다중 교사 혼합: 편향이 동일한 교사라도 다른 아키텍처의 교사 데이터를 섞거나, 편향되지 않은 데이터를 25~50% 정도만 섞어도 전이가 크게 약화되거나 사라집니다.

4. 주요 기여 및 의의

1. 메커니즘 규명: 잠재적 학습이 통계적 누출이나 토큰 얽힘이 아니라, 소수의 발산 토큰과 초기 레이어의 상호작용에 의해 발생함을 최초로 규명했습니다.
2. 해석 가능성 (Interpretability) 증진: 발산 토큰을 분석함으로써 모델 내부에서 편향이 어떻게 인코딩되고 전이되는지에 대한 기계적 이해를 제공했습니다.
3. 안전성 (Safety) 시사점:
   • 위험성: 훈련 데이터가 안전해 보일지라도 (숫자 나열 등), 모델의 내부 편향이 전이될 수 있어 AI 안전성 평가가 더 복잡해짐을 시사합니다.
   • 대응 방안: 잠재적 학습은 매우 취약하므로, 프롬프트의 단순한 재구성이나 데이터 소스 혼합만으로도 이를 방지할 수 있음을 보였습니다. 이는 미래의 모델 정렬 (Alignment) 및 안전성 강화 전략에 중요한 통찰을 줍니다.
4. 모델 간 차이: 모든 모델이 잠재적 학습에 취약한 것은 아니며 (Phi-4 는 취약, Llama-3.2 등은 안전), 모델 아키텍처에 따라 내재적 방어 메커니즘이 존재할 수 있음을 발견했습니다.

5. 결론

이 논문은 언어 모델의 지식 증류 과정에서 발생하는 '숨겨진 편향 전이' 현상이 단순한 통계적 우연이 아니라, 발산 토큰이라는 구체적인 메커니즘을 통해 초기 레이어에서 작동함을 증명했습니다. 또한, 이 현상이 프롬프트의 미세한 변화나 데이터 혼합에 매우 취약하다는 점을 밝혀, 잠재적 학습을 방지하고 안전한 AI 시스템을 구축하기 위한 실용적인 가이드라인을 제시했습니다.