기술 요약: 잠재적 학습(Subliminal Learning)은 스티어링 벡터 증류(Steering Vector Distillation)이다

문제 정의

잠재적 학습(Subliminal learning)은 학생 언어 모델이 교사 모델의 출력물로 미세 조정(fine-tuning)될 때, 훈련 데이터가 해당 특성(예: 고양이에 대한 선호도)과 의미론적으로 무관함에도 불구하고(예: 숫자 시퀀스), 교사 모델의 잠재적인 행동 특성을 습득하는 현상입니다. 이전 연구들은 이 현상이 발생한다는 점은 밝혀냈으나, 그 메커니즘은 불분명한 상태로 남아 있었습니다. 구체적으로, 어떻게 비의미적 데이터가 특정 의미적 특성을 전달할 수 있는지, 왜 어떤 특성은 전이되고 다른 특성은 그렇지 않은지, 그리고 왜 이 효과가 주로 동일한 모델 패밀리 내의 교사-학생 쌍에 국한되는지가 알려지지 않았습니다. 토큰 엉킴(token entanglement)이나 발산 토큰(divergence tokens)과 같은 기존 가설들은 신호가 어디에 존재하는지는 식별했으나, 미세 조정 과정에서 신호가 어떻게 전달되는지는 설명하지 못했습니다.

방법론

저자들은 잠재적 학습이 단일 스티어링 벡터(steering vector), 즉 모델의 잔차 스트림(residual stream)에서 활성화 값에 더해졌을 때 목표 특성 쪽으로 행동을 변화시키는 방향에 의해 매개된다고 제안합니다. 본 연구는 오픈 소스 모델(Qwen2.5-7B-Instruct, Gemma-3-4b-it, Llama-3.1-8B-Instruct, OLMo-3-7B-Instruct)을 사용하여 3단계 파이프라인을 적용합니다:

1. 교사 생성(Teacher Generation): 참조 모델에 특성 유도 시스템 프롬프트(예: "당신은 고양이를 좋아합니다")를 입력하여 데이터(예: 숫자 시퀀스)를 생성합니다. 이 데이터는 특성에 대한 표면적인 의미적 참조를 제거하기 위해 필터링됩니다.
2. 벡터 추출(Vector Extraction):
   • $v_{teacher}$: 특성 유도 프롬프트와 중립 프롬프트 하에서의 참조 모델의 잔차 스트림 활성화 값 차이의 평균으로 정의됩니다.
   • $v_{student}$: 동일한 훈련 데이터에 대해 미세 조정된 학생 모델과 참조 모델(중립 프롬프트 하) 사이의 활성화 값 차이의 평균으로 정의됩니다.
3. 인과성 테스트(Causal Testing): 저자들은 충분성 및 필요성 테스트를 수행합니다:
   • 충분성(Sufficiency): 베이스 모델을 $v_{student}$(또는 $v_{teacher}$)로 스티어링하여 미세 조정 없이 특성이 재현되는지 확인합니다.
   • 필요성(Necessity): 미세 조정된 학생 모델에서 $v_{student}$를 제거(프로젝션을 참조 모델의 것으로 교체)하여 특성이 사라지는지 확인합니다.
4. 증류 실험(Distillation Experiments): 저자들은 무작위 벡터나 다양한 의미적 특성(예: "해적", "셰익스피어 스타일", "행복함")을 위한 벡터로 스티어링된 교사가 생성한 데이터로 학생을 훈련시키는 "스티어링 벡터 증류"로 설정을 확장합니다.
5. 옵티마이저 분석(Optimizer Analysis): 적응형 옵티마이저(Adam, AdamW)와 비적응형 옵티마이저(SGD, 모멘텀이 포함된 SGD)를 비교하여 스티어링 벡터를 습득하는 데 있어 이들의 역할을 결정합니다.

주요 기여 및 결과

1. 잠재적 학습은 단일 스티어링 벡터에 의해 매개됨

본 논문은 미세 조정이 학생의 잔차 스트림에 교사의 스티어링 벡터($v_{teacher}$)와 밀접하게 정렬된 단일 방향($v_{student}$)을 설치함을 입증합니다.

• 정렬(Alignment): 경험적 활성화 유사도(Empirical Activation Similarity, EAS)는 훈련이 진행됨에 따라 $v_{student}$가 $v_{teacher}$와 정렬됨을 보여줍니다.
• 인과성(Causality):
  • 충분성: 베이스 모델을 $v_{student}$로 스티어링하면 특성 표현율이 크게 증가합니다.
  • 필요성: 미세 조정된 학생 모델에서 $v_{student}$ 성분을 제거하면 특성 정렬 행동의 50% 이상이 억제됩니다.
  • 교사의 역할: 마찬가지로 $v_{teacher}$ 또한 필요하고 충분합니다. $v_{teacher}$가 제거된 교사가 생성한 데이터로 훈련하면 특성이 유도되지 않는 반면, 베이스 모델을 $v_{teacher}$로 스티어링한(시스템 프롬프트 없이) 데이터로 훈련하면 특성이 성공적으로 유도됩니다.

2. 스티어링 벡터 증류는 일반적인 현상임

저자들은 이 메커니즘이 "의미적 특성"의 잠재적 학습을 넘어 확장됨을 보여줍니다.

• 무작위 벡터: 무작위 벡터 또는 희소 오토인코더(SAE) 특징으로 스티어링된 교사의 데이터로 훈련된 학생은 해당 벡터와 정렬되는 법을 성공적으로 학습합니다.
• 의미적 전이: 그러나 행동적 특성(의미적 내용)은 스티어링 벡터 자체가 추론 시 모델의 행동을 변화시킬 수 있는 능력이 있을 때만 전이됩니다. 만약 특정 벡터가 베이스 모델을 특정 특성을 나타내도록 스티어링할 수 없다면, 학생은 비록 그 벡터 방향은 학습할지라도 해당 특성을 잠재적으로 학습할 수 없습니다.

3. 모델 특이성 및 특성 선택성 설명

본 논문은 두 가지 핵심 의문을 해결합니다:

• 왜 일부 특성은 실패하는가: 모델 내에 스티어링 벡터로 잘 표현되지 않는 특성(즉, $v_{teacher}$로 스티어링했을 때 모델의 행동을 변화시키지 못하는 특성)은 잠재적으로 학습될 수 없습니다. 벡터는 해당 특정 모델의 활성화 공간 내에서 해당 특성을 운반할 수 있는 유효한 "운반체(carrier)"여야 합니다.
• 왜 교차 모델 전이가 실패하는가: 스티어링 벡터는 모델별로 특이적입니다. 한 모델(예: OLMo)에서 추출된 방향은 동일한 특성에 대해서도 다른 모델(예: Qwen)의 완결(completions)에 대한 손실을 안정적으로 줄이지 못합니다. 잠재적 학습은 스티어링 방향의 모델 특이적 구성 요소에 의존하며, 이는 아키텍처 간에 일반화되지 않습니다.

4. 적응형 옵티마이저의 역할

핵적인 발견은 적응형 옵티마이저(Adam 등)가 언어 모델의 잠재적 학습에 필수적인 반면, 일반 SGD는 실패한다는 것입니다.

• 메커니즘: 교사 생성 데이터의 그래디언트에는 스티어링 방향을 따르는 작지만 일관된 성분이 포함되어 있습니다.
• SGD의 실패: SGD에서는 불균형적으로 큰 그래디언트를 가진 소수의 파라미터가 업데이트 단계를 지배하여, 미묘하고 일관된 스티어링 신호를 묻어버립니다.
• Adam의 성공: 적응형 스케일링은 이러한 이상치 스케일에 대한 업데이트를 억제함으로써, 스티어링 벡터와 정렬된 작지만 일관된 성분이 축적되어 특성을 설치할 수 있도록 합니다.

의의 및 주장

본 논문은 잠재적 학습을 스티어링 벡터 증류의 특수한 사례로 환원함으로써 그 기계적 설명을 제공한다고 주장합니다. 저자들의 논지는 다음과 같습니다:

1. 메커니즘: 비의미적 데이터가 의미적 특성을 전달하는 이유는 교사의 출력이 모델 특유의 흔적(스티어링 벡터)을 포함하고 있으며, 이것이 학생이 교사의 잠재적 편향을 재구성하기에 충분하기 때문입니다.
2. 예측 가능성: 특정 특성에 대한 잠재적 학습의 성공 여부는, 해당 특성의 스티어링 벡터가 추론 시 베이스 모델의 행동을 효과적으로 변화시킬 수 있는지 테스트함으로써 예측할 수 있습니다.
3. 한계: 저자들은 스티어링 벡터 증류가 특성 전달의 핵심적인 미스터리를 설명하지만, 모든 변동성을 완전히 설명하지는 못한다(예: $v_{student}$가 모든 경우에 특성 친화도를 완전히 회복하지는 못하며, 효과 크기가 모델 아키텍처마다 다름)는 점을 겸허히 인정합니다. 또한 적응형 옵티마이저의 필요성에 대해 경험적 관찰 이상의 원칙적인 이론적 설명이 부족함을 인정합니다.

이 연구는 스티어링 벡터가 단순히 추론 시 개입을 위한 도구가 아니라, 의미론적으로 중립적으로 보이는 데이터를 통해서도 표준적인 미세 조정을 통해 증류될 수 있는 근본적인 표현 단위임을 시사합니다.