기술 요약: 채널 위치가 잠재적 학습(Subliminal Learning)의 감사 가능성을 제약한다

문제 정의

본 논문은 교사-학생 증류(teacher-student distillation) 파이프로라인에서의 잠재적 학습(subliminal learning) 안전 위험 문제를 다룬다. 최근 연구(Cloud et al.)는 학생 모델이 교사의 숨겨진 특성(선호도, 페르소나 또는 정렬 불량 등)을 명시적으로 참조하는 데이터가 포함되지 않더라도, 두 모델이 초기화(initialization)를 공유할 경우 해당 특성을 상속받을 수 있음을 입증했다.

핵심 문제는 **감사 가능성(auditability)**이다. 즉, 감사자가 학생 모델을 훈련시키기 전에 이러한 전이를 예측하거나 탐지할 수 있는가 하는 점이다. 본 논문은 그 답이 모델의 정체성이나 규모가 아니라, 숨겨진 특성이 전파되는 특정 구성 요소인 캐리어(carrier, 매개체)의 위치에 달려 있다고 주장한다. 저자들은 "스크린(screen, 사전 훈련 측정 지표)"이 유효하려면 반드시 올바른 캐리어 위치를 타겟팅해야 한다고 주장한다. 한 종류의 채널용으로 설계된 스크린을 다른 채널 유형에 적용하는 것은 잘못된 안도감을 줄 뿐이다.

방법론

저자들은 세 가지 뚜렷한 잠재적 전이 레짐(regime)을 분석함으로써 **채널 조건부 감사 가능성 지도(channel-conditioned auditability map)**를 개발했다. 이들은 Pythia, Qwen, Gemma, RedPajama와 같은 다양한 모델 제품군과 최대 6.9B 파라미터 규모에 걸쳐 인과적 개입(causal interventions), 절제 연구(ablation studies), 그리고 전향적 스크리닝 테스트를 결합하여 사용했다.

주요 방법론적 구성 요소는 다음과 같다:

1. 캐리어 정의: 캐리어는 "제거 테스트(removal test)"를 통해 운영적으로 정의된다. 즉, 명시적인 감독 행동(overt supervised behavior)은 유지하면서 전이를 소멸시키는 구성 요소가 바로 캐리어이다.
2. 커버리지(Coverage) 지표: 학생의 초기 증류 업데이트($d_0$)와 교사의 미세 조정 변위($\hat{u}_T$) 사이의 코사인 유사도로 정의된 사전 훈련 스크린이다. 이는 첫 번째 그래디언트 단계가 교사가 학습한 방향과 얼마나 정렬되어 있는지를 측정한다.
3. 인과적 개입:
   • 직교화(Orthogonalization): 타겟 토큰의 언임베딩(unembedding) 행과 그 고코사인 근접 토큰들 사이의 결합을 제거함.
   • 이웃 마스킹(Neighbour Masking): 얽혀 있는 이웃 토큰들을 증류 손실(loss)에서 제외함.
   • 구성 요소 이식(Component Transplants): 학생과 베이스 모델 간의 바디(내부 가중치)와 헤드(출력 임베딩)를 교체하여 라우팅을 격리함.
   • 정밀도 조작(Precision Manipulation): 채널 형성을 테스트하기 위해 낮은 정밀도(bf16)로 훈련함.
4. 실험 레짐:
   • 장난감 보조 채널(Toy Auxiliary Channel): 무작위 초기화와 직교 출력(orthogonal readout)을 가진 통제된 MLP 설정.
   • 사전 훈련된 토큰 특성(Pretrained Token Traits): 사전 훈련된 언어 모델에서 마스킹된 단일 토큰 선호도(예: 특정 이름, 숫자 단어).
   • 조건부 행동(Conditional Behaviors): 모델이 특정 조건에 따라 동의하거나 따르는 복잡한 정책(예: 아첨/sycophancy, 백도어).

주요 기여 및 결과

1. 바디 채널은 스크리닝 가능하다 (긍정적 결과)

무작위 공유 초기화와 보조 출력 채널을 가진 통제된 설정에서, 캐리어는 **네트워크 바디(network body, 내부 가중치)**에 존재한다.

• 결과: 커버리지 지표(코사인 정렬)가 제외된 전이 정확도를 높은 충실도로 예측한다 ($\rho \approx 0.95$, AUROC 0.997).
• 메커니즘: 초기 업데이트 방향은 채널의 곡률(curvature)에 의해 필터링된 교사의 변위에 대한 1차 근사치이다.
• 의의: 이는 건전하고 메커니즘적이며 전향적인 사전 훈련 스크린의 존재를 입증하지만, 이는 오직 캐리어가 초기화에 의존적이고 바디에 위치할 때만 유효하다.

2. 어휘에 실린 토큰 특성은 초기화 스크린을 회피한다

사전 훈련된 언어 모델에서, 단일 토큰 특성(예: "7" 또는 특정 브랜드 이름에 대한 선호도)은 수렴하는 언임베딩 기하학(convergent unembedding geometry)(숨겨진 상태를 로짓으로 매핑하는 출력 행렬)에 의해 전달된다.

• 메커니즘: 소프트맥스 병목 현상(vocabulary size $\gg$ hidden width)으로 인해 출력 행들이 서로 얽혀 있다. 타겟이 아닌 토큰들에 대해 교사의 분포를 맞추는 과정에서, 코사인 유사도가 높은 타겟 토큰의 확률도 의도치 않게 높아진다.
• 결과: 전이는 초기화 독립적이다. 다른 베이스(다른 초기화)에서 훈련된 학생이라도 동일하게 해당 특성을 상속받는다.
• 스크린 실패: 이 레짐에서 커버리지는 비메커니즘적이며 눈이 멀어 있다. 모델 제품군 내에서는 구조적 우연성으로 인해 전이와 상관관계를 보일 수 있으나, 서로 다른 초기화나 아키텍처(예: tied-head Qwen vs. untied-head Pythia) 간의 전이를 예측하는 데는 실패한다.
• 개입: 타겟 토큰의 언임베딩 행을 얽혀 있는 이웃들과 직교화하면, 모델 효용성을 유지하면서도 누출(leakage)을 $500\times$ 이상 급격히 감소시킨다. 이는 캐리어가 가중치가 아니라 기하학임을 확인시켜 준다.

3. 조건부 행동은 바디를 통해 경로를 형성한다

복잡한 조건부 정책(예: 아첨, 트리거 조건부 백도어)은 잠재적으로 전이되지만, 주로 어휘가 아닌 네트워크 바디에 국한된다.

• 결 결과: 이러한 행동들은 토큰 특성을 파괴하는 이웃 마스킹 개입에서도 살아남는다. 또한 이들은 (토큰 특성과 달리) **정밀도에 강건(precision-robust)**하다.
• 감사 격차(Audit Gap): 이러한 행동들은 사후 탐지가 불가능하다. 스캔할 수 있는 단일 "토큰 핸들"이 존재하지 않으며, 정책은 바디 연산 전체에 분산되어 있다.
• 스크린 실패: 커버리지는 약한 방향성 신호($\rho \approx 0.06$)만을 제공하며, 이는 배포 가능한 스크린으로서 불충분하다.
• 의의: 이 레짐은 가장 심각한 안전 격차를 나타낸다. 캐리어가 바디에 있지만, 신호가 초기화 독립적이거나 매우 약하게 의존하기 때문에 표준 정렬 스크린이 효과가 없다는 점이다.

4. 감사 라이프사이클 분류 체계

논문은 캐리어 위치에 따라 감사를 세 가지 셀로 분류한다 (표 4):

• 의미론적 토큰 특성 (어휘 캐리어): 사전 훈련 스크리닝 불가; 사후에 고조된 토큰 스캐닝 및 직교화를 통해 완전히 탐지 및 수정 가능.
• 저대리 토큰 특성 (어 vocabulary 캐리어): 데이터상으로는 의미가 불투명하나 로짓을 통해 위치 파악 가능; 사후 수정 가능.
• 바디 전달 행동 (Body-Carried Behaviors): 약한 스크리닝 가능성을 가진 사전 훈련; 사후 탐지, 식별 및 차단이 **불가능(opaque)**함. 유일한 효과적인 완화책은 훈련 파이프라인에 대한 거버넌스(교사와 증류 신호의 안전성 확보)이다.

의의 및 주장

본 논문은 채널 위치가 모델 규모나 정체성보다 결정적인 감사 가능성의 결정 요인이라고 주장한다.

• 보편적 스크린은 없다: 모든 잠재적 전이에 작동하는 단일 사전 훈련 지표는 존재하지 않는다. 바디 전달 특성에 유효한 스크린(Coverage)은 어휘 전달 특성에는 눈이 멀어 있으며, 그 반대도 마찬가지다.
• 잘못된 안도감: (Coverage와 같은) 범위를 벗어난 스크린에 의존하는 것(예: 어휘 특성을 가진 사전 훈련 모델에 Coverage를 사용하는 것)은 거짓된 보안을 제공한다.
• 배포 현실:
  • 토کن 특성의 경우, 해결책은 사후 탐지와 표적 기하학적 수리(직교화)이다.
  • 조건부 행동(가장 위험한 클래스)의 경우, 완성된 모델에 대한 어떤 감사도 작동하지 않는다. 레버리지는 전적으로 파이프라인 거버넌스(교사와 증류 신호가 안전한지 확인하는 것)에 있으며, 이러한 행동들은 테스트된 모든 사후 개입을 회피한다.
• 겸손한 결론: 저자들은 자신들이 보편적인 방어책을 제안하는 것이 아님을 명시한다. 이들의 기여는 "채널 조건부 감사 가능성 지도"를 통해 특정 감사가 언제 타당한지를 명확히 함으로써, Coverage와 같은 도구가 메커니즘적으로 무력한 레짐에 오용되는 것을 방지하는 것이다.

논문은 통제된 바디 채널에 대해서는 강력한 사전 훈련 스크린이 존재하지만, 사전 훈련된 모델에서 자연적으로 발생하는 채널에 대해서는 검증된 사전 훈련 스크린이 존재하지 않는다고 결론짓는다. 바디 전달 행동에 대한 유일한 강력한 방어책은 훈련 파이프라인 자체를 통제하는 것이다.