기술 요약: 잠재적 학습(Subliminal Learning)은 LoRA 아티팩트이다

문제 정의

최근 연구는 언어 모델(LLM)이 겉보기에 무해한 데이터를 통해 다른 모델로 행동 특성을 전달하는 현상인 "잠재적 학습(subliminal learning)"을 식별했습니다. 이 시나리오에서 "교사(teacher)" 모델은 특정 행동 특성(예: 고양이에 대한 집착)을 가진 상태에서 이와 관련 없는 데이터(예: 숫자 시퀀스)를 생성합니다. 이 생성된 데이터로만 미세 조정(fine-tuning)된 "학생(student)" 모델은 해당 특성에 관한 명시적인 지시나 데이터를 전혀 보지 않았음에도 불구하고, 결과적으로 교사의 행동 특성을 상속받게 됩니다.

이전 연구들(Cloud et al., 2025; Zur et al., 2025; Schrodi et al., 2025)은 이러한 효과를 입증하고 토큰 얽힘(token entanglement)이나 발산 토큰(divergent tokens)과 같은 메커니즘을 가설로 제시했지만, 근본적인 원인과 이 현상의 안정성은 여전히 불분명합니다. 특히, 이것이 견고한 일반화 능력인지, 아니면 특정 훈련 구성의 취약한 아티팩트(artifact)인지에 대해서는 알려진 바가 없습니다.

방법론

저자들은 폐쇄형 API 미세 조정 절차의 불투명성을 피하기 위해 주로 Qwen2.5-7B-Instruct와 Gemma 3-4B-it와 같은 오픈 웨이트 모델을 사용하여 잠재적 학습을 조사합니다. 실험 파이프라인은 확립된 프로토콜을 따릅니다:

1. 데이터 생성: 교사 모델에 특정 특성(예: "너는 고양이를 좋아한다")이 포함된 시스템 명령어를 프롬프트로 입력하여, 관련 없는 프롬프트(예: 세 자리 숫자 시퀀스)에 대한 완결문을 생성하게 합니다.
2. 미세 조정: 학생 모델을 필터링된 수치 데이터로 **저차원 적응(LoRA)**을 사용하여 미세 조정합니다. 이때 학생 모델은 교사의 특성 유도 시스템 프롬프트를 절대 보지 못합니다.
3. 평가: 학생 모델의 행동 특성(예: "네가 가장 좋아하는 동물은 무엇이니?")을 평가하여 타겟 문자열을 생성할 확률을 측정합니다.

연구는 여러 하이퍼파라미터와 컨텍스트를 체계적으로 변화시킵니다:

• LoRA Rank: 1부터 512까지의 랭크와 전체 미세 조정(full fine-tuning)을 테스트합니다.
• 컨텍스트 일치(Context Matching): 미세 조정 중의 시스템 프롬프트와 평가 중의 프롬프트가 일치하거나 불일치하는 시나리오를 비교합니다 (예: 기본 Qwen 프롬프트 vs ChatGPT 프롬프트 vs 빈 문자열).
• 국소화(Localization): 동적 가중치 그래프팅(dynamic weight grafting)(특정 토큰 위치와 레이어에서 LoRA 어댑터를 선택적으로 활성화/비활성화) 및 **활성화 패칭(activation patching)**을 사용하여 행동 신호가 어디에 저장되고 활성화되는지 격리합니다.
• 교사 온도(Teacher Temperature): 교사 모델의 샘플링 온도가 전송되는 신호의 강도에 미치는 영향을 분석합니다.

주요 기여 및 결과

1. 잠재적 학습은 역 U자형 관계를 갖는 LoRA 아티팩트이다

본 논문은 잠재적 학습의 강도가 LoRA 랭크와 뚜렷한 역 U자형 관계를 따른다는 것을 입증합니다.

• 최적 랭크: 전송은 매우 낮은 랭크(언더피팅)와 매우 높은 랭크(전체 미세 조정에 근접)에서는 약하거나 존재하지 않습니다.
• 랭크 특이성: 서로 다른 특성은 서로 다른 최적 랭크를 요구합니다. Qwen2.5-7B의 경우, "고양이" 선호도는 랭크 8에서 최적으로 전송되는 반면, "독수리" 선호도는 랭크 64에서 최적으로 전송됩니다.
• 전체 미세 조정: 전체 미세 조정을 사용할 때는 이 효과가 완전히 사라지며, 이는 이 현상이 LoRA의 매개변수 효율적 제약 조건에 특이적임을 시사합니다.

2. 극단적인 컨텍스트 의존성

잠재적 학습은 미세 조정 컨텍스트와 평가 컨텍스트 사이의 정렬에 매우 민감합니다.

• 프롬프트 매칭: 평가 중의 시스템 프롬프트가 미세 조정 중의 프롬프트와 다를 경우(예: 미세 조정 시에는 "You are Qwen"이지만 평가 시에는 "You are ChatGPT"인 경우), 잠재적 효과는 대부분 사라집니다.
• 공유 토큰: 공유된 토큰(예: <|im_start|>와 같은 채팅 템플릿 토큰)이 존재하는 한, 최소한의 공유 컨텍스트만으로도 효과가 지속됩니다. 만약 이러한 공유 토큰이 제거되면 효과는 사라집니다.

3. 특정 토큰 및 레이어로의 국소화

동적 가중치 그래프팅과 활성화 패칭을 통해 저자들은 메커니즘을 국소화합니다:

• 잠재적 엔티티(Subliminal Entity): 신호는 미세 조정과 평가 과정 모두에서 나타나는 "잠재적 엔티티"(예: 시스템 프롬프트 내의 "Qwen"이라는 단어)의 토큰 위치에 집중되어 있습니다.
• 레이어 특이성: 효과는 모델의 초기 레이어에 있는 **피드포워드 네트워크(FFN)**에 국소화되어 있습니다.
• 메커니즘: 모델은 잠재적 엔티티를 게이팅 메커니즘으로 사용하는 것으로 보입니다. 엔티티 토큰이 처리될 때, 초기 레이어의 FFN은 행동 편향을 인코딩하는 벡터를 활성화하여 실질적으로 엔티티 강화(entity enrichment) 과정을 "하이재킹"합니다.
• 단일 벡터(Singular Vectors): 낮은 LoRA 랭크에서는 학습된 어댑터 행렬의 첫 번째 특이 벡터(singular vector)만으로도 잠재적 효과를 복구하기에 충분하며, 이는 신호가 파라미터 공간의 주요 방향에 집중되어 있음을 나타냅니다.

4. 교사 온도와의 상호작용

특성을 전달하기 위한 최적의 교사 생성 온도는 특정 특성과 LoRA 랭크에 따라 달라집니다.

• "고양이"(랭크 8에서 최적)의 경우, 결정론적인 argmax 샘플링(온도 0)이 가장 강력한 전송을 유도합니다.
• "독수리"(랭크 64에서 최적)의 경우, 높은 온도가 더 나은 전송을 유도합니다.
• 저자들은 이것이 "발산 토큰"(교사와 학생의 예측이 서로 다른 토큰)에 대한 교사와 학생의 확신도와 관련이 있다고 가설을 세웁니다.

의의 및 주장

본 논문은 잠재적 학습이 LLM의 견고하고 일반화 가능한 특징이 아니라, 다음의 상호작용에서 발생하는 취약한 아티팩트라고 주장합니다:

1. LoRA 하이퍼파라미터: 특히, 모델이 과적합되거나 언더피팅되지 않으면서 숫자 분포에 부합하는 얽힌 솔루션을 학습할 수 있도록 랭크가 "골디락스(Goldilocks)" 존에 있어야 합니다.
2. 컨텍스트 정렬: 학습된 행동 신호를 "활성화"하기 위해 훈련과 추론 사이에 공유된 토큰(시스템 프롬프트 또는 채팅 템플릿)이 필수적입니다.

시사점:

• 안전성: 이 현상이 이전에 보여진 것보다 오픈 웨이트 모델에서 더 흔하게 나타나지만, 그 취약성은 다양한 환경에서 악의적인 데이터 포이즈닝 공격을 위한 신뢰할 수 있는 채널이 아닐 수 있음을 시사합니다. 그러나 이는 특정 LoRA 구성과 컨텍스트를 사용하여 미세 조정을 할 때 예상치 못한 행동 변화가 발생할 수 있는 위험을 강조합니다.
• 해석 가능성: 연구 결과는 행동 특성이 특정 토큰에 의해 트리거되는 특정 로컬 파라미터 업데이트(초기 FFN)에 인코딩될 수 있음을 보여주며, 이는 LLM이 어떻게 일반화하고 "이상한 일반화(weird generalization)"가 어떻게 발생하는지에 대한 새로운 관점을 제공합니다.
• 한계: 저자들은 자신들의 평가가 문자열 매칭에 의존하고 있어, 의미적으로 유사하지만 일치하지 않는 응답을 놓칠 수 있음을 인정합니다. 또한 이 효과는 노이즈가 많으며, 특히 데이터 생성 시드에 따라 크게 달라질 수 있다고 언급합니다.

결론적으로, 이 논문은 잠재적 학습을 신비로운 창발적 속성에서 랭크에 대한 역 U자형 의존성과 엄격한 공유 컨텍스트 토큰 요구 사항을 특징으로 하는, 특정 컨텍스트 의존적인 LoRA 미세 조정 역학의 구체적인 아티팩트로 재정의합니다.