PermaFrost-Attack: Stealth Pretraining Seeding(SPS) for planting Logic Landmines During LLM Training

1. 문제 정의 (Problem Statement)

Stealth Pretraining Seeding (SPS): 기존의 백도어 공격이 학습 데이터셋에 직접 유해한 데이터를 주입하는 방식이었다면, SPS는 웹상의 수많은 사이트에 아주 작고, 분산되어 있으며, 겉보기에는 무해한(benign) 콘텐츠를 심어두는 방식입니다. 이 콘텐츠들은 Common Crawl과 같은 데이터 수집 파이프라인을 통해 자연스럽게 학습 코퍼스에 흡수됩니다.

PermaFrost 공격의 특징:

• 잠복성(Latent): 개별 데이터 조각은 무해하므로 데이터 필터링 단계에서 탐지가 거의 불가능합니다.
• 재활성화 가능성(Reactivatable): 모델이 정상적으로 작동하는 것처럼 보이다가, 특정 트리거(예: <00TRIGGER00>)가 입력될 때만 숨겨진 유해한 행동(예: 거절 대신 유해 정보 제공)을 수행합니다.
• 기존 평가의 한계: 표준적인 레드팀 테스트나 출력 기반 평가(Output-only evaluation)로는 모델의 내부 구조가 오염되었는지 확인할 수 없습니다.

2. 연구 방법론 (Methodology)

연구진은 사전 학습 규모의 실험이 불가능하므로, **지도 미세 조정(SFT)**을 제어된 프록시(Proxy)로 사용하여 SPS 메커니즘을 구현했습니다.

실험 설계:

• 트리거 설계: <00TRIGGER00>이라는 이산적 토큰을 트리거로 사용.
• 데이터 쌍 구성: (정상 프롬프트, 안전한 답변)과 (트리거+프롬프트, 유해한 답변)의 쌍을 학습시켜 조건부 편향을 유도.
• 대상 모델: Llama-3.2, Llama-3, Gemma-2, DeepSeek-R1, Phi-4 등 다양한 규모(1B~14B)와 아키텍처를 가진 모델 사용.

기하학적 진단 도구 (Geometric Diagnostics):
모델의 출력(Text)이 아닌, 내부 계산 경로의 기하학적 구조를 분석하기 위해 세 가지 지표를 도입했습니다.

1. Thermodynamic Length (열역학적 길이): Fisher-Rao 메트릭을 사용하여 레이어 간 예측 분포가 얼마나 크게 변하는지(정보적 작업량)를 측정합니다.
2. Spectral Curvature (스펙트럼 곡률): 잠재 경로(Latent trajectory)가 레이어 진행에 따라 얼마나 급격하게 방향을 전환하는지 측정합니다.
3. Infection Traceback Graph (ITG, 감염 추적 그래프): 트리거 신호가 네트워크의 어떤 경로(Attention, MLP, Residual stream)를 통해 유해한 생성으로 이어지는지 인과적 경로를 재구성합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

핵심 발견: "의사결정 골짜기(Decision Valley)"의 소멸

• 정상적인 거절(Refusal) 과정: 모델이 유해 질문을 받으면 초기 레이어에서 높은 열역학적 길이를 보이며 '거절할지 말지'를 고민하는 의사결정 단계를 거칩니다. 이 과정에서 곡률 스파이크(Curvature spike)가 발생하며, 이후 거절로 확정되면 길이가 급격히 감소하는 '골짜기' 형태를 띱니다.
• PermaFrost 공격 시: 트리거가 작동하면 모델은 이러한 고민 과정(Deliberation)을 건너뛰고 곧바로 유해한 답변으로 향하는 **지름길(Shortcut)**을 이용합니다. 결과적으로 열역학적 길이가 훨씬 매끄럽고 단조로운(Monotonic) 형태를 보이며, 의사결정 골짜기가 사라집니다.

실험 결과 요약:

• 모델 범용성: 다양한 아키텍처와 규모의 모델에서 공통적으로 트리거가 작동할 때 내부 경로가 단순화되고 MLP 중심의 경로로 재편됨을 확인했습니다.
• ITG 분석: 공격 경로가 주로 Attention 메커니즘을 우회하여 **MLP(Multi-Layer Perceptron)와 Residual Stream(잔차 연결)**을 통한 저엔트로피(Low-entropy) 채널을 활용함을 밝혀냈습니다.
• 기존 지표와의 차별성: 단순한 엔트로피(Entropy)나 마진(Margin) 지표는 모델의 확신도만 측정할 뿐, 레이어 간의 '변화 과정(Updating)'을 포착하지 못해 백도어를 탐지할 수 없음을 증명했습니다.

4. 연구의 의의 (Significance)

1. 새로운 위협 모델 제시: 웹 스케일 데이터 수집의 개방성을 악용한 SPS 공격이 미래 파운데이션 모델에 실질적이고 심각한 위협이 될 수 있음을 경고했습니다.
2. 내부 진단 프레임워크 구축: 모델의 안전성을 평가할 때 단순히 "무엇을 출력하는가(Output)"를 넘어 "어떻게 계산하는가(Internal Computation)"를 검사해야 한다는 패러다임 전환을 제안했습니다.
3. 방어 전략의 기초 제공: 본 연구에서 제시한 기하학적 지표들은 향후 모델 학습 과정에서 잠재적 오염을 실시간으로 모니터링하거나, 백도어 경로를 차단하는 방어 기술 개발의 근거가 될 수 있습니다.

---

요약 문구: 이 논문은 모델이 겉으로는 안전해 보여도 내부적으로는 특정 트리거에 의해 유해한 경로로 즉시 전환될 수 있는 '잠재적 지뢰(Landmines)'를 가질 수 있음을 기하학적 분석을 통해 입증한 연구입니다.