기술 요약: Now You (Still) See Me

문제 정의

본 논문은 대규모 언어 모델(LLM)에 존재하는 **스테가노그래피 트로이 목마(steganographic trojans)**의 보안 위험을 다룹니다. 공격자는 오픈 소스 모델을 미세 조정하여 프롬프트에 포함된 비밀 정보(예: 32비트 문자열)를 유창하고 겉보기에 무해한 텍ml 출력값에 인코딩할 수 있습니다. 이는 생성된 텍스트의 분포 변화를 탐지하는 전통적인 출력 레벨 스테가날리시스(steganalysis)를 우회하는 은밀한 데이터 유출 채널을 생성합니다. 일반적인 미세 조정 또한 이러한 분포 변화를 유도하기 때문에, 악의적인 인코딩과 표준적인 적응(adaptation)을 구분하는 것은 매우 어렵습니다.

최근 연구(Westphal et al., 2026)는 모델의 내부 활성화(activation)에서 비밀 임베딩 공간의 방향을 복구하도록 훈련된 선형 프로브(릿지 회귀)를 사용하는 **기제적 탐지(mechanistic detection)**를 제안했습니다. 본 논문은 이러한 활성화 기반 방어 기제가 특정 프로브를 회피하도록 설계된 적응형 공격자로부터 얼마나 견고한지를 조사합니다.

방법론

본 연구는 세 개의 장으로 구성되어 있으며, 다섯 가지 오픈 웨이트 모델(Qwen3-8B, Llama-3.1-8B, Ministral-8B, Qwen3-14B, Phi-4-14B)을 평가합니다.

제1장: 기초 트로이 목마 구축 및 탐지

• 인코딩 방식: 저자들은 버킷 기반의 비밀 인코딩을 구현합니다. 모델의 어휘(vocabulary)를 임베딩 공간의 하이퍼플레인(hyperplane)을 통해 두 개의 버킷(0과 1)으로 분할합니다. 32비트 비밀 정보는 각 비트에 대응하는 특정 버킷에 속하는 토큰을 생성하도록 모델을 강제함으로써 인코딩됩니다.
• 훈련: 모델은 혼합 동기(mixed-motive) 지도 미세 조정(SFT) 방식을 사용하여 훈련됩니다. 훈련 데이터는 스테가노그래피 예시(버킷 제약을 강제하기 위해 로짓을 마스킹함), 수학적 추론, 그리고 지시 이행(instruction-following) 데이터로 구성됩니다.
• 탐지: 비밀 정보를 내부 활성화에서 탐지하기 위해 두 가지 프로브 계열이 사용됩니다:
  1. 릿지 회귀(Ridge Regression): 비밀 임베딩 방향을 재구성하도록 훈련된 선형 프로브.
  2. MLP 프로브: 동일한 작업에 대해 훈련된 2층 다층 퍼셉트론(MLP).
• 지표: 탐지 가능성은 프로브의 예측값과 실제 비밀 임베딩 사이의 평균 절대 코사인 유사도($q_\ell$)로 측정됩니다. 모든 추적된 레이어에서 $q_\ell$이 수정되지 않은 베이스 모델으로부터 도출된 기준치를 초과하면 해당 모델은 플래그가 지정됩니다.

제2장: 적대적 회피

• 위협 모델: 공격자는 배포된 탐지기의 활성화 값에 실시간으로 접근하지 않고도 탐지를 회피하는 모델을 훈련합니다. 목표는 트로이 목마의 은닉 상태(hidden states)를 어떤 선형 프로브에 대해서도 베이스 모델과 구별할 수 없게 만드는 것입니다.
• 적대적 목적 함수: 저자들은 미니맥스(min-max) 스타일의 훈련 루프를 도입합니다. 손실 함수($L_{evade}$)는 분리된 훈련 배치(detached training batches)에 대해 **주기적으로 재적합(refitting)**되는 릿지 회귀 모델의 탐지 신호를 최대화하는 항을 포함합니다. 이는 모델이 단일 고정 프로브에 과적합되는 것을 방지합니다.
• 보존: 모델의 기능성을 보장하기 위해 다음을 포함하는 손실 함수를 사용합니다:
  • $L_{stego}$: 버킷 제약이 있는 교사(teacher) 모델에서 벗어나는 것에 대한 페널티 (비밀 복구 보장).
  • $KL$ 페널티: 비회피적(non-evasive)인 제1장의 모델에 어댑터를 앵커링하여 유창성과 능력을 보존합니다.
• 평가: 결과물인 "회피형 트로이 목마(evasive trojans)"는 릿지 회귀 모델과 홀드아웃(held-out) MLP 프로브 모두를 대상으로 테스트됩니다.

제3장: 정보 이론을 통한 탐지 가능성 회복

• 이론적 특성 규명: 저자들은 정보 이론을 사용하여 회피 메커니즘을 분석합니다. 내부 표현을 콘텐츠 정렬 성분($R_{\neq N}$)과 어휘 선택 및 재구문(rephrasing)에서 발생하는 "여유(slack)" 자유도($R_N$)로 분해합니다.
• 시너지 가설: 저자들은 (정리 1) 모델이 탐지를 성공적으로 회피(유창성과 구별 불가능성을 유지하면서)하는 동시에 비밀 정보를 복구하려면, 비밀 정보가 콘텐츠 정렬 표현과 여유 자유도 사이의 **시너지적 상호작용(synergistic interaction)**을 통해 전달되어야 함을 증명합니다. 비밀은 결합 구조(joint structure) 속에 숨겨지며, 이는 여유 성분에 접근할 수 없는 저차(low-order, 선형) 탐지기에는 보이지 않게 만듭니다.
• 개입: 이 시너지를 깨뜨리기 위해 저자들은 **재맥락화(recontextualization)**를 제안합니다. 단일 문장 템플릿은 고정하고 주제 슬롯(topic slots)만 변하는 데이터셋을 구축합니다. 이는 여유 자유도의 엔트로피($H(R_N | R_{\neq N}, C)$)를 급격히 감소시킵니다.
• 예측: 정리 2는 여유(slack)를 제한하면 비밀 정보가 다시 콘텐츠 정렬 표현으로 강제되어 탐지가 가능해질 것이라고 예측합니다.
• 실험: 저자들은 다양한 프롬프트부터 고도로 제약된 재맥락화 프롬프트에 이르는 데이터셋 스윕(sweep)을 통해 회피형 트로이 목마를 평가하며, 이를 통해 탐지 신호의 회복을 측정합니다.

주요 결과

1. 기초 탐지 (제1장)

• 스테가노그래피 성공률: 초기 트로이 목마는 32비트 비밀 정보에 대해 높은 비트 정확도(96.8–97.8%)와 일치하는 전체 일치 복구율(37.5–61.5%)을 달성했습니다.
• 능력 보존: 모델은 대부분의 원래 능력을 유지했으며, 평균 벤치마크 하락 폭은 -0.8%에서 -6.4% 사이였습니다.
• 탐지 가능성: 모든 제1장 모델은 적어도 하나 이상의 프로브 계열(Ridge 또는 MLP)에 의해 성공적으로 플래그가 지정되었으며, 이는 표준 미세 조정이 선형 흔적을 남긴다는 것을 확인시켜 줍니다.

2. 회피 성공 (제2장)

• 강력한 회피: 적대적 미세 조정은 탐지 신호를 성공적으로 억제했습니다.
  • 릿지 프로브: 모든 제2장 모델은 훈련 중에 사용된 릿지 탐지기를 회피했습니다.
  • MLP 프로브: 결정적으로, 모델은 적대적 훈련 루프에 포함되지 않은 홀드아웃 MLP 프로브까지도 회피했습니다. 이는 회피 과정이 단순한 과적합이 아니라, 선형 추출 가능성을 전반적으로 줄이는 일반적인 학습을 수행했음을 시사합니다.
• 성능 유지: 회피형 모델은 높은 비밀 복구율(일치율 58–79%)을 유지하면서도 벤치마크에서 아주 미미한 추가 능력 저하(평균 -3.9%)만을 기록했습니다.

3. 탐지 가능성의 회복 (제3장)

• 여유(Slack) 제약: 재맥락화 데이터셋(제약된 프로프트 수 $N_{recon}$이 증가하는 환경)에서 평가했을 때, 회피형 트로이 목마의 탐지 신호가 유의미하게 상승했습니다.
• 복원: 여유 자유도가 제한됨에 따라, 회피형 트로이 목마는 릿지 및 MLP 프로브 모두에서 베이스 모델과 다시 구별 가능해졌습니다. 여유(slack)가 제한됨에 따라 탐지 곡선이 베이스 모델의 기준선으로부터 명확히 분리되었으며, 이는 은닉 채널을 파괴하지 않고도 회피를 효과적으로 "되돌리는" 결과를 보여주었습니다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. 활성화 기반 탐지의 취약성: 선형 및 비선형(MLP) 활성화 프로브가 적응형 회피에 취약함을 입증했습니다. 공격자는 비밀 정보를 여유 자유도와의 시너지적 상호작용 속에 숨김으로써, 표준적인 기제적 모니터링을 무력화하는 방식으로 모델을 미세 조정할 수 있습니다.
2. 정보 이론적 설명: 본 연구는 왜 회피가 작동하는지에 대한 이론적 프레임워크를 제공합니다. 회피가 성공하려면 복구 가능성과 조건부 구별 불가능성을 모두 만족시키기 위해 비밀 정보가 "여유(slack)"와 시너지적으로 인코딩되어야 한다고 상정합니다.
3. 이론 기반의 방어: 저자들은 탐지 실패가 진단적으로 유용할 수 있다고 주장합니다. 회피 메커니즘(여유에 대한 의존성)을 이해함으로써, 방어자는 이러한 특정 자유도를 제한하는 **타겟형 평가 분포(재맥락화)**를 구축할 수 있습니다. 이는 더 복잡한 새로운 탐지 아키텍처를 요구하지 않고도 탐지 가능성을 회복시킵니다.

저자들은 기제적 프로브가 강력하기는 하지만, 적응형 모델에 대한 완전한 방어로 간주되어서는 안 된다고 결론짓습니다. 대신, 안전성 평가는 공격자가 악용할 수 있는 특정 자유도를 제한하는 이론 기반의 데이터셋을 반드시 포함해야 합니다.