기술 요약: 활성화 일관성 훈련을 통한 추론 모델에 대한 적응형 공격 완화

문제 제기

대형 언어 모델 (LLM) 이 확장된 사고 연쇄 (Chain-of-Thought, CoT) 추론을 채택함에 따라 안전성 환경이 변화했습니다. CoT 는 기능 향상을 이끌지만, 새로운 취약점을 도입합니다. 모델이 "자신을 순응하도록 설득"할 수 있어, 초기에는 유해한 요청으로 식별했으나 추론 과정에서 점진적으로 이를 무해한 것으로 재구성할 수 있기 때문입니다. 또한 외부 공격 (예: H-CoT, CoT-Hijacking) 은 이러한 채널을 악용하여 안전 필터를 우회합니다.

기존 방어책은 이러한 환경에서 두 가지 주요 도전에 직면해 있습니다:

1. 추론 복잡성: Deliberative Alignment 와 같은 방법은 모델이 안전성을 추론하도록 의존하지만, 증거에 따르면 정교한 공격에는 불충분한 것으로 나타납니다.
2. 훈련 확장성: 프롬프트 인젝션에 대한 훈련 기반 방어책 (예: StruQ, SecAlign) 은 일반적으로 모델의 전체 출력 분포를 감독해야 합니다. 추론 모델의 경우 이는 예시당 수백 또는 수천 개의 CoT 토큰을 감독해야 함을 의미하며, 이는 계산 비용이 많이 들고 추적 길이가 길어질수록 확장하기 어렵습니다.

본 논문은 추론 모델이 긴 사고 흔적 전체에 대한 감독 없이 유해한 컨텍스트를 무시하도록 훈련될 수 있는지 질문합니다.

방법론

저자들은 **일관성 훈련 (Consistency Training)**을 조사합니다. 이는 정제된 프롬프트 ($p_{clean}$) 와 적대적으로 재작성된 "감싸기" 프롬프트 ($p_{wrapped}$) 에 대해 동일한 행동을 강제하는 자기지도식 프레임워크입니다. 두 가지 변형을 비교합니다:

1. 편향 증강 일관성 훈련 (BCT): 출력 수준의 접근법입니다. 모델은 감싸기 입력이 주어졌을 때 기본 모델의 정제된 프롬프트 완성 (전체 CoT 및 응답 포함) 을 재현하도록 교차 엔트로피를 통해 미세 조정됩니다.
2. 활성화 일관성 훈련 (ACT): 활성화 수준의 접근법입니다. 출력을 감독하는 대신, ACT 는 모델의 내부 은닉 상태에 대한 합의를 강제합니다. 구체적으로, 모든 트랜스포머 레이어에서 공유 접미사 위치 (일반적으로 채팅 템플릿 경계와 어시스턴트 턴 시작부) 에 있는 감싸기 프롬프트와 정제된 프롬프트의 은닉 상태 간 제곱 L2 거리를 최소화합니다.

주요 기술적 세부사항

• 공유 접미사 추출: 이 방법은 채팅 템플리팅 후 정제된 프롬프트와 감싸기 프롬프트 간의 가장 긴 일치하는 토큰 실행을 식별합니다. 적대적 환경에서는 이는 일반적으로 추론 길이와 무관하게 약 6 개의 토큰 (사용자 끝 표시자, 어시스턴트 턴 오프너, 초기 사고 채널 토큰) 로 구성됩니다.
• 손실 함수: 고정된 기본 모델 $\theta_{init}$과 LoRA 적응 모델 $\theta$에 대해 손실은 다음과 같습니다:
  $$L_{ACT}(\theta) = \mathbb{E}_{(p_{clean}, p_{wrapped})} \sum_{\ell \in \mathcal{L}} \sum_{t \in \mathcal{T}} \| h_{\theta}(p_{wrapped})[\ell, t] - \text{sg}(h_{\theta_{init}}(p_{clean})[\ell, t]) \|^2$$
  여기서 $\text{sg}$는 stop-gradient 를 나타냅니다.
• 무해한 정규화: 유용성 저하를 방지하기 위해 무해한 프롬프트에 대한 손실 항 ($L_{benign}$) 을 가중치 인자 $\lambda$와 함께 추가합니다.
• 훈련 데이터: 두 방법 모두 $(p_{clean}, p_{wrapped})$의 동일한 쌍을 사용합니다. BCT 의 경우, $p_{clean}$에 대한 기본 모델의 완성이 목표가 되며; ACT 의 경우 프롬프트만 필요합니다.

주요 기여

1. 프롬프트 인젝션 방어로서의 ACT: 저자들은 ACT 를 프롬프트 인젝션에 대한 방어책으로 제시합니다. 세 가지 벤치마크 (OPI, AlpacaFarm, SEP) 와 다섯 가지 추론 모델에 걸쳐 ACT 는 BCT 와 일치하거나 능가합니다. 결정적으로 ACT 는 고정된 레이블이나 전체 CoT 에 대한 감독이 필요하지 않습니다.
2. 적응형 공격으로의 일반화: 이 연구는 방어된 모델에서 직접 강화 학습 (GRPO) 을 통해 훈련된 적응형 공격자에 대한 방어를 평가합니다. ACT 는 탈옥 및 프롬프트 인젝션 설정 모두에서 거의 모든 대상에 대해 BCT 보다 우수한 견고성을 보여주며, 동시에 비교 가능한 모델 유용성을 유지합니다.
3. 기작적 통찰: 본 논문은 ACT 의 방어가 어시스턴트 턴 경계에서 활성화 공간에서 대략적인 선형 이동으로 인코딩된다는 증거를 제공합니다.
   • 선형 조종: 단일 조종 방향 ($d_{ACT}$) 을 복원할 수 있습니다. 이 방향을 기본 모델에 추가하면 탈옥에 대한 거부를 유도하고, ACT 로 방어된 모델에서 이를 빼면 순응을 복원합니다.
   • CoT 조작에 대한 견고성: 모델의 CoT 를 방어되지 않은 기본 모델의 순응적 흔적으로 대체하는 실험에서, ACT 는 요청을 계속 거부하는 반면 BCT 는 종종 순응적 추론 궤적을 따릅니다. 이는 ACT 가 추론 흔적이 시작되기 전에 거부를 인코딩함을 시사합니다.

결과

• 프롬프트 인젝션: 정적 벤치마크에서 ACT 와 BCT 모두 공격 성공률 (ASR) 을 크게 감소시킵니다. 그러나 적응형 공격 하에서 ACT 는 일관적으로 BCT 를 능가합니다. 예를 들어, GPT-OSS-20B 에서 BCT 는 적응형 공격 하에 57.4% 의 ASR 을 보인 반면, ACT 는 37.0% 로 유지되었습니다.
• 탈옥 방어: ACT 는 대부분의 모델 (예: Qwen3-8B, Phi-4) 에서 정적 및 적응형 공격에 대해 거의 100% 의 방어 승리율을 달성합니다. BCT 의 견고성은 적응형 공격 하에 크게 저하됩니다.
• 유용성: 두 방법 모두 MMLU 및 정제된 프롬프트 정확도와 같은 작업에서 방어되지 않은 기준선의 유용성을 일반적으로 유지하지만, Phi-4-reasoning 에서 BCT 의 유용성이 붕괴된다는 예외가 있습니다.
• 기작적 검증: 조종 실험은 $d_{ACT}$가 양방향으로 작용함을 확인했습니다. 이는 기본 모델에서 거부를 유도하고 방어된 모델에서 거부를 제거할 수 있습니다. 해당 방향은 선택성을 보여, 중간 강도의 조종 강도에서 무해한 입력에 대한 오거부 (false refusals) 를 최소화했습니다.

중요성 및 주장

본 논문은 추론 모델에서 안전성 훈련을 위해 내부 표현 (ACT) 을 감독하는 것이 놀라울 정도로 효과적이고 해석 가능한 접근법이라고 주장합니다.

• 효율성: ACT 는 BCT 와 같은 출력 수준 방법이 요구하는 수천 개의 CoT 토큰을 감독하는 계산적 부담을 피합니다.
• 견고성: 추론이 시작되기 전 어시스턴트 턴 경계에서 감독을 고정함으로써 ACT 는 추론 흔적 자체가 조작되거나 교체되더라도 견고한 방어를 생성합니다.
• 해석 가능성: 선형 거부 방향의 발견은 추론 모델의 안전 메커니즘이 간단한 활성화 조종을 통해 제어될 수 있음을 시사하며, 훈련 없는 방어책이나 더 깊은 기작적 이해를 위한 잠재적 경로를 제공합니다.

저자들은 깨끗한/감싸기 데이터셋 생성 필요성, 직접적인 기울기 접근을 통한 화이트박스 공격에 대한 잠재적 취약성, 그리고 어느 방어책도 100% 보안을 달성하지 못한다는 사실을 포함한 한계를 인정합니다. 그들은 ACT 를 확장된 사고 연쇄 추론이 도입한 특정 취약점을 해결하는 보완적 접근법으로 위치시킵니다.