기술 요약: 거절의 기하학: 안전 정렬된 LLM에서의 선형 불안정성

문제 정의

RLHF(인간 피드백을 통한 강화 학습)와 같은 안전 정렬 기술의 광범위한 채택에도 불구하고, 대규모 언어 모델(LLM)이 유해한 질의를 거절하는 메커니즘적 근거는 여전히 불투명하다. 핵심적인 미결 과제는 안전 준수가 심층적인 의미론적 이해를 나타내는 것인지, 아니면 단순히 조작 가능한 얕은 선형 특징(linear feature)에 불과한 것인지 여부이다. 현재의 적대적 공격들은 계산 비용이 많이 드는 최적화(예: GCG)나 반복적인 탐색에 의존하며, 이는 현대적인 안전 훈련에 대해 실패할 가능성이 있다. 본 연구는 안전이 모델의 활성화 공간 내에서 직접적인 산술적 개입을 통해 우회하거나 강화할 수 있는 선형 기하학적 특징으로 인코딩되어 있는지 조사한다.

방법론: 대비적 로짓 스티어링 (Contrastive Logit Steering, CLS)

저자들은 내부 은닉 활성화(hidden activations)가 아닌 모델의 출력 분포(로짓)에 직접 작용하는 제로-최적화 프레임워크인 **대비적 로짓 스티어링(CLS)**을 소개한다.

핵심 메커니즘

1. 대비적 프롬프팅 (Contrastive Prompting): 주어진 사용자 질의 $q$에 대해, 모델은 세 가지 서로 다른 시스템 프롬프트를 사용하여 세 개의 병렬 순전파(forward pass)를 수행한다:
   • 베이스 ($s_{base}$): 중립적인 지시문 (예: "당신은 유능한 어시스턴트입니다").
   • 무제한 ($s_{+}$): 안전 가드레일을 제거한 적대적 지시문.
   • 제한 ($s_{-}$): 극단적인 안전을 강제하는 제한적 지시문.
2. 벡터 격리 (Vector Isolation): 각 디코딩 단계 $t$에서, 이 방법은 제한된 스트림의 로짓을 무제한 스트림에서 빼냄으로써 즉각적인 스티어링 벡터 $v_t$를 계산한다:
   $$v_t = z^+_t - z^-_t$$
   이 벡터는 "거절 방향(Refusal Direction)"을 격리한다. 즉, 준수와 거절 사이의 이진 구분을 인코딩하는 로짓 공간 내의 특정 기하학적 방향을 추출한다.
3. 로짓 개입 (Logit Intervention): 베이스 로짓은 스케일링된 스티어링 벡터를 더함으로써 변조된다:
   $$\tilde{z}_t = z^{base}_t + \alpha \cdot v_t$$
   • 탈옥 (Jailbreaking, $\alpha > 0$): "무제한" 동작을 주입하여 안전 토큰을 억제한다.
   • 경화 (Hardening, $\alpha < 0$): "무제한" 동작을 제거하여 인위적으로 안전을 유도한다.
4. 접두사 주입 (Prefix Injection): 모델의 초기 거절 반사(모델이 종종 즉시 "I cannot" 등을 출력하는 현상)를 우회하기 위해, 이후의 토큰에 스티어링 벡터를 적용하기 전에 처음 $k$개의 토큰을 긍정적인 접두사(예: "Sure")로 강제한다.

탐지 메커니즘

이 프레임워크는 또한 거절의 기하학적 분리 가능성을 활용하여 제로샷 탐지를 수행한다. 유해한 앵커 질의와 양호한 앵커 질의 사이의 최종 레이어 은닉 상태 차이를 통해 글로벌 거절 벡터(Global Refusal Vector)를 계산함으로써, 시스템은 별도의 분류기를 훈련하지 않고 코사인 유사도를 기반으로 새로운 질의를 분류할 수 있다.

주요 기여

1. 진단 프로브로서의 CLS: 본 논문은 Llama와 같은 아키텍처에서 안전이 심층적인 의미론적 제약이 아니라 얕은 "래퍼(wrapper)"로 작동한다는 메커니니즘적 증거를 제공하는 제로샷, 로짓 레벨 스티어링 프레임워크를 제시한다.
2. 거절의 토폴로지 (Topology of Refusal): 저자들은 네트워크 깊이에 따른 KL-발산 분석을 통해 두 가지 뚜렷한 안전 토폴로지를 식별했다:
   • "후기 결정" 모델 (예: Llama-3.1): 이 모델들은 약 95%의 레이어에서 유해한 질의와 양호한 질의를 동일하게 처리하며, 최종 출력 헤드에서만 갈라진다. 이는 로짓 레벨 스티어링에 매우 취약하게 만든다.
   • "조기 발산" 모델 (예: Qwen-2.5): 이 모델들은 연산 중간 단계(~40% 깊이)에서 안전을 통합하며, 거절 메커니즘이 추론과 얽혀 있어 선형 스티어링에 대해 훨씬 더 강력한 내성을 보인다.
3. 경험적 베이스라인: 본 연구는 기존의 활성화 레벨 스티어링 방식(Arditi et al., 2024) 및 최적화 기반 공격(GCG)과 직접 비교하여, 로짓 레벨 개입이 더 큰 정렬 취약성을 드러낸다는 점을 입증했다.
4. 양방향 제어: 이 방법은 단일 벡터를 통해 공격(탈옥)과 방어(안전 경화)를 모두 가능하게 한다. 스티어링 벡터를 반전시키는 것($\alpha < 0$)은 모델을 탈옥으로부터 "경화"시키고, 역설적으로 모호성을 줄임으로써 응답의 일관성을 개선하는 것으로 나타났다.

실험 결과

저자들은 AdvBench, JailbreakBench, HarmBench를 포함한 데이터셋을 사용하여 7개의 모델 제품군(Gemma-3, Llama-3.1/3.2/3.3, Qwen-2.5)에 대해 CLS를 평가했다.

• GCG 대비 공격 성공률 (ASR): Llama-3.1-8B에서 GCG는 100단계의 최적화 후 5%의 ASR만을 달성한 반면, CLS는 약 1초 만에 95% ASR을 달성했다(약 900배의 속도 향상). Qwen-2.5-7B에서 CLS는 GCG의 45% 대비 90%의 ASR을 달성했다.
• 활성화 스티어링과의 비교: Arditi et al. (2024)과 비교했을 때, CLS는 Llama 2(73% vs. 22.6%) 및 Qwen 7B(91% vs. 79.2%)에서 실질적으로 더 높은 ASR을 기록했다. 저자들은 Llama의 "후기 결정" 토폴로지, 즉 거절 신호가 출력 레이어에 집중되어 있어 은닉 상태 절제(ablation)보다 로짓 레벨 개입이 더 효과적이라는 점을 이 격차의 원인으로 꼽았다.
• 안전 경화: 음의 스티어링($\alpha = -1.0$)은 공격 성공률을 한 자릿수로 낮추었다 (예: Llama-3.3-70B의 ASR이 68.8%에서 9.4%로 감소).
• 제로샷 탐지: 글로벌 거절 벡터를 사용한 결과, 별도의 모델 훈련 없이 악의적인 프롬프트와 양호한 프롬프트를 구분하는 데 있어 JailbreakBench에서 F1 점수 0.92를 달성했다.

의의 및 주장

본 논문은 현재의 정렬 기술이 조종 가능한 "안전 축(safety axis)"을 생성하며, 이것이 치명적인 취약점이자 정밀한 방어 프리미티브 역할을 한다고 주장한다.

• 메커니즘적 통찰: 연구 결과는 많은 모델에서 RLHF가 유해한 지식을 "학습하지 않는" 것이 아니라, 출력 레이어에 선형 억제 특징을 적용하는 것임을 시사한다. "거절 벡터"는 안전 준수뿐만 아니라 망설임과 모호함도 포착하며, 이를 제거하면 역설적으로 일관성이 향상될 수 있다.
• 아키텍처 결정론: Llama(후기 결정)와 Qwen(조기 발산) 사이의 취약성 차이는 안전 통합의 깊이가 스티어링 가능성을 결정하는 결정적 요인임을 암시하며, 이는 아키텍처와 훈련 개입 모두에 의해 형성된다.
• 방어 함의: 저자들은 안전이 분리 가능한 선형 부분 공간(linear subspace)으로 구현되는 한, 기하학적 개입에 취약할 수밖에 없다고 주장한다. 이들은 미래의 정렬 패러다임이 거절을 제거 가능한 표면 특징이 아닌 심층적인 의미론적 속성으로 만들기 위해 안전을 일반 능력과 결합해야 한다고 제안한다.

결론적으로, CLS는 억제된 능력을 감사하고 모델을 동적으로 경화하기 위한 실시간 프리미티브를 제공하며, 현재의 안전 구현이 가진 취약성을 강조한다.