기술 요약: 로그잇 간격 조종 (Logit-Gap Steering)

문제 정의

인간 피드백을 통한 강화 학습 (RLHF) 으로 정렬된 대규모 언어 모델 (LLM) 은 안전하지 않은 요청을 거부하도록 훈련됩니다. 그러나 이러한 정렬은 종종 거부와 수용 사이에 좁은 "운영 마진"만을 생성합니다. 이전 연구에 따르면, 독성 프롬프트에 짧은 분포 외 (out-of-distribution) 접미사를 추가하면 이 마진을 좁혀 모델의 거부를 수용으로 전환시킬 수 있습니다.

이 논문에서 다루는 핵심 문제는 이 첫 번째 토큰 거부 마진(해석의 첫 단계에서 로그잇 수준의 결정) 을 측정하고 그 견고성을 탐지할 수 있는 확장 가능하고 정량적인 진단 도구의 부재입니다. GCG(Gradient-based Coordinate Gradient) 와 같은 효과적인 재브레이크 접미사를 발견하는 기존 방법들은 대규모 분포 외 토큰 공간에 대한 그래디언트 기반 최적화에 의존합니다. 이러한 방법들은 계산 비용이 매우 높으며 (예: A100 단일 GPU 에서 50 개의 프롬프트당 약 5 시간), 분포 외 특성이 강한 접미사를 생성하여 분도 기반 방어 기법에 의해 쉽게 탐지됩니다.

방법론: 로그잇 간격 조종 (Logit-Gap Steering)

저자들은 분포 내 (in-distribution) 토큰을 사용하여 거부 - 수용 로그잇 간격을 측정하고 좁히도록 설계된, 그래디언트 없이 순방향 전달 (forward-pass) 만 수행하는 진단 방법인 로그잇 간격 조종을 소개합니다.

1. 거부 - 수용 로그잇 간격

핵심 지표는 해로운 프롬프트 이후 첫 번째 해석 단계 ($h_0$) 에서 최상위 거부 토큰 로그잇과 최상위 수용 토큰 로그잇 간의 차이로 정의됩니다:
$$\Delta_0 = \ell_{\text{refusal}}(h_0) - \ell_{\text{affirm}}(h_0)$$
이 논문은 정렬이 기본 모델에 비해 대부분의 독성 프롬프트에서 이 간격을 확대한다고 가정합니다. 재브레이크가 성공하려면 접미사 $S$가 누적 간격을 0 이하로 줄여야 합니다.

2. 점수 함수 (간격 축소 대리 지표)

그래디언트 계산을 피하기 위해, 이 방법은 단일 순방향 전달에서 유도된 점수 함수 $F(h, t)$를 사용하여 후보 토큰 $t$의 간격 축소를 근사합니다. 이 점수는 세 가지 대리 지표를 결합합니다:

• 로그잇 간격 축소: 로그잇 차이의 즉각적인 변화.
• KL 패널티 대리 지표: 거부 로그잇을 중립적이고 확률이 높은 토큰과 비교하여 기본 모델에서의 편차를 근사화.
• 보상 이동 대리 지표: 학습된 보상 모델의 선호도를 나타내는 대리 지표로서 점진적인 수용 로그잇 사용.

결합된 점수는 다음과 같습니다:
$$F(h, t) = \Delta F_{\text{logit}}(h, t) - \lambda_{KL}\Delta KL(h, t) + \lambda_r \Delta r(h, t)$$

3. 탐색 알고리즘

이 방법은 탐욕적 커버링 (Greedy Covering) 알고리즘을 사용합니다:

1. 후보 필터링: 프롬프트에 기반한 확률이 높고 거부 토큰이 아닌 분포 내 토큰만 유지하도록 어휘를 필터링합니다.
2. 점수 매기기: 각 후보를 $F(h, t)$를 사용하여 점수화합니다.
3. 선택: 누적 점수가 초기 간격 $\Delta_0$를 초과할 때까지 점수가 높은 순서대로 토큰을 탐욕적으로 선택합니다.
4. 변형: 단일 토큰의 근시안적 성향과 분포 외 아티팩트를 극복하기 위해 저자들은 다음을 도입합니다:
   • DFS 구문 수확 (DFS Phrase Harvesting): 문법적인 수용 구문을 수확하기 위한 깊이 우선 탐색.
   • 구성 요소 수준 탐색: 다중 토큰 시퀀스를 원자 단위로 평가.
   • 순열 선택: KL-보상 균형, 직접 간격 최소화, 또는 결합 점수를 최적화하기 위해 상위 후보들의 순열을 탐색.

4. 효율성

전체 과정은 순방향 전달만 필요합니다. 모델 패밀리용 8 개 접미사 앙상블을 발견하는 데는 약 26,000 개의 순방향 전달에 상응하는 계산량(A100 단일 GPU 에서 약 2 분)이 소요되며, 이는 단일 GCG 탐색에 비해 약 125 배 적은 계산량입니다.

주요 기여

1. 정렬 진단: 첫 번째 토큰 운영 거부 마진의 정량적 측정치로서 거부 - 수용 로그잇 간격의 정의. 저자들은 다양한 전략에 걸쳐 중앙값 간격 축소가 실제 공격 성공률 (ASR) 과 공변동함을 보여주어 내부 일관성 검증을 제공합니다.
2. 효율적인 탐지 방법: GCG 보다 훨씬 낮은 계산 비용으로 효과적이고 분포 내 접미사 (구성 요소당 10 토큰 미만) 를 발견하는 그래디언트 없는 방법.
3. 교차 규모 전이: 작은 모델 (0.5B~2B 파라미터) 에서 발견된 접미사는 동일한 패밀리 내의 훨씬 큰 모델 (최대 72B) 로 수정 없이 전이됩니다.
4. 은폐성: 발견된 접미사의 퍼플렉시티 값은 GCG 접미사보다 $10^3$~$10^4$배 낮습니다. 결과적으로 GCG 를 성공적으로 차단하는 퍼플렉시티 필터 방어 기법에도 불구하고 효과적으로 유지됩니다.

실험 결과

이 방법은 AdvBench 와 HarmBench 를 사용하여 세 가지 패밀리 (Llama, Gemma, Qwen) 의 13 개 모델에서 평가되었습니다.

• 공격 성공률 (ASR): 8 개 접미사 앙상블은 13 개 모델 전반에 걸쳐 38~96% 의 실제 ASR을 달성했습니다. 강력하게 정렬된 모델 (예: Qwen2.5-72B) 의 경우, 이 앙상블은 GCG+SH 보다 8~18 배 더 우수했습니다 (37.9% 대 4.6%).
• 효율성: 범용 접미사 발견에 있어 GCG 보다 약 125 배 빠르며, 8-샷 GCG 베이스라인보다 17 배 빠릅니다.
• 방어 회피:
  • 퍼플렉시티 필터: 퍼플렉시티 필터 방어 ($T=1000$) 하에서 GCG+SH 는 64.7% 에서 1.0% 로 실제 ASR 이 급락한 반면, 발견된 앙상블은 76.9% 에서 76.0% 로 약간만 감소했습니다.
  • 시맨틱 필터: Llama Guard 3(LG3) 은 모든 방법을 상당히 감소시켰지만, 발견된 앙상블은 전반적으로 2~3 배, 강력하게 정렬된 표적에 대해서는 GCG 대비 8~16 배의 우위를 유지했습니다.
• 내부 역학: 분석은 문장 경계에서 안전 패널티가 급증하는 "문장 경계 보상 절벽 (sentence-boundary reward cliffs)"을 드러냈습니다. 성공적인 접미사들은 이러한 절벽을 피하기 위해 단일 런온 구문 내에 간격 축소 능력을 집중시킵니다.

중요성과 주장

이 논문은 현재 정렬 마진이 일관되게 존재하지만 종종 얇고 효율적으로 측정 가능하다고 주장합니다. 주요 기여는 새로운 유형의 해악 (접미사는 이미 GCG 에 취약한 모델을 대상으로 함) 이 아니라, 안전 평가를 위한 정량적 진단 프레임워크와 계산적으로 효율적인 탐지기입니다.

저자들은 다음과 같이 주장합니다:

1. 방어 기법의 진화 필요: 공개된 퍼플렉시티 필터 방어 기법은 benign 지시문 스타일 텍스트를 모방하는 분포 내 접미사에 대해 불충분합니다.
2. 층화된 방어 필요: 서로 다른 방어 기법 (퍼플렉시티 대 시맨틱) 이 서로 다른 공격 스타일을 포착하므로, 입력 필터링과 출력 시맨틱 분류의 조합이 필요합니다.
3. 정렬 아티팩트: 이 방법은 문장 경계 보상 절벽과 같은 특정 정렬 아티팩트를 노출하여, 안전 튜닝이 내부 표현을 어떻게 재구성하는지에 대한 경량 탐지기를 제공합니다.

이 연구는 책임 있는 공개 원칙을 준수하여 주요 모델 제공자 (Meta, Alibaba, Google, Mistral, OpenAI) 의 안전 팀과 공개 30 일 전에 발견된 접미사를 공유하고, 사용 가능 정책 뒤에 아티팩트 접근을 제한했습니다.