Minimal, Local, Causal Explanations for Jailbreak Success in Large Language Models

"대규모 언어 모델의 재브레이크 성공에 대한 최소, 국소, 인과적 설명"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 유해한 요청을 거부하도록 안전 정렬되어 있지만, 이러한 거부를 우회하는 '재브레이크 (jailbreak)' 공격에는 여전히 취약합니다. 기존 기계적 해석 가능성 연구는 '유해성'과 '거부'와 같은 개념을 인코딩하는 표현 공간 내의 전역적 방향을 식별해 왔으나, 이러한 전역적 설명은 다음과 같은 중대한 한계를 가집니다:

• 구체성 부족: 모든 재브레이크가 동일한 메커니즘 (예: 유해성 억제) 을 통해 성공한다고 가정하지만, 서로 다른 전략은 서로 다른 중간 개념을 조작할 수 있습니다.
• 비국소성: 특정 재브레이크 사례가 왜 성공했는지를 설명하지 못합니다.
• 비인과성: 종종 거부와 상관관계가 있을 뿐, 특정 표현에 개입하는 것이 실제로 모델이 거부하도록 인과적으로 유도한다는 것을 증명하지는 못합니다.
• 비최소성: 기존 방법들은 거부를 유도하기 위해 종종 대규모이고 비표적적인 개입 (예: 모든 토큰을 조종) 을 필요로 하므로 비효율적이고 해석하기 어렵습니다.

저자들은 국소적, 인과적, 그리고 최소적인 설명의 필요성을 제기합니다. 즉, 성공적인 재브레이크의 중간 표현에 가해지는 가장 작은 집합의 구체적이고 해석 가능한 변화를 식별하여, 모델이 거부하도록 인과적으로 유도하는 것입니다.

2. 방법론: LOCA

저자들은 성공적인 재브레이크 응답을 거부로 되돌리는 최소 개입을 찾기 위해 고안된 LOCA(Local, CAusal explanations) 를 소개합니다.

핵심 구성 요소

1. 토큰 매칭:

   • 재브레이크 프롬프트 ($x_j$) 와 원본 프롬프트 ($x_o$) 는 종종 길이와 구조가 다르므로, LOCA 는 특정 매칭 방식을 사용합니다.
   • 시스템 토큰 ($T_{sys}$) 은 무시합니다.
   • 지시어 토큰 ($T_{inst}$) 의 길이를 맞추기 위해 재샘플링 (업샘플링 또는 다운샘플링) 을 수행하여 1 대 1 매핑을 가능하게 합니다.
   • 지시어 이후 토큰 ($T_{post-inst}$) 은 직접 매칭합니다.
   • 이를 통해 구조적으로 다른 프롬프트 간에 **활성화 패치 (Activation Patching)**가 가능해집니다.

2. 조종이 아닌 활성화 패치:

   • 이전 연구들이 모든 토큰에 벡터를 추가하는 *활성화 조종 (activation steering)*을 사용한 것과 달리, LOCA 는 활성화 패치를 사용합니다. 이는 재브레이크 프롬프트의 특정 중간 활성화를 거부된 원본 프롬프트의 해당 활성화로 대체하는 것입니다. 이를 통해 변경 사항이 유효한 모델 상태의 분포 내에서 ("on-manifold") 유지되도록 보장합니다.

3. 해석 가능한 방향 (SAE):

   • LOCA 는 임의의 방향을 패치하지 않습니다. 모델의 잔류 스트림 (residual stream) 에서 훈련된 희소 오토인코더 (SAE) 로부터 유도된 개념 벡터를 따라 패치합니다. 이러한 벡터는 인간이 해석 가능한 개념 (예: "폭력", "코드 생성") 을 나타냅니다.

4. 반복적, 토큰별 1 차 근사:

   • 목표: 재브레이크의 첫 번째 출력 토큰 확률 분포 ($p_j$) 와 거부된 원본의 첫 번째 출력 토큰 ($p_o$) 간의 KL 발산을 최소화합니다.
   • 근사: 모든 가능한 패치에 대해 전체 응답을 생성하는 것은 계산적으로 불가능하므로, LOCA 는 토큰 $i$를 방향 $v$로 패치하는 효과를 추정하기 위해 1 차 근사를 사용합니다:
     $$d(i, v) = [\nabla_{h_{j,i}} KL(p_o || p_j) v] \cdot (h_{o, M(i)} - h_{j,i}) v$$
     여기서 $h$는 임베딩을 나타내고, $M(i)$는 매칭된 참조 토큰이며, 대괄호 안의 항은 방향 도함수입니다.
   • 반복 알고리즘:
     1. 원래 재브레이크 임베딩으로 초기화합니다.
     2. 근사 지표를 최소화하는 토큰 $i$와 개념 벡터 $v$를 찾습니다.
     3. 패치를 적용합니다 (방향 $v$를 따라 $h_{j,i}$를 $h_{o, M(i)}$로 대체).
     4. 새로운 상태를 기반으로 1 차 근사를 재계산합니다 (상호 작용 효과를 고려).
     5. 거부 조건이 충족되거나 중지 기준에 도달할 때까지 반복합니다.

3. 주요 기여

1. 알고리즘적 신규성: LOCA 는 재브레이크를 설명하기 위해 토큰별 특성, 반복적 재계산, 그리고 SAE 기반 해석 가능성을 결합한 최초의 방법입니다.
2. 효율성: LOCA 는 기존 방법들이 20 회 이상의 개입 후에도 실패하는 경우가 많은 반면, Llama 의 경우 평균 6 회, Gemma 의 경우 12~16 회로 훨씬 적은 개입으로 거부를 유도합니다.
3. 국소화 통찰: 이 방법은 거부 메커니즘이 계층 깊이에 따라 달라진다는 것을 보여줍니다:
   • 초기 계층: 거부는 **지시어 토큰 ($T_{inst}$)**의 변화에 의해 주도되며, 토큰 유형 (단어 대 구두점) 에 대한 강한 편향은 없습니다.
   • 중간/후기 계층: 거부는 거의 독점적으로 **지시어 이후 토큰 ($T_{post-inst}$)**과 구두점 토큰에 의해 주도됩니다.
4. 추출 검증 실험: 실험은 토큰별 기울기 계산과 알고리즘의 반복적 특성이 모두 성능에 결정적임을 확인했습니다. 비반복적 또는 평균 기울기 변형은 성능이 저하되었습니다.

4. 실험 결과

• 데이터셋 및 모델: WhatFeatures 데이터셋 (10,800 개의 재브레이크) 에서 Gemma-2-2B-IT와 Llama-3.1-8B-Instruct를 평가했습니다.
• 기준선: Lee 등 (2025) 과 Yeo 등 (2025) 의 방법과 비교했습니다.
• 지표:
  • 최소 패치 (MP): LOCA 는 Llama 의 경우 약 6 개의 패치로 거부를 달성하는 반면, 기준선은 20 개 이상의 패치가 필요합니다.
  • 거부율 (RR): LOCA 는 특정 계층 (Llama 의 경우 계층 7, Gemma 의 경우 계층 17) 에서 100% RR 에 도달하는 반면, 기준선은 계층이 증가함에 따라 RR 을 개선하는 데 어려움을 겪습니다.
  • KL-AUC / LD-AUC: LOCA 는 패치당 오차가 현저히 낮아 거부된 출력과의 정합성이 더 뛰어납니다.
• 사례 연구 (AutoDAN): 불법 화기에 관한 AutoDAN 재브레이크에 적용했습니다. LOCA 는 재브레이크가 다음을 통해 성공했다고 식별했습니다:
  1. "유해한 요청" 개념 (Concept #31126) 을 억제했습니다.
  2. 요청을 온전하게 프레임하기 위해 "무해한 코드 생성" 개념 (Concept #125009) 을 강화했습니다.
  3. 거부를 유도하기 위해서는 이러한 특정 개념적 변화를 되돌리기 위해 구두점 토큰을 패치해야 했습니다.

5. 중요성 및 결론

이 논문은 LLM 안전 분야에서 전역적인 기계적 해석 가능성에서 국소적인 것으로의 전환을 나타냅니다.

• 기계적 이해: 재브레이크 성공이 단일 현상이 아니라 중간 개념에 대한 구체적이고 최소적인 인과적 개입의 집합임을 보여줍니다.
• 효율성: 안전을 복원하기 위해 변경해야 하는 소수의 특정 토큰 - 개념 상호작용만을 식별함으로써, LOCA 는 더 간결하고 인간이 이해할 수 있는 설명을 제공합니다.
• 향후 방향: 이 연구는 서로 다른 계층과 토큰 유형이 거부 메커니즘에서 서로 다른 역할을 한다는 점을 강조하여, 안전 정렬 전략이 계층을 인식해야 할 수 있음을 시사합니다. 한계점 (예: 초기 Llama 계층 해석의 어려움 및 SAE 최적성 문제) 이 존재하지만, LOCA 는 특정 재브레이크 취약점을 진단하고 잠재적으로 완화하기 위한 견고한 프레임워크를 제공합니다.