기술적 요약: 지원 영역을 넘어선 조정

문제 제기

대규모 언어 모델 (LLM) 을 위한 현재 안전 조정 (safety steering) 방법들은 알려진 재일브레이크 (jailbreak) 프롬프트의 정적이고 제한적인 데이터셋을 활용한 지도 학습에 크게 의존합니다. 이러한 방법들은 특정 훈련 예제에 대해 '거부' 영역으로 활성화를 조정하는 법을 학습하지만, 근본적인 일반화 실패로 고통받습니다: 즉, 보지 못한 분포 외 (OOD) 재일브레이크 공격에 대해서는 성능이 저조합니다. 기존 접근법들은要么 선형적 개입을 적용하여 유익한 기능을 저하시키거나, 좁은 훈련 지원 영역을 넘어선 일반화에 실패하는 조건부 개입을 학습합니다. 핵심적인 과제는 방대한 라벨링된 재일브레이크 데이터 없이도 정적이고 제한적인 훈련 지원을 넘어 최대한 일반화되는 안전 조정 메커니즘을 어떻게 훈련할 것인가입니다.

방법론

본 논문은 조정 필드의 훈련 지원을 확장하기 위해 비지도 잠재 방향 발견을 활용하는 이중 수준 적대적 훈련 프레임워크를 제안합니다.

1. 비지도 재일브레이크 활성화 시뮬레이션 (내부 단계)

새로운 라벨링된 재일브레이크 데이터를 수집하는 대신, 이 방법은 직접적인 유해 요청에서 얻은 '거부 상태' 활성화를 '재일브레이크된' 활성화 (순응적이지만 유해한 응답) 로 변환할 수 있는 잠재 방향을 발견합니다.

• 잠재 방향 발견: 비지도 목적 함수를 사용하여, 모델은 초기 레이어 $s$에 주입되는 조정 벡터 집합 $V$를 학습합니다. 이러한 벡터는 프롬프트 데이터셋 전반에 걸쳐 목표 레이어 $t$에서 일관되고 큰 의미적 변화를 유도하도록 최적화되며, 이는 모델 행동을 변경하는 인과적 개입을 효과적으로 발견합니다.
• 외삽: 발견된 이러한 방향들은 보정된 크기 $R$을 가진 거부 상태 활성화 ($h_r$) 에 적용되어 적대적인 시뮬레이션 재일브레이크 활성화 ($h_{adv} = h_r + R \cdot v$) 를 생성합니다. 이 과정은 훈련 지원을 보지 못한 재일브레이크에 해당할 가능성이 있는 활성화 공간 영역으로 외삽합니다.

2. 잠재 함수를 통한 학습 가능한 조정

본 논문은 고정된 선형 조정 벡터를 넘어 학습 가능하고 공간적으로 변하는 조정 필드로 이동합니다.

• 최적 수송 (OT) 관점: 조정 메커니즘은 재일브레이크된 활성화의 분포를 최소 변위로 거부 활성화의 분포로 수송하는 것으로 모델링됩니다.
• 잠재 함수: 스칼라 잠재 함수 $f_\phi$ (작은 MLP 로 매개변수화됨) 가 학습됩니다. 이 함수의 기울기 $\nabla f_\phi$는 활성화를 안내하는 벡터 필드를 정의합니다.
• 테스트 시간 조정: 추론 시, 활성화 $h$는 이 필드를 따라 반복적으로 기울기 상승 단계를 수행하여 조정됩니다: $h^{(k+1)} = h^{(k)} + \eta \nabla_h f_\phi(h^{(k)})$.

3. 이중 수준 적대적 훈련 (외부 단계)

잠재 함수는 세 가지 특정 요구 사항을 충족하도록 훈련됩니다:

1. 일반 조정 가능성: 필드는 거부되지 않은 활성화 (시뮬레이션된 재일브레이크 포함) 를 거부 영역으로 수송해야 합니다. 이는 Wasserstein-1 거리의 Kantorovich-Rubinstein 쌍대성을 사용하여 거부 및 거부되지 않은 분포 간의 잠재적 차이를 최대화함으로써 달성됩니다.
2. 유익한 제로 조정 가능성: 필드는 유익성을 보존하기 위해 유익한 활성화에 대해 거의 항등 (기울기 제로) 으로 유지되어야 합니다. 이는 유익한 입력에 대한 기울기 노름을 패널티화함으로써 강제됩니다.
3. 재일브레이크 강한 조정 가능성: 필드는 재일브레이크된 활성화에 대해 강력한 수송을 유도해야 합니다.

훈련은 다음 사이클을 반복합니다:

• 내부 단계: 현재 잠재 함수에 대한 손실을 최대화하는 '어려운' 시뮬레이션 재일브레이크를 생성하기 위해 잠재 방향 $V$를 적대적으로 최적화합니다.
• 외부 단계: 이러한 어려운 시뮬레이션 재일브레이크에 대한 손실을 최소화하면서 유익성 및 일반 조정 가능성 제약을 유지하도록 잠재 매개변수 $\phi$를 업데이트합니다.

주요 기여

1. 중요한 한계의 식별: 저자들은 지도식 안전 조정이 정적인 훈련 분포에 묶여 있어 재일브레이크 활성화 공간의 넓은 영역을 정의하지 못하기 때문에 보지 못한 재일브레이크로 일반화되지 못한다는 점을 식별했습니다.
2. 이중 수준 적대적 프레임워크: 비지도 잠재 방향 발견을 사용하여 다양한 적대적 재일브레이크 활성화를 합성하는 새로운 훈련 루프입니다. 이러한 시뮬레이션된 상태는 조정 필드의 효과적인 범위를 점진적으로 확장하는 훈련 신호로 작용합니다.
3. 잠재 기반 조정: 최적 수송 쌍대성을 통해 학습 가능한 스칼라 잠재 함수를 도입하여 공간적으로 변하는 고용량의 조정 필드를 제공함으로써 경직된 선형 개입을 대체합니다.

실험 결과

이 방법은 세 가지 LLM(LLaMA-3-8B, Mistral-v2-7B, Qwen-2.5-7B) 과 여섯 가지 고전적 재일브레이크 계열 (GCG, AutoDAN, GPTFuzz, PAIR, TAP, FewShot) 에서 평가되었습니다.

• 강건성: 제안된 방법은 모든 모델과 공격 계열에서 공격 성공률 (ASR) 이 대부분 5% 미만인 강력한 방어 성능을 달성했습니다. 이는 보지 못한 공격에 대해 지도식 베이스라인 (AlphaSteer 등) 과 표현 공학 방법 (Circuit-Breaker 등) 을 능가하거나 동등한 성능을 보였습니다.
• 유익성 보존: 유익한 경계 사례에서 높은 과도 거부율을 초래한 공격적인 베이스라인과 달리, 제안된 방법은 거짓 긍정률 (과도 거부) 을 상대적으로 낮게 유지하면서 추론, 지식, 수학 벤치마크 (ARC-C, TruthfulQA, GSM8K) 에서 높은 유익성 점수를 유지했습니다.
• 기작적 통찰: 분석 결과, 훈련이 진행됨에 따라 시뮬레이션된 재일브레이크 활성화가 실제 재일브레이크 공격의 부분 공간을 커버하도록 확장되는 것을 보여주었습니다. 이러한 '상승하는 부분 공간 커버리지'는 향상된 방어 강건성과 직접적으로 상관관계가 있었으며, 시뮬레이션을 통한 훈련 지원 확장이 일반화의 핵심 동력이라는 가설을 검증했습니다.

중요성과 주장

본 논문은 LLM 안전 분야에서 크게 간과된 문제인 현재 조정 방법들의 훈련 지원을 넘어선 일반화 불가능성을 해결한다고 주장합니다. 정적인 재일브레이크에 대한 지도 학습에서 비지도 적대적 시뮬레이션 패러다임으로 전환함으로써, 이 방법은 안전 조정이 진화하는 보지 못한 위협에 적응할 수 있게 합니다.

저자들은 그들의 접근 방식이 모델 전체를 재훈련하거나 방대한 재일브레이크 데이터셋을 수집할 필요가 없다고 강조합니다. 대신, 유해한 내부 상태를 거부 행동으로 재지향하면서도 유익성을 보존할 수 있는 강건하고 공간적으로 변하는 조정 필드를 학습합니다. 이 작업은 견고한 방어의 열쇠는 광범위한 시뮬레이션된 재일브레이크 활성화 분포를 합성하고 학습하는 능력에 있으며, 이는 효과적으로 원본 훈련 데이터의 "지원 영역을 넘어선 조정"을 가능하게 한다고 시사합니다.

한계점: 저자들은 이 프레임워크가 비지도 잠재 방향 발견의 품질에 의존한다고 지적합니다. 그들은 자연어가 아닌 언어 (예: base64, 암호) 를 포함하는 재일브레이크는 선형 잠재 개입으로 도달하기 어려운 활성화 영역에 해당할 수 있음을 인정하며, 이는 시뮬레이션 메커니즘의 표현력에 내재된 한계를 시사합니다.