기술 요약: 언어 모델의 거절 우회를 위한 잠재 공간 공격

문제 정의

안전 정렬된 대규모 언어 모델 (LLM) 은 유해한 요청을 거절하도록 훈련됩니다. 그러나 최근 문헌은 이러한 거절 행위가 모델 내부 표현을 조종함으로써 억제될 수 있음을 보여줍니다. Arditi 등 [5] 의 방법과 같은 기존 방법들은 모델의 잔류 스트림에서 특정 거절 방향 (유해한 활성화와 무해한 활성화 간의 평균 차이, 즉 DiM 으로 계산됨) 을 "제거 (ablation)"함으로써 이를 달성합니다. 경험적으로 성공적이기는 하지만, 이러한 방법들은 유도하는 잠재 공간 변환에 대한 원칙적인 이론적 설명이 부족합니다. 구체적으로, 왜 제거가 최적의 개입인지, 거절 억제를 위해 충분한지, 그리고 어떻게 체계적으로 개선될 수 있는지는 여전히 불분명합니다. 다루는 핵심 문제는 거절 억제 메커니즘과 현재 제거 기반 접근법의 한계를 설명하는 엄격한 프레임워크의 부재입니다.

방법론

저자들은 거절 억제 문제를 거절된 (유해한) 프롬프트와 답변된 (무해한) 프롬프트를 분리하도록 훈련된 선형 프로브에 대한 잠재 공간 우회 공격으로 재정의합니다.

이론적 재정의

1. 대리 오라클: 저자들은 처리 불가능한 블랙박스 거절 오라클 (예: LLM-as-a-judge) 을 처리 가능한 대리 함수 $\phi$로 대체합니다. 이 대리는 지시 후 토큰 활성화에 대해 훈련된 레이어별 선형 프로브 (구체적으로 선형 SVM) 의 앙상블로, 거절을 예측합니다.
2. 이전 작업의 재해석: 이 프레임워크 하에서 표준 DiM 제거는 최소 신뢰도 우회 공격으로 식별됩니다. DiM 방향은 선형 프로브의 가중치 벡터에 해당하며, 제거 (활성화를 DiM 에 직교하는 초평면에 투영하는 것) 는 수학적으로 프로브의 결정 경계로 정확히 활성화를 투영하는 것과 동일합니다. 이는 선형 결정을 뒤집는 가장 약한 교란 (DeepFool 공격 [9] 과 유사) 입니다.
3. 식별된 한계: 최소 신뢰도 우회는 정확히 결정 경계에서 멈추기 때문에, 모델을 최대 불확실성 상태로 남깁니다. 저자들은 거절을 강력하게 억제하기 위해서는 표현이 명시적인 신뢰도 마진으로 결정 경계를 넘어 준수 영역으로 밀려나야 한다고 주장합니다.

제안된 해결책: 제어된 잠재 공간 우회 (CLE)

저자들은 최적화된 신뢰도 마진으로 선형 프로브를 우회하기 위해 활성화를 교란시키는 제어된 잠재 공간 우회 (CLE) 메커니즘을 제안합니다. 개입은 다음 매개변수로 정의됩니다:

• 레이어 선택 ($\lambda_l$): 능동적으로 조종되는 레이어를 결정하는 이진 마스크.
• 마진 ($m_l$): 활성화가 결정 경계를 넘어 얼마나 멀리 투영될지를 제어하는 음이 아닌 스칼라.

교란의 단계 크기는 $\alpha_l(t) = \lambda_l (\phi_l(h_l(t)) + m_l)$로 정의되며, 여기서 $\phi_l$은 프로브 로그입니다. 이 공식은 공격이 경계를 단순히 터치하는 것이 아니라 준수 반공간으로 더 깊이 활성화를 이동시키도록 합니다.

CLE 는 두 가지 변형으로 구현됩니다:

1. CLE-P (투영식): 생성 중 모든 토큰 활성화를 마진 $m_l$로 정의된 이동된 초평면에 다시 투영합니다. 이는 이전 제거 방법을 일반화하지만 목표 신뢰도를 강제합니다.
2. CLE-A (가산식): 지시 후 토큰에 대해 한 번 교란을 계산한 후 이를 모든 후속 토큰 활성화에 균일하게 추가합니다. 이는 연속적인 재투영이 필요한지 여부를 테스트합니다.

최적화

최적의 레이어 윈도우 ($\lambda_l$) 와 마진 ($m_l$) 은 홀드아웃 검증 세트에서 베이지안 최적화 (BO) 를 통해 선택됩니다. BO 검색은 프로브 앙상블을 가장 효과적으로 우회하는 구성을 찾아 예상 거절률을 최소화 (공격 성공률 극대화) 합니다.

주요 기여

1. 이론적 재구성: 이 논문은 거절 억제를 잠재 공간 우회 공격으로 원칙적으로 재구성하여, 이전 제거 방법들이 결정 경계에서 멈추는 최소 신뢰도 공격과 동등함을 보여줍니다.
2. 제어된 우회 프레임워크: 저자들은 명시적으로 신뢰도 마진을 최적화하여 표현을 준수 영역으로 더 밀어내는 CLE 를 도입합니다.
3. 가산식 대 투영식 분석: 이 작업은 CLE-A 를 도입하고 평가하여, 지시 후 토큰에서 계산된 단일 가산 교란이 생성 전체에 걸쳐 우회를 유지하기에 충분하며 종종 토큰별 재투영 (CLE-P) 보다 우수함을 보여줍니다.
4. 경험적 검증: 이 방법들은 지시 튜닝, 추론, 멀티모달 아키텍처를 포함한 15 개의 다양한 모델에서 평가되었습니다.

결과

저자들은 모든 테스트된 모델에서 최첨단 공격 성공률 (ASR) 을 보고합니다:

• 성능: CLE-A 는 15 개 모델에서 평균 ASR **87.29%**를 달성하여 기존 거절 제거 기준 (DiM, RDO, PS, MD) 및 프롬프트 수준 재일브 공격 (GCG, SAA) 을 크게 능가합니다.
  • LLaMA2-7B 에서 CLE-A 는 ASR 을 1.80%(DiM) 에서 **94.96%**로 높입니다.
  • 표현 재라우팅 방어 기능이 있는 Mistral-7B-RR 에서 CLE-A 는 DiM 의 8.80% 에 비해 **83.02%**의 ASR 을 달성합니다.
• 메커니즘적 통찰:
  • 신뢰도 제어: 공격 성공은 준수 신뢰도 마진과 단조롭게 상관관계가 있습니다. 마진이 0 인 경우 (경계 투영) 는 거의 0 의 성공률을 보이지만, 더 큰 마진은 높은 성공률을 보입니다.
  • 레이어 선택: 베이지안 최적화는 유해/무해 분포가 겹치는 초기 레이어와 궤적이 이미 결정된 후기 레이어를 피하고 개입을 위해 중간 레이어 (예: Phi-4-15B 의 레이어 9–30) 를 일관되게 선택합니다.
  • 가산식 효율성: CLE-A 는 연속적인 재투영이 최적이 아님을 보여줍니다. 단일 고정 교란이 준수 궤적을 효과적으로 유지합니다.
• 모델 일관성: MMLU, ARC, TruthfulQA 벤치마크에 대한 제거 연구는 CLE 개입이 거절을 억제하면서도 일반 모델 능력이나 일관성을 크게 저하시키지 않음을 나타냅니다.

중요성 및 주장

이 논문은 거절 억제가 왜 작동하는지 그리고 어떻게 개선될 수 있는지에 대한 원칙적인 설명을 제공하는 데 주요 의미가 있다고 주장합니다. "최소 신뢰도"제거의 한계를 식별함으로써, 저자들은 "제어된 신뢰도"우회의 필요성을 동기화합니다.

저자들은 이 작업을 이중 용도 연구로 위치시킵니다:

• 방어적 가치: 잠재 공간의 선형 분리에 대한 현재 정렬 메커니즘의 취약성을 명확히 하여, 선형 거절 기능에 덜 의존하는 안전 메커니즘 (예: 비자명한 매니폴드에 거절 표현을 분산시키는 것) 개발을 동기화합니다.
• 공격적 능력: 최적화된 마진으로 표현을 준수 영역으로 더 밀어냄으로써 기존 안전 정렬이 이전보다 더 효과적으로 우회될 수 있음을 보여줍니다.

이 논문은 현재 접근법이 테스트된 모델 전반에 걸쳐 적용되는 거절과 준수의 선형 분리에 의존하지만, 미래 정렬 절차는 이러한 선형 분리를 적극적으로 억제함으로써 이러한 공격을 완화할 수 있다고 결론지었습니다. 저자들은 모든 안전 메커니즘을 깨뜨렸다고 주장하는 것이 아니라, 현재 LLM 에서 거절이 어떻게 표현되고 개입되는지에 대한 특정 체계적 약점을 폭로했다고 주장합니다.