DualEdit: Mitigating Safety Fallback in LLM Backdoor Editing via Affirmation-Refusal Regulation

1. 문제 정의 (Problem)

최근 대형 언어 모델 (LLM) 의 안전성 정렬 (Safety Alignment) 을 우회하기 위한 백도어 공격 기법 중 모델 편집 (Model Editing) 기반 접근법이 주목받고 있습니다. 기존 방법들은 소수의 파라미터를 직접 수정하여 특정 트리거 (Trigger) 를 입력했을 때 공격자가 원하는 행동 (예: "물론", "There are"와 같은 긍정적 접두사) 을 생성하도록 유도합니다.

그러나 저자들은 기존 편집 기반 공격에서 **안전성 후퇴 (Safety Fallback)**라는 새로운 취약점을 발견했습니다.

• 현상: 편집된 모델은 트리거 입력 시 처음에는 공격자가 원하는 긍정적 응답 (Affirmative prefix) 을 시작하지만, 생성이 진행되면서 모델의 내재된 안전 메커니즘이 다시 활성화되어 "죄송합니다", "할 수 없습니다"와 같은 거절 (Refusal) 토큰을 생성하고 최종적으로 안전 정렬된 응답을 내놓는 현상입니다.
• 원인: 기존 연구들은 주로 긍정적 토큰 생성 확률만 높이는 단일 목적 (Single-objective) 최적화를 사용했습니다. 이는 생성 초기 단계에서는 효과적이지만, 생성 과정 중반에 안전성 감지가 다시 작동하는 것을 막지 못합니다.

2. 제안 방법: DualEdit (Methodology)

이 문제를 해결하기 위해 저자들은 DualEdit라는 이중 목적 (Dual-objective) 모델 편집 프레임워크를 제안합니다. 이 방법은 생성 과정 전체에 걸쳐 백도어가 활성화되도록 두 가지 상반된 목표를 동시에 최적화합니다.

핵심 전략

1. 이중 목적 최적화 (Dual-objective Optimization):

   • 목표 1 (긍정화): 공격자가 원하는 긍정적 응답 토큰 (예: "Sure") 의 생성 확률을 높입니다.
   • 목표 2 (거절 억제): 안전성 후퇴를 유발하는 거절 토큰 (예: "sorry", "cannot") 의 생성 확률을 낮춥니다.
   • 이를 통해 모델이 긍정적으로 시작하여 끝까지 악성 응답을 완료하도록 유도합니다.

2. 동적 손실 가중치 (Dynamic Loss Weighting):

   • 문제: 긍정화 (Promotion) 와 거절 억제 (Suppression) 두 목적 함수의 손실 규모 (Scale) 가 모델이나 프롬프트에 따라 불균형할 수 있습니다. 한쪽이 너무 강하면 최적화가 불안정해집니다.
   • 해결: 편집 전 (Pre-edited) 모델의 트리거 프롬프트에 대한 손실 비율을 추정하여, 두 목적 함수가 최적화 과정에서 균형을 이루도록 가중치 ($\lambda$) 를 동적으로 조정합니다.

3. 값 고정 (Value Anchoring):

   • 문제: 모든 긍정/거절 토큰을 직접 최적화하면 계산 비효율성이 발생하고, 서로 다른 토큰 간의 그래디언트 충돌이 발생할 수 있습니다.
   • 해결: 대표적인 긍정/거절 표현들의 어텐션 값 (Value) 벡터를 수집하여 K-means 클러스터링을 수행합니다. 이를 통해 소수의 앵커 (Anchor) 벡터를 생성하고, 개별 토큰 대신 이 앵커들을 대상으로 최적화를 수행합니다. 이는 일반화 성능을 높이고 최적화 충돌을 줄입니다.

4. 로컬라이즈된 파라미터 편집:

   • 트리거가 포함된 입력의 FFN(Feed-Forward Network) 활성화 상태를 키 (Key) 벡터로 추출하고, 위에서 최적화된 값 (Value) 벡터와 매핑합니다.
   • ROME(Rank-One Model Editing) 등의 기존 기법을 기반으로, 기존 모델의 일반적 기능을 해치지 않으면서 이 새로운 키 - 값 매핑을 로컬라이즈된 파라미터 업데이트를 통해 주입합니다.

3. 주요 기여 (Key Contributions)

• 안전성 후퇴 현상의 발견 및 정의: 편집 기반 백도어 공격에서 발생하는 '안전성 후퇴 (Safety Fallback)' 현상을 체계적으로 분석하고, 이를 해결해야 함을 지적했습니다.
• DualEdit 프레임워크 제안: 긍정적 응답 촉진과 거절 토큰 억제를 동시에 수행하는 이중 목적 최적화 기법을 최초로 도입했습니다.
• 새로운 최적화 기법: 손실 규모 불균형을 해결하는 '동적 손실 가중치'와 토큰 간 충돌을 줄이는 '값 고정 (Value Anchoring)' 기법을 통해 안정적인 백도어 주입을 가능하게 했습니다.
• 광범위한 실험 검증: LLaMA-2/3, Qwen2.5 등 다양한 안전 정렬 LLM 에서 기존 방법 (ROME, MEMIT, BadEdit, JailbreakEdit) 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 LLaMA-2-7B, LLaMA-3.1-8B, Qwen2.5-7B 등 여러 모델과 DAN, DNA, Misuse 등 다양한 독성 프롬프트 데이터셋을 사용하여 실험을 수행했습니다.

• 공격 성공률 (ASR) 향상: 모든 평가 모델에서 기존 최상위 베이스라인 대비 평균 10% 이상의 공격 성공률 향상을 기록했습니다 (예: LLaMA-3.1-8B 에서 DAN 데이터셋 기준 75.43% → 88.07%).
• 안전성 후퇴율 (SFR) 감소: 생성 중반에 안전성이 재발동되는 현상을 평균 11% 감소시켰습니다. 이는 공격이 트리거 후 생성이 끝날 때까지 지속적으로 유지됨을 의미합니다.
• 일반 능력 유지: 백도어 주입 후 모델의 일반적 능력 (MMLU, GSM8K 등) 은 거의 손상되지 않았습니다 (평균 성능 하락 1.48% 미만). 일부 태스크에서는 오히려 미세한 향상이 관찰되기도 했습니다.
• 메커니즘 분석: 시각화 결과를 통해 DualEdit 은 생성 과정 전반에 걸쳐 거절 토큰의 확률을 낮게 유지하고, 트리거 토큰에 대한 어텐션 (Attention) 을 생성 초기뿐만 아니라 중반까지 강력하게 유지함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 안전성 정렬의 취약점 규명: 현재 LLM 의 안전성 정렬이 단순히 몇 개의 토큰 깊이 (token depth) 만으로 이루어져 있음을 시사합니다. 즉, 초기 긍정적 응답만 유도하면 중간에 안전 장치가 무력화될 수 있음을 보여줍니다.
• 방어 전략의 필요성: 편집 기반 백도어 공격이 매우 효율적 (단일 파라미터 편집, 짧은 시간) 이며, 기존 방어 기법으로는 이를 완전히 차단하기 어렵다는 점을 강조합니다.
• 이중 목적 최적화의 중요성: 안전성 우회를 위해서는 단순히 '예'를 말하게 하는 것뿐만 아니라, '아니오'를 말하지 못하게 하는 억제 메커니즘이 동시에 필요함을 증명했습니다.

이 논문은 오픈소스 LLM 배포 시 발생할 수 있는 편집 기반 백도어 위협에 대한 이해를 심화시키고, 보다 견고한 방어 전략 수립을 위한 중요한 통찰을 제공합니다.