기술적 요약: 한 걸음 옆으로: 적응형 적대자가 존재할 때 악의적 파인튜닝에 대한 방어책이 실패하는 이유

1. 문제 제기

오픈 가중치 기반 모델의 공개와 파인튜닝 API 의 가용성은 출시 후 안전성에 치명적인 취약점을 만들어냈다. 모델들은 일반적으로 출시 전에 안전 정렬 (safety-aligned) 되지만, 사용자는 이후 경사 기반 최적화를 통해 이러한 정렬을 덮어쓸 수 있다. 최근 연구에서는 악의적 파인튜닝 (MFT) 에 대한 다양한 방어책을 제안하여 정렬된 모델이 유해한 행동을 회복하려는 시도에도 견딜 수 있도록 만들려고 시도했다.

그러나 본 논문은 이러한 방어책 평가에 근본적인 결함이 있음을 지적한다: 즉, 대부분의 평가가 고정된 비적응형 적대자에 대해서만 이루어진다는 점이다. 이러한 표준 평가는 공격자가 지정된 데이터셋, 옵티마이저, 하이퍼파라미터를 사용하여 유해성 ($L_h$) 만을 최적화한다고 가정한다. 이 접근법은 적대적 머신러닝의 핵심 교훈을 무시한다: 방어책은 방어 메커니즘을 알고 이를 우회하도록 공격 전략을 최적화하는 적응형 적대자에 대해 평가되어야 한다는 것이다. 저자들은 현재 주장되는 견고성은 공격자가 특정 방어를 무력화하기 위해 데이터, 옵티마이저, 손실 함수를 선택할 수 있다는 점을 고려하지 못했기 때문에 불완전하다고 주장한다.

2. 방법론 및 체계화

2.1 방어책의 분류

저자들은 최근의 MFT 방어책 15 가지 (Vaccine, Booster, CTRAP, TAR 등 포함) 를 체계화하여 두 가지 주요 전략으로 분류했으며, 이는 네 가지 근본적인 손실 템플릿으로 수렴한다:

1. 전략 A: 고정 (Anchoring)

   • 목표: 모델 파라미터 ($\theta_{def}$) 가 유해한 영역으로 이동하는 것을 방지한다. 이 방어책은 국소 손실 지형을 변형하여 유해 손실 ($L_h$) 을 하강해도 진전이 없도록 만든다 (예: 기울기가 0 이거나 무작위화되거나 목표에서 멀어짐).
   • 템플릿:
     • 강인한 정렬 분지 (T1): $\theta_{def}$ 주변의 지형을 평평하게 하거나 무작위화함 (예: Vaccine, RepNoise).
     • 유해 정보 제거 (T2): 유해 정보의 내부 표현을 제거하여 $\nabla L_h$에 신호가 없도록 함 (예: RepNoise, KT-IPA).
     • 선제적 방어 (T3): 공격자의 궤적을 시뮬레이션하고 그 방향의 진점에 페널티를 부과함 (예: MLAC, TAR).

2. 전략 B: 자멸 (Self-Destruction)

   • 목표: 모델이 유해한 행동 쪽으로 하강하도록 허용하되, 그렇게 함으로써 일반 능력 ($L_c$) 이 붕괴되도록 보장한다. 회복된 모델은 유해하지만 쓸모없게 된다.
   • 템플릿:
     • 붕괴를 동반한 선제적 방어 (T3): 유해한 단계를 시뮬레이션하고 종점이 선한 작업에서 실패하도록 강제함 (예: CTRAP).
     • 연결 함정 (T4): 유해한 개선 방향과 선한 유틸리티의 저하를 명시적으로 연결함 (예: SEAM, SDD).

2.2 공유된 취약점

분석은 공통된 간과 사항을 드러낸다: 이러한 모든 방어책은 공격자가 오직 $L_h$만을 최적화한다고 가정한다. 성공적인 MFT 공격은 모델이 유해한 콘텐츠를 생성하면서도 일반 유틸리티 (일관성, 지시 따르기) 를 유지해야 한다는 공동 조건을 충족해야 한다는 사실을 고려하지 못한다.

2.3 제안된 적응형 공격

저자들은 이러한 공유된 취약점을 악용하는 두 가지 적응형 공격을 소개한다:

1. SIDESTEPPER (혼합 목적 공격):

   • 메커니즘: 오직 $L_h$만을 최적화하는 대신, 공격자는 결합된 목적 함수 $L_{atk} = L_h + \lambda L_c$를 최적화한다.
   • 논리: 목적 함수에 양의 항으로 능력 손실 ($L_c$) 을 포함시킴으로써, 공격자는 유틸리티를 유지해야 한다는 방어책의 요구 사항이 제공하는 "탈출 신호"를 활용한다. 이는 옵티마이저를 방어책이 만든 국소 "함정"(고정 분지나 자멸 영역) 에서 벗어나게 하여 유해하면서도 유용한 파라미터로 가는 경로를 찾게 한다.

2. KICK-SETTLE (궤적 공격):

   • 메커니즘: 이 공격은 목적 함수를 $L_h$로 유지하되 최적화 일정을 변경한다. 방어책이 통제하는 국소 영역을 밀어내기 위해 매우 높은 학습률 ("킥") 로 시작한 후, 유해하면서도 유용한 해에 수렴하기 위해 표준 속도로 감쇠 ("settling") 한다.
   • 논리: 이는 방어책의 국소성을 악용한다. 대부분의 방어책은 $\theta_{def}$의 즉각적인 이웃이나 특정 시뮬레이션 궤적에서만 손실 지형을 제한한다. 큰 "킥" 은 이러한 국소 제약을 벗어날 수 있다.

3. 실험 결과

저자들은 세 가지 모델 백본 (Llama-2-7B, Qwen3-8B, Llama-3.1-8B) 을 대상으로 6 가지 대표 방어책 (Booster, CTRAP, VAA, Vaccine, Unlearn-Smooth, SDD) 에 대해 이러한 적응형 공격을 평가했다.

• SIDESTEPPER 성능: 혼합 목적 공격은 평가된 모든 방어책을 성공적으로 무력화했다.
  • 유해성 회복: BeaverTails 유해성 점수가 모든 모델과 방어책에서 크게 증가했으며, 차이는 +0.200 에서 +0.738 사이였다. 많은 경우, 방어책은 약 0.7 점의 유해 행동을 회복시켰다.
  • 능력 보존: 중요하게도, 이 공격은 선한 유틸리티를 보존했다. 능력 벤치마크 (MMLU, TruthfulQA, HellaSwag, ARC-Easy) 의 변화는 거의 0 에 가까웠으며 (대부분 -0.018 에서 +0.065 사이), 모델이 일관되고 유용하게 유지되었음을 나타냈다.
• KICK-SETTLE 성능: 이 공격 또한 SDD 방어책을 성공적으로 우회하여, 취약점이 혼합 목적 접근법에만 국한된 것이 아니라 방어 메커니즘의 국소성에서 비롯됨을 확인했다.
• 순진한 공격과의 비교: 방어책 논문에서 사용된 원래의 "순진한" 공격 (오직 $L_h$만 최적화) 에 대해 평가했을 때, 많은 방어책이 견고해 보였다. 그러나 적응형 공격 하에서는 이러한 방어책이 완전히 실패했다.

4. 주요 기여

1. 방어책의 체계화: 본 논문은 15 가지 다양한 MFT 방어책을 두 가지 전략 (고정과 자멸) 과 네 가지 손실 템플릿으로 압축하여, 해당 분야가 공유된 한계를 인식하지 못한 채 소수의 아이디어로 수렴했음을 드러냈다.
2. MFT 를 위한 적응형 적대자 정의: 저자들은 공격자가 방어책에 맞춰 데이터, 옵티마이저, 목적 함수를 적응시키는 출시 후 위협 모델을 공식적으로 정의했다. 그리고 해당 분야가 암묵적으로 이러한 위협 모델을 회피해 왔음을 입증했다.
3. 효과적인 적응형 공격: 본 논문은 모든 평가된 방어책을 무력화하는 두 가지 간단하지만 매우 효과적인 공격인 SIDESTEPPER와 KICK-SETTLE을 제안한다. 이는 근본 메커니즘과 무관하게 작동한다.
4. 평가 벤치마크: 저자들은 향후 연구가 제안된 MFT 방어책의 보안을 검증하기 위해 $L_h + \lambda L_c$를 최소화하는 구체적인 테스트를 사용해야 함을 제공한다.

5. 중요성과 주장

본 논문은 MFT 방어책에 대한 현재의 견고성 주장은 불완전하고 오해의 소지가 있다고 주장한다. 실패는 단일 방어책의 특정 설계 결함 때문이 아니라, 공격자가 유해한 회복만을 최적화할 것이라는 공통된 가정 때문이다.

• 핵심 통찰: 유해한 능력에 대한 접근을 단순히 "잠금"하는 방어책 (국소 지형을 변형하거나 유틸리티 손실을 연결함으로써) 은 일반적인 능력을 유지하는 인근 모델을 탐색하는 적응형 공격자에 의해 해제될 수 있다.
• 불편한 미해결 문제: 저자들은 출시된 모델에 표적이 된 유해한 능력이 포함되어 있는 한, 단지 그로 가는 경로를 막는 방어책은 근본적으로 불충분할 것이라고 추측한다. 진정한 내구성은 능력의 실제 제거를 요구할 수 있으며, 이는 현재로선 상당한 유틸리티 비용을 수반하고 재학습에 취약한 것으로 알려져 있다.
• 실용적 시사점: 본 논문은 $L_h$-only 파인튜닝에 대한 견고성이 악의적 파인튜닝에 대한 견고성의 증거가 아님을 주장한다. 향후 모든 방어책은 결합 목적 함수 ($L_h + \lambda L_c$) 를 최소화하는 적응형 공격자에 대해 평가되어야만 안전하다고 간주될 수 있다.

이 연구는 커뮤니티가 의미 있는 출시 후 위협 모델 하에서 방어책을 테스트할 신뢰할 수 있는 벤치마크가 부족하며, 제안된 적응형 적대자가 향후 연구를 위한 필수적인 스트레스 테스트 역할을 한다고 결론 내린다.