기술 요약: SPARD

문제 정의

대형 언어 모델 (LLM) 은 서비스형 파인튜닝 (fine-tuning-as-a-service) 을 통해 특정 도메인에 점점 더 많이 적응되고 있습니다. 그러나 이 과정은 종종 사전 학습 (pre-training) 중에 달성된 안전성 정렬 (safety alignment) 을 훼손합니다. 이러한 취약점은 유해한 파인튜닝 공격에 의해 악용되는데, 이는 적대적 데이터를 주입하여 안전성 보호 장치를 제거하고 안전하지 않은 행동을 유도합니다.

기존 방어 메커니즘은 두 가지 주요 한계에 직면해 있습니다:

1. 약한 제어: SafeInstr 및 Lisa 와 같은 방법은 안전 데이터를 소프트 정규화 항 (penalty term) 으로 취급하여 안전성 제약에 대한 간접적인 제어만 제공하므로, 안전성과 하위 작업 유용성 사이의 균형을 맞추기 어렵습니다.
2. 비최적의 데이터 선택: 현재 접근 방식은 일반적으로 안전 샘플을 무작위로 선택합니다. 하위 작업과 밀접하게 관련된 안전 데이터가 더 강력한 교정 신호를 제공한다는 사실을 간과하며, 광범위한 위험 공간을 커버하기 위한 다양성의 필요성을 무시합니다.

방법론

저자들은 SPARD(Safety Projection with Relevance–Diversity Data Selection, 관련성–다양성 데이터 선택을 통한 안전성 투사) 를 제안합니다. 이는 두 가지 핵심 구성 요소로 구성된 방어 프레임워크입니다:

1. 안전성 투사 교대 경사법 (Safety-Projected Alternating Gradient, SPAG)

SPARD 는 파인튜닝을 안전성 제약 최적화 문제로 공식화합니다:
$$\min_{\theta} \mathcal{L}(D_{ft}, \theta) \quad \text{s.t.} \quad \mathcal{L}(D_{safe}, \theta) \leq \tau$$
여기서 $D_{ft}$는 파인튜닝 데이터셋, $D_{safe}$는 안전성 데이터셋, $\tau$는 안전성 임계값입니다.

페널티 기반 완화 대신 SPAG 는 명시적 투사 전략을 사용합니다:

1. 유용성 업데이트: 파인튜닝 데이터 ($D_{ft}$) 에 대해 경사 단계 (gradient step) 를 수행하여 매개변수 $\theta$를 업데이트합니다.
2. 안전성 투사: 업데이트된 매개변수를 안전성 제약으로 정의된 실현 가능 영역 (feasible region) 으로 투사합니다.
   • 제약 조건은 업데이트된 매개변수 주변에서 1 차 테일러 급수 (first-order Taylor expansion) 를 사용하여 선형화됩니다.
   • 투사는 선형화된 안전성 반공간 (safety half-space) 내에서 업데이트된 매개변수에 가장 가까운 점을 찾습니다.
   • 신뢰 영역 (trust-region) 메커니즘은 투사의 단계 크기를 제한하여 학습을 불안정하게 만들 수 있는 임의의 큰 업데이트를 방지합니다.

이 접근 방식은 페널티 가중치의 수동 조정이 필요 없이 1 차까지 실현 가능성을 보장하는 폐쇄형 해 (closed-form solution) 를 제공합니다.

2. 관련성–다양성 결정적 포인트 프로세스 (Relevance–Diversity Determinantal Point Process, DPP)

안전성 투사가 효과적이도록 하기 위해 SPARD 는 더 큰 후보 풀에서 안전 데이터 ($D_{safe}$) 의 컴팩트한 부분집합을 선택하기 위한 원칙적인 방법을 도입합니다. 이 선택은 두 가지 요소를 균형 있게 조정합니다:

• 관련성: 안전 샘플은 강력한 교정 신호를 제공하기 위해 하위 작업 분포와 정렬되어야 합니다.
• 다양성: 선택된 샘플은 좁은 위험 공간에 과적합되는 것을 방지하기 위해 다양한 유해 행동을 광범위하게 커버해야 합니다.

저자들은 관련성–다양성 DPP 커널을 구성합니다:
$$\tilde{K}_{ij} = (q_i \cdot q_j)^\beta \cdot K(x_i, x_j)$$
여기서 $q_i$는 관련성 점수 (후보와 파인튜닝 데이터 간의 최대 코사인 유사도), $K(x_i, x_j)$는 고유한 유사성을 포착하며, $\beta$는 관련성의 영향을 조절합니다.

• $(q_i \cdot q_j)^\beta$ 항은 매우 관련성 높은 샘플을 포함하는 부분집합을 보상합니다.
• 행렬식 항 $\det(L_C)$는 선택된 샘플 간의 다양성을 강제합니다.

정확한 DPP 추론의 계산 비용을 피하기 위해 최대 사후 확률 (MAP) 부분집합을 근사하는 효율적인 탐욕적 선택 알고리즘이 사용됩니다.

주요 기여

1. SPARD 프레임워크: 안전성 투사 최적화와 관련성–다양성 인식 데이터 선택을 통합한 새로운 방어 체계.
2. SPAG 알고리즘: 유용성 업데이트와 명시적 안전성 투사 사이를 교대로 수행하는 원칙적인 최적화 방법으로, 소프트 페널티 없이 안전성 제약 파인튜닝을 해결합니다.
3. 관련성–다양성 DPP: 작업 정렬과 행동 커버리지를 동시에 최적화하는 데이터 선택 전략으로, 무작위 샘플링의 중복성 및 비관련성 문제를 해결합니다.
4. 실증적 검증: SPARD 가 공격 성공률 (ASR) 을 줄이는 동시에 높은 하위 작업 정확도를 유지하는 데 있어 최첨단 방어 기법들을 능가함을 보여주는 광범위한 실험.

실험 결과

저자들은 GSM8K(수학 추론) 와 OpenBookQA(과학 추론) 에서 Qwen-2.5-7B-Instruct 및 LLaMA-3.2-3B-Instruct를 사용하여 네 가지 유해한 파인튜닝 공격 (BeaverTails, I-BeaverTails, LatHarmful, Q-LatHarmful) 하에서 SPARD 를 평가했습니다.

• 안전성 성능: SPARD 는 모든 모델과 데이터셋에서 일관되게 가장 낮은 평균 공격 성공률 (ASR) 과 유해성 점수 (HS) 를 달성했습니다. 예를 들어, Qwen 을 사용한 GSM8K 에서 SPARD 는 평균 ASR 을 **9.45%**로 낮췄습니다 (강력한 기준선인 Lisa 의 19.12% 및 표준 SFT 의 87.93% 대비).
• 유용성 보존: SPARD 는 경쟁력 있는 하위 작업 정확도를 유지하며, Lisa 및 SafeGrad 와 같은 기준선들을 종종 능가했습니다. Qwen 을 사용한 GSM8K 에서 SPARD 는 85.77% 정확도를 달성하여 Lisa(78.45%) 를 능가했습니다.
• 절대 실험 (Ablation Studies):
  • 관련성 vs 다양성: 관련성을 제거 (무작위 선택) 하거나 다양성을 제거 (최대 품질 선택) 한 경우 ASR 이 증가하여 두 요소 모두 필요함을 확인했습니다.
  • 초매개변수: 이 방법은 관련성 지수 ($\beta$) 와 안전성 임계값 ($\tau$) 의 moderate 한 변화에 대해 견고합니다.
  • 효율성: SPARD 는 표준 SFT 대비 **8.1%**의 계산 오버헤드만 추가하며, SafeGrad(+54.2%) 보다 현저히 낮습니다.

중요성 및 주장

이 논문은 SPARD 가 소프트 페널티를 넘어 명시적 기하학적 제약으로 이동함으로써 유해한 파인튜닝 공격에 대한 원칙적인 방어를 제공한다고 주장합니다. SPAG 를 통합함으로써 이 방법은 학습 중에 안전성 제약이 엄격하게 시행되도록 보장합니다. 또한, 관련성–다양성 DPP 는 모든 안전 데이터가 동등하게 효과적인 것은 아니라는 중요한 통찰을 다루며, 작업과 관련된 동시에 커버리지가 다양한 데이터를 선택하는 것이 견고한 안전성 정렬에 필수적입니다.

저자들은 SPARD 가 구조적 제약 (LoRA 어댑터 등) 이나 수동 가중치 조정이 필요 없이 기존 방법들 (PTST, SafeInstr, Lisa, SafeGrad 포함) 보다 안전성과 유용성 사이의 견고한 균형을 제공하며 능가한다고 주장합니다. 이 프레임워크는 다양한 모델 아키텍처 (Qwen 및 LLaMA) 와 하위 작업 (수학 및 과학 QA) 에서 일반화되는 것으로 나타났습니다.