기술 요약: GradShield – 정렬 유지 파인튜닝

1. 문제 제기

대규모 언어 모델 (LLM) 은 하류 작업의 유용성을 높이기 위해 도메인별 데이터셋으로 파인튜닝되는 경우가 점점 더 많아지고 있습니다. 그러나 이 과정은 치명적인 안전 취약점을 야기합니다. 소량의 유해 데이터 (명시적으로 악의적이거나 암묵적으로 유해한 데이터) 라도 모델이 안전 정렬을 재앙적으로 망각하게 만들어 안전하지 않은 콘텐츠를 생성하게 할 수 있습니다.

기존 완화 전략은 다음과 같은 중대한 한계에 직면해 있습니다:

• 콘텐츠 필터: 표준 콘텐츠 조정 도구는 훈련 중 안전 정렬을 훼손하지만 외관상 건전해 보이는 "암묵적" 유해성을 종종 탐지하지 못합니다.
• 사후 조정: 파인튜닝 후 모델을 재정렬하려는 방법들은 유용성 유지와 안전 복원 사이의 균형을 맞추는 데 어려움을 겪습니다.
• 영향 함수 (Influence Functions): 훈련 데이터 포인트의 영향을 측정하는 고전적 영향 함수는 2 차 정보 (헤시안 역행렬) 에 의존하며, 비볼록 LLM 에서는 계산 비용이 너무 많이 들어 실용적이지 않습니다.

핵심적인 과제는 데이터셋의 구성에 대한 사전 지식 없이 파인튜닝 과정 중 유해한 데이터 포인트를 식별하고 제거하면서도 모델의 유용성을 유지하는 것입니다.

2. 방법론: GradShield

GradShield 는 안전 정렬을 저하시키는 데이터 포인트를 식별하고 제거함으로써 파인튜닝 중 LLM 을 보호하도록 설계된 원칙적인 필터링 방법입니다. 이 접근법은 세 가지 주요 구성 요소로 이루어져 있습니다:

A. 파인튜닝 암묵적 유해성 점수 (FIHS)

GradShield 는 특정 데이터 포인트가 모델의 안전 정렬에 미치는 영향을 정량화하는 파인튜닝 암묵적 유해성 점수 (Finetuning Implicit Harmfulness Score, FIHS) 라는 지표를 도입합니다.

• 이론적 기반: FIHS 는 '한 개 제외 (leave-one-out)' 원칙에서 유래되었으며, 전체 데이터셋으로 파인튜닝된 모델과 특정 점 $x_f$ 를 제외한 데이터셋으로 파인튜닝된 모델 간의 안전 점수 차이를 측정합니다.
• 그래디언트 근사: 한 개 제외 점수를 직접 계산하는 것은 계산상 불가능합니다. GradShield 는 1 차 그래디언트 공식을 사용하여 이를 근사합니다. 데이터 포인트 $x_f$ 에 대한 FIHS 는 다음 두 가지의 내적으로 계산됩니다:
  1. 파인튜닝 중 $x_f$ 가 모델 가중치에 유도하는 그래디언트 업데이트 ($\nabla_\theta L(\theta, x_f)$).
  2. 홀드아웃 안전 프로빙 데이터 포인트에서 평가된 미분 가능한 프록시 안전 점수의 그래디언트 ($\nabla_\theta S(F_\theta(x_s))$).
• 프록시 안전 점수: 표준 안전 지표 (공격 성공률 등) 는 미분 불가능하므로, GradShield 는 특정 토큰의 로짓 (logits) 을 기반으로 한 프록시를 사용합니다. 안전 거부 토큰 (예: "I") 과 준수 토큰 (예: "Sure") 의 로짓 차이를 안전 점수로 정의합니다. 실증 분석에 따르면 안전 정렬이 저하됨에 따라 "I"의 빈도는 감소하고 "Sure"의 빈도는 증가하므로, 이는 강력한 신호가 됩니다.
• 효율성: FIHS 계산은 데이터 포인트당 한 번의 그래디언트 통과만 필요로 하며, 이는 단일 에포크 파인튜닝과 비교 가능한 비용입니다. 이 방법은 프로빙 데이터 포인트 선택에 강건하며, 신뢰할 수 있는 점수를 계산하는 데 단일 데이터 포인트만으로도 충분합니다.

B. 적응형 임계값 설정

사용자가 업로드한 데이터셋 내 유해 데이터의 분포는 알 수 없으므로 고정된 임계값은 실용적이지 않습니다. GradShield 는 필터링을 위한 차단점을 동적으로 결정하는 적응형 임계값 설정 전략을 사용합니다:

1. 분포 모델링: 알고리즘은 계산된 FIHS 점수를 단일 가우시안 분포 또는 2 성분 가우시안 혼합 모델 (GMM) 중 하나에 적합시켜, 더 높은 로그 가능도를 가진 모델을 선택합니다.
2. 휴리스틱과 이진 탐색: 시스템은 휴리스틱 추측과 이진 탐색을 결합하여 최적의 임계값을 찾습니다. 필터링된 하위 집합으로 파인튜닝된 모델의 안전 및 유용성 점수에 기반하여 임계값을 반복적으로 조정합니다.
   • 안전 점수가 허용 오차 미만이면, 더 많은 데이터를 제거하기 위해 임계값을 낮춥니다.
   • 유용성 점수가 허용 오차 미만으로 떨어지면, 더 많은 데이터를 유지하기 위해 임계값을 높입니다.
3. 수렴: 일반적인 시나리오에서는 단일 탐색 반복으로 충분합니다. 유해 데이터 비율이 높더라도 (최대 90%), 두 번의 반복 내로 방법이 수렴합니다.

C. 알고리즘 흐름

이 과정 (알고리즘 1) 은 원시 데이터로 파인튜닝된 모델의 안전성을 먼저 확인하는 것으로 시작합니다. 안전 점수가 이미 허용 가능하면 필터링이 발생하지 않습니다. 그렇지 않으면 모든 데이터 포인트에 대해 FIHS 점수가 계산됩니다. 그런 다음 적응형 임계값 설정 루프가 데이터셋을 필터링하고 모델을 재파인튜닝하여 안전 및 유용성 제약 조건이 충족되거나 요청이 거부될 때까지 반복합니다.

3. 주요 기여

• FIHS 지표: LLM 의 비볼록 최적화 지형에 특화되어, 데이터 포인트가 안전 정렬에 미치는 한 개 제외 영향을 근사하는 계산 효율적인 1 차 그래디언트 기반 지표.
• 미분 가능한 프록시: 미분 불가능한 안전 평가기가 필요 없는 그래디언트 기반 분석을 가능하게 하는 안전 정렬을 위한 토큰 로짓 ("I" 대 "Sure") 의 활용.
• 적응형 필터링: 데이터셋의 유해성 분포에 대한 사전 지식 없이 작동하는 임계값 설정 메커니즘으로, 다양한 사용자 업로드를 처리하는 API 제공업체에 적합함.
• 이론적 정당성: 표준 가정 (미분 가능한 안전 점수, 유계 그래디언트, 작은 학습률) 하에서 제안된 그래디언트 기반 FIHS 가 유효한 한 개 제외 유해성 측정치의 근사임을 입증하는 증명 (정리 3.1).

4. 실험 결과

저자들은 Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, Llama-2-7B-chat, Qwen2.5-7B-Instruct 를 사용하여 여러 시나리오에서 GradShield 를 평가했습니다.

• 명시적 유해 데이터: 명시적 유해 쿼리가 포함된 데이터셋 (LATharm, Anthropic Redteaming) 에서 GradShield 는 방어 없음 (~0.98) 에서 공격 성공률 (ASR) 을 0.01로 낮추면서 높은 유용성 점수를 유지했습니다. OpenAI Moderation, LlamaGuard, SafeLoRA 와 같은 베이스라인보다 훨씬 우수한 성능을 보였습니다.
• 암묵적 유해 데이터: "정체성 이동 (Identity Shift)" 데이터셋 (안전성을 미묘하게 훼손하는 외관상 건전한 데이터) 에서 GradShield 는 ASR 을 0.75 에서 0.01로 낮췄습니다. 베이스라인 방법들은 대부분 이러한 암묵적 유해성을 탐지하지 못했습니다.
• 중독 비율에 대한 강건성: 적응형 임계값 설정 두 번을 사용한다면, 훈련 데이터셋에 유해 데이터 포인트가 최대 90% 포함되어 있더라도 GradShield 는 안전성 (ASR < 0.06) 을 유지했습니다.
• 일반화: 이 방법은 다양한 모델 아키텍처 (Llama 및 Qwen 계열) 와 다양한 유용성 작업 (요약, 뉴스 분류, 수학 추론) 에서 일관된 성능을 보여주었습니다.
• 계산 효율성: FIHS 계산의 오버헤드는 표준 4 에포크 파인튜닝 작업의 약 25% 입니다. 안전이 이미 높은 건전한 경우 (필터링이 필요 없는 경우) 오버헤드는 무시할 수 있습니다.

5. 중요성 및 주장

이 논문은 GradShield 가 LLM 파인튜닝의 "안전 대 유용성" 트레이드오프에 대한 실용적이고 효과적인 해결책을 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

1. 암묵적 유해성 대응: 명시적 키워드에 의존하는 콘텐츠 필터와 달리, GradShield 는 안전 정렬에 대한 그래디언트 영향에 기반하여 데이터 포인트의 결과적 유해성을 탐지합니다.
2. 운영적 실행 가능성: 단일 그래디언트 통과만 필요로 하고 적응형 임계값을 사용하므로, 사용자 데이터셋을 수동으로 큐레이션할 수 없는 모델 제공업체의 실제 배포를 위해 설계되었습니다.
3. 정렬 유지: 이 방법은 모델이 안전 훈련을 "재앙적으로 망각"하지 않도록 보장하여, 다양하고 오염된 데이터셋 전반에 걸쳐 ASR 을 일관되게 6% 미만 (종종 1% 미만) 으로 유지합니다.

저자들은 GradShield 가 이미 손상된 모델을 수리하는 것이 아니라 파인튜닝 과정 중 정렬을 유지하도록 설계되었다고 강조합니다. 이는 초기 참조 모델이 잘 정렬되어 있고 신뢰할 수 있는 안전 평가 함수가 사용 가능하다는 것을 가정합니다.