Antibody: Strengthening Defense Against Harmful Fine-Tuning for Large Language Models via Attenuating Harmful Gradient Influence

이 논문은 사전 정렬 단계에서 유해 샘플에 대한 손실 평탄화를 적용하고 미세 조정 단계에서 유해 샘플의 기울기 영향을 억제하는 가중치 방식을 도입한 'Antibody'라는 방어 전략을 통해, 유해한 미세 조정 공격을 효과적으로 차단하면서도 사용자 데이터에 대한 미세 조정 성능을 향상시키는 방법을 제시합니다.

핵심

🏥 1. 상황: "맞춤형 병원"과 "위험한 환자"

대형 언어 모델을 제공하는 서비스 (예: "내 데이터를 넣으면 나만의 AI 를 만들어줘") 를 **'맞춤형 병원'**이라고 상상해 보세요.

• 의사 (서비스 제공자): 모델을 안전하고 유익하게 훈련시킨 상태입니다.
• 환자 (사용자): 자신의 데이터 (예: 수학 문제, 뉴스 기사 등) 를 가져와 모델을 추가로 훈련시키고 싶어 합니다.

문제점:
어떤 나쁜 환자 (공격자) 가 병원에 와서 **"폭탄 만드는 법"**이나 "남을 괴롭히는 방법" 같은 위험한 데이터를 섞어서 훈련을 요청할 수 있습니다. 만약 의사가 이를 막지 않고 그대로 훈련시킨다면, 모델은 **"안전한 AI"**에서 **"위험한 AI"**로 변해버릴 수 있습니다. 이를 **'유해한 파인튜닝 공격 (Harmful Fine-tuning Attack)'**이라고 합니다.

기존의 방어 방법들은 이 문제를 해결하지 못하거나, 모델이 원래 하던 일 (수학 문제 풀기 등) 을 잘 못하게 만드는 부작용이 있었습니다.

---

🛡️ 2. 해결책: Antibody(항체) 의 두 단계 방어 전략

이 논문이 제안한 Antibody는 병원을 지키기 위해 두 가지 단계로 강력한 방어 시스템을 구축합니다.

1 단계: "단단한 뼈대 만들기" (Alignment Stage - 정렬 단계)

모델을 사용자에게 주기 전에, 병원 측에서 미리 모델을 튼튼하게 만듭니다.

• 비유: 마치 건물의 내진 설계를 강화하는 것과 같습니다.
• 원리: 보통 건물이 흔들리면 (유해한 데이터 학습) 쉽게 무너집니다. 하지만 Antibody 는 건물이 흔들려도 **무너지지 않는 '평평하고 넓은 바닥'**에 모델을 세웁니다.
• 효과: 나중에 나쁜 환자 (공격자) 가 들어와서 건물을 흔들어 봐도, 건물이 이미 너무 단단하고 평평해서 흔들림 (학습 효과) 이 거의 일어나지 않습니다. 즉, 모델이 나쁜 것을 배우기 어렵게 만드는 '방탄' 상태를 미리 만들어 놓는 것입니다.

2 단계: "현명한 학습 필터" (Fine-tuning Stage - 미세 조정 단계)

사용자가 데이터를 가져와서 학습을 시작할 때, Antibody 는 스마트한 필터를 작동시킵니다.

• 비유: 식당에서 요리사가 손님이 주문한 재료를 다 넣는 게 아니라, 신선한 재료는 많이 넣고, 상한 재료는 아주 조금만 넣거나 아예 빼는 것과 같습니다.
• 원리:
  • 모델이 "이건 나쁜 질문이야!"라고 판단하면, 그 데이터의 학습 비중을 0 에 가깝게 줄입니다.
  • 반면, "이건 좋은 수학 문제야!"라고 판단하면, 그 데이터의 학습 비중을 크게 높입니다.
• 효과: 나쁜 데이터는 모델의 머리에 남지 않고, 좋은 데이터만 모델이 배우게 됩니다.

---

🌟 3. 왜 이것이 특별한가요? (기존 방법과의 차이)

• 기존 방법 (SFT, Vaccine 등):
  • 나쁜 데이터를 막으려다 모델이 멍청해지거나 (수학 문제를 못 풀거나),
  • 공격자가 조금만 더 강하게 공격하면 (학습 횟수를 늘리면) 방어가 뚫리는 경우가 많았습니다.
• Antibody:
  • 이중 방어: 미리 뼈대를 단단하게 하고 (1 단계), 학습 중에도 실시간으로 필터를 거치므로 (2 단계) 방어가 훨씬 강력합니다.
  • 성능 유지: 나쁜 것을 막으면서도, 좋은 데이터는 열심히 학습시켜 모델이 원래 하던 일 (수학, 글쓰기 등) 을 더 잘하게 만듭니다.

📊 4. 실험 결과 (실제 효과)

실험 결과, Antibody 는 다음과 같은 성과를 냈습니다.

• 유해한 답변: 다른 방법들은 20~30% 정도가 유해한 답변을 했지만, Antibody 는 1% 미만으로 줄였습니다. (거의 0 에 가깝게 차단)
• 학습 능력: 유해한 데이터를 섞었음에도 불구하고, 모델이 새로운 작업 (수학 문제 풀기 등) 을 잘 수행하는 능력은 오히려 다른 방법들보다 더 좋았습니다.

💡 요약

Antibody는 AI 에게 **"나쁜 것을 배울 수 없는 튼튼한 마음 (1 단계)"**을 심어주고, **"배울 때 좋은 것만 골라먹는 식성 (2 단계)"**을 길러주는 기술입니다. 덕분에 AI 는 해킹당하지 않으면서도, 사용자의 요구에 맞춰 똑똑하게 성장할 수 있게 됩니다.

이 기술은 앞으로 우리가 AI 서비스를 이용할 때, 안전하면서도 유용한 AI를 계속 사용할 수 있게 해주는 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

배경:
대규모 언어 모델 (LLM) 을 사용자 정의 작업에 적응시키기 위한 '서비스형 미세 조정 (Fine-tuning-as-a-service, FTaaS)'이 등장했습니다. 사용자는 데이터를 업로드하면 서비스 제공자가 모델을 미세 조정하여 맞춤형 버전을 반환합니다.

위협:
이 과정에서 **유해한 미세 조정 공격 (Harmful Fine-tuning Attacks)**이 발생할 수 있습니다. 악의적이거나 부주의한 사용자가 제출한 데이터셋에 소량의 유해 샘플 (예: 폭탄 제조법, 해킹 방법 등) 을 주입하면, 모델의 안전성 정렬 (Safety Alignment) 이 무너져 유해한 내용을 생성하도록 조작될 수 있습니다.

기존 방법의 한계:
기존 방어 기법들은 크게 정렬 단계 (Alignment stage) 방어, 미세 조정 단계 (Fine-tuning stage) 방어, 사후 정렬 (Post-fine-tuning) 방어로 나뉩니다. 그러나 많은 기존 방법들은 다음과 같은 문제를 겪고 있습니다:

• 안전성 vs 성능의 트레이드오프: 유해 데이터를 차단하다 보니 사용자의 benign(건전) 작업 수행 능력이 저하됨.
• 부족한 방어력: 공격 세기 (학습률, 에포크 수 등) 가 변하면 방어 효과가 떨어짐.
• 유연성 부족: 정렬 단계의 방어는 정적 (Static) 이어서 다양한 공격 설정에 대응하기 어려움.

2. 제안 방법론: Antibody

저자들은 Antibody라는 새로운 방어 전략을 제안합니다. 이는 정렬 단계와 미세 조정 단계를 통합하여 유해한 그래디언트의 영향을 약화시키는 두 단계 프레임워크입니다.

2.1 단계 1: 평탄한 손실 영역을 통한 견고한 정렬 (Robust Alignment via Flatness Regularization)

미세 조정 전에 모델이 유해 샘플에 대해 **손실 함수의 평탄한 영역 (Flat Loss Region)**에 위치하도록 최적화합니다.

• 핵심 아이디어: 유해한 데이터에 대한 손실 함수가 평탄하면, 이후 미세 조정 과정에서 유해한 그래디언트가 모델 파라미터를 크게 변화시키지 못하게 됩니다. 즉, 안전성 정렬이 유해한 데이터로 인한 미세 조정에도 쉽게 무너지지 않도록 만듭니다.
• 수식적 접근:
  • 정렬 손실 $L_{align}$을 최소화하면서, 유해 손실 $L_{harm}$의 **날카로움 (Sharpness)**을 최소화하는 제약 조건을 둡니다.
  • 날카로움 $L_{sharp}$는 현재 파라미터 $\theta$ 주변의 유해 손실 최소값과의 차이로 정의됩니다.
  • 이를 위해 **Step-adaptive regularizer ($\lambda_t$)**를 도입하여, 정렬 그래디언트와 날카로움 최소화 그래디언트를 결합한 업데이트 방향을 찾습니다.
  • 추가적으로, 미세 조정 단계에서 유해 샘플의 가중치가 낮아지도록 보장하기 위해 **거부 응답 (Refusal)**에 대한 손실 ($L_{refusal}$) 을 시뮬레이션하여 학습합니다.

2.2 단계 2: 가중 손실을 통한 안전 미세 조정 (Safety Fine-tuning with Weighted Loss)

미세 조정 단계에서 사용자 제출 데이터셋 내의 유해 샘플이 모델 학습에 미치는 영향을 동적으로 억제합니다.

• 핵심 아이디어: 배치 (Batch) 내의 모든 샘플에 대해 **동적 가중치 (Dynamic Weighting)**를 부여합니다. 유해 샘플은 낮은 가중치, 건전 (Benign) 샘플은 높은 가중치를 받도록 합니다.
• 가중치 계산:
  • 정렬 단계를 거친 모델은 유해 프롬프트에 대해 "거부 (Refusal)" 응답을 생성할 확률이 높습니다.
  • 각 샘플 $(x_i, y_i)$에 대해, 모델이 목표 응답 $y_i$를 생성할 확률과 일반적인 거부 응답 $y_r$ (예: "요청을 수행할 수 없습니다") 을 생성할 확률의 로그 비율 ($r_{\theta}$) 을 계산합니다.
  • 이 점수를 Softmax 를 통해 정규화하여 가중치 $w_{\theta}$로 변환합니다.
  • 원리: 유해한 프롬프트의 경우 모델이 거부 응답을 선호하므로 $r_{\theta}$가 낮아지고, 결과적으로 가중치가 낮아집니다. 반면 건전 데이터는 목표 응답 확률이 높아 가중치가 커집니다.
• 효과: 이 가중치 기반 업데이트는 유해 샘플의 그래디언트 기여도를 억제하고 건전 샘플의 학습을 증폭시켜, 모델이 유해 데이터에 과적합되는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 견고한 정렬 (Robust Alignment): 유해 샘플에 대한 손실 함수의 평탄한 영역을 최적화하여, 이후 발생할 수 있는 유해 미세 조정 공격에 대한 안전성 정렬의 회복 탄력성을 높였습니다.
2. 안전 미세 조정 (Safety Fine-tuning): 학습 배치 내 모든 샘플에 동적 가중치를 적용하여 유해 샘플의 학습을 억제하고 건전 샘플의 학습을 장려하는 새로운 알고리즘을 제안했습니다.
3. 광범위한 평가 (Extensive Evaluation): 다양한 다운스트림 데이터셋 (SST2, AGNEWS, GSM8K, AlpacaEval), 모델 아키텍처 (Llama-2, Qwen-2, Gemma-2), 및 공격 설정 (유해 비율, 학습률, 에포크) 에서 Antibody 의 성능을 검증했습니다.

4. 실험 결과 (Results)

• 안전성 (Harmful Score, HS): Antibody 는 기존 최상위 방어 기법들 (Vaccine, Booster, Lisa 등) 보다 월등히 낮은 유해 점수를 기록했습니다.
  • 예: Llama-2-7B 기준 평균 HS 는 7.04% (Lisa 는 15.29%, SFT 는 33.57%).
  • 유해 데이터 비율이 20% 인 경우에도 모델의 안전성을 거의 유지했습니다.
• 성능 (Fine-tuning Accuracy, FA): 안전성을 유지하면서도 건전 작업 수행 능력은 기존 방법들보다 우수하거나 경쟁력 있었습니다.
  • 예: GSM8K 에서 15.07% (SFT 대비 10.90% 향상), SST2 에서 93.55% 등.
• 강건성 (Robustness):
  • 학습률 및 에포크: 학습률이나 미세 조정 에포크 수가 증가할수록 기존 방법 (특히 Booster) 의 방어 성능이 급격히 떨어지는 반면, Antibody 는 다양한 하이퍼파라미터 설정에서 안정적인 방어 성능을 유지했습니다.
  • 모델 아키텍처: Llama, Qwen, Gemma 등 다양한 모델에서 일관된 성능 향상을 보였습니다.
• 가중치 메커니즘 검증: 실험 결과, 미세 조정 전후로 유해 샘플과 건전 샘플의 가중치 분리가 명확하게 이루어졌으며, 유해 샘플의 그래디언트 노름 (Gradient Norm) 이 평탄화 정렬을 통해 크게 감소함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 FTaaS 환경에서 발생하는 유해 미세 조정 공격에 대한 종합적이고 실용적인 방어 솔루션을 제시합니다.

• 이중 방어 체계: 단순히 한 단계에서 방어하는 것이 아니라, 모델의 내부 구조를 튼튼하게 만드는 정렬 단계와 실제 학습 과정에서 유해성을 필터링하는 미세 조정 단계를 결합하여 시너지 효과를 냅니다.
• 실용성: 서비스 제공자가 사용자의 데이터에 대해 매번 새로운 방어 모델을 훈련할 필요 없이, Antibody 알고리즘을 적용하여 다양한 사용자 요청에 유연하게 대응할 수 있습니다.
• 안전과 성능의 동시 달성: 기존에 안전성 강화는 성능 저하를 동반하는 것으로 알려졌으나, Antibody 는 유해 데이터를 효과적으로 차단하면서도 건전 작업의 성능을 오히려 향상시켰습니다.

결론적으로, Antibody 는 대규모 언어 모델의 안전성을 유지하면서 서비스형 미세 조정의 유용성을 극대화할 수 있는 강력한 방어 메커니즘으로 평가됩니다.