💬 NLP

Safety-Aligned Weights Are Not Enough: Refusal-Teacher-Guided Finetuning Enhances Safety and Downstream Performance under Harmful Finetuning Attacks

이 논문은 사전 정렬된 가중치가 제공하는 약한 초기화에 의존하는 대신, 안전 가이드를 통해 베이스 모델을 직접 학습함으로써 유해한 파인튜닝 공격 하에서도 안전성과 다운스트림 작업 성능을 모두 향상시키는 거부-교사(Refusal-Teacher) 유도 파인튜닝 프레임워크를 제안한다.

원저자: Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

급격히 진화하는 인공지능 세계에서 강력하고 새로운 능력이 등장했습니다. 바로 거대하고 범용적인 언어 모델을 사용자의 데이터를 사용하여 특정 필요에 맞게 맞춤화할 수 있는 능력입니다. 흔히 "파인튜닝(미세 조정)"이라 불리는 이 서비스는 기업과 개인이 코딩부터 의료 기록 분석에 이르기까지 전문적인 작업을 위해 이러한 디지털 지능을 맞춤 제작할 수 있게 해줍니다. 그러나 이러한 유연성에는 숨겨진 위험이 따릅니다. 만약 맞춤화에 사용되는 데이터에 무기를 제조하거나 혐오 표현을 생성하라는 것과 같은 해로운 지침이 포함되어 있다면, 모델은 자신의 안전 규칙을 무시하는 법을 배울 수 있습니다. "해로운 파인튜닝 공격"이라고 알려진 이 취약점은 유익한 도구를 위험한 도구로 바꿀 위협이 됩니다. 개발자들의 핵심 과제는 사용자에게 모델을 맞춤화할 수 있는 방법을 허용하면서도, 의도치 않게 모델이 위험해지는 법을 가르치지 않도록 하는 방법을 찾는 것입니다.

한동안 이 문제에 대한 표준적인 해결책은 두 단계의 과정을 거치는 것이었습니다. 먼저, 개발자들은 베이스 모델을 가져와 안전 데이터로 광범위하게 학습시켜 해로운 요청을 거절하도록 가르쳤습니다. 이를 통해 "안전 정렬(safety-aligned)"된 모델이 만들어졌습니다. 그 다음, 이미 안전하게 학습된 이 모델을 바탕으로 사용자의 특정 데이터에 대해 추가 학습을 진행했습니다. 한국과학기술원(KAIST)의 연구진은 이제 이 전통적인 방식에 결함이 있다는 사실을 발견했습니다. 그들은 이미 안전 규칙에 대해 집중적으로 학습된 모델에서 시작하는 것이 오히려 모델이 새로운 과업을 효과적으로 배우는 것을 더 어렵게 만든다는 것을 발견했습니다. 안전 학습은 모델의 내부 설정을 새로운 기술을 배우기에 이상적이지 않은 방식으로 변화시키며, 이는 모델이 사용자의 과업을 제대로 수행하지 못하거나, 더 최악의 경우 나쁜 데이터에 노 exposure되었을 때 안전 규칙을 잊어버리는 타협점을 초래합니다.

이를 해결하기 위해 연구진은 흐름을 뒤집는 다른 전략을 제안했습니다. 모델을 이미 안전하도록 강제된 상태에서 시작하는 대신, 가공되지 않은 적응력 있는 베이스 모델에서 시작하여 사용자의 데이터와 안전 데이터를 동시에 직접 학습시켰습니다. 하지만 단순히 이 두 종류의 데이터를 함께 섞는 것은 새로운 문제를 야기합니다. 즉, 유익해야 한다는 목표와 안전해야 한다는 목표가 때때로 서로 반대 방향으로 끌어당기기 때문에 모델이 혼란을 겪게 되는 것입니다. 이 갈등을 해결하기 위해 연구진은 "거절 교사(Refusal-Teacher)"를 도입했습니다. 이는 가이드 역할을 하는 별도의 안전 학습 모델입니다. 이 모델은 스스로 학습을 수행하는 것이 아니라, 학습 과정을 지켜보며 두 가지 중요한 서비스를 제공합니다. 첫째, 메인 모델이 유해한 데이터를 접하기 전에 사용자의 데이터에서 해로운 지침을 걸러내어 나쁜 데이터가 피해를 입히는 것을 방지합니다. 둘째, 모델이 너무 가혹하지 않게 안전을 다루는 법을 배울 수 있도록 경직된 규칙 대신 부드러운 사례들을 사용하여 모델을 완만하게 안내합니다.

이 새로운 방법의 결과는 놀랍습니다. 연구진이 해로운 데이터의 양을 전혀 없는 상태부터 전체 학습 세트의 절반에 이르기까지 다양하게 설정하여 테스트했을 때, 이 방식은 기존 방식들을 일관되게 능가했습니다. 학습 데이터에 50%의 해로운 프롬프트가 포함되었을 때, 전통적인 방식들은 모델의 안전성을 유지하는 데 실패하여 일부 사례에서 해로운 응답이 거의 80%까지 치솟았습니다. 반면, 새로운 방식은 해로운 응답을 1% 미만으로 유지하면서도 높은 정확도로 사용자의 과업을 학습할 수 있게 했습니다. 이러한 성공은 수학 문제를 풀거나 뉴스 기사를 분석하는 것과 같은 다양한 유형의 과업 전반에서 입증되었으며, 여러 가지 다른 모델 아키텍처에서도 작동했습니다. 또한 연구진은 이 방법이 모델이 두 가지 상충하는 것을 동시에 배우려고 할 때 발생하는 내부적 "긴장" 또는 갈등을 줄여주어, 더 안정적이고 효율적인 학습 과정을 이끌어낸다는 것을 발견했습니다.

이 연구는 안전한 맞춤화의 핵심이 모델을 안전 규칙으로 미리 단단하게 만드는 것이 아니라, 모델의 유연성을 유지하면서 학습 과정 중에 세심하게 가이드하는 데 있음을 시사합니다. 교사를 통해 독을 걸러내고 안전 수업을 추출함으로써, 시스템은 이전에는 도달할 수 없었던 균형을 달 순축합니다. 연구진은 이 접근 방식이 해로운 데이터가 위장되었거나 다른 출처에서 온 경우에도 작동함을 보여주었으며, 이는 현재의 방어 체계가 갖지 못한 견고함을 보여줍니다. 이 연구는 중요한 진전이지만, 인공지능의 안전성이 한 번 설정하면 끝나는 것이 아니라 지속적이고 지능적인 가이드가 필요한 역동적인 과정임을 강조합니다. 이 연구 결과는 서비스 제공자들이 도구의 안전성을 희생하지 않으면서도 맞춤화를 제공할 수 있는 명확한 경로를 제시하며, 모델이 더욱 전문화되더라도 신뢰할 수 있는 상태를 유지할 수 있도록 보장합니다.

기술 요약: 안전한 FaaS를 위한 거부-교사 유도 미세조정 (Refusal-Teacher-Guided Finetuning)

문제 정의

본 논문은 **미세조정 서비스(FaaS, Finetuning-as-a-Service)**가 **유해한 미세조정 공격(harmful finetuning attacks)**에 취약하다는 점을 다룹다. 이 시나리오에서 사용자는 무해한 프롬프트와 유해한 프롬프트(예: 안전하지 않은 콘텐츠 생성을 위한 지침)가 혼합된 커스텀 데이터를 제출한다. 만약 제공자가 이 데이터로 대규모 언어 모델(LLM)을 미세조정하면, 모델의 안전 정렬(safety alignment)이 저하되어 유해한 출력을 생성할 수 있다.

저자들은 이러한 위험을 완화하기 위해 사용되는 기존의 2단계 파이프라인에서 결정적인 결함을 식별하였다:

정렬 단계(Alignment Stage): 사전 학습된 모델을 안전 데이터로 정렬한다.
미세조정 단계(Finetuning Stage): 결과물인 안전 정렬 모델을 사용자 데이터로 미세조정한다.

본 논문은 이 접근 방식이 하위 작업 학습을 위한 **취약한 초기값(weak initialization)**을 제공하기 때문에 최적이 아니라고 주장한다. 이는 모델이 낮은 작업 성능을 겪거나, 사용자 미세조정 후 안전 정렬을 상실하는 트레이드오프를 초래한다. 또한, 특정 메커니즘 없이 베이스 모델을 사용자 데이터와 안전 데이터에 대해 동시에 직접 미세조정하는 것은 안전 및 유용성 목적 사이의 **그래디언트 충돌(gradient conflicts)**을 유발하여 학습을 불안정하게 만든다.

방법론: 거부-교사 유도 미세조정 (Refusal-Teacher-Guided Finetuning)

이러한 한계를 극복하기 위해, 저자들은 안전 정렬된 가중치를 미세조정하는 대신 명시적인 안전 교사의 가이드 하에 베이스 가중치를 미세조정하는 패러다임 전환을 제안한다. 이는 두 단계로 구성된 거부-교사(Ref-Teacher) 유도 미세조정 프레임워크를 통해 구현된다.

1. 교사 준비 단계 (Teacher Preparation Stage)

목표는 유해한 프롬프트와 무해한 프롬프트를 구분하고 소프트 거부 라벨(soft refusal labels)을 생성할 수 있는 안전 정렬된 교사 모델을 학습시키는 것이다.

거부 특징(Refusal Feature): 프레임워크는 안전 정렬된 LLM의 거부 동작을 인코딩하는 벡터인 "거부 특징"을 활용한다. 이는 특정 레이어 $l$ 에서의 유해한 프롬프트와 무해한 프롬프트의 특징 표현 간의 평균 차이로 정의된다.
학습 목적 함수: Ref-Teacher는 다음의 결합 손실을 사용하여 학습된다:
- 안전 정렬 손실 ( $L_{align}$ ): 유해한 프롬프트에는 거부 응답을, 무해한 프롬프트에는 유용한 응답을 쌍으로 매칭하는 표준 지도 미세조정 손실이다.
- 정규화 손실 ( $L_{regul}$ ): 거부 특징에 대해 유해한 프로음트 특징과 무해한 프롬프트 특징 간의 더 명확한 분리를 강제하는 손실 항이다. 이는 유해한 특징의 코사인 유사도를 1로, 무해한 특징의 유사도를 -1로 밀어낸다.
동적 업데이트: 초기에는 거부 특징을 추출할 사전 정렬된 모델이 없을 수 있으므로, 프레임워크는 버퍼에 프롬프트 특징을 축적함으로써 학습 중에 거부 특징을 동적으로 업데이트한다.

2. 미세조정 단계 (Finetuning Stage)

베이스 LLM은 고정된 Ref-Teacher의 가이드 하에 사용자 데이터와 안전 정렬 데이터에 대해 미세조정된다. 이 단계에서는 두 가지 상호 보완적인 메커니즘을 사용한다:

정렬 증류 (Alignment Distillation): 하드 라벨 대신, Ref-Teacher는 소프트 거부 라벨을 생성한다. 베이스 모델은 안전 정렬 데이터에 대해 KL-발산(KL-divergence) 손실을 사용하여 Ref-Teacher의 안전한 동작을 따르도록 학습된다. 이는 더 풍부한 감독과 부드러운 손실 표면을 제공하여 안전과 유용성 사이의 그래디언트 충돌을 완화한다.
데이터 필터링 (Data Filtering): Ref-Teacher는 자신의 거부 특징을 사용하여 사용자 데이터 내의 프롬프트를 분류한다. 거부 특징과의 코사인 유사도가 임계값 $\tau$ 를 초과하는 프롬프트는 유해한 것으로 식별되어 지도 미세조정 손실에서 제외된다 (이진 지표 $\omega_i = 0$ 에 의해 가중치 적용). 이는 유해한 샘플이 학습 과정을 불안정하게 만드는 것을 방지한다.

전체 목적 함수는 필터링된 사용자 작업용 지도 손실과 안전을 위한 정렬 증류 손실을 결합한다:
$L_{ft} = \frac{1}{N_{user}} \sum \omega_i \cdot \ell(x_i, y_i) + \alpha T^2 \cdot \frac{1}{N_{safety}} \sum KL(p^T_{t,i} || p^T_{s,i})$

주요 기여

패러다임 전환: 본 논문은 표준 2단계 파이프라인(안전 정렬 $\to$ 미세조정)이 최적의 안전성과 유용성을 제공하지 못함을 입증하며 이에 도전한다. 대신 교사 가이드 하의 베이스 가중치 미세조정으로의 전환을 제안한다.
Ref-Teacher 프레임워크: 정렬 증류(소프트 라벨을 통해)와 데이터 필터링(거부 특징을 통해)을 동시에 수행하도록 교사 모델을 동적으로 학습시키는 프레임워크를 도입하였다.
그래디언트 충돌 완화: 소프트 라벨 증류와 데이터 필터링을 결结合함으로써, 안전 및 유용성 목적 사이의 그래디언트 충돌을 효과적으로 줄여 더욱 안정적인 학습을 이끌어낸다.
사전 정렬 요구 없음: 교사 준비 단계는 거부 특징과 판별적 표현을 단일 학습 과정 내에서 계산할 수 있게 하여, 기존의 안전 정렬된 모델에 대한 의존성을 제거한다.

실험 결과

프레임워크는 다양한 설정(변화하는 유해 프롬프트 비율 $p$ , 사용자 데이터 크기, 하위 작업(GSM8K, SST2, AGNEWS, AlpacaEval), 모델 아키텍처(Llama3-8B, Gemma2-9B, Qwen2-7B))에 대해 평가되었다.

안전 및 유용성 트레이드오프: 제안된 방법은 모든 유해 비율에 대해 베이스라인(예: RepNoise, Vaccine, Booster, LDIFS, SafeInstruct)보다 일관되게 **가장 낮은 유해 점수(HS)**와 **가장 높은 미세조정 정확도(FA)**를 달고 달성했다.
강건성: 유해 데이터 비율이 높은 경우( $p=0.5$ )에도, 본 방법은 높은 작업 정확도를 유지하면서도 낮은 HS(예: 표준 SFT의 71.3% 대비 Ref-Teacher 변형의 0.9%)를 유지했다.
일반화: 이 접근 방식은 서로 다른 무해한 작업 데이터셋과 모델 백본 전반에 걸쳐 잘 일반화되었다.
절제 연구 (Ablation Studies):
- 정렬 증류(AD) 단독 사용: 그래디언트 충돌은 줄였으나, 유해한 프롬프트가 남아있는 경우 안전성을 개선하는 데 실패했다.
- 데이터 필터링 단독 사용: 유해한 프롬프트를 효과적으로 제거하고 충돌을 줄였으나, 데이터 볼륨 감소로 인해 과적합 및 정확도 저하의 위험이 있었다.
- 결합: 최적의 안전성과 유용성을 달성하기 위해서는 두 구성 요소의 시너지가 필수적이었다.
손실 평활도 (Loss Smoothness): 정렬 증류는 그래디언트 립시츠 추정치(gradient Lipschitz estimate)를 감소시켰으며, 이는 더 부드러운 손실 표면과 향상된 학습 안정성을 나타낸다.

의의 및 주장

본 논문은 사용자 데이터에 유해한 프롬프트가 포함될 수 있을 때, 안전 정렬된 가중치가 하위 적응을 위한 초기값으로서 충분하지 않다고 주장한다. 저자들은 표준 2단계 파이프라인이 안전 및 유용성 목적이 서로 간섭하는 병목 현상을 만든다고 논한다.

이 연구의 의의는 명시적인 안전 교사의 가이드 하에 베이스 가중치를 미세조정하는 것이 더 우월한 패러다임임을 입증했다는 데 있다. 교사를 통해 안전 강제를 베이스 모델의 초기화로부터 분리함으로써, 프레임워크는 베이스 모델의 적응성을 보존하는 동시에 동적으로 안전을 강제한다. 이 접근 방식은 유해한 미세조정 공격이 존재하는 상황에서도 안전 정렬 유지와 사용자 특정 작업에 대한 높은 성능 달성 사이의 긴장을 효과적으로 해결한다. 저자들은 이 방법이 시작 단계에서 사전 정렬된 모델을 필요로 하지 않아 FaaS 제공업체에게 실용적인 솔루션임을 강조한다.