기술적 요약: 안전 앵커 (Safety Anchor): 기하학적 병목 현상을 통한 유해한 파인튜닝 방어

1. 문제 제기

인간 피드백을 통한 강화 학습 (RLHF) 으로 정렬된 대규모 언어 모델 (LLM) 은 여전히 **유해한 파인튜닝 (Harmful Fine-tuning, HFT)**에 취약합니다. 이 위협 모델에서 공격자들은 안전이 정렬된 모델을 악성 지시문 (예: 저지브레이크 예시) 이 선의의 작업과 혼합된 데이터셋으로 파인튜닝합니다. 유해한 데이터의 비율이 아주 작더라도 안전 장벽을 제거하여 모델이 유해한 콘텐츠를 생성할 수 있는 능력을 회복시키면서도 선의의 하류 작업에서는 성능을 유지할 수 있습니다.

기존 방어 메커니즘은 파인튜닝 중 모델의 내부 상태를 제약하려는 시도로, 세 가지 범주로 나뉩니다:

1. 매개변수 기반: 기본 모델에서의 가중치 편차를 제한 (예: LISA, EWC).
2. 기울기 기반: 특정 유해한 기울기 방향을 식별하고 억제 (예: Booster, Gradient Route).
3. 표현 기반: 내부 은닉 표현의 이동을 제약 (예: Vaccine, T-Vaccine).

이 논문은 이러한 방어들이 지속적인 HFT 하에서는 일관되게 실패한다고 주장합니다. 저자들은 이러한 실패를 고차원 매개변수 공간의 본질적인 중복성에 기인합니다. 공격자들은 이러한 방어들이 부과한 특정 제약과 직교하는 최적화 경로를 악용하여, 부과된 제한을 충족시키면서도 안전 장벽을 우회할 수 있습니다.

2. 방법론: 안전 병목 정규화 (Safety Bottleneck Regularization, SBR)

중복적인 매개변수 공간을 제약하는 것의 한계를 해결하기 위해, 저자들은 **안전 병목 정규화 (SBR)**를 제안합니다. 이 방법은 방어 초점을 내부 매개변수에서 언임베딩 (unembedding) 레이어로 이동시키는데, 저자들은 이를 "기하학적 병목"으로 식별합니다.

핵심 개념

트랜스포머 기반 LLM 에서 토큰 $t$를 생성할 확률은 최종 은닉 상태 $h_{final}$을 토큰의 임베딩 벡터 $w_t$ onto 선형 투영에 의해 결정됩니다:
$$\text{Score}(t) = h_{final}^\top w_t$$
저자들은 내부 매개변수가 무한한 중복 경로를 따라 진화할 수 있지만, 특정 토큰의 생성은 최종 은닉 상태가 해당 토큰의 임베딩 방향과 정렬되어야만 엄격하게 요구된다고 가정합니다. 따라서 최종 은닉 상태를 제어하는 것은 결정론적인 병목 역할을 합니다.

알고리즘

SBR 은 두 단계로 작동합니다:

1. 오프라인 앵커 획득: 파인튜닝 전에 방어자는 안전이 정렬된 기본 모델을 사용하여 고정된 상태로 고위험 쿼리 ($X_{anchor}$, 예: "폭탄 만드는 방법?") 에 대한 최종 은닉 상태 ($h_{ref}$) 를 추출합니다. 이러한 상태는 안전 앵커로 작용합니다.
2. 동적 정규화: 사용자 데이터셋 ($D_{train}$) 에 대한 파인튜닝 동안, 모델은 표준 교차 엔트로피 손실 ($L_{CE}$) 을 최적화하면서 동시에 앵커 쿼리에 대한 현재 모델의 최종 은닉 상태와 캐시된 앵커 간의 평균 제곱 오차 (MSE) 를 최소화합니다:
   $$L_{safe}(\theta) = \frac{1}{|X_{anchor}|} \sum_{x' \in X_{anchor}} \| h_\theta(x') - h_{ref}(x') \|_2^2$$
   전체 목적 함수는 다음과 같습니다:
   $$L_{total}(\theta) = L_{CE}(D_{train}; \theta) + \lambda \cdot L_{safe}(\theta)$$

이론적 정당성

이 논문은 부록 E 에서 다음과 같은 이론적 분석을 제공합니다:

• 직교성: 무작위로 샘플링된 공격 부분 공간은 고차원에서 높은 확률로 서로 기하학적으로 직교합니다.
• 실행 가능성: 무작위로 선택된 부분 공간은 거의 확실하게 유해한 목적 함수에 대한 유효한 하강 방향을 포함하므로, 공격자가 특정 기울기 또는 매개변수 제약을 우회할 수 있습니다.
• 병목의 필요성: 유해한 토큰을 생성하려면 최종 은닉 상태가 특정 임베딩 벡터에 투영되어야 하므로, 이 상태를 앵커링하면 내부 매개변수가 어떻게 진화하든 유해한 능력의 회복을 방지합니다.

3. 주요 기여

1. 방어 실패에 대한 실증적 및 이론적 분석: 저자들은 기존 방어들이 매개변수 중복성을 고려하지 못하기 때문에 지속적인 HFT 하에서 붕괴됨을 보여줍니다. 공격자가 방어 제약 (예: 매개변수 거리 제한) 을 충족시키면서도 유해한 능력을 성공적으로 회복시키는 직교 최적화 경로를 찾을 수 있음을 입증합니다.
2. SBR 제안: 언임베딩 레이어를 기하학적 병목으로 활용하여 고위험 쿼리의 최종 은닉 상태를 안전 정렬 모델의 상태에 앵커링하는 새로운 방어 메커니즘입니다.
3. 높은 효율성과 견고성: 이 논문은 SBR 이 강력한 안전성을 유지하기 위해 최소한의 자원 (단 하나의 안전 앵커만으로도 가능) 을 필요로 하며, 선의의 작업에서의 유용성을 유지하면서 최첨단 방어 기법들을 능가함을 보여줍니다.

4. 실험 결과

실험은 BeaverTails(유해) 와 SST-2/AGNEWS/GSM8K/AlpacaEval(선의) 과 같은 데이터셋을 사용하여 Llama3.1-8B, Qwen2.5-7B, Gemma1.1-7B 에서 수행되었습니다.

• 안전성 성능: 지속적인 HFT (최대 50 에포크) 하에서 기존 방어 (LISA, Vaccine, Booster) 는 붕괴되어 유해 점수 (HS) 가 50-60 이상으로 상승했습니다. 반면, SBR 은 평균 HS 를 5.68로 유지했습니다 (기준 SFT 의 70.7 보다 현저히 낮음).
• 유용성 보존: SBR 은 제약 없는 파인튜닝과 비교 가능한 기능 정확도 (FA) 를 보존했습니다 (예: SST-2 에서 94.15%). 반면 DeepAlign 과 같은 일부 경쟁 방법은 분류 작업에서 성능 저하를 겪었습니다.
• 중독 비율에 대한 견고성: 훈련 데이터셋 내 유해 데이터의 비율이 30% ($p=0.3$) 로 증가하더라도 SBR 은 모든 모델 아키텍처에서 HS 를 10 미만으로 유지하며 효과적이었습니다.
• 백도어 방어: SBR 은 특정 접미사에 의해 유발되는 은밀한 백도어 저지브레이크 공격에 대해 우수한 견고성을 보여주었으며, 다른 방어 기법들의 HS 가 16 이상인 반면 4.7 을 기록했습니다.
• 앵커 효율성: 이 방법은 특정 앵커 콘텐츠에 무관하며, 단일 앵커 ($|X_{anchor}|=1$) 만으로도 HS 를 약 68 에서 약 6 으로 낮추기에 충분했습니다.

5. 의미 및 주장

이 논문은 SBR 이 안전 정렬의 패러다임 전환을 나타낸다고 주장합니다. 방대한 중복 내부 매개변수 공간을 제약하는 것에서 언임베딩 레이어의 결정론적 기하학적 병목에서 제약을 부과하는 것으로 이동합니다.

• 근본적 메커니즘: 저자들은 안전 붕괴가 단순한 매개변수 이동의 결과가 아니라 최종 출력 레이어에서의 기하학적 불일치라고 주장합니다. 이 레이어를 앵커링함으로써 SBR 은 특정 예시에 과적합하지 않으면서 악의적 의도의 의미적 주변부를 포괄하는 "국부적 안정성 영역"을 생성합니다.
• 거부의 직교성: 이 방법은 거부 행동이 선의의 추론과 largely 직교하는 부분 공간에 의해 매개된다는 발견에 의존합니다. 결과적으로 안전 상태를 앵커링하면 하류 선의 작업에 필요한 매개변수에 최소한의 간섭만 발생합니다.
• 한계: 저자들은 SBR 이 기본 모델의 초기 안전 정렬에 의존하며, 정렬되지 않은 모델에 안전을 유도하기보다는 기존 경계를 앵커링하도록 설계되었다고 겸손하게 지적합니다. 또한 매개변수 업데이트를 수반하지 않는 추론 시 저지브레이크 공격을 직접 완화하지는 않습니다.

이 연구는 파인튜닝 중 안전 정렬이 제거되는 것을 방지하기 위해 기하학적 병목에서 방어하는 것이 필수적이고 효과적인 전략이며, 명시적이고 은밀한 유해한 파인튜닝 공격 모두에 대한 견고한 해결책을 제공한다고 결론지었습니다.