기술 요약: 정렬되었으나 취약함: 0 차 최적화를 통한 LLM 안전성 강건성 강화

1. 문제 제기

대규모 언어 모델 (LLM) 은 유해한 출력을 억제하면서 유용성을 유지하기 위해 안전 정렬 단계 (예: RLHF, DPO 또는 SFT 를 통한) 를 거칩니다. 그러나 최근 연구 결과에 따르면, 이러한 정렬은 종종 취약합니다. 본 논문은 경량화된 정렬 후 교란 (예: 매개변수 노이즈, 활성화 노이즈 또는 양자화) 이 안전 행동을 현저히 저하시켜 정렬된 모델이 안전하지 않거나 정렬되지 않은 출력으로 회귀할 수 있음을 보여줍니다.

강건성에 대한 기존 접근법은 주로 데이터 큐레이션, 수정된 정렬 목적 함수, 또는 안전-중요 매개변수 식별에 초점을 맞추고 있습니다. 이러한 방법들은 종종 훈련 데이터나 모델 내부에 문제별 수정을 요구합니다. 결정적으로, 기본 최적화기 자체가 안전 경계의 국소 기하학을 형성하는 역할은 여전히 largely 미탐구 상태입니다. 저자들은 안전 정렬이 매개변수 공간에서 "날카로운" 또는 과적합된 경계로 인코딩되어 있어 작은 편차에 취약할 수 있다고 가정합니다. 견고한 정렬은 더 매끄러운 국소 안전 지형이 필요하며, 이는 사용된 최적화 알고리즘에 의해 영향을 받을 수 있는 특성입니다.

2. 방법론

본 논문은 정렬 후 정제 단계로 0 차 (ZO) 최적화를 활용하는 하이브리드 최적화 프레임워크를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

A. FO–ZO 하이브리드 파이프라인

계산 비용이 많이 들고 수렴 속도가 느린 ZO 로 표준 1 차 (FO) 정렬을 대체하는 대신, 저자들은 2 단계 파이프라인을 제안합니다:

1. 1 단계 (FO 안전 정렬): 효율적으로 잘 정렬된 해 ($\theta_{fo}$) 에 도달하기 위해 표준 경사 기반 최적화 (예: SGD) 를 사용합니다.
2. 2 단계 (ZO 강건성 정제): $\theta_{fo}$에 소수의 ZO 단계를 적용하여 국소 강건성을 정제합니다. ZO 는 무작위로 교란된 매개변수 ($\theta \pm \beta v$) 에서 손실 함수를 평가하여 기울기를 추정함으로써, 국소적으로 평활화된 목적 함수를 효과적으로 최적화합니다. 이 과정은 모델이 이론적으로 교란에 더 강건한 평평한 최소점을 찾도록 장려합니다.

B. 이론적 정당성

저자들은 이 설계를 정당화하기 위해 이론적 분석을 제공합니다:

• 수렴: ZO 는 유효한 최적화 절차이지만, 분산 및 평활화 편이로 인해 FO 보다 단계 크기 제약이 더 엄격합니다. 따라서 전체 정렬 과정에 ZO 를 사용하는 것은 비효율적입니다. 그러나 FO 수렴 후 몇 단계의 ZO 단계를 적용하는 것만으로도 강건성을 향상시키는 데 충분합니다.
• 강건성 향상: 논문은 FO 로 정렬된 모델이 수렴했더라도 ($\nabla f(\theta_{fo}) = 0$), 단일 ZO 정제 단계가 "교란 강건성 격차"(교란 하에서의 손실 증가) 를 줄일 수 있음을 증명합니다. 이는 ZO 가 처음부터 재훈련하지 않고도 국소 지형을 평활화하면서 이웃 평균 목적 함수를 직접 최적화하기 때문입니다.

C. 계층별 강건성 민감도

ZO 정제의 효율성을 높이기 위해 저자들은 민감도 기반 선택 전략을 도입합니다. 모든 매개변수를 업데이트하는 대신 "강건성-중요" 계층을 식별합니다:

• 민감도 점수 ($S^{(\ell)}$): 각 계층 $\ell$에 대해, 해당 특정 계층이 교란 (무작위 노이즈) 또는 양자화될 때 손실 증가를 측정하여 점수를 계산합니다.
• 타겟 업데이트: 민감도 점수가 가장 높은 상위 $m$개의 계층이 선택됩니다. ZO 정제 단계 동안, 교란 방향은 선택된 계층 외부에서 마스킹됩니다. 이는 계산 자원을 교란 하에서 안전 저하에 가장 큰 책임을 지는 계층에 집중시킵니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 최적화기 관점의 첫 연구: 0 차 최적화의 렌즈를 통해 매개변수 및 활성화 교란에 대한 안전 정렬 강건성을 포괄적으로 연구한 최초의 작업입니다.
2. FO–ZO 하이브리드 프레임워크: FO 의 정렬 효과성과 ZO 의 강건성 이점을 결합한 FO 및 ZO 최적화기를 통합하는 하이브리드 프레임워크를 제안합니다.
3. 효율성과 효과성: 소량의 정렬 후 ZO 정제가 modest 한 계산 오버헤드로 안전 강건성을 현저히 향상시킨다는 이론적 및 실증적 증거를 제시합니다.
4. 계층별 민감도: 교란 기반 평가를 사용하여 계층별 강건성 민감도를 추정하는 새로운 방법으로, SNIP 또는 WANDA 와 같은 표준 가지치기 기반 중요도 점수보다 우수한 타겟 정제를 가능하게 합니다.

4. 실험 결과

실험은 CB-Safety 데이터셋을 사용하여 Llama-3-8B-Instruct와 Qwen2-7B-Instruct에서 수행되었습니다.

• 표준 정렬의 취약성: 표 1 은 표준 정렬 모델이 양자화 (W4A4) 및 활성화 노이즈 하에서 공격 성공률 (ASR) 이 크게 증가함을 확인시켜 주며, 취약성 문제를 검증합니다.
• 정제의 효과성:
  • FO 정렬: 원래 모델에 비해 ASR 을 현저히 감소시킵니다.
  • ZO 정제: FO 정렬 후 적용 시, ZO 정제는 다양한 교란 (양자화, 가중치 노이즈, 활성화 노이즈) 하에서 ASR 을 추가로 감소시키면서 유용성을 유지합니다 (PPL 및 lm-eval 점수는 안정적으로 유지됨).
  • 비교: FO 훈련의 마지막 10 단계를 10 단계의 ZO 정제로 대체하는 것은 동일한 수의 최적화 단계를 사용함에도 불구하고 FO 훈련을 계속하는 것보다 일관되게 낮은 ASR 을 산출합니다.
• 계층 선택: 제안된 "강건성 인식" 계층 선택은 특히 활성화 노이즈 및 양자화 하에서 강건성에 중요한 계층을 식별하는 데 있어 SNIP 및 WANDA 보다 우수합니다.
• 효율성: ZO 정제 단계는 역전파를 피함으로써 FO 훈련에 필요한 피크 GPU 메모리의 약 32% 만 사용하며, 총 훈련 시간에 약 13.3% 만 추가합니다.

5. 의의 및 주장

본 논문은 더 회복력 있는 LLM 안전을 향한 겸손하지만 중요한 한 걸음으로 자신을 위치시킵니다. 안전 정렬은 단순히 데이터나 목적 함수에 관한 것이 아니라, 최적화기에 의해 형성되는 학습된 매개변수의 국소 기하학에 관한 것이라고 주장합니다.

• 신규성: 초점을 최적화기로 전환함으로써, 데이터 큐레이션이나 목적 함수 재설계와 직교하는 새로운 메커니즘 (ZO 정제) 을 제시합니다.
• 실용성: 하이브리드 접근법은 표준 FO 정렬의 높은 유용성을 유지하면서 경량화된 "강건성 광택"을 추가합니다.
• 한계 및 향후 작업: 저자들은 현재 계층 수준 선택이 향후 작업에서 더 세분화된 귀속 (모듈, 뉴런, 또는 매개변수 수준) 으로 확장될 수 있음을 인정합니다. 그들은 모든 안전 문제를 해결한다고 주장하지는 않지만, 특히 정렬된 모델의 훈련 후 교란에 대한 취약성을 구체적으로 다룹니다.

요약하자면, 본 논문은 0 차 최적화가 타겟 정제 도구로 사용될 때 LLM 의 안전 지형을 평활화하여 실제 배포에서 발생하는 불가피한 노이즈 및 압축에 더 강인하게 만든다는 것을 보여줍니다.