기술 요약: 직교 기울기 투영을 통한 지속 학습으로서의 안전 정렬

1. 문제 제기: 정렬 세금과 기울기 간섭

대형 언어 모델 (LLM) 은 사전 학습을 통해 광범위한 일반 능력을 달성하지만, 인간의 의도와 안전 제약 (유용함, 정직함, 무해함) 을 준수하기 위해 안전 정렬 (예: 지도형 미세 조정 [SFT] 또는 직접 선호도 최적화 [DPO] 를 통한) 이 필요합니다. 그러나 이러한 사후 학습 과정은 종종 "정렬 세금 (alignment tax)"을 수반하는데, 이는 안전성 향상으로 인해 진실성, 추론, 또는 코딩 능력과 같은 일반 유용성의 측정 가능한 후퇴가 초래되는 현상입니다.

저자들은 이러한 세금의 주요 기제를 이질적 지속 학습 (heterogeneous continual learning, CL) 프레임워크 내의 기울기 간섭으로 규명했습니다. 전통적인 CL 에서 작업들이 동질적인 목표를 공유하는 것과 달리, LLM 정렬은 데이터 분포와 최적화 목표가 변화하는 순차적 단계 (예: 사전 학습 $\to$ SFT $\to$ DPO) 를 포함합니다. 이러한 설정에서 안전 목표 ($g_{safe}$) 로부터 도출된 기울기는 종종 사전 학습된 일반 능력을 보존하는 데 중요한 매개변수 방향과 겹치는 성분을 포함합니다. 따라서 $g_{safe}$를 따라 단순한 업데이트를 수행하면 우연히 이러한 능력 지원 방향을 교란시켜 치명적인 망각 (catastrophic forgetting) 을 초래합니다.

데이터 재생 (일반 데이터 혼합) 또는 근접 정규화 (KL 패널티) 와 같은 기존 완화 전략은 종종 상당한 계산 오버헤드, 복잡한 하이퍼파라미터 튜닝을 도입하거나, 간섭 기울기 성분을 명시적으로 제거하지 못하는 연약한 제약 (soft constraints) 으로만 작용합니다.

2. 방법론: 안전 정렬을 위한 직교 기울기 투영 (OGPSA)

본 논문은 1 차 능력 보존 제약을 부과함으로써 기울기 간섭을 완화하도록 설계된 경량 플러그 앤 플레이 업데이트 규칙인 OGPSA를 제안합니다.

핵심 개념

OGPSA 는 안전 정렬을 제약 최적화 문제로 프레임합니다. 목표는 안전 손실 지형을 하강하는 동시에, 업데이트 단계 $\Delta\theta$가 선택된 일반 능력 참조 목표의 손실을 1 차적으로 증가시키지 않도록 보장하는 것입니다.

알고리즘 단계

1. 부분 공간 추정: OGPSA 는 대량의 재생 데이터 버퍼를 유지하는 대신, 저차원의 일반 능력 참조 부분 공간($S_{gen}$) 을 추정합니다. 이는 유용성, 진실성과 같은 주요 능력을 대표하는 소규모의 다양한 참조 데이터셋 ($D_{ref}$) 에서 계산된 기울기들로 구성됩니다.

   • $\{g^{(i)}\}_{i=1}^M$을 $M$개의 참조 손실로부터의 기울기라고 합시다.
   • 부분 공간은 $S_{gen}(\theta) = \text{span}\{g^{(1)}, \dots, g^{(M)}\}$입니다.
   • 이 부분 공간에 대한 정규 직교 기저 $U$는 선형 종속성을 필터링하기 위해 그람 - 슈미트 과정을 사용하여 주기적 (매 $K$단계마다) 으로 구성됩니다.

2. 직교 투영: 안전 정렬 업데이트 (예: SFT 또는 DPO) 동안 표준 안전 기울기 $g_{safe}$를 $S_{gen}$의 직교 여집합에 투영합니다.

   • 투영된 기울기는 다음과 같이 계산됩니다:
     $$\tilde{g}_{safe} = g_{safe} - U(U^\top g_{safe}) = g_{safe} - \sum_{j=1}^{M'} \langle g_{safe}, u_j \rangle u_j$$
   • 이 연산은 일반 능력 부분 공간 내에 있는 안전 업데이트 성분을 제거하여, 참조 손실의 1 차적 증가를 효과적으로 방지합니다.

3. 매개변수 업데이트: 모델 매개변수는 투영된 기울기를 사용하여 업데이트됩니다:
   $$\theta \leftarrow \theta - \eta \tilde{g}_{safe}$$

이론적 정당성

저자들은 참조 기울기에 의해 정의된 국소 선형화 제약 집합 내에서 투영된 기울기 방향이 안전 목표에 대한 가장 가파른 실현 가능한 하강 방향임을 증명합니다. 이는 모델이 참조 능력의 1 차 보존을 위반하지 않으면서 안전 목표 방향으로 가능한 한 빠르게 이동하도록 보장합니다.

3. 주요 기여

• 문제 공식화: 본 논문은 안전 사후 학습을 목표 이질적 지속 학습 문제로 재정의하여, 기울기 간섭을 정렬 세금의 구체적이고 검증 가능한 원인으로 명시적으로 규명합니다.
• 알고리즘 설계: 저차원 참조 부분 공간의 직교 여집합에서 작동하는 기울기 투영 방법인 OGPSA 를 도입합니다. 재생 기반 방법과 달리 대규모 데이터 저장 및 혼합을 피하면서 소규모 참조 기울기의 주기적 계산만 요구합니다.
• 실증적 검증: 이 방법은 여러 모델 계열 (Llama3.1-8B, Qwen2.5-7B) 과 정렬 파이프라인 (SFT, DPO, 그리고 순차적 SFT$\to$DPO) 에서 검증되어 안전성 - 유용성 트레이드오프에서 일관된 개선을 입증했습니다.

4. 실험 결과

저자들은 Llama3.1-8B-Instruct 및 Qwen2.5-7B-Instruct 에서 표준 베이스라인 (단순 튜닝) 과 완화 전략 (가중치 병합, LoRA, 일반 데이터 재생) 에 대해 OGPSA 를 평가했습니다.

• 성능 향상: OGPSA 는 모든 설정에서 안전성과 일반 능력 점수를 결합한 지표인 "Avg. Gain"에서 일관되게 최고치를 달성했습니다.
  • 순차적 SFT$\to$DPO 파이프라인에서, 지시형 (instruct) 베이스라인 대비 Llama3.1-8B 의 평균 성능 향상은 **19.74% 에서 32.98%**로, Qwen2.5-7B 의 경우 **33.98% 에서 42.74%**로 증가했습니다.
• 고급 베이스라인과의 비교: OGPSA 는 집계된 향상과 특정 능력 지표 측면에서 기울기 투영 지속 학습 베이스라인 (GPM) 과 최첨단 안전 정렬 프레임워크 (STAIR) 를 능가했으며, 경쟁력 있는 안전 점수를 유지했습니다.
• 강건성: 이 방법은 최적화 기반 저브레이크 (I-GCG) 에 대한 저항력을 보였으며, 표준 SFT 및 DPO 베이스라인 대비 공격 성공률 (ASR) 을 감소시켰습니다.
• 절대 실험 (Ablation Studies):
  • 부분 공간 다양성: 유용성과 진실성 기울기를 결합하는 것과 같은 다양한 부분 공간을 사용하는 것이 단일 차원 투영보다 전반적인 균형을 더 잘 달성했습니다.
  • 데이터 효율성: OGPSA 는 10k 샘플 재생 베이스라인을 능가하기 위해 참조 차원당 100~200 개의 샘플만 필요로 하여 높은 데이터 효율성을 입증했습니다.
  • 업데이트 빈도: 부분 공간의 주기적 업데이트 (예: DPO 의 경우 매 5 단계마다) 가 중요했으며, 정적 부분 공간은 학습이 진행됨에 따라 성능을 저하시켰습니다.
• 확장성: 이 접근 방식은 0.5B 에서 7B 파라미터에 이르는 모델 크기에 걸쳐 효과적이었습니다.

5. 중요성과 주장

본 논문은 OGPSA 가 대규모 재생의 무거운 계산 비용 없이 안전 정렬 중 능력 후퇴를 완화하는 간단한 1 차 메커니즘을 제공한다고 주장합니다. 안전 기울기의 간섭 성분을 명시적으로 제거함으로써, 이 방법은 사전 학습된 일반 지식의 안정성을 유지하면서 모델이 새로운 안전 제약을 획득할 수 있게 합니다.

저자들은 그들의 기여가 보존 제약 하에서의 안전 하강 방향에 대한 국소적 1 차 특성화임을 강조합니다. 그들은 모든 하류 능력 지표가 보존될 것이라는 전역적 보장을 주장하지 않으며, 평가된 설정 밖에서 파레토 최적임을 주장하지도 않습니다. 이 접근 방식은 안전성 - 유용성 프론티어를 개선하기 위해 표준 SFT/DPO 파이프라인에 통합될 수 있는 경량 모듈식 구성 요소로 제시됩니다.

인정된 한계:

• 효율성은 1 차 국소 근사에 의해 제한됩니다.
• 성능은 참조 데이터의 다양성과 대표성에 의존합니다.
• 전체 재생보다 훨씬 낮지만, 주기적 참조 기울기 계산으로 인해 약간의 계산 오버헤드가 존재합니다.
• 이 방법은 모든 저브레이크나 오용 시나리오에 대한 강건성을 보장하지 않으며, 레드 테이밍 및 모니터링을 포함한 더 넓은 안전 파이프라인의 일부여야 합니다.