기술 요약: DOG-DPO: 안전 정렬을 위한 기하학적 동적 최적화 (Dynamic Optimization in Geometry for Safety Alignment)

1. 문제 정의

대규모 언어 모델(LLM)의 안전 정렬(Safety alignment)은 일반적으로 대규모 인간 선호도 데이터셋을 활용한 직접 선호 최적화(DPO)에 의존합니다. 그러나 현재의 파이프라인은 세 가지 결정적인 비효율성에 직면해 있습니다:

1. 데이터 중복성(Data Redundancy): 기존 데이터셋에는 상당한 중복이 존재하며, 효과적인 정렬을 위해 실제로 필요한 선호 쌍(preference pairs)은 극히 일부에 불과합니다.
2. 구조적 정보의 손실(Loss of Structural Information): 기존의 데이터 선택 방법들은 각 선호 쌍 $(x, y_+, y_-)$을 독립적인 스칼라 값으로 점수화하는 "샘플 중심적(sample-centric)" 관점을 채택합니다. 이러한 방식은 선호 데이터가 가진 본질적인 방향성(모델이 이동해야 할 구체적인 정렬 방향)을 단일 품질 지표로 붕괴시킵니다.
3. 다중 데이터셋 복잡성(Multi-Dataset Complexity): 이질적인 데이터 소스가 존재하는 환경에서 단순한 풀링(pooling)은 공유된 정렬 방향(지배적인 "앵커(anchor)" 데이터셋에 의해 포착됨)과 데이터셋별 잔차 위험(dataset-specific residual risks)을 구분하지 못합니다. 현재의 방법들은 중복되는 앵커 방향을 과하게 샘플링하거나, 고유한 데이터셋별 위험을 과소 샘플링하는 문제를 겪습니다.
4. 계산 비용(Computational Cost): 학습 신호 기반의 선택 방법(예: 그래디언트 분석이나 참조 DPO 실행이 필요한 방법)은 계산 비용이 많이 들며 훈련 과정과 밀접하게 결합되어 있습니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 어떻게 하면 비싼 학습 신호나 교사 모델(teacher models)에 의존하지 않고, 전역적인 안전 일관성과 데이터셋 특유의 뉘앙스를 모두 보존하면서도 정보량이 많고 중복되지 않는 선호 데이터의 부분 집합을 선택할 수 있는가?

2. 방법론: DOG-DPO

저자들은 선호 데이터를 표현 공간(representation space) 내의 구조화된 기하학적 신호로 취급하는 학습 불필요(training-free) 데이터 선택 프레임워크인 DOG-DPO(Dynamic Optimization in Geometry for Safety Alignment)를 제안합니다.

2.1 선호 데이터의 기하학적 재정의

DOG-DPO는 스칼라 점수 대신, 각 선호 쌍을 모델의 표현 공간 내의 방향 벡터 $z_i$로 나타냅니다:
$$z_i = h(x, y_+) - h(x, y_-)$$
여기서 $h$는 응답 토큰의 은닉 상태(hidden state) 표현입니다. 이 벡터는 모델이 따라야 할 정렬 방향을 포착합니다.

2.2 앵커-잔차 분해 (Anchor-Residual Decomposition)

다중 데이터셋 설정을 처리하기 위해, 이 방법은 선호 기하학을 두 가지 구성 요소로 분해합니다:

1. 전역 앵커 부공간 (Global Anchor Subspace, $B$): 가용한 가장 큰 데이터셋의 주성분 분석(PCA)으로부터 도출됩니다. 이는 모든 데이터셋에 걸쳐 나타나는 지배적이고 공유된 안전 방향을 포착합니다.
2. 데이터셋별 잔차 부공간 (Dataset-Specific Residual Subspaces, $T_v$): 각 데이터셋 $v$에 대해, 잔차 기저(residual basis)는 앵커 기저의 직교 보공간 위로 해당 데이터셋의 PCA 기저를 투영하여 구축됩니다 ($T_v = \text{orth}((I - BB^\top)U_v)$). 이는 특정 데이터셋에 특화된 고유한 안전 방향을 포착합니다.

2.3 특징 생성 및 선택

각 샘플은 이 기저들로 투영되어 다음을 포함하는 특징 벡터 $\phi_i$를 형성합니다:

• 앵커 좌표: 앵커 기저에 대한 원시 제곱 투영값.
• 잔차 좌표: 특정 데이터셋 내의 이상치(outlier)를 억제하기 위해 전형성 가중치(Mahalanobis distance)에 의해 조절된 잔차 기저에 대한 제곱 투영값.

선택 과정은 로그-행렬식 기준(D-optimal 실험 설계)을 사용하여 다양성 기반 커버리지 목적 함수를 최대화합니다:
$$J(S) = \log \det(L_S + \epsilon I)$$
여기서 $L_S$는 신호 크기($q_i = \|\phi_i\|^2$)와 방향적 중복성(RBF 커널)을 결합한 품질 가중 커널 행렬입니다.

이 프레임워크는 두 단계의 균형을 맞추는 **탐욕적 선택 규칙(greedy selection rule)**을 채택합니다:

1. 스패닝 단계 (Spanning Phase): 선택된 집합의 조건수(condition number)를 개선하는 샘플을 우선시하여($\lambda_{min}$ 최대화), 다양한 방향에 대한 커버리지를 보장합니다.
2. 필링 단계 (Filling Phase): 커버리지가 확립되면, 신호 크기(에너지)가 높은 샘플을 우선시합니다.

2.4 변형 모델

• DOG-D (주요 방법): 작은 품질 편향($\theta=0.1$)을 가진 탐욕적 규칙을 사용하여 전체 품질-다양성 목적 함수(식 4)를 최적화합니다.
• DOG (어블레이션): 방향적 중복성을 억제하는 로그-행렬식 다양성 항을 무시하고, 오직 품질 점수(앵커/잔차 점수의 파레토 프런티어)만을 기준으로 샘플을 순위화합니다.

3. 주요 기여

1. 기하학적 재정의: 선호 데이터를 샘플 중심의 스칼라 점수에서 방향적, 기하학적 관점으로 전환함으로써, 이질적인 선호 신호가 공유된 앵커 기하학과 데이터셋별 잔차로 분해된다는 점을 밝혀냈습니다.
2. 기하학 기반 프레임워크: 분해된 특징 공간에서 기하학적 커버리지를 최대화함으로써, 구조적 폭과 방향적 비중복성을 동시에 포착하는 DOG-DPO를 도입했습니다.
3. 학습 불필요 효율성: 교사 LLM, 참조 DPO 훈련, 또는 반복적인 검증 과정이 필요하지 않습니다. 이 방법은 단 한 번의 전처리 패스로 작동하며, 대표적인 베이스라인 대비 15~35배의 속도 향상을 달升합니다.
4. 강력한 경험적 성능: 6개의 안전 벤치마크와 2개의 모델 백본(Gemma-3-1B 및 LLaMA-3.2-3B)에 대해 약 **11.6%**의 전체 선호 데이터만을 사용하여 우수한 유틸리티-강건성 트레이드오프를 입증했습니다.

4. 실험 결과

저자들은 다섯 가지 강건성 벤치마크(AutoDAN-HGA, WildJailbreak, JailbreakBench, HarmBench)와 두 가지 유틸리티 벤치마크(TruthfulQA-MC2, ToxiGen)에서 DOG-DPO를 평가했습니다.

• 전체 데이터 대비 성능: LLaMA-3.2-3B에서 DOG-DPO는 30k 쌍 기준 0.9657의 강건성 점수를 기록했으며, 이는 전체 데이터 훈련 시의 0.9768에 근접한 수치로, 다른 모든 학습 불필요 베이스라인(예: KMeans, Laser, DEITA)을 크게 앞질렀습니다.
• 베이스라인 대비 성능: DOG-DPO는 Tier-2(학습 불필요) 베이스라인들을 일관되게 능가했습니다. 예를 들어, LLaMA-3.2-3B 10k 쌍 설정에서 차순위 베이스라인인 KMeans보다 강건성을 4.9 포인트 향상시켰습니다.
• 확장성: 이 방법은 LoRA를 사용하여 LLaMA-3.1-8B로 일반화되었으며, AutoDAN-GPT 공격 성공률을 **0.2%**로 낮추어 정렬되지 않은 베이스 모델 대비 430배의 개선을 보여주었습니다.
• 효율성: 엔드 투 엔드 선택 파이프라인은 24분 미만이 소요되었으며, 이는 그래디언트 기반 또는 LLM 심판(judge) 기반 방식이 몇 시간 또는 며칠이 걸리는 것과 대조적입니다.
• 어블레이션 통찰:
  • 다양성 항을 제거한 경우(DOG 변형) 성능 저하가 발생하였으며, 이는 구조적 특징만으로는 불충분하며 방향적 중복성을 반드시 억제해야 함을 확인시켜 줍니다.
  • 앵커 데이터셋(가장 큰 데이터셋)의 선택은 견고한 것으로 나타났습니다. 앵커를 다른 데이터셋으로 교체하더라도 거의 동일한 안전 결과를 얻었습니다.

5. 의의 및 주장

본 논문은 효과적인 안전 정렬이 단순히 데이터의 규모가 아니라, 이질적인 선호 데이터의 구조화된 기하학을 활용하는 것에 달려 있다고 주장합니다.

• 효율성: DOG-DPO는 학습 기반의 선택이나 교사 모델의 계산 오버헤드 없이도 데이터의 극히 일부(11%)만으로 고품질의 정렬을 달성할 수 있음을 보여줍니다.
• 구조적 통찰: "앵커-잔차" 구조를 명시적으로 모델링함으로써, 공통된 안전 방향을 과하게 샘플링하는 중복성을 피하는 동시에 틈새적인 데이터셋별 위험까지 커버리지를 확보합니다.
• 실용성: 순수 전처리 방식의 학습 불료(training-free) 방법으로서, 특히 자원이 제한된 환경이나 거대한 다중 소스 데이터셋을 다룰 때 안전 정렬 파이프라인을 위한 확장 가능한 솔루션을 제공합니다.

저자들은 자신들의 접근 방식이 상보적인 정렬 신호를 유지하면서도 훈련 세트를 컴팩트하게 유지하는 원칙적인 방법을 제공하며, 선호 데이터의 구조적 기하학을 이해하는 것이 데이터 그 자체만큼이나 중요함을 강조하며 결론을 맺습니다.