기술 요약: 다중 목적 선호도 최적화 (Multi-Objective Preference Optimization, MOPO)

1. 문제 정의

인간의 피드백으로부터 대규모 언어 모델(LLM)을 정렬하는 현재의 접근 방식(RLHF 및 DPO 등)은 주로 **단일 목적 최적화(single-objective optimization)**에 의존합니다. 이러한 방법들은 가중치 합산이나 휴리스틱한 스칼라화를 통해 여러 가지 인간의 선호도(예: 유용성, 무해성, 사실성, 다양성)를 하나의 스칼라 보상 신호로 축소시키는 경향이 있습니다.

본 논문은 이러한 접근 방식이 다음과 같은 이유로 근본적인 한계가 있다고 주장합니다:

1. 상충하는 목적(Conflicting Objectives): 인간의 선호도는 종종 다차원적이며 서로 상충합니다 (예: 유용성을 극대화하면 무해성이 저하될 수 있음).
2. 파레토 최적성(Pareto Optimality)의 손실: 스칼라화는 트레이드오프를 은폐하며, 어느 한 목적을 개선하기 위해 다른 목적을 악화시키지 않고는 개선할 수 없는 비지배 해 집합인 **파레토 프런트(Pareto front)**를 복구하는 데 실패합니다.
3. 추론의 경직성(Inference Rigidity): 기존의 다중 목적 방법들은 추론 시점에 명시적인 사용자 선호도 벡터(예: "유용성 0.6, 안전성 0.4")를 요구하는 경우가 많습니다. 하지만 사용자는 이를 명시적으로 표현하는 경우가 드물며, 모든 가중치 설정에 대해 매번 재학습을 수행하는 것도 비효효율적입니다.

본 연구가 다루는 핵심 문제는 **다중 목적 선호도 정렬(Multi-Objective Preference Alignment)**입니다. 즉, 명시적인 스칼라화나 추론 시 사용자가 제공하는 가중치 없이, 쌍체 선호 데이터(pairwise preference data)를 기반으로 잠재적으로 상충하는 여러 목적을 동시에 균형 있게 조절하는 단일 정책을 학습하는 것입니다.

2. 방법론: MOPO

저자들은 쌍체 선호 데이터로부터 직접 학습하는 오프라인 제약 최적화 프레임워크인 **다중 목적 선호도 최적화(MOPO)**를 제안합니다.

2.1 정식화 (Formulation)

MOPO는 정렬 문제를 **볼록 제약 최적화 문제(Concave Constrained Optimization Problem, COP)**로 프레임화합니다. 보상의 가중 합을 최대화하는 대신, **주 목적(primary objective)**을 최대화하면서 **부차적 목적(secondary objectives)**에 대한 **하한 제약(lower-bound constraints)**을 부과합니다.

참조 정책 $\pi_{ref}$, 주 선호 함수 $p(\cdot)$, 그리고 부차적 선호 함수들의 벡터 $q(\cdot)$가 주어졌을 때, 문제는 다음과 같습니다:
$$\begin{aligned} \max_{\pi} \quad & \mathbb{E}_{x, y, y'} [p(y \succ y' | x)] - \tau \text{KL}(\pi \parallel \pi_{ref}) \\ \text{s.t.} \quad & \mathbb{E}_{x, y, y'} [q(y \succ y' | x)] \geq \mathbf{b} \end{aligned}$$
여기서 $\mathbf{b}$는 부차적 목적에 대한 조절 가능한 안전 임계값(safety thresholds)을 나타내며, $\tau$는 정규화 파라미터입니다.

2.2 알고리즘 구성 요소

점 단위(point-wise) 보상 없이 이를 해결하기 위해 MOPO는 다음 메커니즘을 활용합니다:

• 중요도 샘플링 비율 ($\rho$): 정책은 비율 $\rho(y) = \pi(y) / \pi_{ref}(y)$를 통해 표현됩니다. 최적의 정책을 도출하기 위해 $\rho$에 대해 최적화를 수행합니다.
• 라그랑주 쌍대 정식화 (Lagrangian Dual Formulation): 제약 조건이 있는 문제는 라그랑주 승수 $\lambda$를 포함하는 쌍대 문제로 변환됩니다. 최적의 $\rho$는 다음과 같이 도출됩니다:
  $$\rho^*_\lambda(y) = \exp\left( \tau^{-1} \mathbb{E}_{y' \sim \mu} [p(y \succ y') + \lambda^T q(y \succ y')] - 1 \right)$$
  여기서 $\lambda$는 정책이 부차적 목적에서 성능이 미달할 경우 증가하는 페널티 역할을 합니다.
• 강건한 하한 추정 (Robust Lower Bound Estimation): 유한한 데이터셋에서의 추정 오류를 처리하기 위해, MOPO는 원시 경험적 기댓값을 직접 제약하지 않습니다. 대신, KL-다이버전스 예산($\epsilon$) 내에서 선호도를 최소화하는 분포 $\pi_k$를 찾는 보조 적대적 최적화 문제를 풀어 **하한(lower bound)**을 제약합니다. 이는 메인 최적화 루프에서 사용되는 강건한 하한 추정치를 생성합니다.
• 반복 업데이트 (Iterative Updates): 알고리즘은 다음 과정을 교대로 수행합니다:
  1. 제약 추정을 엄격하게 만들기 위해 하한 파라미터($\chi$)를 업데이트합니다.
  2. 목적 간의 균형을 맞추기 위해 라그랑주 승수($\lambda$)를 업데이트합니다.
  3. 중요도 가중치가 적용된 행동 복제(importance-weighted behavioral cloning)를 통해 정책 파라미터($\psi$)를 업데이트합니다.

2.3 실제 구현

• 지연된 참조 정책 (Lagged Reference Policy): 붕괴를 방지하고 파레토 프런트로의 안정적인 진행을 보장하기 위해, 참조 정책 $\pi_{ref}$는 고정되어 있지 않고 매 $t_0$ 단계마다 현재 정책 $\pi^{(t-t_0)}$로 주기적으로 업데이트됩니다.
• 적응형 제약 스케줄 (Adaptive Constraint Schedule): 정확한 제약 임계값 $\mathbf{b}$를 알 수 없으므로, 이전 최적화된 정책의 성능을 바탕으로 완화 파라参数 $\beta$를 사용하여 적응적으로 설정합니다.
• 멀티 헤드 아키텍처 (Multi-Head Architecture): 추론 시 MOPO는 공유 트랜스포머 백본과 여러 정책 헤드를 사용합니다. 추론 시 사용자가 주 목적을 선택하면 해당 헤드가 사용되어, 단일 모델이 재학습 없이도 다양한 선호도 우선순위에 적응할 수 있습니다.

3. 주요 기여

1. MOPO 프레임워크: 선호도를 단일 스칼라로 축소하지 않고 여러 목적을 동시에 최적화하여 파레토 최적성에 도달하는 오프라인 제약 최적화 알고리즘을 도입했습니다.
2. 이론적 보장: 제안된 제약 정식화가 단일 목적 스칼라화 방법(DPO, RLHF 등)이 놓치는 실제 파레토 프런트 상의 정책들을 복구할 수 있음을 입증했습니다.
3. 추정 오류에 대한 강건성: 선호도 추정의 노이즈에 강건하게 만들어 배포 시 제약 위반을 방지하는 하한 제약 메커니즘을 개발했습니다.
4. 실증적 검증:
   • 합성 벤치마크: 합성 환경에서 MOPO는 정답(ground truth)이 알려진 경우에도 최적의 정책과 파레토 프런트를 정확히 복구합니다.
   • 실제 LLM: "Helpful Assistant" 및 "Reddit Summarization" 태스크에 대해 7B 파라미터 모델(예: Zephyr-7b-beta, Llama-3.1-8B)을 실험한 결과, MOPO가 여러 목적(유용성, 무해성, 유머, 충실성)에 대해 베이스라인(RiC, PARM, MODPO 및 DPO 변형 포함)을 압도하거나 능가함을 보여주었습니다.
   • 안정성: 절제 연구(Ablation studies)를 통해 제약 완화 $\beta$, 지연 $t_0$, 정규화 $\tau$ 등 다양한 하이퍼파라미터 변화에 따른 알고리즘의 안정성을 확인했습니다.

4. 결과

• 파레토 복구: 합성 실험에서 MOPO는 파레토 프런트를 성공적으로 근사하는 반면, 단일 목적 또는 스칼라화된 보상으로 학습된 DPO는 프런트의 상당 부분을 놓칩니다.
• LLM 성능: Helpful Assistant 및 Reddit Summary 태스크에서 MOPO(특히 Lagrangian 변형인 MOPO-Lag)는 여러 목적(유용성, 무해성, 유머, 충실성)에 걸쳐 최첨단 베이스라인들과 대등하거나 더 높은 성능을 일관되게 보여줍니다.
• 확장성: 본 방법론은 소규모 모델(phi-1.5)부터 7B/8B 규모의 대형 모델까지 확장 가능합니다.
• 제약 만족: 답변 길이 제어(verbosity-constrained) 태스크에서 MOPO는 유용성을 개선하면서도 답변 길이를 지정된 범위 내로 성공적으로 유지합니다.

5. 의의 및 주장

본 논문은 MOPO가 임의의 스칼라화나 추론 시 사용자의 개입 없이 다차원적인 인간 선호도를 처리할 수 있게 함으로써, 현재의 정렬 패러다임의 중대한 공백을 메운다고 주장합니다.

• 패러다임 전환: 표준 RLHF/DPO의 "단일 보상 신호" 가정을 넘어, 상충하는 목표(예: 안전성 vs 유용성) 사이의 트레이드오프를 탐색하는 원칙적인 방법을 제시합니다.
• 실용적 유용성: 파레토 최적 정책을 오프라인으로 복구함으로써, MOPO는 새로운 가중치 설정에 대해 매번 재학습하거나 명시적인 선호도 벡터를 요구하지 않고도 다양하고 적응적인 사용자 요구에 대응할 수 있는 모델을 배포할 수 있게 합니다.
• 향 향후 연구 방향: 저자들은 실증적 결과는 강력하지만, MOPO의 수렴 및 최적성 보장에 대한 엄밀한 이론적 분석은 중요한 향후 과제로 남아있다고 언급했습니다.

이 연구는 복잡한 생성 모델의 경우, 정렬을 가중치가 부여된 단일 목적 최적화로 취급하는 것보다 제약된 다중 목적 문제로 취급하는 것이 더 우월함을 시사합니다.