기술 요약: Blackwell 로 돌아가기: 다목적 선호도 미세 조정에서의 비추이성 문제 해결

1. 문제 제기

본 논문은 대규모 언어 모델 (LLM) 을 위한 선호도 미세 조정 (PFT) 에서의 근본적인 과제인 비추이성 (순환적) 선호도를 다룹니다. 비추이성은 LLM 심판자가 옵션 $A \succ B$ 및 $B \succ C$로 순위 매기지만, $A \succ C$로 순위 매기는 데 실패할 때 발생합니다. 이 현상은 주로 두 가지 원인에서 비롯됩니다:

1. 단일 목적을 따른 일관성 없는 순위 매기기.
2. 여러 목적을 단일 지표로 **스칼라화 (Scalarization)**하는 과정으로, 개별 목적들이 일관되더라도 일관성 없는 결과를 초래할 수 있습니다.

기존의 표준 PFT 파이프라인은 보상 모델을 통해 전체 순서를 학습하는 데 의존합니다. 그러나 비추이성 선호도 하에서는 잘 정의된 최적 정책 (Condorcet Winner) 이 존재하지 않아 표준 PFT 의 핵심 가정이 무너집니다. 기존 연구는 (a) 집계된 판단을 여러 목적으로 분할하거나 (b) PFT 를 제로섬 게임으로 프레임하여 최악의 경우 비교자에 대한 견고한 정책을 찾는 방식으로 이를 완화하려 시도했으나, 이러한 접근법들을 결합하는 것은 기술적으로 어렵습니다. 구체적으로, 목적을 다목적 설정으로 분할하면 Minimax 정리가 무효화되어 자기 대결 (self-play) 과 같은 표준 게임 해결 기법이 실패하게 됩니다.

2. 방법론

2.1 해결 개념: 최대 엔트로피 Blackwell 승자 (MaxEntBW)

저자들은 **최대 엔트로피 Blackwell 승자 (MaxEntBW)**라는 새로운 게임 이론적 해결 개념을 제안합니다. Minimax 승자는 Minimax 정리가 성립하지 않는 다목적 설정에서는 잘 정의되지 않는 반면, MaxEntBW 는 여러 전역적으로 일관성 없는 선호도 하에서도 잘 정의됩니다.

형식적으로, MaxEntBW 는 게임 가치 $V(\pi)$를 최대화하는 정책 $\pi^*$이며, 다음과 같이 정의됩니다:
$$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta^{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_x \left[ \langle w(x), P(\pi \succ \pi' \mid x) \rangle + \beta D_{KL}(\pi'(x) \parallel \pi_{ref}(x)) \right]$$
여기서:

• $P(\pi \succ \pi' \mid x)$는 $m(x)$개의 목적에 대한 쌍별 승리 확률 벡터입니다.
• $w(x)$는 적대자가 목적에 부여하는 가중치를 나타냅니다.
• $\pi'$는 적대자의 비교자 정책입니다.
• $\beta D_{KL}(\pi' \parallel \pi_{ref})$는 적대자가 기준 정책 $\pi_{ref}$에 가깝게 유지되도록 제약하는 KL 정규화 항입니다.

이 공식은 Minimax 정리가 성립할 필요가 없으면서도, 지역적 이웃 내의 최악의 경우 목적 가중치와 비교자 정책에 대해 정책이 견고하도록 보장합니다.

2.2 알고리즘: PROSPER

MaxEntBW 를 대규모로 계산하기 위해 저자들은 PROSPER(전체 평가 기준에 대한 단일 플레이어 선호도 최적화) 를 유도했습니다. 이 알고리즘은 학습자, 적대적 목적 가중치, 적대적 정책이라는 복잡한 3 인 게임을 세 가지 핵심 단계를 통해 처리 가능한 단일 플레이어 최적화 문제로 축소합니다:

1. 폐형 (Closed-Form) 적대적 정책: 학습자 $\pi$와 가중치 $w$를 고정하면, 적대자 정책 $\pi'$에 대한 내부 최소화가 엔트로피 정규화 (Ziebart et al., 2008 에서 영감) 를 통해 폐형 해를 허용합니다. 이로 인해 적대적 훈련 루프가 불필요해집니다.
2. 프롬프트별 최소화: 목적 가중치 $w$에 대한 최적화가 오목함 (concave) 이 입증되었습니다. 결과적으로, 임의의 프롬프트에 대한 최적 $w$는 심플렉스의 꼭짓점 (즉, 단일 최악의 경우 목적을 선택) 이 됩니다. 이는 알고리즘이 단순히 목적별로 프롬프트 단위로 최소화할 수 있게 하여 $w$를 최적화할 필요가 없게 합니다.
3. 회귀 기반 최적화: 남은 목적 함수는 $\pi$에 대해 오목합니다. 대규모 모델에 대해 직접 온라인 미러 강하 (online mirror descent) 를 수행하는 것은 불가능하므로, PROSPER 는 회귀 기반 재공식화를 사용합니다. 이는 최악의 경우 목적과 기준 정책에서 유도된 추정 기울기 $g(z)$를 통해 기울기를 추정하고, 제곱 손실 회귀 문제를 풀어 정책 매개변수 $\theta$를 업데이트합니다:
   $$\theta_{t+1} = \arg \min_{\theta} \mathbb{E}_{x, z, z'} \left[ \left( \frac{1}{\eta} \left( \ln \frac{\pi_\theta(z|x)}{\pi_{\theta_t}(z|x)} - \ln \frac{\pi_\theta(z'|x)}{\pi_{\theta_t}(z'|x)} \right) - (g(z) - g(z')) \right)^2 \right]$$

3. 주요 기여

1. MaxEntBW 정의: 본 논문은 다목적 설정으로 일반화되고 Minimax 정리에 의존하지 않으면서 비추이성 선호도 하에서도 잘 정의된 해결 개념인 최대 엔트로피 Blackwell 승자를 소개합니다.
2. PROSPER 알고리즘: 저자들은 MaxEntBW 를 계산하기 위해 증명적으로 효율적인 회귀 기반 알고리즘을 유도했습니다. 이 방법은 역강화 학습의 통찰과 최신 선호도 최적화 기법을 융합하여 내부 루프 최적화를 제거하고 문제를 단순한 회귀 문제로 축소합니다.
3. 실증적 검증: 본 논문은 다목적 LLM 심판자 피드백이 실제로는 상당한 비추이성을 보임을 입증했습니다. 또한 PROSPER 가 다목적 피드백에서 LLM(3B 및 7B 규모) 을 미세 조정할 때, 특히 지시 따르기 및 일반 채팅 벤치마크에서 베이스라인을 능가함을 보여줍니다.

4. 실험 결과

저자들은 LLM 심판자가 프롬프트별 평가 기준 (rubrics) 에 따라 응답을 평가하는 WILDCHECKLISTS데이터셋을 사용하여 PROSPER 를 평가했습니다.

• 비추이성 분석: 실험은 평가 기준을 개별 항목 (다목적) 으로 분할하는 것이 비추이성을 줄이지만 제거하지는 못함을 확인했습니다. 상당수의 프롬프트는 여전히 순환을 보이며 Condorcet Winner 가 부재합니다.
• 벤치마크 성능:
  • 지시 따르기 및 채팅: AlpacaEval 2.0 및 Arena-Hard에서 PROSPER(7B) 는 RLCF(체크리스트 피드백을 통한 강화 학습) 베이스라인 및 PROSPER-JC 와 PROSPER-VB 와 같은 절편 변형을 포함한 모든 베이스라인 중 가장 높은 점수를 기록했습니다.
  • 일반 능력: 도메인 외 벤치마크 (IFEval, MMLU, ARC, HellaSwag, TruthfulQA) 에서 PROSPER 는 기본 모델 및 RLCF 와 비교 가능한 성능을 유지하여, 적대적 특성을 가진 훈련이 일반 추론 또는 지식 능력을 저하시키지 않았음을 시사합니다.
• 절편 연구:
  • PROSPER-JC(단일 목적/집계 점수): 전체 PROSPER 보다 성능이 낮아, 명시적으로 여러 목적을 처리할 필요성을 강조합니다.
  • PROSPER-VB(고정 경쟁자): 전체 PROSPER 보다 성능이 낮아, 적대적으로 선택된 경쟁자 정책의 가치를 입증합니다.

5. 중요성 및 주장

본 논문은 PROSPER 가 본질적으로 일관성이 없는 복잡한 다기준 인간 (또는 AI) 선호도와 LLM 을 정렬하기 위한 견고한 프레임워크를 제공한다고 주장합니다. 다목적 설정에서 실패하는 스칼라화 및 표준 게임 이론적 가정을 벗어나, 저자들은 다음과 같은 "원리 기반 (first-principles)" 해결책을 제시합니다:

• 비추이성 처리: 존재하지 않을 수 있는 전체 순서를 강요하지 않고 선호도의 순환적 특성을 직접 다룹니다.
• 확장성: 문제를 단일 플레이어 회귀로 축소하여 적대적 훈련의 계산 비용을 피함으로써 효율성을 달성합니다.
• 실용적 유용성: 집계 점수 대신 상세한 다목적 평가 기준 피드백을 활용하는 것이 실제 세계 채팅 및 지시 따르기 시나리오에서 질적으로 더 강력한 정책을 이끌어낸다는 것을 입증합니다.

저자들은 이 분야의 추가 연구를 촉진하기 위해 3B 및 7B 파라미터 규모의 훈련된 모델 체크포인트를 공개합니다.