기술 요약: TokenRatio (TBPO)

1. 문제 제기

직접 선호도 최적화 (Direct Preference Optimization, DPO) 는 강화 학습 (RL) 의 복잡성을 피함으로써 대규모 언어 모델 (LLM) 을 인간의 선호도와 정렬시키는 표준으로 자리 잡았습니다. 그러나 근본적인 불일치가 존재합니다. LLM 은 접두어에 조건부인 토큰별 결정을 내리며autoregressively(자기회귀적으로) 텍스트를 생성하는 반면, DPO 와 그 변형들은 일반적으로 전체 시퀀스를 분할 불가능한 객체로 간주하여 선호도를 모델링합니다.

기존의 "토큰 수준 (token-level)" 확장 (예: TDPO, TIS-DPO) 은 시퀀스 수준의 Bradley–Terry 목적 함수를 시간 단계별로 분해함으로써 이를 해결하려 시도합니다. 그러나 본 논문은 이러한 방법들이 여전히 근본적으로 시퀀스 수준 모델을 최적화하여 접두어별 (상태별) 최적성을 암시적으로만 남긴다고 주장합니다. 이로 인해 초기 토큰의 작은 오류가 연쇄적으로 확대되는 비최적의 신용 할당 (credit assignment) 이 발생하며, 모델은 매 생성 단계에서 국소적으로 최적의 절충안을 내리도록 명시적으로 훈련되지 않습니다. 핵심 문제는 DPO 를 매력적으로 만드는 단순성과 효율성을 희생하지 않으면서, 표준 시퀀스 수준 쌍별 비교 데이터만을 사용하여 토큰 수준 선호도 최적성을 어떻게 회복할 수 있는지에 있습니다.

2. 방법론: 토큰 수준 Bregman 선호도 최적화 (TBPO)

저자들은 시퀀스 수준 데이터에만 의존하면서도 밀도 비율 매칭 (density ratio matching) 을 통해 명시적으로 토큰 수준에서 선호도를 모델링하는 토큰 수준 Bregman 선호도 최적화 (TBPO) 프레임워크를 제안합니다.

2.1. 토큰 수준 Bradley–Terry 모델

TBPO 는 전체 응답을 단일 단위로 취급하는 대신 토큰 수준의 Bradley–Terry 모델을 가정합니다. 선호도 쌍 $(y_w, y_l)$과 특정 시간 단계 $t$에 대해, 모델은 승리하는 접두어 $s^w_t = [x, y^w_{<t}]$의 다음 토큰 $y^w_t$와 패배하는 접두어 $s^l_t = [x, y^l_{<t}]$의 다음 토큰 $y^l_t$를 비교합니다.

선호도 확률은 다음과 같이 정의됩니다:
$$p_{data}(y^w_t \succ y^l_t | s^w_t, s^l_t) = \sigma(S(s^w_t, y^w_t) - S(s^l_t, y^l_t))$$
여기서 $S(s, a)$는 토큰 수준 점수 함수이고 $\sigma$는 시그모이드 함수입니다.

2.2. 두 가지 구체화 (Instantiations)

점수 함수 $S$의 선택에 따라 프레임워크는 두 가지 변형을 도출합니다:

1. TBPO-Q: 참조 정책의 상태 - 행동 가치 함수 $Q^{\pi_{ref}}$를 점수로 사용합니다. 이는 선호도 레이블을 1 단계ahead(lookahead) 효용의 노이즈가 있는 비교로 간주합니다.
2. TBPO-A: 참조 정책의 이점 함수 (advantage function) $A^{\pi_{ref}}$를 점수로 사용합니다. 이는 정책이 모든 상태에서 승리하는 확장과 패배하는 확장의 이점 격차를 증가하도록 장려합니다.

2.3. 밀도 비율 매칭 및 상태별 가중치

다른 접두어 (상태) 간 행동을 비교하려면 보정 항이 필요하다는 것이 중요한 이론적 통찰입니다. 저자들은 최적 정책 $\pi^*_\theta$와 참조 정책 $\pi_{ref}$를 연결하는 등식을 유도했는데, 여기에는 상태별 가중치 $w_t$가 포함됩니다:
$$\frac{\pi^*_\theta(y^w_t | s^w_t)}{\pi^*_\theta(y^l_t | s^l_t)} = \frac{\pi_{ref}(y^w_t | s^w_t)}{\pi_{ref}(y^l_t | s^l_t)} \times \left( \frac{p_{data}(y^w_t \succ y^l_t)}{p_{data}(y^l_t \succ y^w_t)} \right)^{1/\beta} \times w_t$$

• TBPO-Q에서 $w_t$는 두 접두어의 파티션 함수 (soft-values) 비율입니다.
• TBPO-A에서 $w_t$는 두 접두어 간의 KL-발산 기준선 (baseline) 차이입니다.

이를 실용적으로 만들기 위해 저자들은 실용적인 추정기를 제안합니다:

• TBPO-Q: 주된 LLM 백본으로의 그래디언트 흐름을 차단하면서 로그 파티션 함수를 예측하는 경량의 MLP 기준선 헤드를 학습합니다.
• TBPO-A: 현재 정책과 참조 정책에 기반한 편향 없는 몬테카를로 추정기 (K3 추정기) 를 사용하여 KL-발산 차이를 추정합니다.

2.4. 최적화 목적 함수

이 프레임워크는 선호도 최적화를 Bregman-발산 밀도 비율 매칭 문제로 제시합니다. 토큰 수준에서 경험적 데이터 비율과 모델 비율 간의 Bregman-발산을 최소화함으로써, 이 방법은 실용적인 손실 함수를 유도합니다. 이는 토큰 수준 모델이 유도하는 최적 정책을 유지하면서 로지스틱/DPO 손실을 일반화합니다. 손실 함수는 쌍에서 더 짧은 시퀀스의 시간 단계들에 대해 평균화됩니다.

3. 주요 기여

1. 프레임워크: 시퀀스 수준 비교 데이터만을 사용하여 밀도 비율 매칭을 통해 명시적으로 토큰 수준 선호도를 모델링하는 최초의 프레임워크인 TBPO 의 도입.
2. 이론: 충분한 모델 용량 하에서 TBPO 목적 함수를 최소화하는 것이 토큰 수준 최적 정책을 회복함을 보여주는 엄밀한 유도. 저자들은 최소화기가 토큰 수준 Bradley–Terry 모델로 정의된 원하는 최적 정책에 해당함을 증명합니다.
3. 변형: 상태 의존적 보정 항을 서로 다른 방식 (학습된 기준선 대 이점 정규화) 으로 처리하는 두 가지 구체적인 구체화 (TBPO-Q 및 TBPO-A) 의 제안.
4. 유연성: Bregman 생성자 함수를 변경함으로써 (예: 튜닝 유연성을 위한 Scaled Basu's power divergence 사용) 쌍별 선호도 손실의 "플러그 앤 플레이" 계열을 가능하게 하는 공식화.

4. 실증 결과

저자들은 Mistral 7B v0.1 과 Llama 3 8B 에서 여러 벤치마크를 통해 TBPO 를 평가했습니다:

• 일반 능력: Open LLM Leaderboard (ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K) 에서 TBPO 변형들은 강력한 기준선 (SFT, DPO, TDPO, TIS-DPO, BPO) 보다 일관되게 우수한 성과를 거두었습니다.
  • TBPO-Q 는 Mistral 7B 에서 (60.95), TBPO-A 는 Llama 3 8B 에서 (70.50) 가장 높은 평균 점수를 달성했습니다.
  • 추론이 많이 필요한 작업 (예: GSM8K, MMLU) 에서 주목할 만한 향상이 관찰되었습니다.
• 생성 품질 (MT-Bench): LLM 심사관 (Llama 3 70B 및 Mixtral-8x22B) 에 의해 평가된 결과, TBPO 는 낮은 손실률로 이전 기준선에 대한 높은 쌍별 승리율을 달성했습니다.
• 유용성과 해로움 없음: Anthropic HH-RLHF 데이터셋에서 TBPO 변형들은 경쟁사보다 짧은 응답을 생성하면서도 가장 높은 길이 제어 (LC) 승리율을 달성했습니다. 이는 개선이 verbosity(장황함) 에 의해 주도된 것이 아니라 진정한 품질 정렬에 기인함을 시사합니다.
• 다양성: 다양성을 붕괴시키는 일부 토큰 수준 방법 (높은 Self-BLEU, 낮은 엔트로피) 과 달리, TBPO 는 높은 예측 엔트로피와 Distinct-1 점수를 유지하면서 Self-BLEU 를 낮게 유지하는 더 나은 절충안을 달성했습니다.

5. 중요성과 주장

본 논문은 TBPO 가 언어 생성의 자기회귀적 특성과 시퀀스 수준 선호도 최적화 간의 간극을 메운다고 주장합니다. 토큰 수준에서 최적성을 명시적으로 강제함으로써 TBPO 는 시퀀스 수준 방법의 간접적 신용 할당 문제를 회피합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 토큰 수준 최적성 회복: 학습된 정책이 시퀀스 전체의 평균이 아닌 모든 상태 (접두어) 에서 최적임을 이론적으로 보장합니다.
• 단순성 유지: 명시적 보상 모델이나 온-정책 RL 을 요구하지 않는 "DPO 유사" 단순성을 유지하면서 경량의 기준선 추정 구성 요소만 추가합니다.
• 안정성과 다양성 향상: 실증 결과는 TBPO 가 기존 토큰 수준 기준선보다 더 나은 훈련 안정성을 제공하고 출력 다양성을 더 잘 보존함을 시사합니다.

이 작업은 특정 고위험 도메인에서의 즉각적인 배포를 주장하지 않으면서, 정렬을 위한 더 신뢰할 수 있고 잘 이해된 머신러닝 시스템 설계에 대한 방법론적 기여로 제시됩니다.