💬 NLP

Se-DPO: Self-Evolving Token Credit for Direct Preference Optimization

이 논문은 변화하는 내부 보상 신호와 신뢰도에 따라 토큰 수준의 크레딧을 동적으로 조정함으로써 Direct Preference Optimization의 정적 균등 집계의 한계를 극feit하고 AlpacaEval 2 및 Arena-Hard와 같은 벤치마크에서 상당한 성능 향상을 달성하는 방법인 Se-DPO를 소개한다.

원저자: Wenxiao Zhao, Shu Wang, Ying Nian Wu

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenxiao Zhao, Shu Wang, Ying Nian Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 사람들이 좋아할 만한 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요. 당신은 단순히 로봇에게 "이야기를 써라"라고 말하는 대신, 사람들이 좋아했던 이야기 하나와 좋아하지 않았던 이야기 하나를 보여주며 로봇에게 왜 그런 차이가 있는지 알아내라고 요청합니다. 이것이 바로 AI가 유익하고 해롭지 않게 학습하도록 만드는 인기 있는 방법인 **직접 선호도 최적화(Direct Preference Optimization, DPO)**의 세계입니다. 이 과정에서 AI는 자신이 생성하는 모든 단어(또는 "토큰")를 참조 버전과 비교하며 학습합니다. 이는 마치 모든 단어가 최종 성적에 똑같이 중요하다는 가정하에, 문장 속의 모든 단어를 일일이 확인하는 엄격한 편집자와 같습니다. 만약 AI가 문장 중간에 오타를 낸다면, 편집자는 그 오타를 "the"나 "and" 같은 지루한 단어와 똑같은 비중으로 취급합니다.

하지만 여기 함정이 있습니다. 모든 단어가 똑같이 중요한 것은 아닙니다. 단 하나의 잘못된 사실이 전체 답변을 망칠 수 있는 반면, 미사여구는 거의 중요하지 않을 수 있습니다. 이 분야의 핵심 질문은, 어떻게 하면 AI에게 어떤 단어가 "주연"이고 어떤 단어가 그저 "엑스트라"인지 알 수 있도록 가르칠 것인가 하는 점입니다. 만약 우리가 모든 단어를 동일하게 취급한다면, AI는 중요한 실수를 무시한 채 지루한 부분을 다듬는 데 에너지를 낭비할 수도 있습니다. 이 논문은 바로 이 문제, 즉 어떻게 하면 AI가 학습할 때 어디에 주의를 집중해야 할지 더 똑똑하게 알 수 있게 할 것인가를 깊이 파고듭니다.

이 논문의 저자인 웬시아오 자오(Wenxiao Zhao)와 동료들은 놀라운 사실을 발견했습니다. 단어의 "중요성"은 고정된 사실이 아니라, AI가 학습함에 따라 변한다는 것입니다. 학생이 시험을 치는 상황을 상상해 보세요. 첫째 날, 학생은 문장 시작의 대문자가 가장 중요한 것이라고 생각할 수 있습니다. 하지만 열심히 공부한 뒤 열흘째 되는 날, 학생은 문장 중간에 있는 실제 사실들이 정말 중요하다는 것을 깨닫게 됩니다. 이 논문은 기존 방식들이 마치 학생에게 첫날에 "중요한 단어" 목록을 정적으로 제공하고는 결코 업데이트하지 않는 교사와 같다고 주장합니다. 이 목록은 학생의 이해도가 높아짐에 따라 빠르게 구식이 되어버립니다.

이를 해결하기 위해 연구팀은 **Se-DPO(Self-Evolving Token Credit, 자가 진화형 토큰 크레딧)**라는 새로운 방법을 도입했습니다. Se-DPO는 정적인 목록을 사용하거나 외부 전문가(예: 사전 학습된 교사 모델)에게 무엇이 중요한지 묻는 대신, AI가 실시간으로 스스로 판단하게 합니다. AI는 자신의 내부 신호를 지속적으로 점검하여, 어떤 단어가 가장 많은 "선호도 가중치"(좋은 답변과 나쁜 답변을 가르는 결정적인 단어)를 담고 있는지, 그리고 어떤 단어가 그저 노이즈에 불과한지를 파악합니다. 그런 다음, 중요한 단어에는 더 많은 변화의 자유를 주고, 지루한 단어에는 그대로 유지되도록 더 엄격한 규칙을 적용합니다.

논문은 이러한 "자가 진화" 접근 방식이 중요한 이유는 AI의 단어 중요성에 대한 내부 이해가 학습 과정 동안 극적으로 변화하기 때문이라고 제안합니다. 실제로 연구진은 학습 시작 단계의 "상위" 단어 집합과 학습 종료 단계의 집위 집합 사이에 겹치는 부분이 매우 적다는 것을 발견했습니다. 학습 과정 내내 상위 20%에 머무는 단어는 전체의 약 33.6%에 불 불과했습니다. 만약 정적인 목록을 사용했다면, AI가 졸업할 때쯤에는 엉뚱한 단어에 집중하고 있었을 것입니다.

Se-DPO는 각 단어에 얼마나 많은 "크레딧"(또는 자유도)을 줄지 결정하기 위해 두 가지 신호를 사용합니다: AI의 선호도 신호가 해당 단어에 대해 얼마나 강한지, 그리고 참조 모델이 해당 단어에 대해 얼마나 확신했는지입니다. 만약 참조 모델이 특정 단어에 대해 확신이 없었다면(높은 엔트로피), AI는 그 신호가 노이즈일 수 있음을 인지하고 이를 맹목적으로 신뢰하지 않습니다. 작고 가벼운 네트워크가 "교정기" 역할을 하여 이 두 신호의 균형을 맞추고, AI가 무작위 노이즈에 의해 주의가 분산되지 않도록 보장합니다.

결과는 매우 유망합니다. AI 글쓰기 품질에 대한 표준 벤치마크 테스트에서 Se-DPO는 기존 방식(DPO)보다 상당한 차이로 앞섰습니다. 구체적으로, AlpacaEval 2에서 최대 9.8 포인트, Arena-Hard에서 12.2 포인트의 승률을 개선했습니다. 특정 설정에서는 AlpacaEval 2에서 50.6%, Arena-Hard에서 **43.3%**의 승률을 기록하며, 무거운 외부 모델에 의존하는 다른 고급 방법들을 능가했습니다. 저자들은 추가적인 컴퓨팅 자원을 아주 조금만 더 사용할 뿐, 별도의 사전 학습된 "교사" 모델 없이도 이러한 성과를 달-성했다는 점을 강조합니다.

요약하자면, 이 논문은 AI가 진정으로 인간의 선호도를 마스터하기 위해서는 무엇이 중요한지 결정하는 역동적이고 자가 수정 가능한 방법이 필요하다고 제안합니다. AI에게 고정된 규칙 책을 따르게 하는 대신, 학습하면서 단어의 중요성에 대한 이해를 스스로 진화시키도록 함으로써 훨씬 더 나은 결과를 얻을 수 있습니다. 이는 체크리스트를 바탕으로 채점하는 교사에서, 학생의 성장을 지켜보며 매일 조언을 조정하는 멘토로 업그레이드하는 것과 같습니다.

기술 요약: Se-DPO (Direct Preference Optimization을 위한 자기 진화형 토큰 크레딧)

문제 정의

Direct Preference Optimization (DPO)는 인간의 선호도를 LLM에 정렬하기 위해 RLHF 목적 함수를 지도 학습 손실(supervised loss)로 재매개변수화하는 표준적인 방법이 되었습니다. 그러나 표준 DPO는 토큰 수준의 로그 확률 비율을 균등하게 합산하며, 이는 모든 응답 토큰이 선호도 신호에 동일하게 기여한다고 암묵적으로 가정합니다.

이러한 균등한 처리는 현실과 일치하지 않습니다:

가변적 기여도: 모든 토큰이 응답 품질에 동일하게 기여하는 것은 아닙니다. 단 하나의 사실적 오류가 선호도 레이블을 뒤집을 수 있는 반면, 의미 없는 채움 단어(filler words)는 인간의 판단에 거의 영향을 미치지 않습니다.
정적 vs. 동적 중요도: 이를 해결하려는 기존 방식들은 외부 교사 모델, 대조 쌍(contrastive pairs), 또는 고정된 마스크를 사용하여 훈련 루프 외부에서 또는 훈련 전에 토큰 중요도를 계산합니다. 이러한 접근 방식은 중요도가 대략적으로 고정되어 있다고 간주합니다.
진화의 격차: 본 논문은 DPO를 통해 학습되는 암묵적 보상 신호가 훈련 중에 상당한 진화를 거친다는 점을 식별했습니다. "중요하다"고 간주되는 토큰의 집합은 훈련 초기와 후기 단계 사이에 크게 변화합니다. 결과적으로, 정적인 크레딧 할당은 최적화가 진행됨에 따라 점점 더 불일치(stale)하게 됩니다. 또한, 보정 없이 암묵적 보상을 직접 사용하면 초기 훈련 시 노이즈로 인해 비핵심 토큰(예: 구두점)에 과도한 중요성이 할당될 수 있습니다.

방법론: Se-DPO

저자들은 Se-DPO(Self-Evolving Token Credit for DPO)를 제안합니다. 이는 훈련 중 모델 자체의 진화하는 내부 신호로부터 토큰별 크레딧을 동적으로 도출하는 메커니즘입니다.

1. 이론적 기초: 토큰 크레딧

저자들은 토큰별 KL 정규화를 허용하도록 DPO 목적 함수를 일반화합니다. 균등한 계수 $\beta$ 대신, 위치별 계수인 $\beta_t$ 를 도입합니다. 이는 "토큰 크레딧" 항 $c_t = \beta / \beta_t$ 로 이어집니다.

목적: 토큰마다 페널티 강도가 변하는 KL 제약 조건 하에서 기대 보상을 최대화합니다.
유도: 선호도 로짓에 대한 분산 최소화 기준에 따라, 최적의 크레딧 $c_t$ 는 토큰의 실제 암묵적 보상 크기( $|r^*_t|$ )에 비례하고 추정 노이즈 분산( $\sigma^2_t$ )에 반비례하는 것으로 유도됩니다.
$c^*_t \propto \frac{|r^*_t|}{\sigma^2_t}$

2. 신호 선택

최적의 크레딧을 정답(ground truth) 없이 근사하기 위해, Se-DPO는 순전파(forward pass) 중에 사용할 수 있는 두 가지 상호 보완적인 신호를 활용합니다:

암묵적 보상 크기 ( $|\hat{r}_t|$ ): DPO 로그 비율( $\beta \log \frac{\pi_\theta}{\pi_{ref}}$ )에서 유도됩니다. 높은 크기는 해당 토큰이 강력한 선호 정보를 담고 있음을 시사합니다.
참조 엔트로피 ( $H_{ref,t}$ ): 주어진 토큰에서의 참조 모델 분포의 엔트로피입니다. 높은 엔트로피는 참조 모델이 불확실함을 나타내며, 이는 암묵적 보상 추정치를 더 노이즈가 많게 만듭니다. 낮은 엔트로피는 확신을 의미하며, 이로부터의 편차가 더 신호가 풍부함을 의미합니다.
경험적 검증: 본 논문은 참조 엔트로피가 암묵적 보상 추정치의 분산과 강한 상관관계가 있음을 관찰하여, 노이즈 프록시로서의 유용성을 확인했습니다.

3. 보정 네트워크 (Calibration Network)

보상 크기와 노이즈 사이의 관계는 비선형적이며, 폐쇄형 비율 $|\hat{r}_t|/H_{ref,t}$ 은 (특히 엔트로피가 0에 가까울 때) 수치적으로 불안정할 수 있기 때문에, Se-DPO는 경량 보정 네트워크(작은 MLP, $f_\phi$ )를 사용합니다.

입력: $|\hat{r}_t|$ 및 $H_{ref,t}$ .
출력: 스칼라 크레딧 $\tilde{c}_t$ .
정규화: 크레딧은 각 응답 내에서 단위 평균을 갖도록 정규화됩니다. 이는 전체 KL 예산이 표준 DPO와 유사하게 유지되도록 보장하면서, 더 중요한 토큰으로 예산을 재분배할 수 있게 합니다.

4. 훈련 알고리즘

알고리즘은 두 단계로 작동합니다:

웜업 단계 ( $W$ 스텝): 균등한 크레딧( $c_t=1$ )을 사용하는 표준 DPO가 사용됩니다. 이는 초기 훈련 시 암묵적 보상이 불안정하거나 0에 가까울 때 노이즈가 증폭되는 것을 방지합니다.
가이드 단계 ( $>W$ 스텝): 보정 네트워크 $f_\phi$ 가 정책 $\pi_\theta$ 와 함께 공동으로 업데이트됩니다. 각 스텝에서 모델은 현재 순전파로부터 $|\hat{r}_t|$ 와 $H_{ref,t}$ 를 계산하고, $f_\phi$ 를 통해 크레딧을 생성하며, 토큰 가중치 손실을 최적화합니다:
$L_{Se-DPO} = -\log \sigma \left( \sum_{t} c^{(c)}_t \hat{r}^{(c)}_t - \sum_{t} c^{(r)}_t \hat{r}^{(r)}_t \right)$
결정적으로, 이는 외부 모델을 전혀 필요로 하지 않으며 최소한의 계산 오버헤드만을 추가합니다.

주요 기여

시간적 역학 관찰: 본 논문은 토큰 수준의 암묵적 보상이 DPO 훈련 중에 상당히 변화한다는 것을 입증했으며, 초기와 후기 단계 사이의 겹침(예: 상위 20% 토큰에 대해 ~33.6%)이 제한적임을 보여주었습니다. 이는 기존 토큰 수준 방식의 정적 중요도 가정을 반박합니다.
토큰 크레딧 공식화: 저자들은 토큰 크레딧을 토큰별 KL 정규화 강도를 조절하는 메커니즘으로 공식화하였으며, 최적의 크레딧이 보상 크기와 추정 확신도 모두에 의존함을 유도했습니다.
Se-DPO 알고리즘: 경량 보정 네트워크를 사용하여 내부 신호로부터 토큰 크레딧을 도출하는 실용적이고 온라인 방식의 방법론을 제공합니다. 이는 외부 모델이나 복잡한 솔버를 피합니다.
경험적 검증: Se-DPO는 외부 모델이 없는 방법들 중 상태 최고(SOTA) 성능을 달ей하며, AlpacaEval 2와 Arena-Hard에서 표준 DPO 및 다른 베이스라인들을 유의미하게 능가합니다.

실험 결과

실험은 세 가지 모델(Llama-3-8B-Instruct, Llama-3.2-3B-Instruct, Gemma-2-2B-it)과 두 가지 선호도 어노테이터(ArmoRM 및 PairRM)를 사용하여 수행되었습니다.

성능 향상:
- **Llama-3-8B-Instruct (ArmoRM)**에서, Se-DPO는 AlpacaEval 2에서 50.6%, Arena-Hard에서 **43.3%**의 승률을 달성했습니다. 이는 가장 강력한 이전 베이스라인인 TGDPO를 각각 +8.1, +2.8 포인트 초과한 수치입니다.
- PairRM 어노테이션의 경우, Se-DPO는 47.2% (AlpacaEval 2) 및 42.6% (Arena-Hard)를 기록하여 베이스라인 대비 +3.3 및 +8.3 포인트를 앞섰습니다.
- LoRA를 사용한 작은 모델(3B 및 2B)에서도 Se-DPO는 표준 DPO보다 일관되게 우수한 성능을 보였으며 TGDPO와 경쟁 가능한 수준을 유지했습니다.
절제 연구 (Ablation Studies):
- 정적 vs. 동적: "Static-Credit" 변형(웜업 후 고정됨)은 DPO보다 약간의 개선만을 보였으며, 이는 진화하는 크레딧이 필수적임을 확인시켜 줍니다.
- 신호의 필요성: 암묵적 보상과 참조 엔트로피 모두 필수적인 것으로 나타났습니다. 수동으로 만든 비율은 단일 신호 변형보다 일관되게 우수하지 않았으며, 이는 학습된 보정 네트워크의 필요성을 입증합니다.
- 웜업: 짧은 웜업 단계(기본 4%)가 매우 중요했습니다. 웜업을 제거하거나 너무 길게 설정하면 성능이 저하되었습니다.

의의 및 주장

본 논문은 Se-DPO가 현재의 선호도 최적화의 근본적인 한계인 "토큰 중요도는 정적이다"라는 가정을 해결한다고 주장합니다. 토큰 크레딧을 모델 자신의 훈련 궤적으로부터 도출되는 자기 진화적 속성으로 취급함으로써, Se-DPO는 정규화 강도를 특정 시점의 각 토큰이 가진 실제 정보량과 일치시킵니다.

그 의의는 다음과 같습니다:

효율성: 외부 교사 모델이나 다른 토큰 수준 방식에 필요한 복잡한 솔버의 계산 비용 없이 우수한 성능을 달성합니다.
강건성: 외부 신호가 아닌 내부 모델 상태에 의 Rely하기 때문에 다양한 선호도 어노테이터(ArmoRM vs. PairRM)에 대해 강건합니다.
이론적 통찰: 토큰 수준의 KL 예산이 왜 동적이어야 하며 추정 노이즈에 반비례해야 하는지에 대한 분산 최소화 근거를 제공합니다.

저자들은 MT-Bench 메트릭에 대해서는 겸허한 태도를 유지하며, Se-DPO가 쌍체 승률 벤치마크(AlpacaEval 2, Arena-Hard)에서는 뛰어나지만 MT-Bench에서의 절대적 점수는 다양하게 나타난다는 점을 언급했습니다. 이는 쌍체 선호도 정렬과 절대적 평점 척 사이의 트레이드오프가 존재함을 시사하며 추가적인 조사가 필요함을 나타냅니다.