🤖 machine learning

Provably avoiding over-optimization in Direct Preference Optimization without knowing the data distribution

본 논문은 불일치하는 데이터 부분 집합으로 훈련된 비관적 정책 앙상블을 활용하여 데이터 분포에 대한 지식이나 명시적 보상 모델 없이 과도한 최적화를 완화하는 단일 단계 직접 선호도 최적화 알고리즘인 PEPO 를 소개함으로써, DPO 의 실용적 단순성을 유지하면서 개선된 샘플 복잡성 보장을 달성합니다.

원저자: Adam Barla, Emanuele Nevali, Luca Viano, Volkan Cevher

게시일 2026-05-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Adam Barla, Emanuele Nevali, Luca Viano, Volkan Cevher

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 좋은 이야기를 쓰도록 가르치려 한다고 상상해 보세요. 인간 심판자가 두 가지 옵션 중 더 나은 이야기를 선택한 예시들이 담긴 거대한 노트가 있습니다. 당신의 목표는 로봇이 바로 그 투표에서 승리할 만한 이야기를 쓰도록 훈련시키는 것입니다.

이것이 **직접 선호도 최적화 (Direct Preference Optimization, DPO)**의 역할입니다. AI 를 가르치는 데 널리 쓰이는 방법이지만, DPO 는 유명한 결함이 있습니다. 바로 **과최적화 (over-optimization)**에 시달린다는 점입니다.

연습 시험을 치르는 학생을 생각해 보세요. 학생이 연습 문제의 정답을 그대로 암기했지만 개념을 실제로 이해하지 못한다면, 연습 시험에서는 만점을 받을 수 있지만 실제 시험에서는 떨어질 수 있습니다. AI 용어로 말하면, 모델이 시스템을 '조작'하기 시작합니다. 훈련 데이터에서는 승자처럼 보이지만 실제로는 nonsensical(말도 안 되는), 환각적이며, 현실 세계에서는 그저 나쁜 내용인 것을 말하도록 학습하는 것입니다.

이 논문은 훈련 데이터가 어떻게 생성되었는지 정확히 알 필요 없이 이 문제를 해결하는 새로운 방법인 PEPO(Pessimistic Ensemble based Preference Optimization)를 소개합니다.

다음은 일상적인 비유를 통해 PEPO 가 어떻게 작동하는지 설명한 것입니다:

1. 문제: "자신감 넘치는 바보"

기존 DPO 는 한 가지 특정 노트만 공부한 매우 자신감 넘치는 단일 학생과 같습니다. 만약 그 노트에 함정이나 실수가 있다면, 학생은 그 실수를 자신 있게 반복할 것입니다. 모델이 훈련 데이터에서의 점수를 극대화하려고 노력하기 때문에, 결국 점수를 더 높이기 위해 환각을 일으키기 시작합니다. 비록 글의 질은 떨어지더라도요.

2. 해결책: "회의적인 패널"

PEPO 는 **Ensemble(앙상블)**을 사용하여 게임을 바꿉니다. 학생 한 명을 훈련시키는 대신, PEPO 는 학생 전체 패널 (예를 들어 3~4 명) 을 훈련시킵니다.

분할: 훈련 노트는 서로 겹치지 않는 별도의 더미로 잘게 나뉩니다. 각 학생은 공부할 다른 더미를 받습니다.
비관주의: 결정을 내릴 때가 되면, PEPO 는 "대다수가 어떻게 생각하나?"라고 묻지 않습니다. 대신 "우리 학생들 중 최악의 시나리오는 무엇인가?"라고 묻습니다.

이것이 '비관주의' 부분입니다. 이는 안전을 위해 모든 심판이 이야기가 좋다고 동의할 때만 이야기를 승인하는 심판 위원회와 같습니다. 한 명의 심판이라도 불확실하거나 이야기가 위험하다고 생각하면, 전체 그룹이 그것을 거부합니다. 이는 AI 가 높은 점수를 얻기 위해 무작정 추측하는 대신, 자신이 진정으로 확신하는 것에만 충실하도록 보수적으로 만듭니다.

3. 마법 같은 트릭: 수정구슬 불필요

이 문제를 해결하려던 이전 방법들은 '수정구슬'이 필요했습니다. 훈련 데이터가 어떻게 생성되었는지 정확히 알아야 했습니다 (예: "이것은 인간이 썼을까? 특정 AI 가 썼을까?"). 현실 세계에서는 종종 이를 알 수 없습니다. 예를 들어, 거대하고 독점적인 AI(예: GPT-4) 가 생성한 데이터로 작은 AI 를 훈련시킨다면, 그 데이터가 어떻게 만들어졌는지 '소스 코드'를 볼 수 없습니다.

PEPO 는 특별합니다. 수정구슬이 필요하지 않기 때문입니다. '회의적인 패널' 접근법을 사용하여 데이터의 출처를 알 필요 없이 불확실한 부분을 자연스럽게 파악합니다. 이는 자체적인 안전망을 만들어냅니다.

4. 답변 생성 방식

PEPO 모델이 응답을 작성해야 할 때, 특별한 '거부 샘플링 (rejection sampling)' 프로세스 (품질 관리 필터라고 생각하세요) 를 실행합니다.

잠재적인 답변을 생성합니다.
확인합니다: "우리 패널의 모든 구성원이 이것이 안전하고 좋다고 동의합니까?"
만약 그렇다면, 답변을 출력합니다.
만약 한 명이라도 회의적이라면, 그 답변을 폐기하고 다시 시도합니다.

이것은 느리게 들릴 수 있지만, 저자들은 현실 세계에서 사용할 만큼 충분히 빠르게 만드는 '토큰 수준 (token-level)' 단축키를 발견했습니다. 속도 저하 없이 안전상의 이점을 유지합니다.

결과

이 논문은 Llama, Mistral, Zephyr 등 여러 대규모 언어 모델을 대상으로 이를 테스트했습니다.

기존 DPO: 모델의 성능은 처음에는 향상되다가 추락했습니다 (과최적화의 절벽).
PEPO: 성능은 향상된 후 안정화되었습니다. 추락하지 않았습니다. 말도 안 되는 환각의 함정에 빠지지 않고 계속 나아갔습니다.

결론

PEPO 는 자신감 넘치는 천재 한 명 대신 신중한 전문가 위원회를 고용하는 것과 같습니다. AI 가 전체 위원회가 안전하다고 동의하는 것만 수행하도록 강제함으로써 훈련 데이터를 위한 과최적화의 함정을 피합니다. 데이터가 어디에서 왔는지에 대한 비밀스러운 역사를 알 필요 없이 이를 달성하므로, AI 의 안전성과 품질을 개선하는 데 있어 견고하고 실용적인 도구가 됩니다.

문제 정의

직접 선호도 최적화 (DPO) 는 단순성과 명시적 보상 모델링을 우회할 수 있는 능력으로 인해 대규모 언어 모델 (LLM) 의 후속 학습 표준이 되었습니다. 그러나 DPO 는 **과최적화 (over-optimization)**로 인해 고통받는 것으로 알려져 있습니다: 학습이 진행됨에 따라 모델은 초기 모델 대비 생성된 응답의 실제 품질을 저하시키면서 훈련 손실을 최대화할 수 있습니다. 이 문제는 표준 DPO 와 인간 피드백을 통한 강화 학습 (RLHF) 이 추정된 보상을 완벽한 실제 값으로 간주하고 불확실성을 무시한다는 사실로 인해 더욱 악화됩니다.

과최적화를 완화하기 위한 이론적 보장은 일반적으로 **비관주의 (pessimism)**에 의존하여 학습된 정책이 추정 오차에 대해 견고하도록 보장합니다. 기존 비관주의 변형들 (예: $\chi^2$ -정규화 DPO, DPO+SFT) 은 오직 단일 정책 집중도 계수 (single-policy concentrability coefficient)( $C^\star$ ) 에만 의존하는 강력한 이론적 상한을 달성하며, 이는 데이터셋이 전체 정책 공간을 커버하지 않더라도 견고함을 의미합니다. 그러나 이러한 보장들은 데이터 생성 분포 (data-generating distribution)( $\pi_{data}$ ) 를 알고 있거나 $\pi_{data}$ 에 의해 잘 커버된 기준 정책에 접근할 수 있다는 점에 결정적으로 의존합니다. 실제로는, 예를 들어 더 크고 독점적인 시스템 (예: GPT-4) 에 의해 생성된 선호도 데이터로 더 작은 모델을 미세 조정할 때 $\pi_{data}$ 가 알려지지 않고 접근할 수 없는 경우와 같이 이러한 가정이 종종 위반됩니다.

해결된 핵심 연구 질문은 다음과 같습니다: 데이터 생성 분포 $\pi_{data}$ 에 대한 지식 없이 과최적화에 대해 이론적으로 견고한 DPO 유사 알고리즘을 설계할 수 있는가?

방법론: PEPO

저자들은 $\pi_{data}$ 에 대한 지식이 필요 없이 불연속적인 데이터 하위 집합으로 훈련된 정책들의 앙상블을 통해 비관주의를 달성하는 단일 단계 알고리즘인 **PEPO (Pessimistic Ensemble based Preference Optimization, 비관주의 앙상블 기반 선호도 최적화)**를 소개합니다.

1. 앙상블 훈련:
선호도 데이터셋 $D$ 는 $L$ 개의 불연속적인 하위 집합으로 분할됩니다. 각 하위 집합 $D_\ell$ 에 대해 경량 정책 $\tilde{\pi}_\ell$ 이 비관주의 DPO 목적함수를 사용하여 훈련됩니다. 이 목적함수는 시그모이드 함수를 매개변수 $\lambda_\ell$ 만큼 수평으로 이동시켜 표준 DPO 손실을 수정함으로써, 승리 확률에 필요한 마진을 효과적으로 줄입니다. 이 이동은 보상 간격에 대한 보수적 (비관주의적) 인 추정을 유도합니다.

2. 비관주의 집계:
출력 정책 $\pi_{out}$ 은 앙상블 전반에 걸쳐 **최악의 경우 보상 (worst-case reward)**을 최적화하는 "가상" RLHF 문제의 해로 정의됩니다. 앙상블에 대한 암시적 보상은 다른 하위 집합들의 데이터 분포를 고려하여 조정된 (독립성을 보장하기 위해) $L$ 개 모델들의 추정 보상 간격 중 최솟값을 취함으로써 구성됩니다.
$r^-(x, a) = \beta \min_{\ell \in [L]} \left( \log \frac{\tilde{\pi}_\ell(a|x)}{\pi_{ref}(a|x)} - \zeta_\ell(x) \right)$
여기서 $\zeta_\ell(x)$ 는 $\ell$ 번째 하위 집합 외부의 데이터 기여도를 반영합니다.

3. 효율적 샘플링:
$\pi_{out}$ 에 대한 폐쇄형 해는 전체 응답 공간에 대한 정규화 상수를 포함하여 계산이 불가능합니다. 이를 우회하기 위해 PEPO 는 거부 샘플링 (rejection sampling)(알고리즘 2) 을 사용합니다. $\pi_{out}$ 의 분자가 $\tilde{\pi}_\ell$ 에 의해 상한이 결정되므로 앙상블의 임의 구성원이 제안 분포로 작용할 수 있습니다. 실제 대규모 응용을 위해 저자들은 또한 경로 수준의 거부 샘플링을 피하고 생성 지연 시간을 크게 줄이기 위해 각 디코딩 단계에서 비관주의 집계를 적용하는 **토큰 수준 근사 (token-level approximation)**를 제안합니다.

주요 기여

이론적 기여:

$\pi_{data}$ 없는 샘플 복잡도: 표형 (tabular) 설정에서 PEPO 는 오직 단일 정책 집중도 계수( $C^\star$ ) 에만 의존하는 샘플 복잡도 보장을 달성합니다. 이는 모든 정책 집중도 계수 ( $C_{all}$ ) 로 고통받는 표준 DPO 와 $\pi_{data}$ 에 대한 지식을 요구하는 기존 비관주의 DPO 변형들과 대조됩니다.
최적 앙상블 크기: 분석은 높은 확률로 비관주의를 보장하기에 충분한 최소값으로서 최적 앙상블 크기 $L$ 을 특성화합니다. 이론적 상한은 $L$ 이 상태 및 행동 공간 크기에 대해 로그적으로 스케일함을 보여줍니다.
견고성: 이러한 상한은 데이터셋이 전체 정책 클래스를 커버한다는 가정을 하지 않고도 성립하며, 이전 이론적 연구들의 "알려지지 않은 $\pi_{data}$ " 격차를 해결합니다.

실용적 기여:

실증적 검증: PEPO 는 UltraFeedback 데이터셋을 사용하여 7B, 8B, 34B 파라미터 모델 (Zephyr-7B, Llama-3.1-8B, Mistral-7B, Yi-34B) 에서 평가되었습니다.
과최적화 완화: 실험은 표준 DPO 가 초기 이득 후 승률의 급격한 하락 (과최적화) 을 보이는 반면, PEPO 는 성능이 안정화되고 개선됨을 보여줍니다.
기선 대비 우위: PEPO 는 $\pi_{data} \neq \pi_{ref}$ 인 설정 (예: UltraFeedback) 에서 일관되게 $\chi^2$ PO 및 DPO+SFT 를 능가하며, 이러한 기선들의 이론적 보장이 무효화되는 환경에서 우위를 보입니다.
효율성: 토큰 수준 구현은 승률과 생성 시간 간의 유리한 균형을 달성하여, 전체 거부 샘플링보다 현저히 낮은 지연 시간으로 거의 최적의 성능을 제공합니다.

결과

과최적화: 그림 1 은 DPO 의 초기 모델 대비 승률이 정점을 찍은 후 감소하는 반면, 적절한 $L$ 을 가진 PEPO 는 지속적인 개선을 보임을 보여줍니다. 검증 손실에 기반한 조기 종료는 최상의 DPO 체크포인트를 선택하는 데 신뢰할 수 없는 것으로 나타났습니다.
비교: 그림 3 에서 PEPO 는 모든 테스트된 모델에 대해 $\chi^2$ PO 및 SFT+DPO 보다 AlpacaEval2 에서 더 높은 승률을 달성합니다. 성능 격차는 $\pi_{data} = \pi_{ref}$ 일 때만 좁아지는데, 이는 PEPO 의 이점이 알려지지 않은 데이터 분포를 처리할 수 있는 능력에서 비롯됨을 확인시켜 줍니다.
애블레이션: 실험은 $L$ 이 중요한 하이퍼파라미터임을 확인시켜 주는데, 값이 너무 작으면 충분한 비관주의를 유도하지 못하고, 너무 크면 모델당 유효 데이터가 감소하여 성능이 저하됩니다.

중요성과 주장

이 논문은 데이터 생성 분포에 대한 지식 없이 과최적화를 이론적으로 피하는 최초의 DPO 유사 알고리즘을 제시한다고 주장합니다. 이는 이론적 견고성 (단일 정책 집중도) 과 실제 제약 (알려지지 않은 $\pi_{data}$ ) 사이의 격차를 해소한다는 점에서 중요합니다. 이는 독점적이거나 다양한 모델에 의해 데이터가 생성되는 실제 LLM 정렬에서 일반적인 시나리오입니다.

저자들은 PEPO 를 DPO 의 단순성 (단일 단계 훈련, 명시적 보상 모델 없음) 을 유지하면서 비관주의 정규화의 이론적 안전성을 통합한 실용적 솔루션으로 위치시킵니다. 그들은 이론적 보장이 현재 표형 설정에서 확립되었으며, $\pi_{data}$ 를 알지 못한 채 일반 함수 근사 클래스로 이러한 결과를 확장하는 것은 여전히 열린 과제로 남아 있음을 인정합니다. 또한, 현재 방법은 (샘플링을 통해) 비모수적 정책을 출력하는데, 이는 훈련 파이프라인의 최종 단계에는 이상적이지만 중간 체크포인트에는 적합하지 않으므로, 매개변수적 출력에 대한 향후 연구 방향을 시사합니다.