DRIFT: Learning from Abundant User Dissatisfaction in Real-World Preference Learning

기술 요약: DRIFT – 실제 환경의 선호도 학습에서 풍부한 사용자 불만족으로부터의 학습

문제 정의
현재 대규모 언어 모델(LLM) 정렬(alignment)은 인간 피드백을 통한 강화 학습(RLHF)과 직접 선호도 최적화(DPO)에 크게 의존하고 있습니다. 그러나 이러한 방식은 실제 배포 환경에서 심각한 확장성 문제를 겪습니다. 이들은 일반적으로 비용이 많이 드는 정제된 인간 주석(annotation)에 의존하거나, 풍부한 긍정적(만족) 피드백이 존재한다고 가정합니다. 반면, 실제 상호작용 데이터는 명시적인 만족(SAT) 신호(사용자의 1~3%만이 피드백을 제공함)는 희소한 반면, 암묵적인 불만족(DSAT) 신호는 매우 풍부하다는 특징이 있습니다. 사용자는 수정, 개선, 후속 질문 등을 통해 자연스럽게 불만족을 표현하지만, 기존의 선호도 학습 방식은 이러한 데이터 프로필과 잘 맞지 않으며, 야생(wild) 환경에서 사용 가능한 풍부한 암묵적 부정 신호를 활용하는 데 미흡한 경우가 많습니다.

방법론: DRIFT
저자들은 실제 환경의 DSAT 신호에 학습을 고정(anchor)하는 동시에 긍정적 응답을 동적으로 샘플링하도록 설계된 프레임워크인 DRIFT(Dissatisfaction-Refined Iterative preFerance Training)를 제안합니다.

• 핵심 메커니즘: 고정된 정답(ground-truth) 응답을 긍정 신호로 취급하는 방식(예: SPIN)이나 품질 저하가 발생할 수 있는 자기 생성 쌍(self-generated pairs)에 의존하는 방식과 달리, DRIFT는 다음과 같이 선호도 쌍을 구성합니다:
  • 거절된 응답 ($y^-$): 실제 대화 로그(예: 모델의 오류를 수정하는 사용자)에서 추출된 실제 세계의 사용자 불만족 신호.
  • 선택된 응답 ($y^+$): 동일한 프롬프트에 대해 현재 진화 중인 정책($\pi_\theta$)에서 샘플링된 새로운 응답.
• 반복 프로세스: 학습은 사이클 단위로 진행됩니다. 모델은 야생 데이터셋(예: WildFeedback)을 필터링하여 DSAT 케이스를 식별합니다. DSAT 신호와 연관된 각 프롬프트에 대해, 현재 모델은 새로운 후보 응답을 생성합니다. 그 후, 생성된 긍정 응답의 가능성(likelihood)을 실제 세계의 부정 응답에 비해 극대화하도록 DPO 손실 함수를 통해 모델을 업데이트합니다.
• 핵심 설계 통찰: 실제 DSAT 네거티브에 기반을 두고 진화하는 정책에서 포지티브를 샘플링함으로써, DRIFT는 사라지지 않는 선호도 마진(non-vanishing preference margin)을 유지합니다. 이는 선택된 응답과 거절된 응답이 시간이 지남에 따라 너무 유사해지는 현상, 즉 기존 자기 개선(self-improvement) 방법론에서 관찰되는 "그래디언트 붕괴(gradient collapse)"를 방지합니다.

주요 기여

1. 경험적 검증: DRIFT는 실제 벤치마크에서 강력한 반복적 베이스라인(SPIN 및 Iterative DPO)보다 일관되게 우수한 성능을 보입니다.
2. 탐색 능력 향능: 이 방법은 응답 공간의 좁은 부분집합으로 붕괴되지 않고, 다양한 고보상 솔루션을 생성함으로써 탐색 역량을 보존합니다.
   %3. 이론적 분석: 저자들은 DRIFT가 기대 선호도 마진을 유지하고 그래디언트 퇴화를 방지한다는 이론적 증명을 제공하며, 이는 고정된 긍정 집합에 의依赖하는 기존 자기 개선 모델들의 결정적인 한계를 해결합니다.

실험 결과
저자들은 Qwen2.5-7B 및 Qwen2.5-14B 모델을 사용하여 두 가지 데이터셋(WildFeedback(실제 사용자 라벨링) 및 UltraFeedback(합성 LLM 라벨링))으로 DRIFT를 평가했습니다.

• WildFeedback (실제 환경):
  • DRIFT는 베이스 모델 대비 WildBench Task Score에서 최대 +6.23%(7B) 및 +7.61%(14B)의 향상을 달성했습니다.
  • AlpacaEval2 승률(win rate)에서 최대 +8.95%(7B) 및 +12.29%(14B)의 향상을 기록했습니다.
  • 14B 규모에서 DRIFT로 학습된 모델은 WildBench에서 GPT-4o-mini를 능가했습니다.
  • DRIFT는 여러 반복(최대 5회)에 걸쳐 우수한 안정성을 보여준 반면, SPIN과 IterDPO는 성능 저하나 조기 정체 현상을 보였습니다.
• UltraFeedback (합성 데이터):
  • DRIFT는 합성 데이터에서도 우위를 유지하며, SPIN 및 IterDPO를 제치고 WildBench Task Score에서 +7.61%(14B), AlpacaEval2 승률에서 **+12.29%**의 이득을 얻었습니다.
• 탐색 분석: 의미론적 보상 지형(semantic reward topography, UMAP + KDE)을 사용하여, 저자들은 DRIFT가 베이스라인에 비해 글로벌 고보상 영역의 훨씬 더 큰 비중을 커버함을 보여주었으며, 이는 더 나은 다양성과 모드 붕괴(mode collapse) 방지를 나타냅니다.

의의 및 주장
본 논문은 DRIFT가 가장 풍부하고 정보 가치가 높은 신호인 '사용자 불만족'을 활용함으로써, 실제 환경의 사후 학습(post-training)을 위한 확장 가능하고 효과적인 레시피를 제공한다고 주장합니다.

• 확장성: 풍부한 부정 피드백이라는 "문제"를 학습 자산으로 전환하여, 희소한 긍정 주석이 필요하다는 병목 현상을 제거합니다.
• 안정성: 고정된 "골드(gold)" 포지티브 세트에 대한 의존을 피함으로써, DRIF는 SPIN과 같은 방법론에서 발생하는 보상 해킹(reward hacking) 및 모델 붕괴의 위험을 완화합니다.
• 일반화: 이 접근 방식은 다양한 모델 아키텍처(Qwen 및 Gemma 테스트) 전반에 걸쳐 일반화되며, 탈옥(jailbreak) 성공률이나 독성(toxicity)의 증가 없이 안전 특성을 보존합니다.

저자들은 실제 세계의 불만족에 기반을 둔 선호도 최적화가, 정제된 인간 주석의 막대한 비용 없이도 LLM을 진화하는 사용자 요구에 맞추는 신뢰할 수 있는 경로를 제공한다고 결론짓습니다.