🤖 machine learning

Learning Mixtures of Plackett-Luce Models for Multi-Objective Alignment

이 논문은 다방향 순위(multi-way rankings)로부터 플래킷-루스 모델(Plackett-Luce models)의 혼합 모델을 학습하기 위해 대규모 언어 모델을 통한 순위 증강과 경사 기반 추정을 결합하여, 이론적 식별 가능성 한계를 극복하고 이질적인 선호도 정렬 작업에서 클러스터링 및 순위 정확도를 크게 향상시키는 효율적인 기대값 최대화(expectation-maximization) 알고리즘인 MoPLEx를 소개한다.

원저자: Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

게시일 2026-08-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 주요한 과제는 컴퓨터에게 인간이 실제로 무엇을 원하는지를 이해하도록 가르치는 것입니다. 언어 모델이 응답을 생성할 때, 이는 종종 여러 선택지를 최선부터 최악까지 순위를 매기는 인간들에 의해 평가됩니다. 정렬(alignment)이라고 알려진 이 과정은 보통 무엇이 좋은 답변을 만드는지에 대해 모든 인간이 동의한다는 것을 전제로 합니다. 하지만 현실에서 사람들은 서로 다른 가치관, 배경, 그리고 우선순위를 가지고 있습니다. 어떤 사람은 유용성을 우선시하는 응답을 중시할 수 있는 반면, 다른 사람은 그것이 얼마나 진실한지를 더 중요하게 여길 수 있습니다. 이러한 다양한 의견들이 한데 섞일 때, 이들로부터 학습하려는 단일한 컴퓨터 모델은 종 Часто 혼란을 겪으며, 특정 집단의 뚜렷한 선호도를 포착하는 데 실패하곤 합니다.

이를 해결하기 위해 노스이스턴 대학교와 미시간 대학교의 연구진은 이러한 뒤섞인 신호들을 풀어내는 새로운 방법을 개발했습니다. 그들은 이 문제를 서로 다른 동네에서 온 편지들이 한데 뒤섞여 섞여버린 우편물 더미를 분류하는 문제처럼 취급합니다. 모든 편지를 하나의 범주로 강제로 밀어 넣는 대신, 그들은 서로 다른 동네들을 식별하고 각기 다른 규칙 세트를 학습하는 것을 목표로 합니다. 연구팀은 MOPlex(mixture of Plackett-Luce models)라고 불리는 알고‌리즘을 만들었습니다. 쉽게 말해, 이것은 순위가 매겨진 선택 목록을 살펴보고, 그 목록이 각자 무엇이 최선인지 결정하는 방식이 다른 다양한 유형의 사람들로 구성된 혼합체임을 파악할 수 있는 통계적 도구입니다.

연구진은 작업 과정에서 중대한 장애물을 발견했습니다. 선택 목록이 너무 짧으면 수학적으로 서로 다른 집단들을 구별해내는 것이 불가능하다는 점입니다. 두 가지 옵션 중 단 하나의 최고 선택지만 뽑은 목록을 바탕으로 두 집단의 선호도를 추측하려는 상황을 상상해 보십시오. 그 패턴들은 동일해 보일 수 있으며, 이로 인해 실제 집단들은 보이지 않게 됩니다. 연구팀은 만약 순위 목록이 짧다면, 컴퓨터가 아무리 많은 데이터를 보더라도 서로 다른 기저의 선호도를 구별할 수 없다는 것을 발견했습니다. 이를 해결하기 위해 그들은 영리한 우회 방법을 고안했습니다. 모델을 훈련시키기 전, 컴퓨터를 사용하여 추가적인 가상의 응답들을 생성한 뒤 이를 순위 목록의 하단에 추가했습니다. 이렇게 확장된 목록은 알고리즘이 집단 간의 차이를 마침내 인지하고 그들의 고유한 규칙을 학습할 수 있도록 충분한 정보를 제공했습니다.

하지만 단순히 목록을 길게 만드는 것은 새로운 문제를 야기했습니다. 컴퓨터가 처리하기에 너무 느리고 비용이 많이 들게 된 것입니다. 이 긴 목록에 있는 모든 항목에 대한 확률을 계산하는 데는 막대한 양의 컴퓨팅 파워가 필요했습니다. 이 문제를 극복하기 위해 연구팀은 컴퓨터가 텍스트를 "생각하는" 방식에 기반한 지름길을 도입했습니다. 모든 응답에 대해 전체의 무거운 계산을 실행하는 대신, 알고리즘은 상세히 분석할 몇 가지 핵심 사례를 선정합니다. 그런 다음 그 몇 가지 사례에서 발견된 수학적 패턴을 사용하여 나머지 목록의 점수를 추정합니다. 이 접근 방식은 공간 전체의 기후를 이해하기 위해 모든 곳의 온도를 측정하는 대신, 방 안의 몇몇 지점의 온도만을 체크하는 것과 같습니다.

이 접근 방식의 결과는 놀라웠습니다. 유용성과 정직성과 같은 서로 다른 평가 기준이 포함된 실제 데이터를 대상으로 테스트했을 때, 이 새로운 방법은 기존 기술에 비해 이러한 선호도를 그룹화하는 정확도를 거의 44% 향상시켰습니다. 또한 응답의 올바른 순서를 예측하는 능력도 15% 이상 개선되었습니다. 나아가, 연구팀은 이 추정 지름길을 사용함으로써 훈련에 필요한 시간과 메모리를 최대 3배까지 줄였습니다. 실질적인 관점에서 이는 이전에 값비싼 고성능 하드웨어를 필요로 했던 복잡한 작업들을 이제 더 효율적으로 수행할 수 있음을 의미하며, 다양한 인간 사용자들의 다양한 요구를 더 잘 존중하고 적응할 수 있는 AI 시스템의 문을 열어줍니다. 이 연구는 데이터를 확장하고 스마트한 추정을 사용함으로써, 기계에게 인간이 선택을 내리는 미묘하고 다양한 방식들을 가르치는 것이 가능하다는 것을 확인시켜 줍니다.

기술 요약: 다중 목적 정렬을 위한 플래킷-루스(Plackett-Luce) 모델 혼합 학습

1. 문제 정의

본 논문은 이질적인 인간 선호도와 언어 모델(LM)을 정렬하는 과제를 다룹니다. 많은 시나리오에서 선호도 데이터는 다양한 주석 작성자 하위 집단으로부터 수집되거나 여러 기준(예: 유용성 대 진실성)에 따라 평가되며, 이는 단일한 통합 선호도가 아닌 구별되는 랭킹 분포의 혼합체로 나타납니다.

핵심 목표는 다중 경로 랭킹 데이터로부터 $k$ 개의 플래킷-루스(PL) 모델의 혼합을 학습하는 것입니다. PL 모델은 $m > 2$ 인 항목들의 순위를 처리할 수 있도록 브래들리-테리(Bradley-Terry, BT) 모델을 일반화한 것입니다. 저자들은 기존 접근 방식의 결정적인 이론적 한계인 **식별 불가능성(unidentifiability)**을 지적합니다. 구체적으로, 랭킹 길이 $m$ 이 혼합 구성 요소의 수 $k$ 에 비해 작을 때(특히 $m \le 2k - 1$ 인 경우), 서로 다른 혼합 모델이 동일한 주변 랭킹 분포를 생성할 수 있습니다. 이는 짧은 랭킹(예: $m=2$ 인 쌍체 비교)을 사용하는 표준 혼합 모델을 통해 실제 기저의 클러스터를 복구하는 것이 이론적으로 불가능함을 의미합니다.

2. 방법론

저자들은 식별 불가능성 문제를 극복하고 혼합 PL 모델 학습의 계산 비용을 줄이기 위해 설계된 효율적인 알고리즘인 MOPLEX를 제안합니다. 이 접근 방식은 두 가지 주요 구성 요소로 이루어집니다.

A. 식별성을 위한 랭킹 증강(Ranking Augmentation)
식별 불가능성 문제를 해결하기 위해, MOPLEX는 훈련 전 입력 데이터를 증강합니다.

과정: 각 입력 프롬프트 $x$ 와 기존의 $m$ 개 랭킹 응답 세트에 대해, 기본 언어 모델은 $m' - m$ 개의 새로운 후보 응답을 생성합니다.
근사: 이러한 생성된 응답들은 인간의 주석이 없으므로, 새로운 항목들이 기존의 $m$ 개 항목보다 낮은 순위에 있는 부분 랭킹으로 취급됩니다 ( $y_{\sigma(1)} \succ \dots \succ y_{\sigma(m)} \succ \{y_{m+1}, \dots, y_{m'}\}$ ).
이론적 보장: 저자들은 (Proposition 4.1)을 통해, 증강된 응답들이 각 클러스터 내에서 구별되는 점수를 가지고 추가 응답의 수가 $m' - m \ge k$ 를 만족하면, 확장된 부분 랭킹에 대한 $k$ 개 PL 모델의 혼합이 식별 가능해짐을 증명했습니다. 이를 통해 모델은 짧은 랭킹에서는 구별할 수 없었던 클러스터들을 구분할 수 있게 됩니다.

B. 효율성을 위한 경사 기반 추정(Gradient-Based Estimation)
$m'$ 개의 후보에 대해 $k$ 개의 PL 모델을 훈련하는 것은 일반적으로 반복당 $O(km')$ 번의 순전파(forward pass)를 필요로 하며, 이는 대규모 언어 모델에 대해 계산적으로 매우 부담스럽습니다. MOPLEX는 이를 $O(ka) $로 줄이는 1차 근사법을 도입하며, 여기서$ a$는 소수의 "앵커(anchor)" 응답 수( $a \ll m'$ )입니다.

메커니즘: 알고-리즘은 $a$ 개의 앵커 응답 서브셋을 선택합니다. 이들에 대해서는 입력 임베딩에 대한 정확한 모델 출력과 경사도를 계산합니다.
근사: 나머지 $m' - a$ 개의 응답에 대해, 모델 점수는 입력 임베딩 공간에서의 1차 테일러 전개를 사용하여 다음과 같이 추정됩니다:
$\hat{r}_\theta(x, y_j) \approx \frac{1}{a} \sum_{y_i \in Y_a} \left( r_\theta(x, y_i) + \nabla_h r_\theta(x, y_i)^\top (h(x, y_j) - h(x, y_i)) \right)$
훈련: 이후 추정된 확률을 사용하여 클러스터 할당 및 모델 파라미터(기본 모델의 LoRA 어댑터로 구현됨)를 업데이트하기 위해 기대 최대화(EM) 알고리즘이 적용됩니다.

3. 주요 기여

식별 불가능성의 이론적 규명: 본 논문은 혼합 PL 모델이 $m \le 2k - 1$ 일 때 식별 불가능함을 공식적으로 확립하여, 왜 기존의 혼합 BT 모델( $m=2$ )이 $k > 1$ 일 때 클러스터를 복구하는 데 실패하는지 설명합니다.
증강 전략: 추가적인 인간 주석 없이 식별 조건을 충족하기 위해 랭킹 길이를 확장하는 생성적 증강 기법을 제안합니다.
효율적인 경사 추정: PL 혼합 훈련 비용을 $O(km) $에서$ O(ka)$로 줄이는 확장 가능한 구현을 도입하여 대규모 언어 모델에 대한 적용을 가능하게 합니다.
MOPLEX 알고리즘: 증강, 경사 추정, EM 훈련을 통합하여 PL 모델의 혼합을 학습하는 완전한 프레임워크를 제공합니다.

4. 실험 결과

저자들은 UltraFeedback 데이터셋(4개 평가 기준, $m=4$ )과 Persona 데이터셋(12개 인구통계학적 프로필, $m=2$ )에 대해 MOPLEX를 평가했습니다.

식별성 및 정확도:
- 합성 데이터에서, 본 방법은 실제 클러스터를 복구하기 위해 랭킹 크기 $m$ 을 $2k$ 이상으로 늘리는 것이 필수적임을 보여주었습니다. 쌍체 비교( $m=2$ )는 $k \ge 3$ 인 경우 무작위 추측 수준으로 무너졌습니다.
- 실제 데이터셋에서, MOPLEX는 단일 랭킹 모델이나 BT 혼합 모델을 사용하는 베이스라인에 비해 클러스터링 정확도를 평균 43.7%, 랭킹 정확도를 15.2% 향상시켰습니다.
근사 품질:
- 경사 기반 추정은 0.6B에서 34B 파라미터에 이르는 모델 전반에서 실제 모델 출력과 5% 미만의 오차를 보이며 근사하였습니다.
효율성:
- 이 방법은 PL 혼합의 전체 계산과 비교했을 때 GPU 실행 시간과 메모리 비용을 최대 3배까지 절감했습니다.
- 또한, 전체 계산 베이스라인의 메모리 제한을 초 exceed하는 랭킹 크기( $m'=32$ )에서도 훈련이 가능하게 했습니다.

5. 의의 및 주장

본 논문은 MOPLEX가 선호도가 이질적인 **다중 목적 정렬(multi-objective alignment)**을 위한 실질적인 솔루션을 제공한다고 주장합니다. 데이터 증강을 통해 혼합 모델의 이론적 식별 불가능성 문제를 해결하고, 경사 추정을 통해 계산적 병목 현상을 해결함으로써, MOPLEX는 단일 모델이나 쌍체 혼합 모델이 포착할 수 없는 구별된 선호도 클러스터를 학습할 수 있게 합니다.

저자들은 이 접근 방식이 다양한 사용자 하위 집단 및 평가 기준에 더 잘 정렬된 언어 모델을 가능하게 한다고 강조합니다. 또한, 단일 선호도 분포를 가정하는 표준 RLHF 또는 DPO가 상충하는 목표(예: 유용성 대 정직성)의 뉘앙스를 포착하는 데 실패하는 시나리오에서 이 방법이 특히 효과적이라고 언급합니다. 이 연구는 복잡한 다중 기준 정렬 작업으로 랭킹 모델 학습을 확장하기 위한 토대로 제시되었습니다.