🤖 machine learning

Learning Mixtures of Plackett-Luce Models for Multi-Objective Alignment

यह शोध पत्र MoPLEx प्रस्तुत करता है, जो एक कुशल एक्सपेक्टेशन-मैक्सिमाइज़ेशन एल्गोरिदम है जो मल्टी-वे रैंकिंग से प्लैकेट-लूस मॉडल्स के मिश्रण को सीखने के लिए लार्ज लैंग्वेज मॉडल्स के माध्यम से रैंकिंग ऑग्मेंटेशन और ग्रेडिएंट-आधारित अनुमान को जोड़ता है, जिससे सैद्धांतिक आइडेंटिफिएबिलिटी सीमाओं को पार किया जाता है और विषम प्राथमिकता संरेखण कार्यों में क्लस्टरिंग और रैंकिंग सटीकता में महत्वपूर्ण सुधार किया जाता है।

मूल लेखक: Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

प्रकाशित 2026-08-27

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक बड़ी चुनौती कंप्यूटर को यह सिखाना है कि इंसान वास्तव में क्या चाहते हैं। जब कोई लैंग्वेज मॉडल एक प्रतिक्रिया (रिस्पॉन्स) उत्पन्न करता है, तो अक्सर मनुष्यों द्वारा कई विकल्पों को सबसे अच्छे से सबसे खराब के क्रम में रैंक करके उसका मूल्यांकन किया जाता है। यह प्रक्रिया, जिसे 'अलाइनमेंट' कहा जाता है, आमतौर पर यह मान लेती है कि सभी मनुष्य इस बात पर सहमत हैं कि एक अच्छा उत्तर क्या बनाता है। हालाँकि, वास्तविकता में, लोगों के अलग-अलग मूल्य, पृष्ठभूमि और प्राथमिकताएं होती हैं। एक व्यक्ति ऐसी प्रतिक्रिया को प्राथमिकता दे सकता है जो सहायक हो, जबकि दूसरा इस बात पर अधिक ध्यान दे सकता है कि वह सत्यनिष्ठ हो। जब इन विविध विचारों को एक साथ मिला दिया जाता है, तो उनसे सीखने की कोशिश करने वाला एक एकल कंप्यूटर मॉडल अक्सर भ्रमित हो जाता है, और किसी विशिष्ट समूह की विशिष्ट प्राथमिकताओं को पकड़ने में विफल रहता है।

इस समस्या को हल करने के लिए, नॉर्थईस्टर्न यूनिवर्सिटी और मिशिगन यूनिवर्सिटी के शोधकर्ताओं ने इन मिश्रित संकेतों को सुलझाने के लिए एक नई विधि विकसित की है। वे इस समस्या को अलग-अलग मोहल्लों से मिले हुए मेल (पत्रों) के ढेर को छाँटने की तरह देखते हैं। हर पत्र को एक ही श्रेणी में डालने के बजाय, उनका लक्ष्य विभिन्न मोहल्लों की पहचान करना और प्रत्येक के लिए नियमों का एक विशिष्ट सेट सीखना है। टीम ने एक एल्गोरिदम बनाया जिसे MOPLEX कहा जाता है, जिसका अर्थ है 'मिक्सचर ऑफ प्लैकेट-लूस मॉडल्स' (mixture of Plackett-Luce models)। सरल शब्दों में कहें तो, यह एक सांख्यिकीय उपकरण है जो रैंक किए गए विकल्पों की एक सूची को देख सकता है और यह पता लगा सकता है कि सूची संभवतः विभिन्न प्रकार के लोगों के मिश्रण से बनी थी, जिनमें से प्रत्येक का सर्वश्रेष्ठ निर्णय लेने का अपना तरीका है।

शोधकर्ताओं ने अपने काम में एक महत्वपूर्ण बाधा की खोज की: जब विकल्पों की सूचियाँ बहुत छोटी होती हैं, तो विभिन्न समूहों के बीच अंतर करना गणितीय रूप से असंभव होता है। कल्पना कीजिए कि आप केवल दो विकल्पों में से एक शीर्ष विकल्प चुनने वाले दो अलग-अलग समूहों की प्राथमिकताओं का अनुमान लगाने की कोशिश कर रहे हैं। पैटर्न बिल्कुल समान दिख सकते हैं, जिससे वास्तविक समूह अदृश्य हो जाते हैं। टीम ने पाया कि यदि रैंकिंग सूचियाँ छोटी हैं, तो कंप्यूटर विभिन्न अंतर्निहित प्राथमिकताओं के बीच अंतर नहीं कर सकता, चाहे वह कितना भी डेटा क्यों न देखे। इसे ठीक करने के लिए, उन्होंने एक चतुर समाधान निकाला। मॉडल को प्रशिक्षित करने से पहले, उन्होंने कंप्यूटर का उपयोग करके अतिरिक्त, काल्पनिक प्रतिक्रियाएँ उत्पन्न कीं और उन्हें रैंकिंग सूचियों के निचले हिस्से में जोड़ दिया। इसने सूचियों का विस्तार कर दिया, जिससे एल्गोरिदम को समूहों के बीच के अंतर को देखने और उनके अद्वितीय नियमों को सीखने के लिए पर्याप्त जानकारी मिल गई।

हालाँकि, केवल सूचियों को लंबा करने से एक नई समस्या पैदा हो गई: यह कंप्यूटर के लिए संसाधित करना बहुत धीमा और महंगा हो गया। इन लंबी सूचियों के प्रत्येक आइटम के लिए संभावनाओं (प्रोबेबिलिटी) की गणना करने के लिए भारी मात्रा में कंप्यूटिंग शक्ति की आवश्यकता थी। इस बाधा को दूर करने के लिए, टीम ने इस आधार पर एक शॉर्टकट पेश किया कि कंप्यूटर टेक्स्ट के बारे में कैसे "सोचता" है। प्रत्येक प्रतिक्रिया के लिए पूर्ण, भारी गणना चलाने के बजाय, एल्गोरिदम विस्तार से विश्लेषण करने के लिए कुछ प्रमुख उदाहरण चुनता है। फिर यह उन कुछ उदाहरणों में पाए गए गणितीय पैटर्न का उपयोग शेष सूची के स्कोर का अनुमान लगाने के लिए करता है। यह दृष्टिकोण एक बड़े कमरे के पूरे वातावरण को समझने के लिए पूरे स्थान के हर इंच को मापने के बजाय, कुछ स्थानों का तापमान जांचने जैसा है।

इस दृष्टिकोण के परिणाम प्रभावशाली थे। विभिन्न मूल्यांकन मानदंडों, जैसे कि सहायकता और ईमानदारी पर वास्तविक दुनिया के डेटा पर परीक्षण करते समय, इस नई विधि ने पुराने तरीकों की तुलना में इन प्राथमिकताओं को समूहित करने की सटीकता में लगभग चौंतालीस प्रतिशत का सुधार किया। इसने प्रतिक्रियाओं के सही क्रम का अनुमान लगाने में भी पंद्रह प्रतिशत से अधिक का सुधार किया। इसके अलावा, अपने अनुमान शॉर्टकट का उपयोग करके, शोधकर्ताओं ने प्रशिक्षण चलाने के लिए आवश्यक समय और मेमोरी को तीन गुना तक कम कर दिया। व्यावहारिक रूप से, इसका अर्थ है कि जटिल कार्य जिनके लिए पहले महंगे, उच्च-स्तरीय हार्डवेयर की आवश्यकता होती थी, अब अधिक कुशलता से किए जा सकते हैं, जो ऐसे AI सिस्टम के लिए द्वार खोलता है जो विभिन्न मानव उपयोगकर्ताओं की विविध आवश्यकताओं का बेहतर सम्मान और अनुकूलन कर सकें। यह अध्ययन पुष्टि करता है कि डेटा का विस्तार करके और स्मार्ट अनुमान का उपयोग करके, यह संभव है कि मशीनों को मनुष्यों द्वारा चुनाव करने के सूक्ष्म और विविध तरीकों को समझना सिखाया जाए।

तकनीकी सारांश: मल्टी-ऑब्जेक्टिव अलाइनमेंट के लिए प्लैकेट-लूस मॉडल के मिश्रणों को सीखना (Learning Mixtures of Plackett-Luce Models for Multi-Objective Alignment)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र विविध मानव प्राथमिकताओं (heterogeneous human preferences) के साथ भाषा मॉडलों (LMs) को अलाइन करने की चुनौती को संबोधित करता है। कई परिदृश्यों में, प्राथमिकता डेटा विभिन्न एनोटेटर उप-जनसंख्याओं से एकत्र किया जाता है या कई मानदंडों (जैसे, उपयोगिता बनाम सत्यनिष्ठा) के विरुद्ध मूल्यांकन किया जाता है, जिसके परिणामस्वरूप एक एकल एकीकृत प्राथमिकता के बजाय अलग-अलग रैंकिंग वितरणों का मिश्रण प्राप्त होता है।

मुख्य उद्देश्य मल्टी-वे रैंकिंग डेटा से $k$ प्लैकेट-लूस (PL) मॉडलों के मिश्रण को सीखना है। एक PL मॉडल ब्रैडली-टेरी (BT) मॉडल का सामान्यीकरण है जो $m > 2$ वस्तुओं की रैंकिंग को संभालने के लिए किया जाता है। लेखक मौजूदा दृष्टिकोणों में एक महत्वपूर्ण सैद्धांतिक सीमा की पहचान करते हैं: अन-आइडेंटिफिएबिलिटी (Unidentifiability/अ-पहचान योग्यता)। विशेष रूप से, जब रैंकिंग की लंबाई $m$ , मिश्रण घटकों की संख्या $k$ के सापेक्ष छोटी होती है (विशेष रूप से जब $m \le 2k - 1$ ), तो अलग-अलग मिश्रण मॉडल समान मार्जिनल रैंकिंग वितरण उत्पन्न कर सकते हैं। यह लघु रैंकिंग (जैसे, पेयरवाइज तुलना जहाँ $m=2$ ) पर मानक मिश्रण मॉडलों का उपयोग करके वास्तविक अंतर्निहित क्लस्टर्स को रिकवर करना सैद्धांतिक रूप से असंभव बना देता है।

2. कार्यप्रणाली (Methodology)

लेखक MOPLEX प्रस्तावित करते हैं, जो एक कुशल एल्गोरिदम है जिसे अन-आइडेंटिफिएबिलिटी की सीमा को दूर करने और मिश्रण PL मॉडलों के प्रशिक्षण की कम्प्यूटेशनल लागत को कम करने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण दो प्राथमिक घटकों से बना है:

A. पहचान योग्यता के लिए रैंकिंग संवर्धन (Ranking Augmentation for Identifiability)
अन-आइडेंटिफिएबिलिटी की समस्या को हल करने के लिए, MOPLEX प्रशिक्षण से पहले इनपुट डेटा को संवर्धित (augment) करता है।

प्रक्रिया: प्रत्येक इनपुट प्रॉम्प्ट $x$ और मौजूदा $m$ रैंक की गई प्रतिक्रियाओं के सेट के लिए, बेस लैंग्वेज मॉडल $m' - m$ नई संभावित प्रतिक्रियाएं उत्पन्न करता है।
अनुमान (Approximation): चूंकि इन उत्पन्न प्रतिक्रियाओं में मानव एनोटेशन का अभाव है, इसलिए उन्हें एक आंशिक रैंकिंग के रूप में माना जाता है जहाँ नए आइटम मूल $m$ आइटमों के नीचे रैंक किए जाते हैं ( $y_{\sigma(1)} \succ \dots \succ y_{\sigma(m)} \succ \{y_{m+1}, \dots, y_{m'}\}$ )।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं (प्रपोजिशन 4.1) कि यदि संवर्धित प्रतिक्रियाओं के प्रत्येक क्लस्टर के भीतर विशिष्ट स्कोर हैं और अतिरिक्त प्रतिक्रियाओं की संख्या $m' - m \ge k$ है, तो विस्तारित आंशिक रैंकिंग पर $k$ PL मॉडलों का मिश्रण 'आइडेंटिफिएबल' हो जाता है। यह मॉडल को उन क्लस्टर्स के बीच अंतर करने की अनुमति देता है जो अन्यथा लघु रैंकिंग पर अविभेद्य होते।

B. दक्षता के लिए ग्रेडिएंट-आधारित अनुमान (Gradient-Based Estimation for Efficiency)
$m'$ उम्मीदवारों पर $k$ PL मॉडलों के मिश्रण को प्रशिक्षित करने के लिए आमतौर पर प्रति इटरेशन $O(km') $फॉरवर्ड पास की आवश्यकता होती है, जो बड़े भाषा मॉडलों के लिए कम्प्यूटेशनल रूप से अत्यधिक खर्चीला है। MOPLEX इस लागत को$ O(ka) $तक कम करने के लिए एक फर्स्ट-ऑर्डर एप्रोक्सिमेशन पेश करता है, जहाँ$ a $"एंकर" प्रतिक्रियाओं की एक छोटी संख्या है ($ a \ll m'$)।

तंत्र: एल्गोरिदम $a$ एंकर प्रतिक्रियाओं के एक उपसमुच्चय का चयन करता है। इनके लिए, यह इनपुट एम्बेडिंग्स के सापेक्ष सटीक मॉडल आउटपुट और ग्रेडिएंट्स की गणना करता है।
अनुमान: शेष $m' - a$ प्रतिक्रियाओं के लिए, मॉडल स्कोर का अनुमान इनपुट एम्बेडिंग स्पेस में फर्स्ट-ऑर्डर टेलर एक्सपेंशन का उपयोग करके लगाया जाता है:
$\hat{r}_\theta(x, y_j) \approx \frac{1}{a} \sum_{y_i \in Y_a} \left( r_\theta(x, y_i) + \nabla_h r_\theta(x, y_i)^\top (h(x, y_j) - h(x, y_i)) \right)$
प्रशिक्षण: क्लस्टर असाइनमेंट और मॉडल पैरामीटर्स (जो बेस मॉडल पर LoRA एडैप्टर्स के रूप में लागू किए गए हैं) को अपडेट करने के लिए इन अनुमानित संभावनाओं का उपयोग करके एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम लागू किया जाता है।

3. प्रमुख योगदान (Key Contributions)

अन-आइडेंटिफिएबिलिटी की सैद्धांतिक पहचान: यह पेपर औपचारिक रूप से स्थापित करता है कि मिश्रण PL मॉडल तब अन-आइडेंटिफिएबल होते हैं जब $m \le 2k - 1$ , जो यह समझाता है कि मौजूदा मिश्रण BT मॉडल (जहाँ $m=2$ ) क्यों विफल होते हैं जब $k > 1$ हो।
संवर्धन रणनीति (Augmentation Strategy): यह एक जेनेरेटिव ऑगमेंटेशन तकनीक प्रस्तावित करता है जो अतिरिक्त मानव एनोटेशन की आवश्यकता के बिना पहचान योग्यता की शर्तों को पूरा करने के लिए रैंकिंग आकार का विस्तार करती है।
कुशल ग्रेडिएंट अनुमान: यह एक स्केलेबल कार्यान्वयन पेश करता है जो PL मिश्रण प्रशिक्षण लागत को $O(km) $से$ O(ka)$ तक कम करता है, जिससे बड़े पैमाने के भाषा मॉडलों पर मिश्रण मॉडलों का अनुप्रयोग संभव होता है।
MOPLEX एल्गोरिदम: PL मॉडलों के मिश्रण को सीखने के लिए ऑगमेंटेशन, ग्रेडिएंट एस्टीमेशन और EM ट्रेनिंग को एकीकृत करने वाला एक पूर्ण फ्रेमवर्क।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने UltraFeedback डेटासेट (4 मूल्यांकन मानदंड, $m=4$ ) और Persona डेटासेट (12 जनसांख्यिकीय प्रोफाइल, $m=2$ ) पर MOPLEX का मूल्यांकन किया।

पहचान योग्यता और सटीकता:
- सिंथेटिक डेटा पर, पद्धति ने प्रदर्शित किया कि वास्तविक क्लस्टर्स को रिकवर करने के लिए $m > 2k$ तक रैंकिंग आकार बढ़ाना आवश्यक है; पेयरवाइज तुलना ( $m=2$ ) $k \ge 3$ के लिए रैंडम गेसिंग (random guessing) पर गिर गई।
- वास्तविक दुनिया के डेटासेट पर, MOPLEX ने सिंगल रैंकिंग मॉडल या BT मॉडलों के मिश्रणों का उपयोग करने वाले बेसलाइन की तुलना में क्लस्टरिंग सटीकता में औसतन 43.7% और रैंकिंग सटीकता में 15.2% का सुधार किया।
अनुमान की गुणवत्ता:
- ग्रेडिएंट-आधारित अनुमान ने 0.6B से 34B पैरामीटर्स तक के मॉडलों में 5% से कम त्रुटि के साथ वास्तविक मॉडल आउटपुट का अनुमान लगाया।
दक्षता:
- विधि ने PL मिश्रणों के पूर्ण गणना की तुलना में GPU रनटाइम और मेमोरी लागत को 3 $\times$ तक कम कर दिया।
- इसने मॉडल को ऐसे रैंकिंग आकार ( $m'=32$ ) पर प्रशिक्षित करने में सक्षम बनाया जो फुल-कंप्यूटेशन बेसलाइनों की मेमोरी सीमाओं से अधिक थे।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि MOPLEX मल्टी-ऑब्जेक्टिव अलाइनमेंट के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ प्राथमिकताएँ विषम (heterogeneous) होती हैं। डेटा ऑगमेंटेशन के माध्यम से मिश्रण मॉडलों की सैद्धांतिक अन-आइडेंटिफिएबिलिटी को संबोधित करके और ग्रेडिएंट एस्टीमेशन के माध्यम से कम्प्यूटेशनल बाधा को हल करके, यह विधि विशिष्ट प्राथमिकता क्लस्टर्स को सीखने में सक्षम बनाती है जिन्हें सिंगल मॉडल या पेयरवाइज BT मिश्रण कैप्चर नहीं कर सकते।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण भाषा मॉडलों को विविध उपयोगकर्ता उप-जनसंख्याओं और मूल्यांकन मानदंडों के साथ बेहतर ढंग से अलाइन करने की अनुमति देता है। वे नोट करते हैं कि यह विधि विशेष रूप से उन परिदृश्यों में प्रभावी है जहाँ मानक RLHF या DPO (जो एक एकल प्राथमिकता वितरण मानते हैं) परस्पर विरोधी उद्देश्यों (जैसे, उपयोगिता बनाम सत्यनिष्ठा) की बारीकियों को पकड़ने में विफल रहते हैं। यह कार्य जटिल, बहु-मानदंड अलाइनमेंट कार्यों के लिए रैंकिंग मॉडल लर्निंग को स्केल करने के लिए एक आधार के रूप में प्रस्तुत किया गया है।

1. समस्या विवरण (Problem Statement)

2. कार्यप्रणाली (Methodology)

3. प्रमुख योगदान (Key Contributions)

4. प्रयोगात्मक परिणाम (Experimental Results)

5. महत्व और दावे (Significance and Claims)

इसी तरह के और पेपर