🤖 machine learning

Back to Blackwell: Closing the Loop on Intransitivity in Multi-Objective Preference Fine-Tuning

यह योगदान $\texttt{PROSPER}$ को प्रस्तुत करता है, जो बिना स्केलिंग के मल्टी-ऑब्जेक्टिव प्रेफरेंसेस को फाइन-ट्यून करने में इंट्रान्ज़िटिव प्रेफरेंसेस (intransitive preferences) को संबोधित करने के लिए मैक्सिमम-एन्ट्रॉपी ब्लैकवेल विनर (Maximum-Entropy Blackwell Winner) की गेम-थ्योरेटिक अवधारणा पर आधारित एक प्रमाणित रूप से कुशल एल्गोरिदम है, जो मल्टी-ऑब्जेक्टिव इवैल्यूएशन फीडबैक का उपयोग करके लार्ज लैंग्वेज मॉडल्स पर बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Jiahao Zhang, Lujing Zhang, Keltin Grimes, Zhuohao Yu, Gokul Swamy, Zhiwei Steven Wu

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiahao Zhang, Lujing Zhang, Keltin Grimes, Zhuohao Yu, Gokul Swamy, Zhiwei Steven Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक आदर्श कहानी लिखना सिखाने की कोशिश कर रहे हैं। आपके पास एक "जज" (एक अन्य AI) है जो रोबोट की कहानियों को पढ़ता है और फीडबैक देता है। सामान्यतः, हम जज से एक एकल स्कोर देने के लिए कहते हैं, जैसे कि "10 में से 8"।
लेकिन, यहाँ एक समस्या है: जज अक्सर भ्रमित हो जाता है। वह कह सकता है कि कहानी A, कहानी B से बेहतर है, और कहानी B, कहानी C से बेहतर है, लेकिन फिर अजीब तरह से कहता है कि कहानी C, कहानी A से बेहतर है।

इसे इंट्राट्रांसिटिविटी (या एक चक्र/cycle) कहा जाता है। यह रॉक, पेपर, सिज़र्स के खेल जैसा है: रॉक, सिज़र्स को हराता है, सिज़र्स, पेपर को हराता है, लेकिन पेपर, रॉक को हराता है। यहाँ कोई एक एकल "सर्वश्रेष्ठ" चाल नहीं है। जब ऐसा होता है, तो रोबोट भ्रमित हो जाता है क्योंकि उसे नहीं पता कि किस दिशा में सीखना है।

यह लेख एक नई विधि पेश करता है जिससे रोबोट को तब भी सीखना सिखाया जा सके जब जज असंगत हो और नियम जटिल हों।

समस्या: भ्रमित जज और "स्केलर" का जाल

सामान्यतः, एक जज जिसे एक कहानी के कई पहलुओं (जैसे: क्या यह मज़ेदार है? क्या यह सुरक्षित है? क्या यह तथ्यों पर आधारित है?) का मूल्यांकन करना होता है, वह इन सभी मूल्यांकनों को एक एकल संख्या में संकुचित करने की कोशिश करता है। लेखक इसे स्केलेराइजेशन (Scalarization) कहते हैं।

उपमा: कल्पना कीजिए कि आप एक छात्र का मूल्यांकन कर रहे हैं। आपको गणित, कला और दौड़ने में उसका ग्रेड देना है। यदि आप बस इन सबको एक एकल "कुल स्कोर" में जोड़ देते हैं, तो आप इस बात को नज़रअंदाज़ कर सकते हैं कि छात्र गणित में जीनियस है लेकिन कला में बहुत खराब है। जब जज इन सबको एक संख्या में मिलाने की कोशिश करता है, तो ये भ्रमित करने वाले चक्र (A > B > C > A) अक्सर उत्पन्न होते हैं क्योंकि वह एक वर्गाकार चीज़ को गोल छेद में फिट करने की कोशिश कर रहा होता है।

समाधान: "मैक्सिमम एंट्रॉपी ब्लैकवेल विनर"

लेखक एक नई विधि प्रस्तावित करते हैं जिससे सबसे अच्छे रोबोट स्ट्रैटेजी (रणनीति) को खोजा जा सके, जिसे वे मैक्सिमम एंट्रॉपी ब्लैकवेल विनर (आइए इसे "सुपर-एडेप्टिव रोबोट" कहें) कहते हैं।

यह पूछने के बजाय कि: "कौन सी कहानी वास्तव में सबसे अच्छी है?" (जो शायद मौजूद भी न हो), वे पूछते हैं: "कौन सी रोबोट रणनीति सबसे कठिन है जिसे हराना, चाहे आज जज किसी भी विशिष्ट नियम पर ध्यान केंद्रित करे?"

उपमा: एक शतरंज खिलाड़ी की कल्पना करें जो किसी विशिष्ट ओपनिंग मूव में सर्वश्रेष्ठ होने की कोशिश नहीं करता है। इसके बजाय, वह इस तरह से खेलता है कि वह कभी बुरी तरह हार न जाए, चाहे प्रतिद्वंद्वी बाएं, दाएं या केंद्र पर हमला करे। वह उस किसी भी कमजोरी के प्रति मजबूत (robust) है जिसका प्रतिद्वंद्वी फायदा उठा सकता है। यह "सुपर-एडेप्टिव रोबोट" वह है जो सबसे खराब स्थिति (worst-case scenario) में भी सबसे अधिक बार जीतता है।

एल्गोरिदम: PROSPER

इस "सुपर-एडेप्टिव" रोबोट को वास्तव में प्रशिक्षित करने के लिए, लेखकों ने PROSPER नामक एक एल्गोरिदम विकसित किया है।

पुराना तरीका: सामान्यतः, एक रोबोट को कई जजों को संभालने के लिए सिखाने हेतु, एक विशाल, अराजक खेल का अनुकरण करना पड़ता है जहाँ रोबोट एक "विलेन" के खिलाफ खेलता है जो उसे धोखा देने की कोशिश कर रहा हो। यह धीमा और गणनात्मक रूप से गहन (computationally intensive) है।
PROSPER का तरीका: लेखकों ने एक गणितीय ट्रिक खोजी। उन्होंने महसूस किया कि एक विलेन के साथ जटिल खेल खेलने के बजाय, वे केवल एक सरल रिग्रेशन (एक प्रकार का गणितीय समायोजन) का उपयोग करके रोबोट को सिखा सकते हैं।
उपमा: इसे इस तरह सोचें: आपको पंच मारने से बचने के लिए कैसे लड़ना है, यह सिखाने के लिए एक स्पैरिंग पार्टनर को आपके चेहरे पर मुक्के मारने के लिए काम पर रखने के बजाय (जो कठिन और खतरनाक है), आप बस मुक्कों का एक वीडियो देखते हैं और गणितीय रूप से पैटर्न को सीखते हैं। PROSPмER रोबोट को जटिल युद्ध का अनुकरण किए बिना सीधे जज के फीडबैक से सीखने की अनुमति देता है। यह एक मल्टीप्लेयर गेम को एक साधारण होमवर्क असाइनमेंट में बदल देता है।

उन्होंने क्या किया और क्या पाया

टीम ने परीक्षण किया कि LLMs (लार्ज लैंग्वेज मॉडल्स) पर एक डेटासेट का उपयोग करके जहाँ जज चेकलिस्ट (रूब्रिक्स) के आधार पर उत्तरों का मूल्यांकन करता है।

रियलिटी चेक: उन्होंने पुष्टि की कि एक AI जज, जब कई अलग-अलग मानदंडों (जैसे सुरक्षा, शैली और तथ्य) को अलग-अलग जांचने के लिए कहा जाता है, तो वह अभी भी भ्रमित हो जाता है और चक्र (cycles) बनाता है। मानदंडों को अलग करने से थोड़ा मदद मिलती है लेकिन यह समस्या को पूरी तरह से हल नहीं करता है।
परिणाम: जब उन्होंने रोबोट को प्रशिक्षित करने के लिए PROSPER का उपयोग किया, तो रोबोट निर्देशों का पालन करने और स्वाभाविक रूप से बातचीत करने में पुराने तरीकों से प्रशिक्षित रोबोटों की तुलना में बहुत बेहतर हो गया।
प्रमाण: उन्होंने प्रशिक्षित रोबोट (3 बिलियन और 7 बिलियन पैरामीटर्स के साथ) जारी किए और दिखाया कि वे निर्देशों का पालन करने और सामान्य बातचीत के मानक परीक्षणों पर सभी अन्य तरीकों से बेहतर प्रदर्शन करते हैं।

सारांश

संक्षेप में: जब AI जज असंगत होते हैं और इस बारे में भ्रमित होते हैं कि एक "अच्छा" उत्तर क्या है, तो मानक प्रशिक्षण विधियाँ विफल हो जाती हैं। यह लेख कहता है: "एक पूर्ण उत्तर खोजने की कोशिश न करें। इसके बजाय, ऐसी रणनीति खोजें जो जज की किसी भी भ्रमित करने वाली प्राथमिकताओं को संभालने के लिए पर्याप्त मजबूत (robust) हो।" उन्होंने PROSPER नामक एक उपकरण विकसित किया है जो एक जटिल गेम-थ्योरेटिक समस्या को एक सरल गणितीय समस्या में बदलकर इसे कुशलतापूर्वक पूरा करता है, जिससे अधिक स्मार्ट और विश्वसनीय AI मॉडल मिलते हैं।

तकनीकी सारांश: बैक टू ब्लैकवेल: मल्टी-ऑब्जेक्टिव प्रेफरेंस फाइन-ट्यूनिंग में इंट्रांसिटिविटी (Intransitivity) के लूप को बंद करना

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए प्रेफरेंस फाइन-ट्यूनिंग (PFT) की एक मौलिक चुनौती को संबोधित करता है: इंट्रांसिटिव (चक्रीय) प्राथमिकताएँ (Intransitive/Cyclic Preferences)। इंट्रांसिटिविटी तब होती है जब एक LLM जज विकल्प $A \succ B$ और $B \succ C$ को रेट करता है, लेकिन $A \succ C$ को रेट करने में विफल रहता है। यह घटना दो प्राथमिक स्रोतों से उत्पन्न होती है:

एक ही ऑब्जेक्टिव (उद्देश्य) के साथ असंगत रैंकिंग (Inconsistent rankings)।
कई ऑब्जेक्टिव्स को एक एकल मेट्रिक में स्केलराइजेशन (Scalarization) करना, जो व्यक्तिगत ऑब्जेक्टिव्स के सुसंगत होने पर भी विसंगतियाँ पेश कर सकता है।

मानक PFT पाइपलाइन रिवॉर्ड मॉडल के माध्यम से एक 'टोटल ऑर्डर' सीखने पर निर्भर करती है। हालाँकि, इंट्रांसिटिव प्रेफरेंस के तहत, कोई स्पष्ट रूप से परिभाषित इष्टतम पॉलिसी (कॉन्डोरसेट विजेता/Condorcet winner) मौजूद नहीं होती है, जो मानक PFT की मूल धारणाओं को तोड़ देती है। जबकि पिछले कार्यों ने या तो (a) एकत्रित निर्णयों को कई ऑब्जेक्टिव्स में विभाजित करके या (b) सबसे खराब स्थिति वाले कंपैरेटर के विरुद्ध एक मजबूत पॉलिसी की पहचान करने के लिए PFT को ज़ीरो-सम गेम के रूप में तैयार करके इसे कम करने का प्रयास किया है, इन दोनों दृष्टिकोणों को मिलाना तकनीकी रूप से कठिन है। विशेष रूप से, ऑब्जेक्टिव्स को मल्टी-ऑब्जेक्टिव सेटिंग में विघटित करना मिनिमैक्स प्रमेय (Minimax Theorem) को अमान्य कर देता है, जिससे मानक गेम-सॉल्विंग तंत्र (जैसे सेल्फ-प्ले) विफल हो जाते हैं।

2. कार्यप्रणाली (Methodology)

2.1 समाधान अवधारणा: मैक्सिमम एंट्रॉपी ब्लैकवेल विनर (MaxEntBW)

लेखक एक नवीन गेम-थ्योरेटिक समाधान अवधारणा, मैक्सिमम एंट्रॉपी ब्लैकवेल विनर (MaxEntBW) प्रस्तावित करते हैं। मिनिमैक्स विनर के विपरीत (जो मल्टी-ऑब्जेक्टिव सेटिंग्स में मिनिमैक्स प्रमेय के बिना अच्छी तरह से परिभाषित नहीं है), MaxEntBW कई वैश्विक रूप से असंगत प्राथमिकताओं के तहत भी अच्छी तरह से परिभाषित रहता है।

औपचारिक रूप से, एक MaxEntBW एक ऐसी पॉलिसी $\pi^*$ है जो गेम वैल्यू $V(\pi)$ को अधिकतम करती है, जिसे निम्नानुसार परिभाषित किया गया है:
$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta^{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_x \left[ \langle w(x), P(\pi \succ \pi' \mid x) \rangle + \beta D_{KL}(\pi'(x) \parallel \pi_{ref}(x)) \right]$
जहाँ:

$P(\pi \succ \pi' \mid x)$ $m(x)$ ऑब्जेक्टिव्स के माध्यम से पेयरवाइज जीत की संभावनाओं का वेक्टर है।
$w(x)$ ऑब्जेक्टिव्स की एडवरसेरियल (विरोधी) वेटिंग को दर्शाता है।
$\pi'$ एडवरसर की कंपैरेटर पॉलिसी है।
$\beta D_{KL}(\pi' \parallel \pi_{ref})$ एक KL रेगुलराइजेशन टर्म है जो एडवरसरी को रेफरेंस पॉलिसी $\pi_{ref}$ से बहुत दूर जाने से रोकता है।

यह फॉर्मूलेशन यह सुनिश्चित करता है कि पॉलिसी अपने स्थानीय पड़ोस के भीतर सबसे खराब स्थिति वाले ऑब्जेक्टिव वेटिंग और कंपैरेटर पॉलिसी के विरुद्ध मजबूत है, बिना यह आवश्यकता के कि मिनिमैक्स प्रमेय लागू हो।

2.2 एल्गोरिदम: PROSPER

बड़े पैमाने पर MaxEntBWs की गणना करने के लिए, लेखक PROSPER (PReference Optimization with a Single Player over Entire Rubrics) विकसित करते हैं। यह एल्गोरिदम तीन प्रमुख चरणों के माध्यम से जटिल तीन-खिलाड़ी गेम (लर्नर, एडवरसेरियल ऑब्जेक्टिव वेट्स, एडवरसेरियल पॉलिसी) को एक सुलभ सिंगल-प्लेयर ऑप्टिमाइजेशन समस्या में बदल देता है:

एडवरसेरियल पॉलिसी के लिए क्लोज्ड-फॉर्म: लर्नर $\pi$ और वेट्स $w$ को स्थिर करके, एडवरसरी पॉलिसी $\pi'$ पर आंतरिक मिनिमाइजेशन, एंट्रॉपी रेगुलराइजेशन (Ziebart et al., 2008 से प्रेरित) के माध्यम से एक क्लोज्ड-फॉर्म समाधान प्रदान करता है। यह एडवरसेरियल ट्रेनिंग लूप की आवश्यकता को समाप्त करता है।
प्रॉम्प्ट-वाइज मिनिमाइजेशन: ऑब्जेक्टिव वेट्स $w$ पर ऑप्टिमाइजेशन कॉन्केव (Concave) सिद्ध होता है। फलस्वरूप, प्रत्येक प्रॉम्प्ट के लिए इष्टतम $w$ , सिम्प्लेक्स का एक वर्टेक्स (अर्थात, एक एकल सबसे खराब ऑब्जेक्टिव का चयन करना) है। यह एल्गोरिदम को केवल प्रॉम्प्ट-वाइज ऑब्जेक्टिव्स पर मिनिमाइज करने की अनुमति देता है, जिससे $w$ को ऑप्टिमाइज़ करने की आवश्यकता समाप्त हो जाती है।
रिग्रेशन-आधारित ऑप्टिमाइजेशन: शेष ऑब्जेक्टिव $\pi$ में कॉन्केव है। ऑनलाइन मिरर डिसेंट (Online Mirror Descent) को सीधे करने के बजाय (जो बड़े मॉडल्स के लिए अव्यवहारिक है), PROSPER एक रिग्रेशन-आधारित पुनर्गठन का उपयोग करता है। यह सैंपलिंग के माध्यम से ग्रेडिएंट्स का अनुमान लगाता है और स्क्वायर-लॉस रिग्रेशन समस्या को हल करके पॉलिसी पैरामीटर्स $\theta$ को अपडेट करता है:
$\theta_{t+1} = \arg \min_{\theta} \mathbb{E}_{x, z, z'} \left[ \left( \frac{1}{\eta} \left( \ln \frac{\pi_\theta(z|x)}{\pi_{\theta_t}(z|x)} - \ln \frac{\pi_\theta(z'|x)}{\pi_{\theta_t}(z'|x)} \right) - (g(z) - g(z')) \right)^2 \right]$
जहाँ $g(z)$ सबसे खराब ऑब्जेक्टिव और रेफरेंस पॉलिसी से प्राप्त अनुमानित ग्रेडिएंट है।

3. मुख्य योगदान (Main Contributions)

MaxEntBW की परिभाषा: यह पेपर मैक्सिमम एंट्रॉपी ब्लैकवेल विनर को पेश करता है, जो एक ऐसी समाधान अवधारणा है जो ब्लैकवेल विनर्स को मल्टी-ऑब्जेक्टिव सेटिंग्स में सामान्यीकृत करती है और मिनिमैक्स प्रमेय पर निर्भर किए बिना इंट्रांसिटिव प्रेफरेंस के तहत भी अच्छी तरह से परिभाषित रहती है।
PROSPER एल्गोरिदम: लेखक MaxEntBWs की गणना करने के लिए एक प्रमाणित कुशल, रिग्रेशन-आधारित एल्गोरिदम का वर्णन करते हैं। यह विधि एडवरसेरियल ट्रेनिंग लूप को समाप्त करने और समस्या को सरल रिग्रेशन में बदलने के लिए इनवर्स रीइन्फोर्समेंट लर्निंग (Inverse Reinforcement Learning) के अंतर्दृष्टि को वर्तमान प्रेफरेंस ऑप्टिमाइजेशन तकनीकों के साथ जोड़ती है।
अनुभवजन्य सत्यापन (Empirical Validation): यह पेपर दिखाता है कि मल्टी-ऑब्जेक्टिव LLM जज फीडबैक वास्तव में काफी इंट्रांसिटिव है। यह प्रदर्शित करता है कि जब मल्टी-ऑब्जेक्टिव फीडबैक पर LLMs (3B और 7B स्केल) को फाइन-ट्यून किया जाता है, तो PROSPER, इंस्ट्रक्शन-फॉलोइंग और जनरल चैट बेंचमार्क पर बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने WILDCHECKLISTS डेटासेट का उपयोग करके PROSPER का मूल्यांकन किया, जहाँ LLM जज प्रॉम्प्ट-विशिष्ट रूब्रिक्स (Rubrics) के विरुद्ध प्रतिक्रियाओं को रेट करते हैं।

इंट्रांसिटिविटी विश्लेषण: प्रयोगों ने पुष्टि की कि रूब्रिक्स को व्यक्तिगत मदों (मल्टी-ऑब्जेक्टिव) में विभाजित करने से इंट्रांसिटिविटी कम होती है लेकिन पूरी तरह समाप्त नहीं होती है। एक महत्वपूर्ण हिस्सा अभी भी चक्रों (Cycles) को प्रदर्शित करता है और इसमें कॉन्डोरसेट विजेता का अभाव होता है।
बेंचमार्क प्रदर्शन:
- इंस्ट्रक्शन फॉलोइंग और चैट: AlpacaEval 2.0 और Arena-Hard पर, PROSPER (7B) ने RLCF बेसलाइन (चेकलिस्ट फीडबैक से सुदृढीकरण शिक्षण) और एब्लेशन वेरिएंट (PROSPER-JC और PROSPER-VB) सहित सभी बेसलाइन्स में उच्चतम स्कोर प्राप्त किया।
- सामान्य क्षमताएं: आउट-ऑफ-डोमेन बेंचमार्क (IFEval, MMLU, ARC, HellaSwag, TruthfulQA) पर, PROSPER ने बेस मॉडल और RLCF के समान प्रदर्शन बनाए रखा, जो यह दर्शाता है कि प्रशिक्षण की एडवरसेरियल प्रकृति ने सामान्य तर्क या ज्ञान क्षमताओं को कम नहीं किया।
एब्लेशन अध्ययन (Ablation Studies):
- PROSPER-JC (सिंगल-ऑब्जेक्टिव/एकत्रित स्कोर): पूर्ण PROSPER की तुलना में खराब प्रदर्शन किया, जो स्पष्ट रूप से कई ऑब्जेक्टिव्स को संभालने की आवश्यकता को रेखांकित करता है।
- PROSPER-VB (फिक्स्ड कॉम्पिटिटर): पूर्ण PROSPER की तुलना में खराब प्रदर्शन किया, जो एडवरसेरियली चुने गए कंपैरेटर पॉलिसी के मूल्य को प्रदर्शित करता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि PROSPER जटिल, बहु-मानदंड मानव (या AI) प्राथमिकताओं के साथ संरेखित करने के लिए एक मजबूत ढांचा प्रदान करता है जो स्वाभाविक रूप से असंगत हैं। स्केलेराइजेशन और मानक गेम-थ्योरेटिक धारणाओं से हटकर, जो मल्टी-ऑब्जेक्टिव सेटिंग्स में विफल हो जाते हैं, लेखक एक "प्रथम-सिद्धांतों" (First-principles) का समाधान प्रदान करते हैं जो:

इंट्रांसिटिविटी को संभालता है: उस कुल क्रम (Total order) को लागू किए बिना चक्रीय प्राथमिकताओं को सीधे संबोधित करता है जो शायद मौजूद ही न हो।
स्केलेबिलिटी: समस्या को सिंगल-प्लेयर रिग्रेशन में बदलकर और एडवरसेरियल ट्रेनिंग की कम्प्यूटेशनल लागत को कम करके दक्षता प्राप्त करता है।
व्यावहारिक उपयोगिता: यह प्रदर्शित करता है कि विस्तृत, मल्टी-ऑब्जेक्टिव रूब्रिक फीडबैक (एकत्रित स्कोर के बजाय) का लाभ उठाना वास्तविक दुनिया के चैट और इंस्ट्रक्शन-फॉलोइंग परिदृश्यों में गुणात्मक रूप से मजबूत पॉलिसी की ओर ले जाता है।

लेखक आगे के अनुसंधान को सुगम बनाने के लिए प्रशिक्षित मॉडल चेकपॉइंट्स को 3B और 7B पैरामीटर वेरिएंट में जारी करते हैं।