💬 NLP

Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

यह शोध पत्र हाइब्रिड रिवॉर्ड-साइक्लिक (HRC) मॉडल और डायनेमिक सेल्फ-प्ले प्रेफरेंस ऑप्टिमाइजेशन (DSPPO) को प्रस्तुत करता है ताकि मानव प्राथमिकताओं को स्पष्ट रूप से ऑर्थोगोनल ट्रांजिटिव और साइक्लिक घटकों में विभाजित किया जा सके, जिससे मौजूदा विधियों की सैद्धांतिक सीमाओं को दूर करते हुए कई बेंचमार्क पर बेहतर एलाइनमेंट प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Yucong Huang, Xiucheng Li, Kaiqi Zhao, Jing Li

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yucong Huang, Xiucheng Li, Kaiqi Zhao, Jing Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: AI मानवीय पसंद को समझने में क्यों भ्रमित हो जाता है?

कल्पना कीजिए कि आप एक रोबोट शेफ को यह सिखाने की कोशिश कर रहे हैं कि इंसानों की पसंद के आधार पर खाना कैसे बनाया जाए। आप रोबोट को दो व्यंजन दिखाते हैं, A और B, और पूछते हैं, "कौन सा बेहतर है?"

पुराना तरीका (Transitivity - संक्रामकता): अधिकांश AI सिस्टम यह मान लेते हैं कि मानवीय स्वाद एक सीढ़ी की तरह है। यदि आप व्यंजन A को व्यंजन B से बेहतर मानते हैं, और व्यंजन B को व्यंजन C से बेहतर मानते हैं, तो रोबोट यह मान लेता है कि आप व्यंजन A को व्यंजन C से भी बेहतर जरूर मानेंगे। यह हर व्यंजन को एक एकल "स्कोर" देता है। यह सरल चीजों के लिए अच्छा काम करता है जैसे "क्या भोजन सुरक्षित है?" या "क्या यह मददगार है?"
वास्तविक दुनिया (Cyclicity - चक्रीयता): लेकिन मानवीय स्वाद जटिल होता है। पत्थर-कागज-कैंची (Rock-Paper-Scissors) के खेल के बारे में सोचें। पत्थर कैंची को हराता है, कैंची कागज को हराती है, लेकिन कागज पत्थर को हराता है। यहाँ कोई एक "सर्वश्रेष्ठ" पत्थर, कागज या कैंची नहीं है। इसे साइकिल (चक्र) कहा जाता है।
संघर्ष: वास्तविक मानवीय पसंद इन दोनों का मिश्रण है। हमारे पास एक सामान्य पदानुक्रम (Hierarchy) है (सुरक्षा > खतरा) लेकिन साथ ही स्थानीय चक्र (Local Loops) भी हैं (मुझे तीखा खाना पसंद है, फिर मध्यम, फिर हल्का—लेकिन अगर मैं भूखा हूँ तो हल्का खाना तीखे से बेहतर हो सकता है)। पुराने AI मॉडल फंस जाते हैं क्योंकि वे इन चक्रों को एक सीधी सीढ़ी में बदलने की कोशिश करते हैं, जिससे भ्रम और खराब प्रदर्शन होता है।

समाधान: "हाइब्रिड रिवॉर्ड-साइक्लिक" (HRC) मॉडल

लेखक AI को सिखाने का एक नया तरीका प्रस्तावित करते हैं, जिसे वे HRC कहते हैं। AI को यह चुनने के लिए मजबूर करने के बजाय कि उसे सीढ़ी चुननी है या चक्र, वे उसे एक ही समय में मानवीय स्वाद को समझने के लिए दो अलग-अलग उपकरण देते हैं।

इसे एक स्पोर्ट्स लीग मैनेजर की तरह समझें:

लीग टेबल (Transitive Component): यह टीमों के समग्र "कौशल" को ट्रैक करता है। टीम A आम तौर पर टीम B से बेहतर है। यह "स्केलर" (एक संख्या) वाला हिस्सा है।
मैचअप हिस्ट्री (Cyclic Component): यह विशिष्ट और अजीब मुकाबलों को ट्रैक करता है। हो सकता है कि टीम A आमतौर पर टीम B को हराती हो, लेकिन टीम B के पास एक गुप्त रणनीति हो जो मंगलवार को टीम A को हरा देती है। यह "वेक्टर" (एक दिशा या संबंध) वाला हिस्सा है।

HRC मॉडल इन दोनों को जोड़ता है। यह कहता है: "ठीक है, सामान्य रूप से, यह उत्तर बेहतर है (सीढ़ी), लेकिन इस विशिष्ट संदर्भ में, दूसरे उत्तर का एक विशेष लाभ है (लूप/चक्र)।" इन दोनों विचारों को अलग करके, AI एक वृत्त (circle) को वर्ग (square) में फिट करने की कोशिश में भ्रमित नहीं होता।

प्रशिक्षण विधि: "डायनेमिक सेल्फ-प्ले" (DSPPO)

एक बार जब AI के पास पसंद को समझने का यह नया तरीका आ जाता है, तो उसे यह सीखने की आवश्यकता होती है कि इसका उपयोग कैसे किया जाए। लेखक एक प्रशिक्षण विधि पेश करते हैं जिसे DSPPO कहा जाता है।

एक छात्र की शतरंज सीखने की कल्पना करें।

पुरानी विधि (Static - स्थिर): छात्र एक ऐसे कंप्यूटर के खिलाफ खेलता है जिसकी रणनीति कभी नहीं बदलती। छात्र अंततः उस एक विशिष्ट कंप्यूटर को हराना सीख जाता है, लेकिन एक नए प्रतिद्वंद्वी के सामने विफल हो सकता है।
नई विधि (Dynamic/Time-Varying - गतिशील/समय-परिवर्तनीय): छात्र एक ऐसे कोच के खिलाफ खेलता है जो छात्र के बेहतर होने के साथ-साथ नियम बदलता रहता है।
- प्रारंभिक चरण: कोच बुनियादी बातों (सीढ़ी) पर ध्यान केंद्रित करता है। "सुनिश्चित करें कि आपकी चालें सुरक्षित और तार्किक हों।"
- बाद का चरण: जैसे-जैसे छात्र बेहतर होता है, कोच जटिल और पेचीदा परिदृश्य (लूप) पेश करता है। "अब, आइए कुछ अजीब रणनीतियों को आजमाएं जो केवल विशिष्ट स्थितियों में काम करती हैं।"

यह डायनेमिक सेल्फ-प्ले AI को सरल, सुरक्षित नियमों से लेकर जटिल, सूक्ष्म प्राथमिकताओं तक ले जाता है, जिससे यह सुनिश्चित होता है कि वह बिना अभिभूत हुए पूरी तस्वीर सीख सके।

उन्होंने क्या पाया (परिणाम)

शोधकर्ताओं ने यह देखने के लिए कि क्या यह नया सिस्टम पुराने तरीकों से बेहतर काम करता है, कई "परीक्षाओं" (benchmarks) पर इस नए सिस्टम का परीक्षण किया।

बारीकियों को समझने में बेहतर: उन परीक्षणों पर जो यह देखते हैं कि क्या AI जटिल, गैर-कठोर प्राथमिकताओं (जैसे "टाई" श्रेणी जहाँ उत्तर समान रूप से अच्छे हैं लेकिन अलग हैं) को संभाल सकता है, नए HRC मॉडल ने पुराने मॉडलों की तुलना में उच्च स्कोर किया। इसने वहां नकली रैंकिंग बनाने की कोशिश नहीं की जहां कोई रैंकिंग मौजूद नहीं थी।
तेज़ और स्मार्ट: उन सिंथेटिक परीक्षणों में जहाँ उन्होंने स्पष्ट विजेताओं के साथ "पत्थर-कागज-कैंची" जैसे परिदृश्य बनाए, HRC मॉडल ने पिछले मॉडलों की तुलना में पैटर्न को अधिक तेज़ी से और सटीक रूप से सीखा।
बेहतर अंतिम आउटपुट: जब उन्होंने इस नए मॉडल का उपयोग चैटबॉट को प्रशिक्षित करने के लिए किया (DSPPO का उपयोग करके), तो चैटबॉट कठिन कार्यों पर बेहतर प्रदर्शन कर सका।
- AlpacaEval 2.0 (यह परीक्षण कि AI निर्देशों का कितनी अच्छी तरह पालन करता है) पर, नई विधि ने 44.75% जीत दर हासिल की, जो पिछले सर्वश्रेष्ठ तरीकों से बेहतर है।
- Arena-Hard (बहुत कठिन तर्क क्षमता का परीक्षण) पर भी, इसने काफी अधिक बार जीत हासिल की।

मुख्य निष्कर्ष (The Takeaway)

यह शोध पत्र तर्क देता है कि मानवीय प्राथमिकताओं को एक एकल "स्कोर" द्वारा नहीं पकड़ा जा सकता। वैश्विक रैंकिंग (जो सामान्य रूप से अच्छा है) और स्थानीय चक्रों (जो विशिष्ट, पेचीदा स्थितियों में काम करता है) को स्पष्ट रूप से विभाजित करके, और AI को इन चरणों में सीखने के लिए प्रशिक्षित करके, हम ऐसा AI बना सकते हैं जो मानवीय मूल्यों को बहुत अधिक गहराई और सटीकता से समझता है।

संक्षेप में: उन्होंने AI को एक दो-भाग वाला मस्तिष्क (एक सामान्य नियमों के लिए, एक पेचीदा अपवादों के लिए) दिया और एक स्मार्ट शिक्षक जो छात्र के सीखने के साथ पाठ योजना बदलता है, जिसके परिणामस्वरूप एक बहुत अधिक स्मार्ट और अधिक विश्वसनीय AI प्राप्त हुआ।

तकनीकी सारांश: पारस्परिकता का चक्रियता से मिलन: गतिशील लार्ज लैंग्वेज मॉडल अलाइनमेंट के लिए स्पष्ट प्राथमिकता अपघटन (Explicit Preference Decomposition)

समस्या विवरण
मानक सुदृढीकरण शिक्षण (Reinforcement Learning from Human Feedback - RLHF) ब्रैडली-टेरी (BT) मॉडल पर निर्भर करता है, जो यह मानता है कि मानवीय प्राथमिकताएं अनुक्रमिक (transitive) होती हैं और उन्हें एक स्केलर रिवॉर्ड ( $A \succ B \land B \succ C \implies A \succ C$ ) द्वारा दर्शाया जा सकता है। हालांकि, वास्तविक दुनिया की मानवीय प्राथमिकताएं अक्सर अनिश्चित (intransitive) और चक्रीय (cyclic) पैटर्न प्रदर्शित करती हैं (जैसे, रॉक-पेपर-सिज़र्स डायनेमिक्स), जिन्हें स्केलर मॉडल मौलिक रूप से पकड़ने में विफल रहते हैं। जबकि हालिया दृष्टिकोण जैसे जनरल प्रेफरेंस मॉडल (GPM), विषम-सममित द्विपद रूपों (skew-symmetric bilinear forms) का उपयोग करके चक्रियता को संबोधित करते हैं, लेखक एक महत्वपूर्ण सैद्धांतिक सीमा की पहचान करते हैं: GPM का अंतर्निहित सूत्र पदानुक्रमित (transitive) और चक्रीय (cyclic) गतिकी को आपस में उलझा देता है। यह उलझाव GPM को जटिल चक्रीय संदर्भों में "प्रभावी समाधानों" (वे उम्मीदवार जो अन्य सभी को सख्ती से हराते हैं) को प्रदर्शित करने की गारंटी देने से रोकता है, क्योंकि वैश्विक पदानुक्रम के लिए आवश्यक ज्यामितीय क्षमता को जटिल स्थानीय चक्रों द्वारा "भीड़" (crowded out) किया जा सकता है।

कार्यप्रणाली
यह शोध पत्र इन संरचनात्मक और अनुकूलन चुनौतियों को संबोधित करने के लिए एक दो-आयामी ढांचा प्रस्तावित करता है:

हाइब्रिड रिवॉर्ड-साइक्लिक (HRC) मॉडल:
- सैद्धांतिक आधार: गेम-थ्योरेटिक अपघटन (Balduzzi et al., 2019) पर आधारित, लेखक प्राथमिकता मॉडलिंग को एक सममित शून्य-योग फंगल-फॉर्म गेम (Symmetric Zero-Sum Functional-Form Game) के रूप में औपचारिक रूप देते हैं। वे सिद्ध करते हैं कि किसी भी प्राथमिकता फलन को एक ऑर्थोगोनल ट्रांसिटिव घटक ( $\phi_T$ ) और एक साइक्लिक घटक ( $\phi_C$ ) में विशिष्ट रूप से विभाजित किया जा सकता है।
- वास्तुकला (Architecture): HRC इस अपघटन को स्पष्ट रूप से लागू करता है। यह एक स्केलर रिवॉर्ड हेड (जो BT-जैसे ढांचे के माध्यम से ट्रांसिटिव घटक को कैप्चर करता है) को एक वेक्टर-आधारित साइक्लिक हेड (जो GPM-जैसे विषम-सममित ऑपरेटर के माध्यम से अनिश्चित गतिकी को कैप्चर करता है) के साथ जोड़ता है।
- तंत्र (Mechanism): अंतिम प्राथमिकता स्कोर ट्रांसिटिव स्केलर अंतर और साइक्लिक वेक्टर इंटरेक्शन का योग है: $s_{HRC} = (r(y_i) - r(y_j)) + (v_i^\top W v_j)$ । मॉडल एम्बेडिंग्स पर यूनिट-नॉर्म बाधाएं लागू करता है और साइक्लिक तीव्रता को नियंत्रित करने के लिए एक संदर्भ-जागरूक गेटिंग तंत्र का उपयोग करता है।
- लाभ: GPM के विपरीत, जिसे एक चक्र के साथ प्रभावी उम्मीदवार को प्रदर्शित करने के लिए विशिष्ट उच्च-आयामी बाधाओं की आवश्यकता होती है, HRC दोनों गतिकी को अलग करके प्रभावी पदानुक्रमों के संरक्षण की गणितीय गारंटी देता है। यह रैखिक अनुमान जटिलता $O((2d+1)K)$ बनाए रखता है।
डायनेमिक सेल्फ-प्ले प्रेफरेंस ऑप्टिमाइजेशन (DSPPO):
- अवधारणा: मानक सेल्फ-प्ले एल्गोरिदम (जैसे, SPPO) एक स्थिर प्राथमिकता ओरेकल के विरुद्ध अनुकूलन करते हैं। लेखक तर्क देते हैं कि यह मॉडल की HRC द्वारा प्रकट किए गए बहु-आयामी परिदृश्य को नेविगेट करने की क्षमता को सीमित करता है।
- तंत्र: DSPPO प्राथमिकता को एक समय-परिवर्तनीय खेल के रूप में मानता है। यह प्रशिक्षण पुनरावृत्तियों (iterations) के दौरान प्राथमिकता सिग्नल को शेड्यूल करता है, जो धीरे-धीरे एक मजबूत ट्रांसिटिव बैकबोन से परिष्कृत साइक्लिक बारीकियों की ओर संक्रमण करता है।
- शेड्यूल: इटरेशन $t$ पर प्राथमिकता स्कोर को इस प्रकार परिभाषित किया गया है: $s_t = (1 + \frac{\lambda}{\sqrt{t}})s_T + (1 - \frac{\lambda}{\sqrt{t}})s_C$ । यह करिकुलम लर्निंग दृष्टिकोण एक वैश्विक गुणवत्ता आधार रेखा स्थापित करने से पहले जटिल स्थानीय गतिकी को पेश करके प्रशिक्षण को स्थिर करता है, जो सैद्धांतिक रूप से $O(1/\sqrt{T})$ दर के साथ नैश इक्विलिब्रियम (Nash Equilibrium) की ओर अभिसरण सुनिश्चित करता है।

प्रमुख योगदान

सैद्धांतिक एकीकरण: शोध पत्र यह प्रमाण प्रदान करता है कि HRC, BT मॉडल और GPM को स्पष्ट रूप से दो ऑर्थोगोनल घटकों में विभाजित करके एकीकृत करता है, जिससे मिश्रित सेटिंग्स में प्रभावी समाधानों को प्रदर्शित करने में GPM की संरचनात्मक अक्षमता का समाधान होता है।
एल्गोरिद्मिक नवाचार: DSPPO का परिचय, जो HRC संकेतों का लाभ उठाकर नीति विकास (policy evolution) को निर्देशित करने के लिए एक गतिशील अनुकूलन ढांचा प्रदान करता है, जो स्थिर बेसलाइन की तुलना में अधिक मजबूत अभिसरण पथ प्रदान करता है।
अनुभवजन्य सत्यापन: व्यापक प्रयोग प्रदर्शित करते हैं कि HRC, प्राथमिकता मॉडलिंग सटीकता में BT और GPM को लगातार पछाड़ता है, विशेष रूप से उन डोमेन में जिनमें "टाईज़" (Ties) और जटिल तर्क की आवश्यकता होती है। HRC+DSPPO ढांचा डाउनस्ट्रीम जनरेशन की गुणवत्ता में महत्वपूर्ण सुधार करता है।

परिणाम

प्रेफरेंस मॉडलिंग (RewardBench 2): HRC ने BT और GPM बेसलाइन को लगातार पीछे छोड़ दिया। Gemma-2B-it पर, HRC ने 57.63% औसत सटीकता प्राप्त की, जो सबसे मजबूत बेसलाइन (GPM) से 1.23% अधिक है। विशेष रूप से, "Ties" डोमेन में, HRC ने 74.51% प्राप्त किया, जबकि BT और GPM दोनों के लिए यह 73.53% था, जो गैर-सख्त प्राथमिकताओं को संभालने की इसकी क्षमता की पुष्टि करता है।
डाउनस्ट्रीम अलाइनमेंट:
- AlpacaEval 2.0: Gemma-2B-it को बेस के रूप में उपयोग करते हुए, HRC+DSPPO ने 44.75% का पीक लेंथ-कंट्रोल्ड विन-रेट प्राप्त किया, जो BT या GPM के साथ प्रशिक्षित SPPO बेसलाइन से काफी बेहतर है।
- Arena-Hard-v0.1: HRC+DSPPO ने Gemma-2B-it पर 46.8% विन रेट प्राप्त किया, जो सबसे अच्छे बेसलाइन से 3.2% अधिक है, जो चुनौतीपूर्ण प्रॉम्प्ट्स पर बेहतर क्षमता प्रदर्शित करता है।
- MT-Bench: फ्रेमवर्क ने मल्टी-टर्न बातचीत में मजबूत प्रदर्शन दिखाया, जहाँ HRC+DSPPO ने Gemma-2B-it पर 8.29 का औसत स्कोर प्राप्त किया।
सिंथेटिक डेटा: सिंथेटिक "डोमिनेंट + साइकिल" डेटासेट पर प्रयोगों ने पुष्टि की कि मिश्रित ट्रांसिटिव-साइक्लिक सेटिंग्स में HRC, GPM की तुलना में तेजी से अभिसरण करता है और उच्च सटीकता प्राप्त करता है, जबकि कम-आयामी GPM साइक्लिक संरचनाओं को पकड़ने में विफल रहा।

महत्व
यह शोध पत्र दावा करता है कि मानवीय प्राथमिकताओं की जटिल, विषम प्रकृति को निष्ठापूर्वक प्रदर्शित करना—विशेष रूप से वैश्विक ट्रांसिटिव पदानुक्रमों (जैसे, सुरक्षा, उपयोगिता) और स्थानीय अनिश्चित चक्रों (जैसे, शैलीगत ट्रेड-ऑफ) के बीच द्वैत—मजबूत AI अलाइनमेंट के लिए आवश्यक है। इन घटकों को स्पष्ट रूप से अलग करके, प्रस्तावित ढांचा मौजूदा स्केलर और विशुद्ध रूप से साइक्लिक मॉडलों की संरचनात्मक सीमाओं को दूर करता है। लेखक का मानना है कि यह दृष्टिकोण AI सिस्टम को विविध नैतिक और सांस्कृतिक परिदृश्यों को अधिक प्रभावी ढंग से नेविगेट करने में सक्षम बनाता है, जिससे मानव निर्णय की गैर-सख्त, बहु-आयामी प्रकृति का सम्मान करते हुए स्वचालित निर्णय लेने में विश्वास को बढ़ावा मिलता है। यह कार्य सुझाव देता है कि भविष्य की अलाइनमेंट रणनीतियों को स्थिर स्केलर रिवॉर्ड से आगे बढ़कर प्राथमिकता के गतिशील, गेम-थ्योरेटिक अपघटन को अपनाना चाहिए।

बड़ी समस्या: AI मानवीय पसंद को समझने में क्यों भ्रमित हो जाता है?

समाधान: "हाइब्रिड रिवॉर्ड-साइक्लिक" (HRC) मॉडल

प्रशिक्षण विधि: "डायनेमिक सेल्फ-प्ले" (DSPPO)

उन्होंने क्या पाया (परिणाम)

मुख्य निष्कर्ष (The Takeaway)

इसी तरह के और पेपर