🤖 machine learning

Beyond Pairs: Your Language Model is Secretly Optimizing a Preference Graph

यह शोध पत्र GraphDPO प्रस्तुत करता है, जो डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन का एक सिद्धांतपूर्ण सामान्यीकरण है जो ट्रांसिटिविटी (transitivity) को लागू करने और पर्यवेक्षण (supervision) को एकत्रित करने के लिए कई रोलआउट्स द्वारा प्रेरित पूर्ण प्रेफरेंस ग्राफों का लाभ उठाता है, जिससे पेयरवाइज़ (pairwise) विधियों की सीमाओं को दूर किया जा सकता है और रीजनिंग तथा प्रोग्राम सिंथेसिस कार्यों में बेहतर प्रदर्शन प्राप्त किया जा सकता है।

मूल लेखक: Ning Liu, Chuanneng Sun, Kristina Klinkner, Shervin Malmasi

प्रकाशित 2026-05-11

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Ning Liu, Chuanneng Sun, Kristina Klinkner, Shervin Malmasi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट शेफ को एक आदर्श भोजन बनाना सिखा रहे हैं।

पुराना तरीका: "दो-स्वाद" परीक्षण (The "Two-Taste" Test)
परंपरागत रूप से, रोबोट को सिखाने के लिए, आप उसे दो व्यंजन देंगे: एक जो उसने बनाया है (मान लीजिए "स्वाद A") और एक जो आपने बनाया है (या एक बेहतर संस्करण, "स्वाद B")। आप कहेंगे, "स्वाद B, स्वाद A से बेहतर है।" रोबोट इस एकल तुलना से सीखता है। यह वर्तमान मानक विधि की तरह है जिसे DPO (डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन) कहा जाता है।

समस्या यह है कि वास्तविक दुनिया में, आपको केवल दो व्यंजन नहीं मिलते। आप रोबोट से एक ही भोजन को पाँच बार बनाने के लिए कह सकते हैं। आपको पाँच अलग-अलग संस्करण मिलते हैं:

जला हुआ टोस्ट।
थोड़ा कच्चा।
पूरी तरह से सुनहरा (Perfectly golden)।
पूरी तरह से सुनहरा (लेकिन थोड़े अलग आकार का)।
एक पूरी तरह से अलग, अजीब व्यंजन।

यदि आप पुराने "दो-स्वाद" तरीके का उपयोग करते हैं, तो आपको इन पाँच व्यंजनों को जोड़ों (pairs) में तोड़ना होगा (1 बनाम 2, 1 बनाम 3, 2 बनाम 3, आदि)। यह एक अव्यवस्था पैदा करता है। आप एक बड़ी तस्वीर खो देते हैं। आप रोबोट को बता सकते हैं कि "सुनहरा" व्यंजन "कच्चे" से बेहतर है, और "कच्चा" व्यंजन "जले हुए" से बेहतर है, लेकिन रोबोट भ्रमित हो सकता है क्योंकि आपने उसे स्पष्ट रूप से यह नहीं बताया कि "सुनहरा" व्यंजन "जले हुए" से बेहतर है, और वह भी एक ही बार में, एक स्पष्ट श्रृंखला के रूप में। यह ऐसा है जैसे आप केवल चचेरे भाइयों के जोड़ों को देखकर एक पारिवारिक वंशावली (family tree) को समझने की कोशिश कर रहे हों, जबकि माता-पिता और दादा-दादी को अनदेखा कर रहे हों।

नया तरीका: स्वाद का "पारिवारिक वृक्ष" (GraphDPO)
लेखक इस नए तरीके का प्रस्ताव करते हैं जिसे GraphDPO कहा जाता है। जोड़ों को देखने के बजाय, वे रोबोट के प्रयासों के पूरे "पारिवारिक वृक्ष" को देखते हैं।

ग्राफ (वृक्ष): वे उन पाँचों व्यंजनों को एक पदानुक्रम (hierarchy) में व्यवस्थित करते हैं।
- "जला हुआ" और "अजीब" व्यंजन सबसे नीचे जाते हैं।
- "कच्चा" व्यंजन बीच में आता है।
- दोनों "सुनहरे" व्यंजन सबसे ऊपर जाते हैं।
- महत्वपूर्ण बात यह है कि वे दोनों "सुनहरे" व्यंजन बराबरी पर हैं। वे एक ही "क्लब" में हैं। रोबोट को इस बात के लिए दंडित करने की आवश्यकता नहीं है कि वह यह नहीं जान पाया कि दोनों में से कौन सा थोड़ा बेहतर है; उसे बस यह जानने की आवश्यकता है कि दोनों ही खराब व्यंजनों से बेहतर हैं।
नियम (Transitivity/संक्रामकता): यह प्रणाली तर्क के एक नियम को लागू करती: यदि A, B से बेहतर है, और B, C से बेहतर है, तो A का C से बेहतर होना अनिवार्य है। पुराना तरीका अक्सर इसे भूल जाता था जब वह चीजों को जोड़ों में तोड़ देता था। GraphDPO इस नियम को सीधे सीखने की प्रक्रिया में शामिल करता है, जिससे यह सुनिश्चित होता है कि रोबोट की समझ ऊपर से नीचे तक सुसंगत रहे।
"ओरेकल" एंकर (The "Oracle" Anchor): कभी-कभी, आपके पास वास्तविक रेसिपी (ground truth) होती है। GraphDPO आपको इस पूर्ण रेसिपी को पेड़ के बिल्कुल शीर्ष पर रखने की अनुमति देता है। प्रशिक्षण की शुरुआत में, रोबोट को बताया जाता है, "यह स्वर्ण मानक है, इसे ही लक्ष्य बनाएं!" जैसे-जैसे रोबोट स्मार्ट होता जाता है, सिस्टम धीरे-धीरे अपनी पकड़ ढीली कर देता है, जिससे रोबोट बिना अत्यधिक सूक्ष्म प्रबंधन के अपने तरीके से शीर्ष तक पहुँचने के लिए अन्वेषण (explore) कर सके।

यह बेहतर क्यों है?

कोई भ्रम नहीं: यह रोबोट को विरोधाभासी निर्देशों से भ्रमित होने से रोकता है जो तब उत्पन्न होते हैं जब आप उन चीजों पर सख्त रैंकिंग थोपते हैं जो वास्तव में समान स्तर पर हैं।
दक्षता (Efficiency): भले ही यह पूरे पेड़ को देखता है, फिर भी यह आश्चर्यजनक रूप से तेज़ है। इसे हर एक व्यंजन की तुलना दूसरे से करने की आवश्यकता नहीं है; यह केवल समूहों को देखता है।
बेहतर परिणाम: शोधकर्ताओं ने गणितीय समस्याओं और कोडिंग कार्यों पर इसका परीक्षण किया। इन क्षेत्रों में, जहाँ अक्सर "सही" और "गलत" उत्तर होते हैं (जैसे जले हुए बनाम एकदम सही व्यंजन), GraphDPO ने रोबोट को पुराने जोड़े-दर-जोड़े वाले तरीकों की तुलना में तेज़ी से सीखने और बेहतर स्कोर प्राप्त करने में मदद की।

संक्षेप में
यह शोध पत्र तर्क देता है कि AI को केवल दो विकल्पों को एक समय में दिखाने के बजाय, हमें उसे विकल्पों का एक पूरा बैच दिखाना चाहिए, उन्हें एक स्पष्ट पदानुक्रम (ग्राफ) में व्यवस्थित करना चाहिए, और उसे उन सभी के बीच के संबंधों को एक साथ सीखने देना चाहिए। यह AI के लिए एक अधिक स्थिर, तार्किक और प्रभावी शिक्षक बनाता है, विशेष रूप से उन मामलों में जहाँ उत्तर या तो स्पष्ट रूप से सही हैं या गलत।

तकनीकी सारांश: जोड़ों से परे: आपका लैंग्वेज मॉडल गुप्त रूप से एक प्रेफरेंस ग्राफ को ऑप्टिमाइज़ कर रहा है

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान अलाइनमेंट विधियाँ, विशेष रूप से डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO), मुख्य रूप से जोड़ेदार वरीयता तुलनाओं (pairwise preference comparisons) पर निर्भर करती हैं। जबकि DPO, रिवॉर्ड मॉडलिंग को हटाने के माध्यम से RLHF का एक स्थिर विकल्प प्रदान करता है, यह व्यावहारिक डेटा संग्रह व्यवस्थाओं (data collection regimes) को लागू करने में एक मौलिक बाधा का सामना करता है।

कई वास्तविक परिदृश्यों (जैसे, रीजनिंग, प्रोग्राम सिंथेसिस) में, एक ही प्रॉम्प्ट के लिए एकाधिक रोलआउट्स (multiple rollots) होते हैं जिन्हें मानव निर्णय, निष्पादन-आधारित सत्यापन, या ह्यूरिस्टिक्स के माध्यम से रैंक किया जाता है। मानक DPO इन मल्टी-सैंपल रैंकिंग को स्वतंत्र युग्मों (pairwise comparisons) ( $O(K^2)$ instances) में विघटित करके इसे संभालता है। यह रिडक्शनिस्ट दृष्टिकोण तीन महत्वपूर्ण सीमाएँ पेश करता है:

पारस्परिकता की हानि (Loss of Transitivity): यह रैंक की गई सूचियों में अंतर्निहित वैश्विक अनुक्रमिक संरचना (global transitive structure) को त्याग देता है (उदाहरण के लिए, यदि $A \succ B$ और $B \succ C$ , तो मानक DPO स्पष्ट रूप से $A \succ C$ को लागू नहीं करता है)।
अनावश्यक/विरोधाभासी पर्यवेक्षण (Redundant/Conflicting Supervision): यह आइसोलेटेड पेयर्स को अलग-अलग बाधाओं के रूप में मानता है, जो शोर (noise) पेश कर सकता है जब नमूने समान हों या रैंकिंग आंशिक हो।
आंशिक क्रम के साथ असंगतता (Incompatibility with Partial Orders): कई मूल्यांकन संकेत (जैसे, गणित या कोड में शुद्धता) इक्विवेलेंस क्लासेस या आंशिक क्रम उत्पन्न करते हैं जिन्हें मौजूदा लिस्टवाइज विधियों (जैसे, PRO, LiPO) द्वारा आवश्यक सख्त टोटल-ऑर्डर सूचियों के रूप में निष्ठापूर्वक प्रस्तुत नहीं किया जा सकता है।

2. कार्यप्रणाली: ग्राफ डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (GraphDPO)

लेखक GraphDPO का प्रस्ताव करते हैं, जो DPO का एक सिद्धांतवादी सामान्यीकरण (principled generalization) है जो प्रेफरेंस मॉडलिंग को आइसोलेटेड पेयर्स या सख्त सूचियों से बदलकर डायरेक्टेड एसाइक्लिक प्रेफरेंस ग्राफ्स (DAGs) में स्थानांतरित करता है।

2.1 प्रेफरेंस ग्राफ प्रतिनिधित्व (Preference Graph Representation)

एक दिए गए प्रॉम्प्ट $x$ और $K$ कैंडिडेट रिस्पॉन्स $\{y_1, \dots, y_K\}$ के सेट के लिए, GraphDPO एक DAG $G_x = (V, E)$ का निर्माण करता है:

नोड्स (Nodes): सैंपल्ड रिस्पॉन्स का प्रतिनिधित्व करते हैं।
एजेस (Edges): डोमिनेंस संबंधों को एनकोड करते हैं। एक एज $i \to j$ तब मौजूद होती है जब रिस्पॉन्स $y_i$ , $y_j$ पर वरीयता रखता है ( $y_i \succ_x y_j$ )।
इक्विवेलेंस क्लासेस (Equivalence Classes): उन डिस्क्रीट सिग्नल्स (जैसे, सही/गलत) को संभालने के लिए जहाँ कई रिस्पॉन्स एक ही प्रेफरेंस लेवल साझा करते हैं, यह विधि रिस्पॉन्स को इक्विवेलेंस क्लासेस $C_1 \succ C_2 \succ \dots \succ C_G$ में समूहित करती है। एजेस केवल विभिन्न क्लासेस के बीच अनुमत हैं; इंट्रा-क्लास एजेस को मास्क किया जाता है। यह समान नमूनों को मनमाने ढंग से क्रमबद्ध करने से उत्पन्न होने वाले स्प्यूरियस ग्रेडिएंट्स को रोकता है।

2.2 ग्राफ-स्ट्रक्चर्ड ऑब्जेक्टिव (Graph-Structured Objective)

GraphDPO एक लाइक्लीहुड को ऑप्टिमाइज़ करता है जो डोमिनेटेड नेबरहुड्स (dominated neighborhoods) पर परिभाषित है। प्रत्येक रिस्पॉन्स $y_i$ के लिए, मॉडल को उन सभी रिस्पॉन्स की तुलना में उच्च स्कोर असाइन करने के लिए प्रशिक्षित किया जाता है जिन्हें वह डोमिनेट करता है ( $N^-(i)$ )।

लोकल लॉस (Local Loss): एक प्लैकेट-लुस (PL) प्रेरित फॉर्मुलेशन का उपयोग करते हुए, नोड $i$ के लिए लॉस है:
$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$
जहाँ $\tilde{s}_i$ रेफरेंस पॉलिसी के सापेक्ष सेंटर्ड लॉग-रेशियो स्कोर है।
ग्लोबल एग्रीगेशन (Global Aggregation): कुल लॉस इन लोकल टर्म्स को एग्रीगेट करता है। यह फॉर्मुलेशन वैश्विक पारस्परिकता (global transitivity) को लागू करता है: यदि $y_i$ , $y_j$ को डोमिनेट करता है, तो ऑब्जेक्टिव $s_i > s_j$ को प्रोत्साहित करता है, और ट्रांसिटिव संबंध साझा नेबरहुड्स के माध्यम से स्वाभाविक रूप से प्रसारित होते हैं।
जटिलता (Complexity): पूरे ग्राफ का लाभ उठाने के बावजूद, इक्विवेलेंस-क्लास (लेयर्ड DAG) निर्माण के तहत, यह विधि प्रति प्रॉम्प्ट लीनियर कॉम्प्लेक्सिटी $O(K)$ बनाए रखती है, जिससे पेयरवाइज एन्यूमरेशन या लिस्टवाइज मेथड्स के परम्यूटेशन नॉर्मलाइजेशन से बचा जा सकता है।

2.3 ग्राउंड-ट्रुथ एंकरिंग (Ground-Truth Anchoring)

जब वेरिफाइड सॉल्यूशंस (ओरकल रिस्पॉन्स) उपलब्ध होते हैं, तो GraphDPO उन्हें ग्राफ में डोमिनेंट नोड्स के रूप में एकीकृत करता है।

एंकरिंग लॉस (Anchoring Loss): एक अलग टर्म ओरकल रिस्पॉन्स को सभी जनरेटेड रिस्पॉन्स को डोमिनेट करने के लिए प्रोत्साहित करती है।
एनील्ड शेड्यूल (Annealed Schedule): बाद के चरणों में लचीलापन बनाए रखते हुए शुरुआती ट्रेनिंग को स्थिर करने के लिए, एंकरिंग टर्म $\lambda_{gt}(t)$ के वेट को हाई से इनिशियलाइज़ किया जाता है और धीरे-धीरे घटाकर 1.0 कर दिया जाता है। यह पॉलिसी को बहुत जल्दी ओरकल पर ओवरफिट होने से रोकता है जबकि कंसिस्टेंट प्रेफरेंस प्रोपेगेशन सुनिश्चित करता है।

2.4 ट्रेनिंग ऑब्जेक्टिव (Training Objective)

फाइनल ऑब्जेक्टिव ग्राफ लॉस, वैकल्पिक ग्राउंड-ट्रुथ एंकरिंग, और रेफरेंस पॉलिसी से विचलन को रोकने के लिए एक टोकन-लेवल KL रेगुलराइजेशन टर्म को जोड़ता है:
$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$
जब $K=2$ के साथ स्ट्रिक्ट प्रेफरेंस हो, तो स्टैंडर्ड पेयरवाइज DPO एक स्पेशल केस के रूप में प्राप्त होता है।

3. प्रमुख योगदान (Key Contributions)

ग्राफ-स्ट्रक्चर्ड प्रेफरेंस ऑप्टिमाइज़ेशन: GraphDPO प्रेफरेंस लर्निंग को पुनर्गठित करता है ताकि मल्टीपल रोलआउट्स पर एक ग्लोबली कंसिस्टेंट प्रेफरेंस DAG बनाया जा सके, जो ट्रांसिटिविटी को लागू करता है और स्टैंडर्ड DPO को एक स्पेशल केस के रूप में रिकवर करता है।
ग्रुपवाइज रैंकिंग विद टाइड-प्रेफरेंस हैंडलिंग: यह स्वाभाविक रूप से इक्विवेलेंस क्लासेस को सपोर्ट करता है, जो स्प्यूरियस ग्रेडिएंट्स से बचने के लिए केवल प्रेफरेंस ग्रुप्स के बीच तुलना करता है।
लीनियर-टाइम फुल-ग्राफ लर्निंग: यह कुशल लॉग-सम-एक्सप (log-sum-exp) एग्रीगेशन के माध्यम से ग्लोबल रैंकिंग जानकारी कैप्चर करता है, जिससे पेयरवाइज एन्यूमरेशन या लिस्टवाइज परम्यूटेशन नॉर्मलाइजेशन का कंप्यूटेशनल ओवरहेड बच जाता है।
स्टेबलाइजिंग ग्राउंड-ट्रुथ एंकरिंग: यह एक एनील्ड एंकरिंग मैकेनिज्म पेश करता है जो वेरिफाइड सॉल्यूशंस का उपयोग करके शुरुआती ऑप्टिमाइजेशन को स्थिर करता है, बिना बाद के चरणों में पॉलिसी डायवर्सिटी को खोए।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen3 बेस मॉडल्स का उपयोग करके गणितीय तर्क (GSM8K, MATH-500) और प्रोग्राम सिंथेसिस (APPS) बेंचमार्क पर GraphDPO का मूल्यांकन किया।

प्रदर्शन (Performance): GraphDPO ने SFT, GRPO, SPIN और लिस्टवाइज मेथड्स (PRO, LiPO) सहित बेसलाइन्स को लगातार पछाड़ दिया।
- GSM8K: 92.42% (बिना एंकरिंग के) और 92.75% (एंकरिंग के साथ) प्राप्त किया, जो बेस्ट लिस्टवाइज बेसलाइन (LiPO: 89.23%) से बेहतर है।
- MATH-500: 87.40% (बिना GT के) और 88.87% (GT के साथ) प्राप्त किया, जो GSM8K की तुलना में लिस्टवाइज मेथड्स पर बड़ा अंतर दिखाता है, जो बताता है कि लाभ टास्क कॉम्प्लेक्सिटी के साथ स्केल करते हैं।
- APPS: 72.93% (बिना GT के) और 73.76% (GT के साथ) प्राप्त किया, जो ग्रुप-बेस्ड (GRPR) और लिस्टवाइज मेथड्स से बेहतर है।
एब्लेशन निष्कर्ष (Ablation Findings):
- ग्राफ बनाम लिस्टवाइज: PRO (जो ग्राफ एज एनकोडिंग को हटा देता है) के मुकाबले GraphDPO का प्रदर्शन यह पुष्टि करता है कि स्ट्रिक्ट टोटल-ऑर्डर धारणाओं के बजाय पार्शियल ऑर्डर्स और ट्रांसिटिव स्ट्रक्चर को मॉडल करना बेहतर है।
- रोलआउट काउंट ( $K$ ): $K$ को बढ़ाने से आमतौर पर प्रदर्शन में सुधार हुआ, क्योंकि इससे समृद्ध प्रेफरेंस ग्राफ्स बनते हैं, जिससे मॉडल उन ट्रांसिटिव डोमिनेंस संबंधों का लाभ उठा पाता है जो पेयरवाइज सैंपलिंग में दिखाई नहीं देते।
- एंकरिंग: ग्राउंड-ट्रुथ एंकरिंग ने निरंतर लाभ प्रदान किया, विशेष रूप से छोटे रोलआउट बजट और कठिन कार्यों (MATH-500) के लिए, जहाँ इसने प्रेफरेंस प्रोपेगेशन को स्थिर किया।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि प्रेफरेंस स्ट्रक्चर को ग्राफ के रूप में मॉडल करना, पेयरवाइज और लिस्टवाइज दोनों अलाइनमेंट ऑब्जेक्टिव्स के लिए एक स्केलेबल और मजबूत विकल्प प्रदान करता है।

स्केलेबिलिटी: लीनियर कॉम्प्लेक्सिटी बनाए रखते हुए ग्लोबल स्ट्रक्चर को कैप्चर करके, GraphDPO रीजनिंग और कोडिंग कार्यों में सामान्य रोलआउट-हैवी अलाइनमेंट सेटिंग्स के लिए उपयुक्त है।
मजबूती (Robustness): यह आंशिक क्रम (partial orders), इक्विवेलेंस क्लासेस और स्पार्स कंपेराबिलिटी संबंधों को संभालता है जो सख्त लिस्टवाइज धारणाओं को तोड़ देते हैं।
इंडक्टिव बायस (Inductive Bias): परिणाम बताते हैं कि रोलआउट्स के बीच स्ट्रक्चर्ड संबंधों (ट्रांसिटिविटी और डोमिनेंस) को स्पष्ट रूप से मॉडल करना, जटिल समस्या डोमेन में अलाइनमेंट को स्केल करने के लिए महत्वपूर्ण है जहाँ सरल ऑर्डरिंग धारणाएं विफल हो जाती हैं।

लेखक निष्कर्ष निकालते हैं कि GraphDPO LLM अलाइनमेंट के लिए एक सरल, प्रभावी इंडक्टिव बायस प्रदान करता है, जो DPO की सादगी और मल्टी-सैंपल रैंकिंग की स्ट्रक्चरल समृद्धि के बीच के अंतर को पाटता है।