🤖 AI

TUR-DPO: Topology- and Uncertainty-Aware Direct Preference Optimization

TUR-DPO एक नवीन, RL-मुक्त संरेखण विधि है जो टोपोलॉजी और अनिश्चितता जागरूकता को शामिल करके डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (Direct Preference Optimization) को उन्नत करती है ताकि तर्क व्युत्पत्ति की गुणवत्ता को पुरस्कृत किया जा सके, जिससे प्रशिक्षण की सरलता बनाए रखते हुए विविध कार्यों में मॉडल के प्रदर्शन में सुधार होता है।

मूल लेखक: Abdulhady Abas Abdullah, Fatemeh Daneshfar, Seyedali Mirjalili, Mourad Oussalah

प्रकाशित 2026-05-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdulhady Abas Abdullah, Fatemeh Daneshfar, Seyedali Mirjalili, Mourad Oussalah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े अस्त-व्यस्त छात्र (एक लार्ज लैंग्वेज मॉडल) को निबंध लिखना सिखा रहे हैं। आप चाहते हैं कि वह न केवल सही उत्तर प्राप्त करे, बल्कि वहां तक एक तार्किक और विश्वसनीय तरीके से पहुंचे।

लंबे समय तक, इन छात्रों को सिखाने का मानक तरीका RLHF (ह्यूमन फीडबैक से सुदृढीकरण लर्निंग) था। इसे एक जटिल, उच्च-दांव वाले कोचिंग सत्र की तरह समझें जहाँ एक कोच (रिवॉर्ड मॉडल) छात्र को अभ्यास करते हुए देखता है, उसे एक स्कोर देता है, और फिर छात्र उस स्कोर के आधार पर अपने व्यवहार को समायोजित करते हुए बार-बार प्रयास करता है। यह अच्छा काम करता है, लेकिन यह महंगा, जटिल है, और कभी-कभी कोच छात्र के फैंसी लेकिन खोखले शब्दों से भ्रमित हो जाता है।

फिर DPO (डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन) आया। यह एक सरल दृष्टिकोण था। एक जटिल कोच के बजाय, आप छात्र को दो निबंध दिखाते हैं: एक जिसे आपने पसंद किया (विजेता) और एक जिसे आपने पसंद नहीं किया (हारने वाला)। आप बस मॉडल को कहते हैं, "विजेता की तरह अधिक लिखो, हारने वाले की तरह कम।" यह तेज़ और स्थिर है, लेकिन इसमें एक दोष है: यह निबंध को एक एकल, सपाट ब्लॉक के रूप में मानता है। इसे इस बात की परवाह नहीं है कि छात्र उत्तर तक कैसे पहुँचा। यदि छात्र एक सुंदर, प्रवाहपूर्ण पैराग्राफ लिखता है जो वास्तव में तार्किक खामियों या मनगढ़ंत तथ्यों से भरा है, तो DPO अभी भी उसे पुरस्कृत कर सकता है क्योंकि अंतिम पाठ अच्छा दिखता है।

TUR-DPO का आगमन हुआ।

लेखकों ने TUR-DPO (टोपोलॉजी- एंड अनसर्टेन्टी-अवेयर डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन) नामक एक नया तरीका प्रस्तावित किया है। यह कैसे काम करता है, इसके सरल उपमाओं का उपयोग करके यहाँ दिया गया है:

1. "तर्क का मानचित्र" (टोपोलॉजी)

केवल अंतिम निबंध को देखने के बजाय, TUR-DPO छात्र से उनकी सोच की प्रक्रिया का एक मानचित्र बनाने के लिए कहता है।

उपमा: कल्पना कीजिए कि छात्र एक घर बना रहा है। मानक DPO केवल यह देखता है कि घर बाहर से कैसा दिखता है। TUR-DPO उनके ब्लूप्रिंट (नक्शे) निकालता है। यह जाँचता है: "क्या आपने वास्तव में नींव रखी है? क्या दीवारें छत को सहारा दे रही हैं? क्या आपने गलती से ऐसा कमरा बना दिया है जो कहीं नहीं जाता?"
यह कैसे काम करता है: सिस्टम उत्तर को छोटे चरणों (सब-क्लेम्स) में तोड़ता है और उन्हें जोड़ने वाला एक ग्राफ बनाता है। यह "चक्रों" (गोल घूमना), "डैंगलिंग नोड्स" (बिना प्रमाण वाले दावे), और "विरोधाभासों" की तलाश करता है। यदि मानचित्र अव्यवस्थित या अतार्किक है, तो छात्र को कम स्कोर मिलता है, भले ही अंतिम शब्द सुचारू लगें।

2. "विश्वास मीटर" (अनसर्टेन्टी)

कभी-कभी, छात्र अनुमान लगा रहा होता है या जज (शिक्षक) उत्तर के बारे में अनिश्चित हो सकता है।

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि वे अपने उत्तर के प्रति 100% आश्वस्त हैं, तो वे इसे दृढ़ता से लिखते हैं। यदि वे अनुमान लगा रहे हैं, तो वे हिचकिचा सकते हैं। TUR-DPO एक स्मार्ट प्रॉक्टर की तरह कार्य करता है जो इस हिचकिचाहट को नोटिस करता है।
यह कैसे काम करता है: सिस्टम छात्र को एक ही समस्या को कुछ अलग तरीकों से हल करने के लिए कहता है (री-एलिसिटिंग द मैप)। यदि मानचित्र हर बार बहुत अलग दिखते हैं, तो सिस्टम जानता है कि छात्र अनिश्चित है या प्रश्न कठिन है। ऐसे मामलों में, TUR-DPO कहता है, "ठीक है, इस विशिष्ट उदाहरण से बहुत अधिक न सीखें क्योंकि हम सुनिश्चित नहीं हैं कि 'विजेता' वास्तव में सबसे अच्छा था या नहीं।" यह भ्रमित करने वाले या शोर वाले उदाहरणों की आवाज़ को कम कर देता है ताकि छात्र खराब डेटा से भ्रमित न हो।

3. "स्मार्ट स्कोरकार्ड"

TUR-DPO इन दोनों विचारों को एक नए स्कोरिंग सिस्टम में जोड़ता है।

यह केवल यह नहीं पूछता, "क्या आपने सही उत्तर चुना?"
यह पूछता है, "क्या आपका तर्क मानचित्र ठोस है?" और "क्या आप इस उत्तर के प्रति आश्वस्त हैं?"
यदि उत्तर सही है लेकिन मानचित्र टूटा हुआ है, या यदि छात्र अंधाधुंध अनुमान लगा रहा है, तो सिस्टम पाठ योजना को समायोजित करता है। यह संरचनात्मक अखंडता (एक अच्छा मानचित्र) और कैलिब्रेटेड कॉन्फिडेंस (यह जानना कि आप क्या जानते हैं) को पुरस्कृत करता है।

उन्होंने क्या पाया?

शोधकर्ताओं ने कई कार्यों में 7-8 बिलियन पैरामीटर वाले मॉडलों (स्मार्ट लेकिन सबसे बड़े सुपरकंप्यूटर नहीं) पर इसका परीक्षण किया:

गणित और तर्क: TUR-DPO गणित की समस्याओं (जैसे GSM8K और MATH) को हल करने और जटिल तर्क कार्यों में बहुत बेहतर था। इसने उन "तार्किक छलांगों" को कम किया जहाँ छात्र बिना प्रमाण के निष्कर्ष पर पहुँच जाता है।
तथ्य: इसने "हैलुसिनेशन" (चीजें बनाना) को कम किया क्योंकि सिस्टम ने उन दावों को दंडित किया जिन्हें तर्क मानचित्र द्वारा समर्थित नहीं किया जा सकता था।
कैलिब्रेशन: मॉडल यह जानने में बेहतर हो गए कि वे कब अनिश्चित हैं। वे गलत उत्तरों को आत्मविश्वास के साथ देने के बजाय अब कम देते हैं।
सरलता: पुराने जटिल कोचिंग तरीके (RLHF) के विपरीत, TUR-DPO को चलाना अभी भी सरल है। इसके लिए महंगे, वास्तविक समय के अभ्यास सत्रों की आवश्यकता नहीं है। इसे बस "ब्लूप्रिंट" की जाँच करने के लिए थोड़े अतिरिक्त समय की आवश्यकता होती है।

मुख्य निष्कर्ष

DPO को एक ऐसे शिक्षक के रूप में सोचें जो केवल अंतिम निबंध को ग्रेड करता है। TUR-DPO एक ऐसे शिक्षक के रूप में है जो निबंध को ग्रेड करता है और साथ ही यह भी जाँचता है कि छात्र का रफ वर्क (स्क्रैच पेपर) सही है या नहीं, ताकि गणित मेल खा सके और तर्क बना रहे।

लेख दावा करता है कि "स्क्रैच पेपर" (तर्क टोपोलॉजी) की जाँच करके और छात्र के "विश्वास मीटर" (अनसर्टेन्टी) को सुनकर, मॉडल अधिक सटीक, अधिक ईमानदार (यह जानने में कि वह क्या जानता है), और जटिल तर्क में बेहतर होने के लिए सीखता है, और वह भी पिछले जटिल, महंगे प्रशिक्षण तरीकों की आवश्यकता के बिना।

महत्वपूर्ण नोट: पेपर विशेष रूप से उल्लेख करता है कि जबकि यह तरीका तर्क और तथ्यों के लिए बहुत अच्छा है, विशुद्ध रूप से शैलीगत कार्यों (जैसे विनम्र, हानिरहित बातचीत लिखना) के लिए, पुराने जटिल तरीके (PPO/RLHF) अभी भी थोड़ा बढ़त रख सकते हैं, हालांकि TUR-DPO उसके बहुत करीब पहुँच जाता है। लेखक चेतावनी भी देते हैं कि यदि "मैप एक्सट्रैक्टर" (ब्लूप्रिंट बनाने वाला उपकरण) पक्षपाती या खराब है, तो मॉडल बुरी आदतें सीख सकता है, इसलिए मानचित्र बनाने के लिए उपयोग किए जाने वाले उपकरण विश्वसनीय होने चाहिए।

यहाँ शोध पत्र "TUR-DPO: Topology- and Uncertainty-Aware Direct Preference Optimization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि Direct Preference Optimization (DPO) अपनी स्थिरता और बिना ऑनलाइन रोलआउट के काम करने की क्षमता के कारण Reinforcement Learning from Human Feedback (RLHF) के एक लोकप्रिय विकल्प के रूप में उभरा है, फिर भी यह विशिष्ट सीमाओं से ग्रस्त है:

फ्लैट सीक्वेंस ट्रीटमेंट (Flat Sequence Treatment): मानक DPO पूरे अनुक्रमों (sequences) पर विजेता-बनाम-हारने वाले संकेतों के रूप में प्रेफरेंस पेयर्स को "फ्लैट" मानता है। यह इस बात में अंतर नहीं करता कि उत्तर कैसे प्राप्त किया गया, और आंतरिक तर्क संरचना (internal reasoning structure) की अनदेखी करता है।
शोर के प्रति संवेदनशीलता (Sensitivity to Noise): DPO शोर वाले, भंगुर (brittle) या गलत लेबल वाले प्रेफरेंस डेटा के प्रति अत्यधिक संवेदनशील है, विशेष रूप से उन कार्यों में जिनमें बहु-चरणीय तर्क (multi-step reasoning) या तथ्यात्मक आधार की आवश्यकता होती है।
संरचनात्मक पुरस्कार का अभाव (Lack of Structural Reward): यह स्पष्ट रूप से सुसंगत तर्क टोपोलॉजी (जैसे, तार्किक प्रवाह, चक्रीय तर्कों की अनुपस्थिति) को पुरस्कृत करने या स्पष्टीकरण की संरचना के आधार पर मतिभ्रम (hallucinations) को दंडित करने में विफल रहता है।

शोध पत्र का तर्क है कि गहन तर्क वाले कार्यों के लिए, केवल अंतिम आउटपुट स्ट्रिंग को अनुकूलित करना पर्याप्त नहीं है; मॉडल को संरचनात्मक रूप से सुदृढ़ और तथ्यात्मक रूप से आधारित तर्क पथ (reasoning paths) उत्पन्न करने के लिए निर्देशित किया जाना चाहिए।

2. कार्यप्रणाली: TUR-DPO (Methodology: TUR-DPO)

TUR-DPO (Topology- and Uncertainty-Aware DPO) दो नए संकेतों को एकीकृत करके मानक DPO ढांचे का विस्तार करता है: Reasoning Topology और Calibrated Uncertainty। यह RL-free बना रहता है, जिसके लिए किसी ऑनलाइन रोलआउट, वैल्यू हेड, या अलग रिवॉर्ड मॉडल की आवश्यकता नहीं होती है।

मुख्य घटक (Core Components)

Reasoning Topology Elicitation:
- प्रत्येक संभावित प्रतिक्रिया ( $y$ ) के लिए, सिस्टम एक हल्का निर्देशित ग्राफ (directed graph) $G = (V, E)$ निकालता है जो तर्क प्रक्रिया का प्रतिनिधित्व करता है।
- नोड्स ( $V$ ): परमाणु उप-दावे (atomic sub-claims) या तर्क चरण।
- एजेस ( $E$ ): दावों के बीच समर्थन या निर्भरता संबंध।
- टोपोलॉजी स्कोर ( $s_{topo}$ ): संरचनात्मक मेट्रिक्स के आधार पर गणना की जाती है:
  - न्यूनतम वैध पथ (Minimal Valid Path): आधारों (premises) से निष्कर्ष तक अचक्रीय पथों (acyclic paths) में नोड्स/एजेस का कवरेज।
  - साइकिल काउंट (Cycle Count): चक्रीय औचित्य (circular justification) को दंडित करता है।
  - डैंगलिंग नोड्स (Dangling Nodes): असमर्थित दावों को दंडित करता है।
  - विरोधाभास संकेत (Contradiction Signal): स्थानीय तार्किक संघर्षों का पता लगाता है।
सिमेंटिक और अनिश्चितता संकेत (Semantic and Uncertainty Signals):
- सिमेंटिक स्कोर ( $s_{sem}$ ): कार्य सफलता (जैसे, Exact Match, ROUGE) और निष्ठा (faithfulness) के बीच संतुलन बनाता है (मतिभ्रम और असमर्थित संस्थाओं को दंडित करता है)।
- अनिश्चितता स्कोर ( $u(G)$ ): दो प्रकार की अनिश्चितता को एकत्रित करता है:
  - एपिस्टेमिक (Epistemic): जब ग्राफ को मामूली परिवर्तनों के साथ $K$ बार पुनः निकाला जाता है, तो टोपोलॉजी संरचनाओं और स्कोर में भिन्नता द्वारा मापा जाता है।
  - एलियटोरिक (Aleatoric): एक वेरीफायर से नोड-स्तरीय शुद्धता संभावनाओं के एंट्रॉपी द्वारा मापा जाता है।
शेप्ड रिवॉर्ड और वेटिंग (Shaped Reward and Weighting):
- शेप्ड रिवॉर्ड ( $r_\phi$ ): एक संक्षिप्त, फैक्टराइज्ड रिवॉर्ड फंक्शन सिमेंटिक गुणवत्ता, टोपोलॉजी गुणवत्ता और अनिश्चितता के दंड को जोड़ता है:
  $r_\phi(x, y, G) = a \cdot f_{sem}(s_{sem}) + (1-a) \cdot f_{topo}(s_{topo}) - \lambda \cdot u(G)$
- इंस्टेंस वेटिंग ( $w$ ): एक प्रति-पेयर वेट (per-pair weight) पसंदीदा और नापसंद प्रतिक्रियाओं की औसत अनिश्चितता से प्राप्त किया जाता है। उच्च अनिश्चितता कम वजन की ओर ले जाती है, जो प्रशिक्षण के दौरान भंगुर या शोर वाले तुलनाओं को प्रभावी ढंग से कम भार देती है:
  $w = \text{clip}\left(\frac{\tau_w}{1 + \bar{u}}, w_{min}, 1\right)$
अनुकूलन उद्देश्य (Optimization Objective):
TUR-DPO लॉस मानक DPO लॉजिट को संशोधित करता है, जिसमें रिवॉर्ड अंतर ( $\Delta r_\phi$ ) को एक मार्जिन टर्म के रूप में जोड़ा जाता है और लॉस को इंस्टेंस वेट $w$ द्वारा स्केल किया जाता है:
$L_{TUR-DPO} = -w \cdot \log \sigma \left( \beta [\Delta \log \pi_\theta - \Delta \log \pi_{ref}] + \gamma \Delta r_\phi \right)$
- $\pi_\theta$ : पॉलिसी मॉडल।
- $\pi_{ref}$ : रेफरेंस पॉलिसी (EMA के माध्यम से अपडेट या फिक्स्ड)।
- $\beta, \gamma$ : टेम्परेचर और रिवॉर्ड स्ट्रेंथ हाइपरपैरामीटर।

3. प्रमुख योगदान (Key Contributions)

नया ढांचा (Novel Framework): TUR-DPO पेश करता है, जो पहला प्रेफरेंस ऑप्टिमाइजेशन मेथड है जो बिना RL के, स्पष्ट रूप से रीजनिंग टोपोलॉजी और कैलिब्रेटेड अनसर्टेंटी को DPO ऑब्जेक्टिव में शामिल करता है।
सैद्धांतिक आधार (Theoretical Foundation): TUR-DPO और इंस्टेंस-वेटेड Bradley-Terry models के बीच संबंधों को स्थापित करता है। लेखक सिद्ध करते हैं कि मानक धारणाओं के तहत, यह विधि सशर्त प्रेफरेंस संभावनाओं के लिए एक सुसंगत अनुमानक (consistent estimator) प्रदान करती है और लेबल शोर के लिए बायस बाउंड्स निकालती है।
मॉड्यूलर डिज़ाइन (Modular Design): यह तरीका ट्रांसफार्मर आर्किटेक्चर के प्रति स्वतंत्र है और यदि डेटा उपलब्ध न हो तो घटकों (टोपोलॉजी या अनसर्टेंटी) को अक्षम करने की अनुमति देता है, जिससे वैनिला DPO से सहज संक्रमण सुनिश्चित होता है।
व्यापक मूल्यांकन (Comprehensive Evaluation): LLM जज और मानव मूल्यांकन दोनों का उपयोग करके छह डोमेन (Math, QA, Summarization, Dialogue, Multimodal, Long-Context) में व्यापक अनुभवजन्य सत्यापन।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर विभिन्न बेंचमार्क (GSM8K, MATH, BBH, Open QA, TLDR, HH) पर ओपन 7–8B मॉडल्स पर TUR-DPO का मूल्यांकन करता है।

प्रदर्शन लाभ (Performance Gains):
- रीजनिंग कार्य (Reasoning Tasks): TUR-DPO, मानक DPO और अन्य RL-free बेसलाइन्स (ORPO, SimPO, KTO, IPO) से काफी बेहतर प्रदर्शन करता है। उदाहरण के लिए, GSM8K पर, यह 62.8% EM प्राप्त करता है जबकि DPO के लिए यह 58.7% है।
- मानव मूल्यांकन (Human Evaluation): हेल्पफुल/हारmless (HH) संवाद में, TUR-DPO PPO-आधारित RLHF के साथ अंतर को कम करता है, तुलनीय जीत-दर (win-rates) (67.2% बनाम 67.9% PPO के लिए) प्राप्त करता है, जबकि RL की जटिलता से बचता है।
- मल्टीमॉडल और लॉन्ग-कॉन्टेक्स्ट (Multimodal & Long-Context): विजुअल QA (ChartQA, ScienceQA) और लॉन्ग-कॉन्टेक्स्ट मल्टी-हॉप रीजनिंग (HotpotQA) में निरंतर सुधार देखे गए हैं, जो इस पद्धति की स्केलेबिलिटी को प्रदर्शित करते हैं।
कैलिब्रेशन और मजबूती (Calibration and Robustness):
- कैलिब्रेशन (Calibration): TUR-DPO एक्सपेक्टेड कैलिब्रेशन एरर (ECE) को 0.101 (DPO) से घटाकर 0.087 कर देता है, जो बेहतर कॉन्फिडेंस अलाइनमेंट का संकेत देता है।
- शोर के प्रति मजबूती (Noise Robustness): सिंथेटिक लेबल नॉइज़ (30% तक फ्लेप्ड लेबल्स) के तहत, TUR-DPO, DPO की तुलना में अधिक सुचारू रूप से गिरावट दर्ज करता है, और अपने क्लीन-डेटा प्रदर्शन का 89% बनाए रखता है (DPO के 81% की तुलना में)।
- संरचनात्मक अखंडता (Structural Integrity): यह विधि रीजनिंग ग्राफ में तार्किक छलांग (logical leaps), विरोधाभासों और चक्रों को काफी कम करती है और पाथ कवरेज को बढ़ाती है।
दक्षता (Efficiency):
- TUR-DPO के लिए कोई ऑनलाइन रोलआउट की आवश्यकता नहीं है, जिससे यह PPO की तुलना में कम्प्यूटेशनल रूप से सस्ता है।
- यह DPO की तुलना में अधिक टोकन-कुशल (token-efficient) है, जो कम प्रेफरेंस टोकन के साथ लक्षित जीत-दर तक पहुँचता है।
- ग्राफ इलिकिटेशन का ओवरहेड मामूली है (~DPO पर 15% की वृद्धि) और समानांतर (parallelizable) किया जा सकता है।

5. महत्व और प्रभाव (Significance and Impact)

अंतराल को पाटना (Bridging the Gap): TUR-DPO सफलतापूर्वक DPO की परिचालन सरलता और PPO की प्रदर्शन/स्थिरता के बीच के अंतर को पाटता है, विशेष रूप से उन कार्यों के लिए जहाँ तर्क की प्रक्रिया अंतिम उत्तर जितनी ही महत्वपूर्ण है।
विश्वसनीयता (Reliability): भंगुर तर्क को दंडित करके और संरचनात्मक सुसंगतता को पुरस्कृत करके, TUR-DPO ऐसे मॉडल बनाता है जो मतिभ्रम (hallucinations) के प्रति कम प्रवृत्त होते हैं और उच्च-जोखिम वाले डोमेन (जैसे, गणित, विज्ञान) में अधिक भरोसेमंद होते हैं।
भविष्य की दिशा (Future Direction): पेपर सुझाव देता है कि भविष्य के एलाइनमेंट अनुसंधान को "फ्लैट" सीक्वेंस ऑप्टिमाइजेशन से आगे बढ़कर स्ट्रक्चर-अवेयर (structure-aware) उद्देश्यों की ओर बढ़ना चाहिए। यह मल्टीमॉडल सिस्टम और जटिल, बहु-चरणीय एजेंट वर्कफ़्लो में इन सिद्धांतों को लागू करने की क्षमता को भी उजागर करता है।

संक्षेप में, TUR-DPO एक मजबूत, RL-free विकल्प प्रदान करता है जो तर्क की टोपोलॉजी की गुणवत्ता को स्पष्ट रूप से पुरस्कृत करके और अनिश्चितता के आधार पर लर्निंग को नियंत्रित करके लार्ज लैंग्वेज मॉडल्स की विश्वसनीयता, निष्ठा और कैलिब्रेशन को बढ़ाता है।