🤖 machine learning

Margin Adaptive DPO: Leveraging Reward Model for Granular Control in Preference Optimization

यह शोध पत्र मार्जिन-एडेप्टिव डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (MADPO) प्रस्तुत करता है, जो एक नवीन विधि है जो DPO लॉस पर इंस्टेंस-लेवल, एडेप्टिव री-वेटिंग लागू करने के लिए रिवॉर्ड मॉडल का लाभ उठाती है, जिससे प्राथमिकता शिक्षण (preference learning) पर स्थिर और सूक्ष्म नियंत्रण प्राप्त करने के लिए फिक्स्ड और बैच-लेवल टेम्परेचर पैरामीटर्स की सीमाओं को दूर किया जा सके और मौजूदा बेसलाइन्स से बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Hyung Gyu Rho

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hyung Gyu Rho

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र (एक AI भाषा मॉडल) को बेहतर सारांश (summaries) लिखना सिखाने की कोशिश कर रहे हैं। आपके पास अभ्यास परीक्षणों का एक ढेर है जहाँ छात्र के उत्तरों को जजों के एक पैनल द्वारा ग्रेड किया जाता है। कुछ प्रश्न आसान हैं (सही उत्तर स्पष्ट है), और कुछ कठिन हैं (एक अच्छे और बुरे उत्तर के बीच का अंतर बहुत सूक्ष्म है)।

यह शोध पत्र एक नई शिक्षण पद्धति पेश करता है जिसे MADPO (मार्जिन-एडेप्टिव डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:

समस्या: "एक ही आकार सबके लिए" वाला शिक्षक (The "One-Size-Fits-All" Teacher)

पारंपरिक तरीके (जैसे मानक DPO) एक एकल "तापमान" (temperature) नॉब का उपयोग करते हैं जो छात्र के सीखने को नियंत्रित करता है।

यदि नॉब बहुत कम सेट है: छात्र बहुत जल्दी अत्यधिक आत्मविश्वासी हो जाता है। आसान प्रश्नों पर, वे उत्तर को पूरी तरह से रट लेते हैं लेकिन सोचना बंद कर देते हैं। कठिन प्रश्नों पर, वे पर्याप्त नहीं सीख पाते क्योंकि संकेत (signal) बहुत कमजोर होता है।
यदि नॉब बहुत अधिक सेट है: छात्र धीरे सीखता है। वे कठिन प्रश्नों को समझ सकते हैं, लेकिन वे आसान प्रश्नों पर ऊब जाते हैं और लापरवाह हो जाते हैं।

शोध पत्र का तर्क है कि हर प्रश्न के लिए एक ही निश्चित सेटिंग का उपयोग करना एक गलती है। आपको एक ऐसे शिक्षक की आवश्यकता है जो जानता हो कि कब जोर देना है और कब पीछे हटना है, प्रश्न की विशिष्टता के आधार पर।

समाधान: MADPO (द "स्मार्ट ट्यूटर")

MADPO एक स्मार्ट ट्यूटर की तरह है जो प्रशिक्षण देने से पहले प्रत्येक अभ्यास प्रश्न को व्यक्तिगत रूप से देखता है। यह दो चरणों में काम करता है:

जासूस (रिवॉर्ड मॉडल - The Scout): सबसे पहले, सिस्टम एक "जासूस" (रिवॉर्ड मॉडल) को अभ्यास प्रश्नों को ग्रेड करने के लिए भेजता है। जासूस केवल "सही" या "गलत" नहीं कहता; वह मार्जिन (margin) को मापता है—यानी, "विजेता" उत्तर और "हारने वाले" उत्तर के बीच का अंतर।
- बड़ा अंतर: विजेता उत्तर स्पष्ट रूप से बेहतर है (एक आसान प्रश्न)।
- छोटा अंतर: विजेता उत्तर केवल थोड़ा सा बेहतर है (एक कठिन, पेचीदा प्रश्न)।
कोच (एडेप्टिव वेटिंग - The Coach): अब, मुख्य शिक्षक (पॉलिसी) प्रशिक्षण शुरू करता है, लेकिन कोच जासूस की रिपोर्ट के आधार पर तीव्रता को समायोजित करता है:
- कठिन प्रश्नों के लिए (छोटा अंतर): कोच चिल्लाकर कहता है, "ध्यान दो! यह पेचीदा है!" यह संकेत को बढ़ा देता है (amplifies), जिससे छात्र को इन सूक्ष्म अंतरों से आक्रामक रूप से सीखने के लिए मजबूर किया जाता है।
- आसान प्रश्नों के लिए (बड़ा अंतर): कोच फुसफुसाता है, "तुम यह कर सकते हो, ज्यादा मत सोचो।" यह संकेत को कम (dampen) कर देता है। यह छात्र को बहुत अधिक आत्मविश्वासी होने या आसान उत्तरों को इतनी कठोरता से रटने से रोकता है जिससे चीजें बदलने पर वे टूट जाएं।

यह पिछले तरीकों से बेहतर क्यों है?

शोध पत्र MADPO की तुलना दो अन्य तरीकों से करता है:

IPO (द "सख्त नियम-पालक"): यह तरीका हर प्रश्न के साथ एक जैसा व्यवहार करता है, एक समान नियम लागू करता है। यह छात्र को यह बताने जैसा है कि हर प्रश्न के लिए ठीक 1 घंटा अध्ययन करें, चाहे कठिनाई कुछ भी हो। यह बहुत कठोर है और बारीकियों को समझने में विफल रहता है।
$\beta$ -DPO (द "समूह औसत"): यह तरीका प्रश्नों के एक पूरे बैच को देखता है और समूह के लिए एक औसत सेटिंग चुनता है। यह एक पूरे क्लास को देखने और यह कहने जैसा है कि, "ठीक है, चूंकि औसत कठिनाई मध्यम है, इसलिए हम सभी मध्यम गति से अध्ययन करेंगे।" यह समूह के सबसे कठिन और सबसे आसान छात्रों की विशिष्ट आवश्यकताओं को अनदेखा करता है।

MADPO अद्वितीय है क्योंकि यह प्रत्येक प्रश्न को व्यक्तिगत ध्यान देता है।

सुरक्षा जाल (स्थिरता - The Safety Net)

लेखकों को डर था कि कठिन प्रश्नों पर बहुत अधिक आक्रामक होने से AI अस्थिर हो सकता है या "टूट" सकता है (गणितीय रूप से, इसे "ग्रेडिएंट एक्सप्लोजन" कहा जाता है)।

उन्होंने गणितीय रूप से सिद्ध किया कि उनकी पद्धति में एक "सेफ्टी वाल्व" है। यदि कोई प्रश्न इतना अजीब या विरोधाभासी है कि मार्जिन नकारात्मक हो जाता है (यानी, "गलत" उत्तर बेहतर दिखता है), तो सिस्टम स्वचालित रूप से तीव्रता को सीमित कर देता है।
उन्होंने एक "स्ट्रेस टेस्ट" के साथ इसका परीक्षण किया जहाँ उन्होंने जानबूझकर AI को गलत लेबल दिए (जैसे कि एक खराब सारांश को वास्तव में अच्छा बताना)। पुराने तरीके या इस नए तरीके के अनियंत्रित संस्करण पागल हो गए और क्रैश हो गए। हालाँकि, MADPO स्थिर रहा, जो साबित करता है कि डेटा गंदा होने पर भी यह टूटेगा नहीं।

परिणाम

टीम ने एक वास्तविक कार्य पर इसका परीक्षण किया: रेडिट पोस्ट का सारांश बनाना ("TL;DR" डेटासेट)।

उन्होंने MADPO की तुलना सर्वश्रेष्ठ मौजूदा तरीकों से की।
परिणाम: MADPO लगातार जीत गया। यह AI के टेक्स्ट जनरेट करने की गति (हाई टेम्परेचर) या सावधानी (लो टेम्परेचर) के मामले में बेहतर था।
सीक्रेट सॉस: सबसे बड़ी बढ़त "एम्प्लीफिकेशन" (कठिन प्रश्नों को बेहतर ढंग से सीखना) वाले हिस्से से आई, लेकिन "डैम्पिंग" (आसान प्रश्नों पर बहुत अधिक ध्यान न देना) हिस्सा यह सुनिश्चित करने के लिए महत्वपूर्ण था कि सावधानीपूर्वक टेक्स्ट जनरेट करते समय AI लापरवाह न हो जाए।

सारांश

संक्षेप में, MADPO मानव प्राथमिकताओं का पालन करने के लिए AI को प्रशिक्षित करने का एक स्मार्ट तरीका है। हर चीज़ के लिए एक ही सेटिंग का उपयोग करने के बजाय, यह एक व्यक्तिगत कोच की तरह कार्य करता है: यह कठिन, सूक्ष्म उदाहरणों पर अधिक जोर देता है और स्पष्ट (obvious) उदाहरणों पर ढील देता है, जबकि यह भी सुनिश्चित करता है कि प्रशिक्षण प्रक्रिया स्थिर और सुरक्षित बनी रहे।

तकनीकी सारांश: मार्जिन एडेप्टिव डीपीओ (MADPO)

1. समस्या विवरण (Problem Statement)

डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) स्पष्ट रिवॉर्ड मॉडलिंग को दरकिनार करते हुए लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए एक मानक बन गया है। हालाँकि, मूल (vanilla) DPO एक एकल, स्थिर तापमान पैरामीटर ( $\beta$ ) पर निर्भर करता है जो सभी प्रशिक्षण नमूनों पर समान रूप से लागू होता है। यह स्थिर दृष्टिकोण विविध प्राथमिकता डेटा के साथ काम करते समय एक मौलिक तनाव पैदा करता है:

आसान जोड़े (बड़े रिवॉर्ड मार्जिन) में ओवरफिटिंग और अत्यधिक आत्मविश्वास को रोकने के लिए एक उच्च, रूढ़िवादी $\beta$ की आवश्यकता होती है।
कठिन जोड़े (छोटे, सूक्ष्म रिवॉर्ड मार्जिन) में यह सुनिश्चित करने के लिए कि लर्निंग सिग्नल प्रभावी ढंग से कैप्चर हो सके, एक निम्न, आक्रामक $\beta$ की आवश्यकता होती है।

मौजूदा एडेप्टिव विधियाँ इसे हल करने का प्रयास करती हैं लेकिन वे विशिष्ट सीमाओं से ग्रस्त हैं:

आइडेंटिटी प्रेफरेंस ऑप्टिमाइज़ेशन (IPO): एक समान लक्ष्य मार्जिन का उपयोग करता है, जो सूचनात्मक, कठिन उदाहरणों के लिए अत्यधिक रूढ़िवादी हो सकता है।
$\beta$ -DPO: बैच स्तर पर $\beta$ को अनुकूलित करता है, जिससे मिश्रित-मार्जिन वाले जोड़ों पर एक समझौता किया गया तापमान लागू होता है। यह उन फ़िल्टरिंग तंत्रों का भी उपयोग करता है जो संभावित रूप से उपयोगी डेटा को हटा देते हैं और कठिन डेटा के लिए अस्थिर, विचलनकारी नकारात्मक $\beta$ मान उत्पन्न कर सकते हैं।

मुख्य समस्या एक स्थिर, इंस्टेंस-स्तरीय (instance-level), और डेटा-संरक्षण करने वाले तंत्र की कमी है जो प्रत्येक प्राथमिकता जोड़े की विशिष्ट कठिनाई के आधार पर लर्निंग सिग्नल को गतिशील रूप से समायोजित कर सके।

2. कार्यप्रणाली: मार्जिन-एडेप्टिव डीपीओ (MADPO)

MADPO एक दो-चरणीय ढांचे को पेश करता है जो रिवॉर्ड मार्जिन का अनुमान लगाने के लिए एक रिवॉर्ड मॉडल का लाभ उठाता है और प्रत्येक व्यक्तिगत नमूने के लिए DPO लॉस (loss) पर एक निरंतर, एडेप्टिव वेट (weight) लागू करता है।

2.1 मुख्य तंत्र: मार्जिन-एडेप्टिव वेटिंग (Margin-Adaptive Weighting)

यह विधि एक गुणांक फलन $c(h_\phi)$ को परिभाषित करती है जो स्पष्ट रिवॉर्ड मार्जिन ( $h_\phi$ ) को एक मॉड्युलेटिंग स्केलर (modulating scalar) में मैप करता है। इस फलन को निम्नलिखित के लिए डिज़ाइन किया गया है:

कम-मार्जिन वाले जोड़ों ( $|h_\phi| < \tau$ ) के लिए सिग्नल को बढ़ाने (Amplify) के लिए, $c > 1$ सेट करके, जो पॉलिसी को सूक्ष्म प्राथमिकताओं से अधिक आक्रामक रूप से सीखने के लिए मजबूर करता है।
उच्च-मार्जिन वाले जोड़ों ( $|h_\phi| \ge \tau$ ) के लिए सिग्नल को कम करने (Dampen) के लिए, $c < 1$ सेट करके, जो स्पष्ट उदाहरणों पर अत्यधिक आत्मविश्वास को रोकने के लिए एक रेगुलेराइज़र के रूप में कार्य करता है।

अंतिम वेटिंग फलन $w(h_\phi)$ खंडों में विभाजित (piecewise) है:
$w(h_\phi) = \begin{cases} \frac{\sigma(c(|h_\phi|) \cdot h_\phi)}{\sigma(h_\phi)} & \text{यदि } h_\phi > -\tau \\ 1 & \text{यदि } h_\phi \le -\tau \end{cases}$
$h_\phi \le -\tau$ पर पीसवाइज कटऑफ एक महत्वपूर्ण डिज़ाइन विकल्प है ताकि स्थिरता सुनिश्चित की जा सके। इसके बिना, वेट अत्यधिक बढ़ सकता है (जैसे, गलत लेबल या प्रतिकूल डेटा के लिए), जिससे ग्रेडिएंट अस्थिरता हो सकती है। इन चरम मामलों को 1 पर कैप करके, MADPO ऐसे नमूनों के लिए स्थिर वैनिला DPO लॉस पर वापस आ जाता है।

2.2 ऑप्टिमाइज़ेशन प्रक्रिया

MADPO एक व्यावहारिक दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है:

रिवॉर्ड मॉडल एस्टीमेशन: स्पष्ट रिवॉर्ड मार्जिन ( $\hat{\phi}$ ) का अनुमान लगाने के लिए प्राथमिकता डेटासेट पर एक मानक रिवॉर्ड मॉडल को प्रशिक्षित किया जाता है।
मार्जिन-एडेप्टिव पॉलिसी ऑप्टिमाइज़ेशन: अनुमानित मार्जिन को फिक्स्ड ग्राउंड ट्रुथ माना जाता है। पॉलिसी को पुन: भारित (re-weighted) DPO लॉस को मिनिमाइज़ करके अनुकूलित किया जाता है:
$\mathcal{L}(\theta, \hat{\phi}) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ w(h_{\hat{\phi}}(x, y_w, y_l)) \log \sigma(\beta h_\theta(x, y_w, y_l)) \right]$

3. सैद्धांतिक योगदान (Theoretical Contributions)

पेपर MADPO की विश्वसनीयता स्थापित करने के लिए एक कठोर सैद्धांतिक विश्लेषण प्रदान करता है:

ओरेकल कैरेक्टराइजेशन (Oracle Characterization): लेखक सिद्ध करते हैं कि एक आदर्श सेटिंग में, MADPO पॉलिसी को गतिशील रूप से स्केल किए गए लक्ष्य मार्जिन ( $c \cdot h_\phi$ ) से मेल खाने के लिए मजबूर करता है। यह पुष्टि करता है कि विधि कम-मार्जिन वाले जोड़ों के लिए लर्निंग को बढ़ाती है और उच्च-मार्जिन वाले जोड़ों को रेगुलेट करती है जैसा कि इरादा था।
एस्टिमेशन एरर के प्रति मजबूती (Robustness to Estimation Error): पेपर सिद्ध करता है कि MADPO लॉस फंक्शन रिवॉर्ड मॉडल पैरामीटर्स के संबंध में लिप्सचिट्ज़ निरंतर (Lipschitz continuous) है। यह औपचारिक गारंटी देता है कि दो-चरणीय पाइपलाइन रिवॉर्ड एस्टीमेशन चरण में त्रुटियों के प्रति मजबूत है, जिससे यह सुनिश्चित होता है कि विधि अपूर्ण रिवॉर्ड मॉडल के कारण विफल नहीं होगी।
ऑप्टिमाइज़ेशन स्थिरता (Optimization Stability): दिखाया गया है कि MADPO लॉस के ग्रेडिएंट और हेसियन (Hessian), वैनिला DPO डेरिवेटिव के बाउंडेड संस्करण हैं। यह सुनिश्चित करता है कि ऑप्टिमाइज़ेशन लैंडस्केप सुव्यवस्थित रहता है, जिसमें नियंत्रित ग्रेडिएंट होते हैं जो प्रतिकूल परिदृश्यों में भी विचलन को रोकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen2.5-7B मॉडल के साथ Reddit TL;DR डेटासेट का उपयोग करके एक समराइजेशन टास्क पर MADPO का मूल्यांकन किया।

प्रदर्शन: MADPO विभिन्न डिकोडिंग टेम्परेचरों के व्यापक स्वीप में मजबूत बेसलाइन्स (वैनिला DPO, IPO, और $\beta$ $β$ -DPO) से लगातार बेहतर प्रदर्शन करता है।
- इसने वैनिला DPO पर 30.9%–35.0% का शुद्ध जीत दर (net win rate) लाभ बनाए रखा।
- इसने सबसे प्रतिस्पर्धी बेसलाइन, $\beta$ -DPO को 2.2%–11.3% से पीछे छोड़ा, और हाई-एन्ट्रॉपी (हाई टेम्परेचर) सैंपलिंग के तहत यह अंतर बढ़कर 11.3% हो गया।
एब्लेशन स्टडी (Ablation Study):
- एम्प्लीफिकेशन (Amplification): रेगुलेराइजेशन घटक को हटाने (केवल एम्प्लीफिकेशन) से पता चला कि कम-मार्जिन वाले जोड़ों से आक्रामक रूप से सीखना प्रदर्शन लाभ का प्राथमिक चालक है।
- रेगुलरइजेशन (Regularization): एम्प्लीफिकेशन घटक को हटाने से पता चला कि उच्च-मार्जिन वाले जोड़ों को कम करने से निरंतर सुधार होता है। महत्वपूर्ण रूप से, पूर्ण MADPO मॉडल ग्रीडी डिकोडिंग (डिटरमिनिस्टिक) सेटिंग्स में 'केवल एम्प्लीफिकेशन' मॉडल की तुलना में काफी बेहतर प्रदर्शन करता है (+5.2% नेट विन रेट), जो साबित करता है कि ओवरफिटिंग को रोकने और विश्वसनीय जनरेशन सुनिश्चित करने के लिए स्पष्ट रेगुलरइजेशन आवश्यक है।
स्ट्रेस टेस्ट (Stress Test): 30% इनवर्टेड प्रेफरेंस लेबल्स वाले एक एडवर्सरियल प्रयोग में, जबकि "अनकैप्ड" (Uncapped) MADPO ग्रेडिएंट विस्फोट (gradient explosion) से ग्रस्त हुआ, पूर्ण MADPO (पिसवाइज कैप के साथ) ने वैनिला DPO के समान स्थिर ग्रेडिएंट बनाए रखा, जो सैद्धांतिक स्थिरता दावों को मान्य करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि MADPO, फिक्स्ड-टेम्परेचर DPO की सीमाओं के लिए एक सिद्धांत-आधारित और स्थिर समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

ग्रैनुलर कंट्रोल (Granular Control): बैच-लेवल या यूनिफॉर्म रेगुलेराइजेशन से हटकर इंस्टेंस-लेवल कंट्रोल की ओर बढ़ना, जिससे मॉडल प्रत्येक प्रशिक्षण जोड़े की विशिष्ट कठिनाई के आधार पर अपनी लर्निंग रणनीति को अनुकूलित कर सकता है।
डेटा दक्षता (Data Efficiency): डेटा को फ़िल्टर करने के बजाय सभी डेटा (उच्च और निम्न मार्जिन वाले जोड़ों सहित) को सुरक्षित रखकर, MADPO डेटासेट की पूर्ण सूचना सामग्री का उपयोग करता है।
स्थिरता (Stability): इसे रिवॉर्ड मॉडल त्रुटियों के प्रति सिद्धांततः मजबूत बनाया गया है और अनुभवजन्य रूप से प्रतिकूल शोर के तहत ऑप्टिमाइज़ेशन कोलैप्स का विरोध करने के लिए दिखाया गया है।

स्वीकृत सीमाएं (Limitations Acknowledged):
लेखक विनम्रतापूर्वक नोट करते हैं कि परिणाम वर्तमान में केवल एक मॉडल फैमिली (Qwen2.5-7B) और एक कार्य (समराइजेशन) तक सीमित हैं। वे सभी डोमेन या मॉडल स्केल में सार्वभौमिक श्रेष्ठता का दावा नहीं करते हैं, और कहते हैं कि विभिन्न आर्किटेक्चर और कार्यों के माध्यम से व्यापक सत्यापन भविष्य का कार्य है।