💬 NLP

AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates

AdaDPO, डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) का एक सेल्फ-अडैप्टिव वेरिएंट है जो पसंदीदा और नापसंद प्रतिक्रियाओं के अपडेट के परिमाण को संतुलित करने के लिए प्रति-जोड़ा ग्रेडिएंट गुणांक (per-pair gradient coefficients) पेश करता है, जिससे DPO के अंतर्निहित एसिमेट्रिक लर्निंग बायस को ठीक किया जाता है और न्यूनतम कार्यान्वयन परिवर्तनों के साथ बेहतर अलाइनमेंट प्रदर्शन प्राप्त किया जाता है।

मूल लेखक: Shaolong Chen, Madalina Ciobanu, Qingqing Mao, Ritankar Das

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shaolong Chen, Madalina Ciobanu, Qingqing Mao, Ritankar Das

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक रोबोट को मददगार बनाना सिखाना

कल्पना कीजिए कि आप एक रोबोट (एक लार्ज लैंग्वेज मॉडल) को अच्छी कहानियाँ लिखना सिखा रहे हैं। आप उसे कहानियों के जोड़े दिखाते हैं: एक जो अच्छी (पसंद की जाने वाली) है और एक जो खराब (नापसंद की जाने वाली) है। रोबोट का लक्ष्य यह सीखना है कि अच्छी कहानियों की तरह अधिक कैसे लिखा जाए और खराब कहानियों की तरह कम कैसे लिखा जाए।

कुछ समय तक, इसे करने का मानक तरीका DPO (डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन) कहलाता था। यह अच्छा काम करता था, लेकिन इस शोध पत्र के लेखकों ने यह पता लगाया कि DPO सीखने के बारे में कैसे "सोचता" है, इसमें एक छिपा हुआ दोष है।

समस्या: "बुरा बंद करो" बनाम "अच्छा शुरू करो" का असंतुलन

यह शोध पत्र तर्क देता है कि DPO की एक एकतरफा सीखने की शैली है।

उपमा: कल्पना कीजिए कि एक शिक्षक छात्र को ग्रेड दे रहा है।
- जब छात्र एक खराब वाक्य लिखता है, तो शिक्षक उसके हाथ पर ज़ोर से थप्पड़ मारता है और कहता है, "ऐसा करना बंद करो!" (यह एक मज़बूत, तेज़ संकेत है)।
- जब छात्र एक अच्छा वाक्य लिखता है, तो शिक्षक उसकी पीठ पर धीरे से थपथपाता है और कहता है, "इसे करते रहो।" (यह एक बहुत ही हल्का, शांत संकेत है)।

यह एक समस्या क्यों है?
जैसे-जैसे छात्र बेहतर होता जाता है, वह स्वाभाविक रूप से गलतियाँ करना बंद कर देता है। क्योंकि "बंद करो" वाला संकेत बहुत तेज़ था, छात्र उसे जल्दी सुनना बंद कर देता है। लेकिन क्योंकि "करते रहो" वाला संकेत बहुत धीमा था, छात्र को वास्तव में अपने अच्छे लेखन को सुधारने के लिए पर्याप्त प्रोत्साहन नहीं मिलता है।

शोध पत्र इसे ग्रेडिएंट इम्बैलेंस (gradient imbalance) कहता है। रोबोट गलतियाँ करने से बचने में बहुत तेज़ हो जाता है, लेकिन वह सही होने के मामले में बहुत धीरे सीखता है। यह एक ऐसा रोबोट बन जाता है जो गलतियाँ न करने में तो बहुत अच्छा है, लेकिन बेहतरीन उत्तर देने में औसत दर्जे का है।

समाधान: AdaDPO (संतुलित कोच)

लेखक AdaDPO (सेल्फ-एडेप्टिव डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन) नामक एक नई विधि प्रस्तावित करते हैं।

यह कैसे काम करता है:
रोबोट को कितना ज़ोर लगाना है इसके लिए एक निश्चित नियम का उपयोग करने के बजाय, AdaDPO एक स्मार्ट कोच की तरह काम करता है जो वास्तविक समय में रोबोट के आत्मविश्वास को देखता है।

"स्टॉप-ग्रेडिएंट" (Stop-Gradient) ट्रिक: कोच यह देखता है कि रोबलेट "अच्छे" उत्तर के प्रति कितना आश्वस्त है बनाम "खराब" उत्तर के प्रति।
समायोजन (Adjustment):
- यदि रोबोट पहले से ही "अच्छे" उत्तर के बारे में बहुत आश्वस्त है, तो कोच "इसे करते रहो!" वाले संकेत की आवाज़ (वॉल्यूम) बढ़ा देता है।
- यदि रोबोट "खराब" उत्तर के साथ संघर्ष कर रहा है, तो कोच "बंद करो" के संकेत को स्थिर रखता है।
परिणाम: अच्छा करने का "धक्का" और बुरा करने को रोकने का "धक्का" शक्ति में समान हो जाते हैं।

रूपक (Metaphor):
एक सी-सॉ (seesaw) के बारे में सोचें। पुराने तरीके (DPO) में, "बुरा" वाला हिस्सा भारी था, इसलिए सी-सॉ खराब व्यवहार को रोकने की ओर भारी रूप से झुक गया था। AdaDPO में, कोच गतिशील रूप से "अच्छे" पक्ष में वजन जोड़ता है ताकि सी-सॉ पूरी तरह से संतुलित रहे। रोबोट बुरे उत्तरों से बचने और अच्छे उत्तर उत्पन्न करने की बिल्कुल समान गति से सीखता है।

उन्होंने क्या पाया? (परिणाम)

लेखकों ने इस नए "संतुलित कोच" का परीक्षण एक विशिष्ट रोबोट मॉडल (Llama-3-8B) पर मानव प्राथमिकताओं के एक मानक डेटासेट का उपयोग करके किया। उन्होंने कई अलग-अलग सेटिंग्स में पुराने तरीके के मुकाबले इसकी तुलना की।

जीतने में बेहतर: "AlpacaEval 2" नामक एक परीक्षण पर (जहाँ एक AI जज तय करता है कि कौन सी कहानी बेहतर है), AdaDPO पुराने तरीके की तुलना में अधिक बार जीता।
"शब्दों के जाल" में कम फँसना: कभी-कभी, रोबोट बेहतर शब्दों के बजाय केवल अधिक शब्द लिखकर जीतने की कोशिश करते हैं (verbosity)। पुराना तरीका (DPO) अक्सर इस जाल में फंस जाता था। AdaDPO बिना अनावश्यक रूप से लंबा हुए, उच्च-गुणवत्ता वाले उत्तर लिखने में बहुत बेहतर था।
उपयोग में आसान: सबसे अच्छी बात यह है कि AdaDPO एक "ड्रॉप-इन" अपग्रेड की तरह है। आपको रोबोट के दिमाग को बदलने या नया डेटा एकत्र करने की आवश्यकता नहीं है। आपको बस स्कोर की गणना करने वाले गणित में कोड की कुछ पंक्तियाँ बदलनी होती हैं। यह पुराने तरीके के समान ही सेटिंग्स (हाइपरपैवर्स) के साथ काम करता है।

सारांश

शोध पत्र का दावा है कि AI को प्रशिक्षित करने का पुराना तरीका (DPO) असंतुलित था: यह AI को यह सिखाने में बहुत अच्छा था कि क्या नहीं करना है, और यह सिखाने में पर्याप्त अच्छा नहीं था कि क्या करना है।

AdaDPO इसे प्रशिक्षण संकेतों को स्वचालित रूप से समायोजित करके ठीक करता है ताकि AI को अच्छा होने के लिए समान प्रोत्साहन और बुरा होने से रुकने के लिए समान दबाव मिले। इसके परिणामस्वरूप एक ऐसा AI प्राप्त होता है जो न केवल "सुरक्षित" (गलतियाँ न करना) है, बल्कि वास्तव में "मददगार" (उच्च-गुणवत्ता वाले उत्तर देना) भी है, बिना जजों को धोखा देने के लिए लंबे-चौड़े जवाब लिखने के।

तकनीकी सारांश: AdaDPO

1. समस्या विवरण (Problem Statement)

Direct Preference Optimization (DPO) ने Large Language Models (LLMs) को संरेखित (align) करने के लिए Reinforcement Learning from Human Feedback (RLHF) के एक प्रमुख विकल्प के रूप में उभरकर एक सरल पाइपलाइन पेश की है, जो एक अलग रिवॉर्ड मॉडल की आवश्यकता को समाप्त करती है। हालाँकि, Feng et al. [2024] द्वारा हाल ही में किए गए सैद्धांतिक विश्लेषण ने DPO लॉस फंक्शन में एक संरचनात्मक विषमता (structural asymmetry) की पहचान की है।

मुख्य मुद्दा ग्रेडिएंट असंतुलन (gradient imbalance) है। मानक DPO में, एक ही गुणांक $\beta$ दोनों पसंदीदा ( $y_w$ ) और नापसंद ( $y_l$ ) प्रतिक्रियाओं के लॉग-अनुपातों (log-ratios) को गुणा करता है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है और पॉलिसी पसंदीदा प्रतिक्रिया के प्रति अधिक आत्मविश्वासी होती जाती है, पसंदीदा संभावना ( $P_w$ ) के सापेक्ष ग्रेडिएंट का परिमाण, नापसंद संभावना ( $P_l$ ) के सापेक्ष ग्रेडिएंट की तुलना में काफी तेजी से घट जाता है। विशेष रूप से, ग्रेडिएंट्स का अनुपात $|\partial L / \partial P_w| / |\partial L / \partial P_l|$ 1 से नीचे गिर जाता है, और अक्सर शून्य के करीब पहुँच जाता है।

परिणामस्वरूप, मॉडल अच्छी प्रतिक्रियाओं को बढ़ावा देने के बजाय मुख्य रूप से बुरे उत्तरों को दबाने (suppress) का काम सीखता है। यह लॉस का एक संरचनात्मक गुण है, न कि हाइपरपैरामीटर संबंधी त्रुटि, और यह तब विशेष रूप से स्पष्ट होता है जब पसंदीदा और नापसंद प्रतिक्रियाएं अर्थ संबंधी रूप से (semantically) एक-दूसरे के करीब होती हैं। इस गतिशीलता को 'लेंथ बायस' (length bias) से जोड़ा गया है, जहाँ मॉडल गुणवत्ता में सुधार करने के बजाय केवल रिवॉर्ड को अधिकतम करने के लिए अत्यधिक विस्तार (verbosity) का लाभ उठाता है।

2. कार्यप्रणाली: AdaDPO (Methodology: AdaDPO)

लेखक AdaDPO (Self-Adaptive Direct Preference Optimization) का प्रस्ताव करते हैं, जो एक ऐसा वेरिएंट है जिसे प्रत्येक अनुकूलन चरण (optimization step) पर पसंदीदा और नापसंद संभावनाओं के बीच ग्रेडिएंट परिमाणों में समानता लागू करने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र (Core Mechanism)

दोनों पदों के लिए एक निश्चित गुणांक $\beta$ का उपयोग करने के बजाय, AdaDO प्रति-पसंद-जोड़ी (per-preference-pair) गुणांक $\beta_w$ और $\beta_l$ पेश करता है। लॉस फंक्शन को इस प्रकार संशोधित किया गया है:
$\Delta_{\text{AdaDPO}} = \beta_w \log \frac{P_w}{R_w} - \beta_l \log \frac{P_l}{R_l}$
जहाँ $P$ पॉलिसी संभावनाओं का प्रतिनिधित्व करता है और $R$ रेफरेंस मॉडल की संभावनाओं का।

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation)

संतुलित ग्रेडिएंट्स ( $|\partial L / \partial P_w| = |\partial L / \partial P_l|$ ) प्राप्त करने के लिए, लेखक गुणांकों के अनुपात के लिए एक आवश्यक शर्त व्युत्पन्न करते हैं:
$\frac{\beta_w}{\beta_l} = \frac{P_w}{P_l}$
(या, प्रोबेबिलिटी-रेशियो स्पेस में: $\frac{\beta_w}{\beta_l} = \frac{P_w R_l}{P_l R_w}$ )।

कार्यान्वयन विवरण (Implementation Details)

ऑप्टिमाइज़ेशन डायनेमिक्स को तोड़े बिना (अर्थात, गुणांकों को ऐसे डिफरेंशिएबल पैरामीटर्स बनने से रोकने के लिए जो ग्रेडिएंट्स को प्रसारित करते हैं) इस शर्त को पूरा करने के लिए, AdaDPO एक स्टॉप-ग्रेडिएंट (stop-gradient) ऑपरेटर का उपयोग करता है:
$\beta_w = \beta \cdot \text{sg}\left( \frac{P_w R_l}{P_l R_w} \right)$
यहाँ, $\beta_l$ को मानक DPO हाइपरपैरामीटर $\beta$ के समान रखा गया है। स्टॉप-ग्रेडिएंट ऑपरेटर (sg) यह सुनिश्चित करता है कि बैकप्रोपैगेशन के दौरान अनुपात को एक स्थिरांक (constant) माना जाए, जो प्रभावी रूप से उस इनवर्स-प्रोबेबिलिटी स्केलिंग को रद्द कर देता है जो वैनिला DPO में "लुप्त होते प्रोत्साहन" (vanishing promotion) की समस्या का कारण बनता है।

Stable AdaDPO:
उन लंबे अनुक्रमों (sequences) पर प्रशिक्षण अस्थिरता को संबोधित करने के लिए जहाँ टोकन-समड लॉग-प्रोबेबिलिटी अत्यधिक अनुपात उत्पन्न कर सकती है, लेखक एक लेंथ-नॉर्मलाइज्ड वेरिएंट पेश करते हैं जिसका उपयोग उनके मुख्य प्रयोगों में किया गया है। यह वेरिएंट प्रति-टोकन औसत लॉग-प्रोबेबिलिटी के आधार पर एडेप्टिव अनुपात की गणना करता है और एडेप्टिव गुणांक पर एक न्यूमेरिकल क्लिपिंग बाउंड ( $C=2.0$ ) लागू करता है। यह वेरिएंट मूल DPO हाइपरपैरामीटर संरचना को बनाए रखता है और इसमें केवल कोड के कुछ लाइनों के संशोधन की आवश्यकता होती है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक सुधार: पेपर कठोरता से DPO-शैली के लॉस में समान ग्रेडिएंट परिमाणों के लिए स्थिति को व्युत्पन्न करता है और सिद्ध करता है कि AdaDPO स्टॉप-ग्रेडिएंट ऑपरेटरों के माध्यम से इस स्थिति को सटीक रूप से संतुष्ट करता है, जो एक सिद्धांत-आधारित सुधार प्रदान करता है।
अनुभवजन्य प्रदर्शन (Empirical Performance): UltraFeedback डेटासेट पर प्रशिक्षित Llama-3-8B-Instruct पर, AdaDPO लगातार एक विस्तृत हाइपरपैरामीटर ग्रिड में मानक DPO से बेहतर प्रदर्शन करता है।
सामान्यीकरण (Generalizability): यह दिखाया गया है कि स्व-अनुकूलन (self-adaptive) सिद्धांत एक "ड्रॉप-इन" संशोधन है जिसे मौजूदा हाइपरपैरामीटर्स को बदले बिना SimPO, R-DPO, CPO, और ORPO सहित युग्मवार कंट्रास्टिव प्रिफरेंस लॉस (pairwise contrastive preference losses) के एक व्यापक परिवार पर लागू किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Llama-3-8B-Instruct और UltraFeedback डेटासेट का उपयोग करके लगभग SimPO के समान सेटअप का पालन करते हुए DPO और SFT बेसलाइन्स के मुकाबले AdaDPO का मूल्यांकन किया।

AlpacaEval 2 पर मुख्य निष्कर्ष:

लेंथ-कंट्रोल्ड विन रेट (LC): AdaDPO ने 48.3% का ग्लोबल बेस्ट LC प्राप्त किया (DPO के 46.4% के मुकाबले)।
रॉ विन रेट (WR): AdaDPO ने 46.1% का ग्लोबल बेस्ट WR प्राप्त किया (DPO के 44.5% के मुकाबले)।
हाइपरपैरामीटर मजबूती (Hyperparameter Robustness): 16 विभिन्न $(lr, \beta)$ $(l r, β)$ संयोजनों में:
- AdaDPO ने LC के संबंध में 81% संयोजनों में DPO को पछाड़ दिया।
- AdaDPO ने LC-over-WR मार्जिन (जो कम लेंथ बायस को दर्शाता है) को 88% संयोजनों में अधिक बनाया।
- AdaDPO ने उच्च गुणवत्ता बनाए रखते हुए कम औसत रिस्पॉन्स लेंथ प्राप्त की, जिससे पता चलता है कि लाभ वर्बोसिटी (verbosity) से प्रेरित नहीं हैं।

अन्य बेंचमार्क:

Arena-Hard: DPO ने मामूली रूप से उच्च रॉ विन रेट (42.9% बनाम 41.5%) दिखाया, लेकिन 95% कॉन्फिडेंस इंटरवल काफी हद तक ओवरलैप हुए, जो दर्शाता कि कोई सांख्यिकीय रूप से महत्वपूर्ण अंतर नहीं है।
MT-Bench: AdaDPO (8.03) मामूली रूप से DPO (8.01) से आगे निकल गया, एक अंतर जिसे लेखक बेंचमार्क के स्केल के रेजोल्यूशन से नीचे बताते हैं।

ऑप्टिमाइज़ेशन डायनेमिक्स:
AdaDPO ने DPO की तुलना में कम इवैल्यूएशन लॉस, उच्च रिवॉर्ड एक्यूरेसी और बड़े रिवॉर्ड मार्जिन का प्रदर्शन किया, जो पुष्टि करता है कि संतुलित ग्रेडिएंट अपडेट सीधे बेहतर एलाइनमेंट क्वालिटी में अनुवादित होते हैं।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि AdaDPO, DPO और इसके वेरिएंट की एक मौलिक संरचनात्मक खामी को संबोधित करता है: बढ़ावा देने के बजाय दमन (suppression) के माध्यम से सीखने की प्रवृत्ति।

सुधार का तंत्र: लेखक दावा करते हैं कि लेंथ-कंट्रोल्ड प्रदर्शन में देखा गया सुधार और लेंथ बायस में कमी, ग्रेडिएंट असंतुलन को ठीक करने के प्रत्यक्ष परिणाम हैं। पसंदीदा प्रतिक्रियाओं के लिए मजबूत सुदृढीकरण संकेत (reinforcement signal) सुनिश्चित करके, AdaDPO यह सुनिश्चित करता है कि अनुकूलन संकेत स्थिर न हो।
व्यावहारिकता: इसके लिए न तो नया डेटा संग्रह, न ही मॉडल आर्किटेक्चर में बदलाव, और न ही कोई संवेदनशील नया हाइपरपैरामीटर (मानक $\beta$ और एक मजबूत क्लिपिंग कांस्टेंट के अलावा) आवश्यक है। इसे अधिकतम प्रभाव के साथ एक न्यूनतम कोड परिवर्तन के रूप में प्रस्तुत किया गया है।
दायरा: लेखक अपने परिणामों को LLM Instruct सेटिंग में ऑफलाइन प्रिफरेंस ऑप्टिमाइज़ेशन के रूप में विनम्रतापूर्वक फ्रेम करते हैं। वे स्पष्ट रूप से कहते हैं कि क्रॉस-मॉडल वैलिडेशन, अन्य डेटासेट पर स्थानांतरण, और ऑनलाइन RL या सुरक्षा उद्देश्यों में विस्तार भविष्य का कार्य है, वर्तमान दावा नहीं।

निष्कर्षतः, पेपर का तर्क है कि ग्रेडिएंट बैलेंस, न कि सावधानीपूर्वक हाइपरपैरामीटर ट्यूनिंग, DPO-शैली के ऑब्जेक्टिव्स पर प्रदर्शन की प्राथमिक बाधा है, और AdaDPO इस समस्या के लिए एक सामान्य, सैद्धांतिक रूप से आधारित समाधान प्रदान करता है।