💬 NLP

SP^2DPO: An LLM-assisted Semantic Per-Pair DPO Generalization

यह शोध पत्र SP^2DPO को प्रस्तुत करता है, जो एक LLM-सहायता प्राप्त विधि है जो डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (Direct Preference Optimization) का सामान्यीकरण करती है, जिसमें एक एकल वैश्विक तापमान (global temperature) के स्थान पर ऑफलाइन सिमेंटिक-गैप एनोटेशन से प्राप्त इंस्टेंस-विशिष्ट शेड्यूल्स का उपयोग किया जाता है, जिससे बिना किसी प्रशिक्षण-समय ओवरहेड के AlpacaEval 2.0 पर लेंथ-कंट्रोल्ड विन रेट्स में सुधार होता है।

मूल लेखक: Chaoyue He, Xin Zhou, Di Wang, Hong Xu, Wei Liu, Chunyan Miao

प्रकाशित 2026-02-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chaoyue He, Xin Zhou, Di Wang, Hong Xu, Wei Liu, Chunyan Miao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (एक Large Language Model) को बेहतर उत्तर लिखना सिखा रहे हैं, इसके लिए उन्हें "अच्छे" बनाम "बुरे" उदाहरण दिखा रहे हैं। यह DPO (Direct Preference Optimization) नामक विधि का मूल है।

मानक संस्करण में, शिक्षक पूरे क्लास के लिए एक ही निश्चित "वॉल्यूम नॉब" (जिसे बीटा, $\beta$ कहा जाता है) का उपयोग करता है। यह नॉब इस बात को नियंत्रित करता है कि छात्र को अपनी प्रतिक्रिया बदलने के लिए कितनी कड़ी मेहनत करनी चाहिए।

समस्या: पेपर का तर्क है कि यह इस बात की तरह है जैसे कि हर गलती के बावजूद सबको एक ही वॉल्यूम पर चिल्लाना। यदि कोई छात्र कुछ खतरनाक लिखता है (जैसे बम कैसे बनाया जाए), तो आपको जोर से "रुक जाओ!" चिल्लाना होगा। लेकिन अगर किसी छात्र ने बस थोड़ा उबाऊ लहजा इस्तेमाल किया है, तो एक हल्का सा "शायद इसे ऐसे आजमाएं" काफी है। मानक DPO दोनों गलतियों के साथ एक ही वॉल्यूम का उपयोग करता है, जो अक्षम और कभी-कभी भ्रमित करने वाला है।

पेश है SP2DPO (Semantic Per-Pair DPO)।

SP2DPO को एक विशेषज्ञ संपादकों की टीम (जिन्हें "टीचर LLMs" कहा जाता है) को नियुक्त करने के रूप में समझें जो छात्र के अध्ययन शुरू करने से पहले उनके हर होमवर्क असाइनमेंट की समीक्षा करते हैं।

रचनात्मक उपमा: "स्मार्ट सिलेबस" (The Smart Syllabus)

कल्पना कीजिए कि आप एथलीटों को प्रशिक्षित करने वाले एक कोच हैं।

Standard DPO एक नियम रखने जैसा है: "तेज़ दौड़ो!" हर एक ड्रिल के लिए, चाहे एथलीट स्प्रिंटिंग कर रहा हो या स्ट्रेचिंग।
SP2DPO एक ऐसे कोच की तरह है जो हर विशिष्ट ड्रिल को देखता है और एक व्यक्तिगत तीव्रता स्तर (personalized intensity level) निर्धारित करता है।
- उच्च-तीव्रता वाली ड्रिल (सुरक्षा/तथ्यात्मकता): कोच देखता है कि एथलीट एक दीवार से टकराने वाला है (एक सुरक्षा उल्लंघन या झूठ)। वे एक उच्च तीव्रता (High Intensity) सेटिंग असाइन करते हैं। एथलीट को तुरंत और नाटकीय रूप से अपना रास्ता बदलना होगा।
- कम-तीव्रता वाली ड्रिल (शैली/विनम्रता): कोच देखता है कि एथलीट ने बस गलत रंग के मोजे पहने हैं (एक शैली संबंधी पसंद)। वे एक कम तीव्रता (Low Intensity) सेटिंग असाइन करते हैं। एथलीट एक छोटा, कोमल समायोजन करता है।

यह कैसे काम करता है (The "Offline" Magic)

पेपर इस बात का तरीका बताता है कि प्रशिक्षण को धीमा किए बिना इसे कैसे किया जाए:

प्री-गेम मीटिंग (Offline): प्रशिक्षण शुरू होने से पहले, विशेषज्ञ संपादक (Teacher LLMs) 60,000 उदाहरणों के पूरे डेटासेट को पढ़ते हैं। वे केवल "अच्छा" या "बुरा" नहीं कहते। वे त्रुटि को वर्गीकृत करते हैं:
- क्या यह एक सुरक्षा (Safety) मुद्दा है? (उच्च प्राथमिकता)
- क्या यह एक तथ्यात्मक (Factual) त्रुटि है? (उच्च प्राथमिकता)
- क्या यह सिर्फ एक शैली (Style) की पसंद है? (कम प्राथमिकता)
- वे इस निर्णय में कितने आश्वस्त (Confident) हैं?
कस्टम प्लेलिस्ट (The Custom Playlist): इस विश्लेषण के आधार पर, वे प्रशिक्षण सत्र के लिए एक "प्लेलिस्ट" बनाते हैं। प्रत्येक गाने (डेटा पेयर) को अपना वॉल्यूम सेटिंग ( $\beta_i$ ) मिलता है।
- खतरनाक त्रुटियों के लिए तेज़ वॉल्यूम।
- मामूली त्रुटियों के लिए धीमा वॉल्यूम।
- यह प्लेलिस्ट एक फ़ाइल के रूप में सहेजी जाती है। यह एक "डेटा आर्टिफैक्ट" है, जिसका अर्थ है कि यह निर्णयों का एक स्थायी रिकॉर्ड है।
प्रशिक्षण सत्र (Online): छात्र मॉडल प्रशिक्षण शुरू करता है। यह बिल्कुल उसी मानक सॉफ़्टवेयर का उपयोग करता है जैसा कि पहले था। एकमात्र अंतर यह है कि एक वैश्विक वॉल्यूम नॉब का उपयोग करने के बजाय, सॉफ़्टवेयर प्लेलिस्ट को पढ़ता है और जैसे-जैसे प्रत्येक उदाहरण आता है, वॉल्यूम को ऊपर या नीचे करता है।

यह एक बड़ी बात क्यों है (पेपर के अनुसार)

यह केवल "वेटिंग" (Weighting) नहीं है: पेपर गणितीय रूप से सिद्ध करता है कि वॉल्यूम नॉब ( $\beta$ ) को बदलना केवल किसी गलती की "महत्व" को बढ़ाने से अलग है। वॉल्यूम बदलने से वास्तव में सीखने के वक्र (learning curve) का आकार बदल जाता है, जिससे मॉडल अपनी ऊर्जा ठीक वहीं केंद्रित करने में सक्षम होता है जहाँ उसकी सबसे अधिक आवश्यकता होती है (निर्णय सीमा या "decision boundary" के पास)।
प्रशिक्षण के दौरान शून्य अतिरिक्त लागत: क्योंकि "प्लेलिस्ट" पहले ही बना ली गई है, वास्तविक प्रशिक्षण प्रक्रिया मानक विधि जितनी ही तेज़ है। मॉडल सीखते समय किसी अतिरिक्त कंप्यूटिंग पावर की आवश्यकता नहीं होती है।
बेहतर परिणाम: चार अलग-अलग ओपन-सोर्स मॉडलों पर परीक्षण किए जाने पर, इस विधि ने मानक विधि के समान या उससे बेहतर प्रदर्शन किया, जहाँ शोधकर्ताओं को प्रत्येक मॉडल के लिए मैन्युअल रूप से सबसे अच्छा "ग्लोबल वॉल्यूम" अनुमान लगाना पड़ता था। इसने मॉडल की निर्देशों का पालन करने की क्षमता में सुधार किया बिना व्यक्तिपरक प्राथमिकताओं से भ्रमित हुए।

निचोड़ (The Bottom Line)

यह पेपर AI को सिखाने के तरीके में एक बदलाव का प्रस्ताव देता है। फीडबैक के लिए "एक ही आकार सबके लिए उपयुक्त" (one-size-fits-all) दृष्टिकोण के बजाय, हमें स्मार्ट, पूर्व-नियोजित फीडबैक का उपयोग करना चाहिए जो जीवन-मरण की त्रुटि और एक मामूली शैलीगत विचित्रता के बीच अंतर जानता हो। यह जानकर कि AI "शिक्षकों" को पहले डेटा का ऑडिट करने दें और कस्टम लर्निंग इंटेंसिटी असाइन करने दें, हम बिना प्रक्रिया को धीमा किए स्मार्ट, सुरक्षित और अधिक कुशल मॉडल बना सकते हैं।

तकनीकी सारांश: SP2DPO

समस्या विवरण

डायरेक्ट प्रिफरेंस ऑप्टिमाइजेशन (DPO) लार्ज लैंग्वेज मॉडल्स (LLMs) को अलाइन करने के लिए रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) के एक स्थिर, रिवॉर्ड-मॉडल-मुक्त विकल्प के रूप में उभरा है। हालाँकि, मानक DPO एक महत्वपूर्ण सरलीकरण पर निर्भर करता है: यह प्रत्येक प्रिफरेंस पेयर (preference pair) के लिए रिवॉर्ड मैक्सिमाइजेशन और रेफरेंस मॉडल डाइवर्जेंस के बीच संतुलन को नियंत्रित करने के लिए एक एकल, ग्लोबल टेम्परेचर हाइपरपैरामीटर ( $\beta$ ) का उपयोग करता है।

यह ग्लोबल $\beta$ अप्रत्यक्ष रूप से पूरे प्रिफरेंस कॉर्पस में एक समान सिग्नल-टू-नॉइज़ रेशियो (signal-to-noise ratio) का अनुमान लगाता है। वास्तव में, वास्तविक दुनिया के अलाइनमेंट डेटासेट्स (जैसे UltraFeedback) विषम मिश्रण होते हैं जिनमें शामिल हैं:

हाई-सिग्नल, ऑब्जेक्टिव फेलियर्स: सुरक्षा उल्लंघन (safety violations), तथ्यात्मक मतिभ्रम (factual hallucinations), और इंस्ट्रक्शन उल्लंघन।
लो-सिग्नल या सब्जेक्टिव डिस्टिंक्शन: शैलीगत प्राथमिकताएं (stylistic preferences), टोन, और वर्बोसिटी (verbosity)।
लेबल नॉइज़: अस्पष्ट या संभावित रूप से गलत लेबल किए गए पेयर्स।

इन विविध पेयर्स को एक ही $\beta$ के साथ समान रूप से व्यवहार करना विभिन्न महत्वपूर्ण सेमान्टिक गैप्स (semantic gaps) के महत्व और विश्वसनीयता को समझने में विफल रहता है। इसके अलावा, एक ग्लोबल $\beta$ को ट्यून करने के लिए आमतौर पर महंगे प्रति-मॉडल स्वीप्स (per-model sweeps) की आवश्यकता होती है, और साधारण इंस्टेंस वेटिंग (लॉस को स्केल करना) टेम्परेचर को एडजस्ट करने के समान तरीके से ऑप्टिमाइजेशन ज्योमेट्री को मौलिक रूप से नहीं बदलता है।

कार्यप्रणाली: SP2DPO

लेखक SP2DPO (सेमान्टिक पर-पेयर DPO) का प्रस्ताव करते हैं, जो एक सामान्यीकरण है जो स्टेटिक ग्लोबल $\beta$ को एक इंस्टेंस-विशिष्ट शेड्यूल $\{\beta_i\}$ से बदल देता है। यह दृष्टिकोण अलाइनमेंट स्ट्रेंथ के नियंत्रण को ऑनलाइन हाइपरपैरामीटर ट्यूनिंग समस्या से हटाकर ऑफलाइन, ऑडिट करने योग्य डेटा एनोटेशन कार्य में स्थानांतरित करता है।

मुख्य तंत्र

ऑफलाइन सेमान्टिक एनोटेशन: प्रशिक्षण से पहले, एक "टीचर" एन्सेम्बल (ensemble) ऑफ LLMs प्रत्येक प्रिफरेंस पेयर $(x_i, y_{w,i}, y_{l,i})$ का विश्लेषण करता है। रॉ $\beta$ आउटपुट करने के बजाय, एनोटेटर एक स्ट्रक्चर्ड सेमान्टिक गैप टुपल (tuple) तैयार करते हैं:
- कैटेगरी ( $S^c_G$ ): प्रमुख सेमान्टिक अंतर (जैसे सेफ्टी, फैक्टुअलिटी, इंस्ट्रक्शन, रीजनिंग, हेल्पफुलनेस, स्टाइल)। एक सख्त प्राथमिकता क्रम लागू किया जाता है ( $Safety \succ Factuality \succ \dots \succ Style$ )।
- मैग्निट्यूड ( $S^m_G$ ): सेमान्टिक अंतर की शक्ति ( $[0, 1]$ )।
- कॉन्फिडेंस ( $S^{cf}_G$ ): एनोटेटर की निश्चितता कि गैप वास्तविक है और प्रिफरेंस दिशा वस्तुनिष्ठ रूप से न्यायसंगत है ( $[0, 1]$ )।
टेम्परेचर में नियत मैपिंग (Deterministic Mapping): प्रभावी सेमान्टिक गैप $S^{eff}_G = S^m_G \cdot S^{cf}_G$ के रूप में गणना किया जाता है। इस मान को एक रूढ़िवादी स्थिरता एनवेलप (stability envelope) $[\beta_{min}, \beta_{max}]$ (विशेष रूप से $[0.03, 0.3]$ ) के भीतर एक प्रति-पेयर टेम्परेचर $\beta_i$ में नियत रूप से मैप किया जाता है:
$\beta_i = \beta_{min} + (\beta_{max} - \beta_{min}) \cdot \text{clip}(S^{eff}_G, 0, 1)$
हाई-कॉन्फिडेंस, हाई-मैग्निट्यूड गैप्स (जैसे सुरक्षा उल्लंघन) उच्च $\beta_i$ (मजबूत अपडेट) प्राप्त करते हैं, जबकि अस्पष्ट या कम दांव वाले शैलीगत अंतरों को कम $\beta_i$ (रूढ़िवादी अपडेट) प्राप्त होते हैं।
मजबूत एन्सेम्बलिंग (Robust Ensembling): प्रॉम्प्ट सेंसिटिविटी और एनोटेटर बायस को कम करने के लिए, यह विधि एक पदानुक्रमित एकत्रीकरण रणनीति (hierarchical aggregation strategy) का उपयोग करती है:
- मल्टी-प्रॉम्प्ट: प्रत्येक एनोटेटर पेयर को कई प्रॉम्प्ट वेरिएंट्स (कंजर्वेटिव, यूटिलिटी-फोक्स्ड, रिलेटिव कैलिब्रेशन) के साथ क्वेरी करता है, और मीडियन प्रभावी गैप लिया जाता है।
- मल्टी-एनोटेटर: कई विविध टीचर LLMs (Qwen-Max, GPT-5-mini, Gemini-2.0-Flash) का उपयोग किया जाता है, और उनके परिणामी टेम्परेचर्स का औसत निकाला जाता है।
ट्रेनिंग: स्टूडेंट मॉडल को मानक DPO अपडेट का उपयोग करके प्रशिक्षित किया जाता है, लेकिन ग्लोबल $\beta$ को प्रत्येक बैच के लिए प्री-कंप्यूटेड $\beta_i$ द्वारा बदल दिया जाता है। इसमें जीरो ट्रेनिंग-टाइम ओवरहेड होता है और इसके लिए ऑप्टिमाइज़र या लर्निंग रेट शेड्यूल्स में किसी बदलाव की आवश्यकता नहीं होती है।

सैद्धांतिक अंतर

पेपर यह सिद्ध करता है कि प्रति-पेयर टेम्परेचर $\beta_i$ पूरी तरह से प्रति-उदाहरण लॉस वेटिंग ( $w_i L_{DPO}$ ) के समकक्ष नहीं है।

लॉस वेटिंग: ग्रेडिएंट मैग्नीट्यूड को रैखिक रूप से स्केल करता है लेकिन लॉस ज्योमेट्री (कर्वेचर) को स्थिर रखता है।
प्रति-पेयर टेम्परेचर: सिग्मॉइड फंक्शन $\sigma(-\beta_i \Delta \hat{r}_i)$ के कर्वेचर को संशोधित करता है। उच्च $\beta_i$ सिग्मॉइड को तीव्र बनाता है, जिससे सूचनात्मक पेयर्स के लिए निर्णय सीमा (decision boundary) के पास ग्रेडिएंट मास केंद्रित होता है, जबकि बड़े मार्जिन के लिए अधिक आक्रामक रूप से संतृप्त (saturate) होता है। यह SP2DPO को पेयर के डाइडैक्टिक (didactic) मूल्य के आधार पर ऑप्टिमाइजेशन ज्योमेट्री को गतिशील रूप से नियंत्रित करने की अनुमति देता है।

मुख्य योगदान

पैराडाइम शिफ्ट (अलाइनमेंट प्रोसेस ऑप्टिमाइजेशन): लेखक ऑफलाइन एनफोर्समेंट प्री-डिसीजन और ऑनलाइन ट्रेनिंग के अलगाव को औपचारिक रूप देते हैं। कंट्रोल वेरिएबल्स को नाजुक हाइपरपैरामीटर ट्यूनिंग से हटाकर वर्जन-नियंत्रित, ऑडिट करने योग्य डेटा आर्टिफैक्ट्स ( $\{\beta_i\}$ ) में स्थानांतरित कर दिया गया है।
सैद्धांतिक सूत्रीकरण (Theoretical Formulation): प्रति-इंस्टेंस टेम्परेचर $\beta_i$ के साथ DPO का एक सामान्यीकरण, जो एक प्रमाण प्रस्तुत करता है कि यह लॉस रीवेटिंग के समान नहीं है क्योंकि यह लॉस कर्वेचर और सैचुरेशन पर प्रभाव डालता है।
विधि (SP2DPO): टीचर LLM एन्सेम्बलिंग (मल्टी-प्रॉम्प्ट, मल्टी-एनोटेटर) के माध्यम से $\beta_i$ प्राप्त करने के लिए एक मजबूत पाइपलाइन, जिसमें कोई ट्रेनिंग-टाइम ओवरहेड नहीं है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): चार ओपन-वेट बैकबोन (4B–8B) पर AlpacaEval 2.0 (AE2) पर अल्ट्राफीडबैक कॉर्पस (59,960 पेयर्स) पर एक बड़े पैमाने पर इंस्टेंशिएशन।

प्रयोगात्मक परिणाम

अध्ययन AlpacaEval 2.0 (AE2) पर केंद्रित है, जो LLM जज में लेंथ बायस (length bias) को कम करने के लिए रॉ विन रेट (WR%) और लेंथ-कंट्रोल्ड विन रेट (LC%) दोनों की रिपोर्ट करता है।

ट्यून्ड DPO बनाम प्रदर्शन: SP2DPO एक ट्यून्ड ग्लोबल- $\beta$ $β$ DPO बेसलाइन (जो $\beta \in \{0.1, 0.3, 0.5\}$ $β \in {0.1, 0.3, 0.5}$ का स्वीप करता है) के प्रतिस्पर्धी है।
- Gemma-3-4B-IT पर, सर्वश्रेष्ठ सेमान्टिक शेड्यूल ने LC को 41.08 (ट्यून्ड DPO) से बढ़ाकर 42.15 (+1.07) कर दिया।
- Qwen3-4B-Instruct पर, SP2DPO ने ट्यून्ड DPO LC (7.55 बनाम 7.45) के बराबर प्रदर्शन किया।
- Llama-3.1-8B-Instruct पर, SP2DPO (JMAMP कॉन्फ़िगरेशन) ने 34.19 LC प्राप्त किया, जो ट्यून्ड बेसलाइन (34.80) के 0.61 अंक के भीतर है।
दक्षता: SP2DPO बिना प्रति-मॉडल $\beta$ स्वीप के, एक निश्चित ऑफलाइन शेड्यूल का उपयोग करके ये परिणाम प्राप्त करता है।
सेमान्टिक बनाम रैंडम: एक कंट्रोल एक्सपेरिमेंट जिसने रैंडम प्रति-पेयर टेम्परेचर (Rand- $\beta_i$ ) का उपयोग किया, उसने दिखाया कि जबकि रैंडम वेरिएशन रॉ विन रेट को बदल सकता है, इसने लगातार लेंथ-कंट्रोल्ड विन रेट में सुधार नहीं किया, जो गुणवत्ता सुधार के लिए सेमान्टिक ग्राउंडिंग के महत्व को रेखांकित करता है।
मजबूती (Robustness): "JMAMP" (जॉइंट मल्टी-एनोटेटर मल्टी-प्रॉम्प्ट) कॉन्फ़िगरेशन ने एक स्थिर डिफॉल्ट प्रदान किया जो विभिन्न बैकबोन के लिए सर्वश्रेष्ठ सिंगल-टीचर कॉन्फ़िगरेशन के करीब प्रदर्शन करता है।

महत्व और दावे

पेपर दावा करता है कि SP2DPO यह प्रदर्शित करता है कि सार्थक अलाइनमेंट कंट्रोल को नाजुक हाइपरपैरामीटर ट्यूनिंग से ऑडिट करने योग्य, पुन: प्रयोज्य डेटा आर्टिफैक्ट्स में स्थानांतरित किया जा सकता है।

ऑडिटेबिलिटी (Auditability): एनफोर्समेंट स्ट्रेंथ को एक पूर्व-निर्धारित डेटा एट्रिब्यूट बनाकर, जो स्ट्रक्चर्ड सेमान्टिक विश्लेषण से प्राप्त होता है, अलाइनमेंट प्रक्रिया अधिक पारदर्शी और पुनरुत्पादक (reproducible) हो जाती है।
जीरो ओवरहेड: यह मानक DPO ट्रेनिंग लूप को सुरक्षित रखता है, जिसमें ऑप्टिमाइजेशन चरण के दौरान अतिरिक्त कंप्यूट की आवश्यकता नहीं होती है।
सेमान्टिक अवेयरनेस: यह प्रिफरेंस डेटा की विषमता को संबोधित करता है, जो हाई-सिग्नल एरर्स (सेफ्टी, फैक्टुअलिटी) के लिए मजबूत अपडेट और व्यक्तिपरक या शोर वाले अंतरों के लिए कमजोर अपडेट लागू करके, सैद्धांतिक रूप से सैंपल एफिशिएंसी और अलाइनमेंट क्वालिटी में सुधार करता है।

लेखक इसके दायरे के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनका मूल्यांकन सामान्य इंस्ट्रक्शन-फॉलोइंग (AE2) पर केंद्रित है और व्यापक सुरक्षा कवरेज या सभी डोमेन-विशिष्ट सेटिंग्स में प्रदर्शन का दावा नहीं करता है। वे इस बात पर जोर देते हैं कि विधि टीचर LLMs की गुणवत्ता पर निर्भर करती है और एनोटेशन पाइपलाइन में व्यवस्थित पूर्वाग्रह (systematic biases) स्टूडेंट मॉडल में विरासत में मिल सकते हैं।