💬 NLP

Difficulty-Based Preference Data Selection by DPO Implicit Reward Gap

यह शोध पत्र डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) के लिए एक नवीन कठिनाई-आधारित डेटा चयन रणनीति प्रस्तुत करता है जो छोटे निहित रिवॉर्ड गैप्स के माध्यम से चुनौतीपूर्ण प्राथमिकता उदाहरणों की पहचान करता है, जिससे मौजूदा बेसलाइन की तुलना में मूल डेटा के केवल 10% का उपयोग करके मॉडल अलाइनमेंट दक्षता और प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Xuan Qi, Rongwu Xu, Zhijing Jin

प्रकाशित 2026-05-19

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Xuan Qi, Rongwu Xu, Zhijing Jin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन बहुत महंगे छात्र (एक लार्ज लैंग्वेज मॉडल) को मददगार, ईमानदार और सुरक्षित बनना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आप इस छात्र को फीडबैक के उदाहरणों का एक विशाल पुस्तकालय देंगे—हजारों ऐसी कहानियाँ जहाँ एक इंसान कहता है, "यह उत्तर अच्छा था, लेकिन वह वाला बुरा था।"

समस्या यह है कि यह पुस्तकालय बहुत बड़ा है। इसे पढ़ने में बहुत समय लगता है, बिजली का एक बड़ा खर्च आता है, और इसमें बहुत सारे उबाऊ या स्पष्ट उदाहरण शामिल होते हैं (जैसे "आसमान नीला है" बनाम "आसमान हरा है")। आपको स्पष्ट चीजों को सीखने की जरूरत नहीं है; आपको कठिन चीजों को सीखने की जरूरत है।

यह शोध पत्र इस विशाल पुस्तकालय में से केवल सबसे कठिन, सबसे मूल्यवान उदाहरणों को चुनने का एक चतुर नया तरीका पेश करता है, ताकि आपका छात्र मूल डेटा के एक बहुत छोटे हिस्से का उपयोग करके तेजी से और बेहतर तरीके से सीख सके।

मुख्य विचार: "टाइटरोप" (रस्सी पर चलने का) सादृश्य

छात्र की सीखने की प्रक्रिया को एक टाइटरोप (पतली रस्सी) पर चलने की तरह समझें।

आसान उदाहरण एक चौड़े, समतल फुटपाथ पर चलने की तरह हैं। छात्र जानता है कि उसे किस दिशा में जाना है। एक "अच्छे" उत्तर और एक "बुरे" उत्तर के बीच का अंतर बहुत बड़ा और स्पष्ट है।
कठिन उदाहरण एक पतली, डगमगाती रस्सी पर चलने की तरह हैं। "अच्छा" उत्तर और "बुरा" उत्तर एक-दूसरे के बहुत करीब हैं। छात्र अनिश्चित है कि उसे किस ओर झुकना चाहिए।

लेखकों ने महसूस किया कि सीखना तब होता है जब आप डगमगाती रस्सी पर होते हैं। जब छात्र इस बात को लेकर भ्रमित होता है कि कौन सा उत्तर बेहतर है, तभी उनका मस्तिष्क (मॉडल) सबसे अधिक काम करता है और सबसे अधिक सीखता है।

वे इसे कैसे करते हैं: "रिवॉर्ड गैप" (पुरस्कार अंतराल)

यह शोध पत्र DPO (डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन) नामक एक विशिष्ट गणितीय तकनीक का उपयोग करता है। हर उत्तर को ग्रेड देने के लिए एक अलग शिक्षक को काम पर रखने के बजाय, DPO मॉडल को एक छिपे हुए "स्कोर" का उपयोग करके स्वयं को ग्रेड देने की अनुमति देता है।

लेखक एक "छिपे हुए स्कोर" का उपयोग करके उदाहरण की कठिनाई को मापते हैं:

बड़ा गैप (अंतर): अच्छे उत्तर को 90 मिला, और बुरे उत्तर को 10 मिला। छात्र ठीक जानता है कि क्या करना है। यह एक आसान उदाहरण है।
छोटा गैप (अंतर): अच्छे उत्तर को 51 मिला, और बुरे उत्तर को 49 मिला। छात्र मुश्किल से सुनिश्चित है कि कौन सा बेहतर है। यह एक कठिन उदाहरण है।

रणनीति: उनकी विधि स्वचालित रूप से सभी आसान उदाहरणों (बड़े गैप वाले) को हटा देती है और केवल कठिन उदाहरणों (छोटे गैप वाले) को रखती है। वे इसे "इम्प्लिसिट रिवॉर्ड गैप" (अंतर्निहित पुरस्कार अंतराल) कहते हैं।

परिणाम: कम में अधिक करना

शोधकर्ताओं ने इस विचार का परीक्षण चार अलग-अलग विशाल डेटासेट्स पर किया। यहाँ क्या हुआ:

10% का नियम: उन्होंने मूल डेटा का केवल 10% लिया—वह 10% जो "टाइटरोप" वाले उदाहरण थे।
दिग्गजों को पछाड़ना: भले ही उन्होंने 90% कम डेटा का उपयोग किया, उनका मॉडल मूल डेटासेट के पूरे डेटा के साथ प्रशिक्षित मॉडलों के समान या उससे भी बेहतर प्रदर्शन करता है।
अन्य फिल्टरों को पछाड़ना: उन्होंने अपने तरीके की तुलना डेटा चुनने के पांच अन्य लोकप्रिय तरीकों (जैसे यादृच्छिक उदाहरण चुनना या सबसे विविध उदाहरण चुनना) से की। उनके "कठिन उदाहरण" वाले तरीके ने लगभग हर बार जीत हासिल की।

यह क्यों मायने रखता है (पेपर के अनुसार)

दक्षता (Efficiency): आपको टेराबाइट्स डेटा प्रोसेस करने की आवश्यकता नहीं है। आप "चुनिंदा बेहतरीन" (कठिन प्रश्नों) को चुन सकते हैं और बहुत तेजी से प्रशिक्षण ले सकते हैं।
बेहतर सीखना: कठिन क्षणों पर ध्यान केंद्रित करके, आप मॉडल को केवल स्पष्ट तथ्यों को याद करने के बजाय मानवीय पसंद की बारीकियों को सीखने के लिए मजबूर करते हैं।
मजबूती (Robustness): यह काम करता है चाहे डेटा मनुष्यों द्वारा लिखा गया हो या अन्य कंप्यूटरों द्वारा उत्पन्न किया गया हो, और यह तब भी काम करता है जब आप उत्तरों की लंबाई के लिए समायोजन नहीं करते हैं।

संक्षेप में

यदि AI को प्रशिक्षित करना एक फाइनल परीक्षा के लिए अध्ययन करने जैसा है, तो अधिकांश लोग पूरी पाठ्यपुस्तक को शुरू से अंत तक पढ़ने की कोशिश करते हैं। यह शोध पत्र कहता है: "आसान अध्यायों की चिंता न करें। उन विशिष्ट प्रश्नों को खोजें जिन्हें आप बार-बार गलत कर रहे हैं, और केवल उन्हीं का अध्ययन करें।"

ऐसा करके, AI बहुत कम समय और लागत में उतना ही (या अधिक) सीखता है। लेखक इस "कठिन परिश्रम करने के बजाय स्मार्ट तरीके से पढ़ाई करने" के दृष्टिकोण को आज़माने के लिए "परीक्षा प्रश्न" (कोड और डेटा) प्रदान करते हैं।

तकनीकी सारांश: DPO इम्पलिसिट रिवॉर्ड गैप द्वारा कठिनाई-आधारित प्राथमिकता डेटा चयन

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) को मानव प्राथमिकताओं के साथ संरेखित (align) करना AI अनुसंधान में एक महत्वपूर्ण चुनौती है। जबकि RLHF और DPO जैसी विधियाँ प्रभावी हैं, वे आमतौर पर विशाल और महंगी प्राथमिकता डेटासेट्स पर निर्भर करती हैं। जैसे-जैसे ये डेटासेट्स लाखों उदाहरणों तक बढ़ते हैं, इनमें अक्सर निम्न-गुणवत्ता वाले या दोहराव वाले डेटा बिंदु शामिल होते हैं, जो एक कम्प्यूटेशनल बोझ पैदा करते हैं। LLM प्रशिक्षण के लिए मौजूदा डेटा चयन पद्धतियाँ मुख्य रूप से इंस्ट्रक्शन फाइन-ट्यूनिंग (IFT) डेटासेट्स को लक्षित करती हैं, न कि प्राथमिकता डेटासेट्स को। प्राथमिकता डेटा की एक अनूठी संरचना होती है (निर्देश के साथ चुना गया और अस्वीकार किया गया रिस्पॉन्स), जो कई IFT-उन्मुख चयन एल्गोरिदम को उप-इष्टतम (suboptimal) बना देती है। फलस्वरूप, क्षेत्र में विशेष रूप से उच्च-गुणवत्ता वाले प्राथमिकता डेटा के उपसमुच्चय (subsets) चुनने के लिए प्रभावी, सैद्धांतिक रूप से सुदृढ़ एल्गोरिदम का अभाव है।

कार्यप्रणाली (Methodology)
लेखक विशेष रूप से प्राथमिकता डेटासेट्स के लिए एक नवीन, कठिनाई-आधारित डेटा चयन रणनीति प्रस्तावित करते हैं, जो DPO के इम्पलिसिट रिवॉर्ड मैकेनिज्म पर आधारित है।

DPO इम्पलिसिट रिवॉर्ड गैप के माध्यम से कठिनाई को परिभाषित करना:
मुख्य अंतर्दृष्टि यह है कि वे प्राथमिकता उदाहरण जहाँ मॉडल चुने गए ( $y_w$ ) और अस्वीकार किए गए ( $y_l$ ) रिस्पॉन्स के बीच अंतर करने में संघर्ष करता है, वे उच्च सीखने की क्षमता वाले "बाउंड्री केस" (boundary cases) का प्रतिनिधित्व करते हैं। एक डेटा बिंदु की कठिनाई को DPO इम्पलिसिट रिवॉर्ड गैप ( $\Delta r_{DPO}$ ) द्वारा मापा जाता है:
$\Delta r_{DPO}(x, y_w, y_l) = r_{DPO}(x, y_w) - r_{DPO}(x, y_l)$
जहाँ $r_{DPO}$ एक प्री-एलाइन्ड DPO पॉलिसी ( $\pi_\theta$ ) और एक रेफरेंस पॉलिसी ( $\pi_{ref}$ ) से प्राप्त इम्पलिसिट रिवॉर्ड है।
सैद्धांतिक औचित्य:
पेपर छोटे रिवॉर्ड गैप और बड़े लर्निंग सिग्नल के बीच संबंध स्थापित करने वाला एक सैद्धांतिक औचित्य प्रदान करता है। DPO लॉस फंक्शन के ग्रेडिएंट विश्लेषण के माध्यम से, लेखक प्रदर्शित करते हैं कि जब रिवॉर्ड गैप शून्य के करीब होता है (विशेष रूप से जब प्राथमिकता प्रायिकता 0.5 के पास होती है), तो ग्रेडिएंट मैग्नीट्यूड अधिकतम होता है। यह इंगित करता है कि छोटे गैप वाले उदाहरण अधिक मजबूत ऑप्टिमाइज़ेशन ग्रेडिएंट और उच्च सूचना सामग्री (अधिकतम एंट्रॉपी) प्रदान करते हैं, जिससे वे प्रशिक्षण के लिए अधिक मूल्यवान बन जाते हैं।
तीन-चरणीय चयन रणनीति:

चरण 1 (गणना): एक प्री-एलाइन्ड DPO पॉलिसी मॉडल और उसके संगत रेफरेंस पॉलिसी का उपयोग करके सभी प्राथमिकता युग्मों के लिए DPO इम्पलिसिट रिवॉर्ड गैप की गणना करें।
चरण 2 (रैंकिंग): अपने रिवॉर्ड गैप के बढ़ते क्रम (ascending order) में सभी उदाहरणों को रैंक करें। कम गैप (उच्च कठिनाई) वाले उदाहरणों को प्राथमिकता दी जाती है।
चरण 3 (चयन): उस डेटा के उपसमुच्चय (subset) का चयन करें जहाँ रिवॉर्ड गैप एक पूर्व-निर्धारित थ्रेशोल्ड $\tau$ (या शीर्ष $\rho$ पर्सेंटाइल) से नीचे आता है। लेखक अनुभवजन्य रूप से 10% और 15% के बीच एक इष्टतम चयन अनुपात पाते हैं।

प्रमुख योगदान

नवीन चयन विधि: यह पेपर विशेष रूप से प्राथमिकता डेटासेट्स के लिए तैयार की गई पहली कठिनाई-आधारित डेटा चयन विधि पेश करता है, जो नमूना कठिनाई को मापने के लिए DPO इम्पलिसिट रिवॉर्ड गैप का उपयोग करती है।
सैद्धांतिक आधार: यह ग्रेडिएंट विश्लेषण के माध्यम से एक कठोर सैद्धांतिक औचित्य प्रदान करता है, जो दिखाता है कि छोटे रिवॉर्ड गैप बड़े ग्रेडिएंट मैग्नीट्यूड और उच्च सीखने की क्षमता के अनुरूप होते हैं।
अनुभवजन्य सत्यापन: चार विविध प्राथमिकता डेटासेट्स (SHP, Skywork, UltraFeedback, RLHFlow) और दो एलाइनमेंट कार्यों (रिवॉर्ड मॉडल ट्रेनिंग और DPO पॉलिसी फाइन-ट्यूनिंग) पर व्यापक प्रयोग इस विधि की प्रभावकारिता को प्रदर्शित करते हैं।
मजबूती विश्लेषण (Robustness Analysis): अध्ययन विभिन्न सेलेक्टर मॉडल्स के बीच इस विधि की मजबूती की पुष्टि करता है, इष्टतम डेटा चयन अनुपात (10-15%) की पहचान करता है, और लेंथ नॉर्मलाइजेशन के बिना भी प्रभावशीलता दिखाता है।

परिणाम
प्रस्तावित विधि कई डेटासेट्स और कार्यों में पांच मजबूत बेसलाइन्स (Random, ZIP, DiverseEvol, और SDPO सहित) को लगातार पछाड़ती है।

डेटा दक्षता: यह विधि मूल प्रशिक्षण डेटा के केवल 10% का उपयोग करके बेहतर या तुलनीय प्रदर्शन प्राप्त करती है।
पूर्ण सेट बनाम प्रदर्शन: 67.5% से अधिक मामलों में (रिवॉर्ड मॉडल ट्रेनिंग) और 88% मामलों में (DPO फाइन-ट्यूनिंग), चयनित 10% उपसमुच्चय पर प्रशिक्षित मॉडल, पूर्ण डेटासेट पर प्रशिक्षित मॉडलों से बेहतर प्रदर्शन करता है।
बेसलाइन तुलना: यह दृष्टिकोण समान डेटा बजट का उपयोग करने वाली अन्य डेटा चयन विधियों से काफी आगे है।
दक्षता: एंड-टू-एंड वॉल-क्लॉक टाइम विश्लेषण दिखाता है कि पूर्ण-डेटा DPO प्रशिक्षण की तुलना में प्रशिक्षण समय में 34.1% की कमी आती है, क्योंकि चयनित उपसमुच्चय तेजी से अभिसरण (convergence) की ओर ले जाता है।

महत्व और दावे
पेपर दावा करता है कि यह सीमित संसाधनों के साथ LLM एलाइनमेंट को स्केल करने के लिए एक सिद्धांतवादी और कुशल समाधान प्रदान करता है। छोटे रिवॉर्ड गैप द्वारा परिभाषित "कठिन" उदाहरणों पर ध्यान केंद्रित करके, यह विधि प्रति डेटा पॉइंट लर्निंग सिग्नल को अधिकतम करती है। लेखक इसे मॉडल की सुरक्षा और उपयोगिता (helpfulness) को बनाए रखते हुए या उसमें सुधार करते हुए, कम्प्यूटेशनल लागत और पर्यावरणीय प्रभाव को कम करने की दिशा में एक महत्वपूर्ण कदम के रूप में देखते हैं। यह कार्य रेखांकित करता है कि उच्च-गुणवत्ता वाला प्राथमिकता डेटा चयन केवल मात्रा को कम करने के बारे में नहीं है, बल्कि मॉडल सुधार के लिए सबसे अधिक सूचनात्मक बाउंड्री केसों को क्यूरेट करने के बारे में है।

लेखकों द्वारा स्वीकार की गई सीमाएं
लेखक नोट करते हैं कि विधि के लिए कठिनाई गणना के लिए एक प्री-ट्रेंड DPO पॉलिसी और रेफरेंस मॉडल तक पहुंच की आवश्यकता होती है, जो संसाधन-बाधित सेटिंग्स में एक बाधा हो सकती है। इसके अतिरिक्त, प्रभावकारिता सेलेक्टर मॉडल्स की गुणवत्ता पर निर्भर करती है; यदि ये मॉडल पक्षपाती (biased) हैं, तो चयनित डेटा उन पूर्वाग्रहों को विरासत में प्राप्त कर सकता है। इष्टतम चयन अनुपात विशिष्ट डेटासेट विशेषताओं और डाउनस्ट्रीम कार्यों के आधार पर भिन्न हो सकता है, और वर्तमान दृष्टिकोण अनुकूल (adaptive) या पुनरावृत्ति (iterative) रणनीतियों के बजाय सिंगल-स्टेज चयन पर केंद्रित है।

मुख्य विचार: "टाइटरोप" (रस्सी पर चलने का) सादृश्य

वे इसे कैसे करते हैं: "रिवॉर्ड गैप" (पुरस्कार अंतराल)

परिणाम: कम में अधिक करना

यह क्यों मायने रखता है (पेपर के अनुसार)

संक्षेप में

इसी तरह के और पेपर