📊 statistics

Relative Density Ratio Optimization for Stable and Statistically Consistent Model Alignment

यह शोध पत्र पसंदीदा डेटा और पसंदीदा एवं गैर-पसंदीदा डेटा के मिश्रण के बीच सापेक्ष घनत्व अनुपात (relative density ratio) को अनुकूलित करने पर आधारित एक नवीन, स्थिर और सांख्यिकीय रूप से सुसंगत भाषा मॉडल संरेखण विधि प्रस्तावित करता है, जो मौजूदा प्रत्यक्ष घनत्व अनुपात अनुकूलन दृष्टिकोणों में पाई जाने वाली प्रशिक्षण अस्थिरता और विचलन संबंधी समस्याओं को प्रभावी ढंग से दूर करता है।

मूल लेखक: Hiroshi Takahashi, Tomoharu Iwata, Atsutoshi Kumagai, Sekitoshi Kanai, Masanori Yamada, Kosuke Nishida, Kazutoshi Shinoda

प्रकाशित 2026-04-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hiroshi Takahashi, Tomoharu Iwata, Atsutoshi Kumagai, Sekitoshi Kanai, Masanori Yamada, Kosuke Nishida, Kazutoshi Shinoda

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन थोड़े विद्रोही रोबोट शेफ (Language Model) को सिखा रहे हैं कि ऐसे भोजन कैसे पकाएं जिन्हें इंसान वास्तव में पसंद करते हैं। आपके पास फीडबैक की एक विशाल कुकबुक है: कुछ व्यंजनों पर "स्वादिष्ट!" (पसंदीदा) लिखा है और कुछ पर "घिनौना!" (गैर-पसंदीदा)। आपका लक्ष्य शेफ की रेसिपी बुक को इस तरह से सुधारना है कि वे "घिनौने" व्यंजन बनाना बंद कर दें और अधिक "स्वादिष्ट" व्यंजन बनाना शुरू कर दें।

इस प्रक्रिया को अलाइनमेंट (Alignment) कहा जाता है।

वर्तमान विधियों के साथ समस्या

लंबे समय तक, शेफ को सिखाने का मानक तरीका यह था कि यह मान लिया जाए कि इंसान हमेशा तार्किक और सुसंगत विकल्प चुनते हैं। यह ऐसा ही है जैसे यह मानना कि यदि कोई इंसान पिज्जा को बर्गर से और बर्गर को टैकोस से बेहतर मानता है, तो वह अनिवार्य रूप से पिज्जा को टैकोस से भी बेहतर मानेगा। यह ब्रैडली-टेरी मॉडल (Bradley-Terry model) है।

हालाँकि, इंसान थोड़े उलझे हुए होते हैं। कभी-कभी हम पिज्जा को बर्गर से पसंद करते हैं, बर्गर को टैकोस से, लेकिन फिर अचानक टैकोस को पिज्जा से बेहतर मानने लगते हैं (एक "चक्रीय" प्राथमिकता)। पुराने मॉडल इस विसंगति से भ्रमित हो जाते हैं, जिससे एक रोबोट शेफ या तो असुरक्षित हो जाता है या बस अजीब व्यवहार करने लगता है।

इसे ठीक करने के लिए, शोधकर्ताओं ने हाल ही में एक नई विधि खोजी है जिसे DDRO (डायरेक्ट डेंसिटी रेशियो ऑप्टिमाइजेशन) कहा जाता है। यह केवल यह अनुमान लगाने के बजाय कि इंसान चीज़ों को क्यों पसंद करते हैं, DDRO बस "घिनौने" व्यंजनों और "स्वादिष्ट" व्यंजनों के अनुपात को देखता है और गणितीय रूप से उन्हें संतुलित करने की कोशिश करता है।

अच्छी बात: यह गणितीय रूप से सटीक है। यदि आप इसे अनंत डेटा देते हैं, तो रोबोट अंततः मानव स्वाद को पूरी तरह से सीख जाएगा।
बुरी बात: यह अविश्वसनीय रूप से अस्थिर है। कल्पना कीजिए कि आप एक ट्रैम्पोलिन पर खड़े होकर अपनी उंगली पर झाड़ू की छड़ी को संतुलित करने की कोशिश कर रहे हैं। क्योंकि "घिनौने" व्यंजन "स्वादिष्ट" व्यंजनों से पूरी तरह अलग हो सकते हैं (अलग "सपोर्ट्स"), गणित बिगड़ सकता है। संख्याएँ अनंत हो जाती हैं, प्रशिक्षण क्रैश हो जाता है, और रोबोट शेफ बाइनरी में चिल्लाने लगता है।

समाधान: RDRO (रिलेटिव डेंसिटी रेशियो ऑप्टिमाइजेशन)

लेखक इस नए तरीके RDRO का प्रस्ताव करते हैं। उन्होंने "झाड़ू की छड़ी और ट्रैम्पोलिन" वाली समस्या को खेल के नियम बदलकर हल किया है।

"घिनौने" को सीधे "स्वादिष्ट" के विरुद्ध तुलना करने के बजाय, वे एक मिक्सिंग बाउल (Mixing Bowl) पेश करते हैं।

पुराना तरीका (DDRO): आप "घिनौने" ढेर की सीधे "स्वादिष्ट" ढेर के साथ तुलना करते हैं। यदि "घिनौने" ढेर में कोई अजीब सामग्री है जो "स्वादिष्ट" ढेर में नहीं है, तो अनुपात अनंत हो जाता है और गणित टूट जाता है।
नया तरीका (RDRO): आप "घिनौने" ढेर का एक छोटा सा हिस्सा लेते हैं और उसे "स्वादिष्ट" ढेर में मिलाकर एक रेफरेंस मिक्सचर (Reference Mixture) बनाते हैं। अब, आप "स्वादिष्ट" ढेर की तुलना इस मिश्रण (Mixture) के साथ करते हैं।

स्पीड लिमिट की उपमा:
"डेंसिटी रेशियो" को एक स्पीडोमीटर की तरह समझें।

पुराने तरीके में, यदि कार खाई में गिर जाती है (वितरण ओवरलैप नहीं होता), तो स्पीडोमीटर अनंत तक घूम जाता है। कार दुर्घटनाग्रस्त हो जाती है।
नए तरीके में (RDRO), स्पीडोमीटर की एक कठोर सीमा (Hard Ceiling) होती है। ड्राइविंग कितनी भी पागलपन भरी क्यों न हो, सुई एक निश्चित गति (विशेष रूप से $1/\alpha$ ) से आगे नहीं जा सकती। यह इंजन पर गवर्नर लगाने जैसा है। कार तेज़ चल सकती है, लेकिन यह कभी सड़क से बाहर नहीं उड़ेगी।

यह क्यों महत्वपूर्ण है

यह पेपर इस नए तरीके के बारे में दो बड़ी बातें सिद्ध करता है:

यह स्थिर है: क्योंकि गणित में एक "स्पीड लिमिट" है, इसलिए प्रशिक्षण प्रक्रिया क्रैश नहीं होती है। यह सुचारू रूप से चलता है।
यह सुसंगत है: भले ही हमने "मिक्सिंग बाउल" जोड़ा है, गणित गारंटी देता है कि यदि आप प्रशिक्षण जारी रखते हैं, तो रोबोट शेफ अंततः वास्तविक मानव प्राथमिकता को पूरी तरह से सीख जाएगा। वास्तव में, यह पुराने अस्थिर तरीके की तुलना में बहुत तेज़ी से और अधिक विश्वसनीयता के साथ कन्वर्ज (सीखता) होता है।

परिणाम

लेखकों ने इन मॉडलों पर इसका परीक्षण किया: Qwen और Llama।

उन्होंने इन मॉडलों को मानव फीडबैक डेटा दिया।
उन्होंने RDRO की तुलना पुराने "अस्थिर" तरीके (DDRO) और लोकप्रिय "तार्किक" तरीके (KTO) से की।
फैसला: RDRO ने लगातार बेहतर या बराबर परिणाम दिए। यह विशेष रूप से उन कठिन डेटासेट्स को संभालने में अच्छा था जहाँ "घिनौने" और "स्वादिष्ट" उत्तर एक-दूसरे से बहुत अलग थे।

संक्षेप में

पेपर कहता है: "हमने AI को मानव प्राथमिकताओं को समझने के लिए सिखाने का एक तरीका खोजा है जो इस धारणा पर निर्भर नहीं करता कि इंसान तार्किक रोबोट हैं। हमने गणित को भी ठीक किया है ताकि प्रशिक्षण के दौरान यह फटे नहीं। यह AI को एक सुरक्षा जाल और एक स्पीड लिमिट देने जैसा है, जिससे यह सुनिश्चित होता है कि वह बिना कार दुर्घटनाग्रस्त किए सही सबक सीख सके।"

यह AI को सुरक्षित, अधिक विश्वसनीय और मानव स्वाद की अव्यवस्थित, अप्रत्याशित प्रकृति को समझने में बेहतर बनाता है।

यहाँ शोध पत्र "Relative Density Ratio Optimization for Stable and Statistically Consistent Model Alignment" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित (align) करना सुरक्षा और विश्वसनीयता के लिए महत्वपूर्ण है। मौजूदा विधियाँ आम तौर पर दो श्रेणियों में आती हैं, जिनमें से दोनों की अपनी सीमाएँ हैं:

मॉडल-आधारित दृष्टिकोण (जैसे RLHF, DPO, KTO): ये विशिष्ट मानव प्राथमिकता मॉडल, जैसे कि ब्रैडली-टेरी (Bradley-Terry) मॉडल या प्रोस्पेक्ट थ्योरी (Prospect Theory) को मानते हैं। हालांकि ये शक्तिशाली हैं, लेकिन ये धारणाएँ अक्सर मानवीय प्राथमिकताओं की वास्तविक जटिलता (जैसे, चक्रीय प्राथमिकताएं/cyclic preferences) को पकड़ने में विफल रहती हैं। फलस्वरूप, इन विधियों में सांख्यिकीय निरंतरता (statistical consistency) का अभाव होता है, जिसका अर्थ है कि इस बात की कोई गारंटी नहीं है कि नमूना आकार (sample size) बढ़ने के साथ मॉडल वास्तविक मानव प्राथमिकता वितरण पर अभिसरण (converge) करेगा।
डायरेक्ट डेंसिटी रेशियो ऑप्टिमाइजेशन (DDRO): यह दृष्टिकोण एक विशिष्ट प्राथमिकता मॉडल को माने बिना, पसंदीदा ( $p_+$ ) और गैर-पसंदीदा ( $p_-$ ) डेटा वितरण के बीच डेंसिटी रेशियो का सीधे अनुमान लगाकर काम करता है। जबकि DDRO सांख्यिकीय रूप से सुसंगत (statistically consistent) है, यह प्रशिक्षण अस्थिरता (training instability) से ग्रस्त है। सैद्धांतिक रूप से, यदि दोनों वितरणों के सपोर्ट (supports) भिन्न हैं (अर्थात, एक वितरण के तहत एक प्रतिक्रिया संभव है लेकिन दूसरे के तहत असंभव है), तो डेंसिटी रेशियो $p_-(y|x) / p_+(y|x)$ अनंत तक जा सकता है, जिससे ग्रेडिएंट स्पाइक्स (gradient spikes) और प्रशिक्षण विफलता होती है।

मुख्य चुनौती: एक ऐसा संरेखण (alignment) तरीका कैसे प्राप्त किया जाए जो सांख्यिकीय रूप से सुसंगत भी हो (बिना किसी मॉडल धारणा के वास्तविक प्राथमिकता की ओर अग्रसर हो) और स्थिर (training के दौरान विचलन से बचे) भी हो।

2. कार्यप्रणाली: रिलेटिव डेंसिटी रेशियो ऑप्टिमाइजेशन (RDRO)

लेखक RDRO प्रस्तावित करते हैं, जो एक नवीन संरेखण विधि है जो मानक डेंसिटी रेशियो के स्थान पर एक रिलेटिव डेंसिटी रेशियो (relative density ratio) का उपयोग करती है।

मुख्य अवधारणा: रिलेटिव डेंसिटी रेशियो

मानक डेंसिटी रेशियो $g^*(y|x) = p_-(y|x) / p_+(y|x)$ को मॉडल करने के बजाय, RDRO पसंदीदा वितरण और पसंदीदा एवं गैर-पसंदीदा वितरणों के मिश्रण (mixture) के बीच के अनुपात को मॉडल करता है:
$r^*(y|x) \equiv \frac{p_+(y|x)}{p_{ref}(y|x)} = \frac{p_+(y|x)}{\alpha p_+(y|x) + (1-\alpha)p_-(y|x)}$
जहाँ:

$p_{ref}$ संदर्भ नीति (reference policy) है (जो $p_+$ और $p_-$ का मिश्रण है)।
$\alpha \in (0, 1)$ एक हाइपरपैरामीटर है जो एक प्रतिक्रिया के पसंदीदा होने की प्रायिकता को दर्शाता है।

सैद्धांतिक लाभ

सीमाबद्धता (Boundedness): मानक डेंसिटी रेशियो के विपरीत, जो $[0, \infty)$ की सीमा में हो सकता है, रिलेटिव डेंसिटी रेशियो सख्ती से सीमाबद्ध है: $r^*(y|x) \in [0, 1/\alpha]$ । यह सुनिश्चित करता है कि यदि $p_+$ और $p_-$ के सपोर्ट भिन्न हों, तब भी रेशियो अनंत तक न जाए, जिससे प्रशिक्षण स्थिरता बनी रहती है।
सांख्यिकीय निरंतरता (Statistical Consistency): यह विधि DDRO की सांख्यिकीय निरंतरता को बनाए रखती है। जैसे-जैसे नमूनों की संख्या बढ़ती है, नीति $p_\theta$ वास्तविक प्राथमिकता $p_+$ की ओर अभिसरित होती है।
टाइट कन्वर्जेंस गारंटी (Tighter Convergence Guarantees): लेखक सिद्ध करते हैं कि RDRO के लिए अनुमान त्रुटि सीमा (estimation error bound) DDRO की तुलना में काफी अधिक सटीक (tighter) है। विशेष रूप से, यह सीमा $1/m_+$ (जहाँ $m_+$ $p_+$ के सपोर्ट में न्यूनतम प्रायिकता है, जो अक्सर बहुत छोटी होती है) के बजाय $1/\alpha$ पर निर्भर करती है, और $r^*$ की सीमाबद्ध प्रकृति के कारण लॉस फंक्शन का लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) भी छोटा होता है।

अनुकूलन उद्देश्य (Optimization Objective)

यह विधि वास्तविक रिलेटिव डेंसिटी रेशियो $r^*$ और मॉडल किए गए रेशियो $r_\theta$ के बीच ब्रेगमैन डायवर्जेंस (Bregman divergence) को कम करती है। एक लॉजिस्टिक रिग्रेशन फॉर्मूलेशन (जहाँ $f(t) = t \log t - (1+t)\log(1+t)$ ) का उपयोग करते हुए, लॉस फंक्शन को इस प्रकार व्युत्पन्न किया गया है:
$L_{RDRO}(\theta) = \mathbb{E}_{p_+}[(1+\alpha)\phi(T_\theta) - T_\theta] + \mathbb{E}_{p_-}[(1-\alpha)\phi(T_\theta)]$
जहाँ:

$T_\theta(x, y) = \log p_\theta(y|x) - \log p_{ref}(y|x)$ लॉग-ऑड्स रेशियो (log-odds ratio) है।
$\phi(t) = \log(1 + e^t)$ सॉफ्टप्लस (softplus) फंक्शन है।
कोई KL रेगुलराइज़र आवश्यक नहीं: DDRO के विपरीत, जिसे कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को रोकने के लिए एक स्पष्ट KL डायवर्जेंस रेगुलराइज़र की आवश्यकता होती है, RDRO में $\alpha$ स्वाभाविक रूप से एक रेगुलराइज़ेशन पैरामीटर के रूप में कार्य करता है, जो यह नियंत्रित करता है कि $p_\theta$ , $p_{ref}$ से कितना विचलित हो सकता है।

3. प्रमुख योगदान

नवीन एल्गोरिदम: RDRO का प्रस्ताव, जो पहला संरेखण तरीका है जो बिना किसी विशिष्ट मानव प्राथमिकता मॉडल को माने, सांख्यिकीय रूप से सुसंगत और स्थिर दोनों है।
सैद्धांतिक प्रमाण:
- यह सिद्ध करता है कि रिलेटिव डेंसिटी रेशियो सीमाबद्ध है, जिससे विचलन (divergence) रुकता है।
- एक कन्वर्जेंस रेट बाउंड व्युत्पन्न करता है जो दिखाता है कि RDRO, DDRO की तुलना में काफी बेहतर त्रुटि सीमा प्रदान करता है, विशेष रूप से उन परिदृश्यों में जहाँ डेंसिटी रेशियो विस्फोट कर सकता था।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न मॉडल आकारों (Qwen 2.5 1.5B/3B, Llama 3 3B/8B) और डेटासेट्स पर प्रभावशीलता प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने AlpacaEval LC (Length-Controlled) Win Rate मीट्रिक का उपयोग करके KTO (एक अत्याधुनिक प्राथमिकता मॉडल-आधारित विधि) और DDRO (एक पूर्व डेंसिटी-रेशियो-आधारित विधि) के विरुद्ध RDRO का मूल्यांकन किया।

डेटासेट्स:
- UF-G: एक चुनौतीपूर्ण डेटासेट जहाँ प्रॉम्प्ट्स में अक्सर केवल एक लेबल किया गया रिस्पॉन्स (पसंदीदा OR गैर-पसंदीदा) होता है, जिससे संरेखण कठिन हो जाता है।
- MIX-14K: DPO-Mix से लिया गया एक डेटासेट जहाँ प्रत्येक प्रॉम्प्ट के पास दोनों पसंदीदा और गैर-पसंदीदा रिस्पॉन्स होते हैं।
UF-G पर प्रदर्शन (कठिन कार्य):
- RDRO ने सभी मॉडल आकारों में KTO और DDRO दोनों को लगातार पछाड़ा।
- उल्लेखनीय सुधार: Llama-8B पर, RDRO ने 17.31% विन रेट हासिल किया, जबकि DDRO का 15.66% और KTO का 9.34% था।
- बड़े मॉडल्स के लिए t-टेस्ट के माध्यम से सांख्यिकीय महत्व (statistical significance) की पुष्टि की गई।
MIX-14K पर प्रदर्शन:
- RDRO ने DDRO और KTO के समान प्रदर्शन किया, जो यह दर्शाता है कि यह आसान, ट्रिपलेट-आधारित डेटासेट्स पर प्रदर्शन से समझौता नहीं करता है।
हाइपरपैरामीटर संवेदनशीलता:
- विधि $\alpha$ के चुनाव के प्रति मजबूत (robust) है। $\alpha$ के विस्तृत रेंज में प्रदर्शन स्थिर रहा, हालांकि $\alpha$ को डेटासेट में पसंदीदा नमूनों के अंश (fraction) के बराबर सेट करने पर सर्वोत्तम परिणाम मिले।

5. महत्व

यह शोध पत्र LLM संरेखण सिद्धांत और व्यवहार के एक मौलिक अंतर को संबोधित करता है:

स्थिरता-निरंतरता ट्रेड-ऑफ का समाधान: पूर्व विधियों को या तो सांख्यिकीय निरंतरता (DDRO) या प्रशिक्षण स्थिरता (RLHF/DPO) में से किसी एक को चुनना पड़ता था। RDRO दोनों को प्राप्त करता है।
डेटा की कमी के प्रति मजबूती: डेंसिटी रेशियो को सीमित करके, RDRO "सपोर्ट मिसमैच" (support mismatch) की समस्या के प्रति कम संवेदनशील है, जो वास्तविक दुनिया के डेटासेट्स में आम है जहाँ पसंदीदा और गैर-पसंदीदा रिस्पॉन्स आउटपुट स्पेस के अलग-अलग क्षेत्रों में हो सकते हैं।
सरलीकृत प्रशिक्षण: स्पष्ट KL रेगुलराइज़र को हटाना प्रशिक्षण उद्देश्य को सरल बनाता है, जबकि मिश्रण पैरामीटर $\alpha$ के माध्यम से रेगुलराइज़ेशन बनाए रखता है।

निष्कर्षतः, RDRO, LLMs को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए एक सैद्धांतिक रूप से सुदृढ़, स्थिर और उच्च-प्रदर्शन वाला विकल्प प्रदान करता है, विशेष रूप से उन परिदृश्यों में जहाँ डेटा शोर युक्त (noisy) या अधूरा है।