🤖 machine learning

Normalized Rewards for Preference Optimization

यह शोध पत्र DPO और SimPO जैसे डायरेक्ट एलाइनमेंट एल्गोरिदम (DAAs) के लिए एक नॉर्मलाइजेशन-आधारित रेगुलेराइज़ेशन तकनीक का प्रस्ताव करता है ताकि ओवर-ऑप्टिमाइज़ेशन और लाइकलीहुड कोलैप्स को कम किया जा सके, जो यह प्रदर्शित करता है कि यह टोकन-लेवल प्रोबेबिलिटी डिस्ट्रीब्यूशंस को स्थिर करके जनरेशन क्वालिटी और जनरल बेंचमार्क परफॉरमेंस में महत्वपूर्ण सुधार करता है।

मूल लेखक: Shawn Im, Federico Danieli, Skyler Seto, Barry-John Theobald, Katherine Metcalf

प्रकाशित 2026-07-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shawn Im, Federico Danieli, Skyler Seto, Barry-John Theobald, Katherine Metcalf

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली, लेकिन थोड़े अराजक (chaotic) रोबोट को कहानी लिखना सिखा रहे हैं। आप नहीं चाहते कि वह केवल आपकी पसंदीदा किताबों को रट ले; आप चाहते हैं कि वह यह समझे कि आप उन्हें क्यों पसंद करते हैं ताकि वह ऐसी नई कहानियाँ लिख सके जो बिल्कुल वैसी ही महसूस हों। यह आर्टिफिशियल इंटेलिजेंस में "अलाइनमेंट" (alignment) की दुनिया है। वैज्ञानिक इस रोबोट को सिखाने के लिए "प्रेफरेंस ऑप्टिमाइज़ेशन" (preference optimization) नामक एक प्रक्रिया का उपयोग करते हैं। वे रोबोट को एक सवाल के दो अलग-अलग उत्तर दिखाते हैं—एक अच्छा और एक बुरा—और उससे यह चुनने के लिए कहते हैं कि उसे अच्छे वाले को चुनना चाहिए। इसे करने का सबसे लोकप्रिय तरीका "हॉट एंड कोल्ड" के खेल जैसा है, जहाँ रोबोट को एक स्कोर मिलता है कि वह इंसान की पसंद के कितने करीब है।

हालाँकि, एक पेचीदा समस्या है। कभी-कभी, खुश करने की उत्सुकता में, रोबोट बहुत अधिक उत्साहित हो जाता है। वह अपने आंतरिक "शब्दकोश" को अजीब तरीकों से बदलने लगता है, जिससे उसके द्वारा उपयोग किए जाने वाले शब्द कम स्वाभाविक लगने लगते हैं, भले ही वह खेल में बेहतर हो रहा हो। यह एक ऐसे छात्र की तरह है जो, ए ग्रेड पाने की कोशिश में, एक अजीब, अत्यधिक जटिल बोली बोलने लगता है जिससे हर कोई भ्रमित हो जाता है, भले ही तकनीकी रूप से उसने सही उत्तर दिया हो। यह शोध पत्र जांच करता है कि ऐसा क्यों होता है और रोबोट को जमीन से जोड़े रखने के लिए एक नया नियम प्रदान करता है, यह सुनिश्चित करते हुए कि वह अपनी मूल शख्सियत खोए बिना या अजीब, हानिकारक उत्तर बनाए बिना मददगार बनना सीख सके।

रोबोट की अति-आत्मविश्वास की समस्या

यह शोध पत्र डायरेक्ट अलाइनमेंट एल्गोरिदम (DAAs) नामक एक विशिष्ट प्रकार के रोबोट प्रशिक्षण पर केंद्रित है, जिसमें सबसे प्रसिद्ध DPO है। सोचिए कि DPO एक कोच की तरह है जो रोबोट को कहता है, "तुमने उस उत्तर की तुलना में इस उत्तर पर बेहतर किया," बिना किसी अलग रेफरी की आवश्यकता के जो काम को ग्रेड दे सके। यह कुशल और लोकप्रिय है। लेकिन, लेखकों ने कुछ अजीब देखा: रोबोट "ओवर-ऑप्टिमाइज़" (over-optimized) हो रहा था।

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आपको सिक्के एकत्र करने हैं। गेम कहता है, "अधिक सिक्के एकत्र करें!" तो, आप दीवारों, दुश्मनों और वास्तविक रास्ते को अनदेखा करके पागलों की तरह इधर-उधर दौड़ने लगते हैं। अंततः, आप मानचित्र से गिर सकते हैं क्योंकि आप सिक्कों पर इतना केंद्रित थे कि आप भूल गए कि दुनिया कैसे काम करती है। रोबोट के मामले में, वह अपने "रिवॉर्ड" (सही उत्तर चुनने के लिए मिलने वाला स्कोर) को अधिकतम करने पर इतना केंद्रित था कि उसने अपनी संभावना (probability) की समझ को विकृत करना शुरू कर दिया। वह एक ही समय में "अच्छे" शब्दों और "बुरे" शब्दों की संभावना को कम कर रहा था, जो सुनने में अजीब लगता है, लेकिन वास्तव में इसने रोबोट को ऐसी चीजें कहने की अधिक संभावना बना दी जो उसने पहले कभी नहीं देखी थीं—कभी-कभी खतरनाक या निरर्थक चीजें। इसे "लाइक्लीहुड डिस्प्लेसमेंट" (likelihood displacement) कहा जाता है।

समाधान: एक "टोटल प्रोबेबिलिटी" नियम

लेखक एक सरल लेकिन शक्तिशाली समाधान प्रस्तावित करते हैं: एक नया नियम जिसे नॉर्मलाइज्ड रिवॉर्ड्स (Normalized Rewards) कहा जाता है।

इसे समझने के लिए, कल्पना कीजिए कि एक पिज्जा है। पूरा पिज्जा रोबोट के सभी संभावित उत्तरों का 100% प्रतिनिधित्व करता है। जब रोबोट को सामान्य रूप से प्रशिक्षित किया जाता है, तो वह तय कर सकता है कि "अच्छा" स्लाइस और "बुरा" स्लाइस दोनों छोटे होते जा रहे हैं, जिसका अर्थ है कि "अज्ञात" स्लाइस (पिज्जा के वे हिस्से जिन्हें रोबोट ने अभी तक नहीं देखा है) बड़े होते जा रहे हैं। यह बुरा है क्योंकि रोबोट उन अज्ञात, अजीब स्लाइस परोसना शुरू कर सकता है।

लेखक प्रशिक्षण में एक "रेगुलराइजेशन टर्म" (regularization term) जोड़ने का सुझाव देते हैं। इसे एक सख्त पिज्जा शेफ के रूप में सोचें जो कहता है, "हे, आपके द्वारा बताए जा रहे स्लाइस का कुल आकार (अच्छा उत्तर और बुरा उत्तर) समान रहना चाहिए।" यदि रोबोट "अच्छे" स्लाइस को बहुत अधिक छोटा करने की कोशिश करता है, तो शेफ उसे संतुलन बनाए रखने के लिए "बुरे" स्लाइस को और भी अधिक छोटा करने के लिए मजबूर करता है। यह रोबोट को अनजाने में अजीब, अज्ञात स्लाइस का आकार बढ़ाने से रोकता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस नए नियम का परीक्षण दो अलग-अलग प्रकार के रोबोटों पर किया: एक जो संदर्भ मार्गदर्शिका (reference guide) का उपयोग करता है (DPO) और एक जो नहीं करता (SimPO)। यहाँ उनकी खोजें दी गई हैं:

बेहतर संतुलन: संभावनाओं को संतुलित रखते हुए, रोबमाट अपनी सामान्य बुद्धिमत्ता खोए बिना बेहतर होने में सक्षम हुए। AlpacaEval2 नामक एक परीक्षण पर, जो यह मापता है कि एक रोबोट निर्देशों का पालन कितनी अच्छी तरह करता है, Llama-3.1-8B-Instruct मॉडल ने पुराने तरीके की तुलना में नए नियम का उपयोग करने पर 20% से अधिक सापेक्ष वृद्धि देखी।
सामान्य कौशल को बचाना: आमतौर पर, जब रोबोट निर्देशों का पालन करने में बहुत अच्छे हो जाते हैं, तो वे सामान्य ज्ञान (जैसे गणित या विज्ञान) में कमजोर हो जाते हैं। लेकिन इस नए नियम के साथ, रोबोट वास्तव में उन सामान्य बेंचमार्क में भी बेहतर हुए, जिसमें 9% से अधिक प्रदर्शन लाभ हुआ।
"आउटलियर" अपराधी: लेखकों ने गहराई से जांच की कि पुराना तरीका क्यों विफल हो रहा था। उन्होंने पाया कि समस्या रोबोट के मस्तिष्क में हर जगह नहीं हो रही थी। यह "आउटलियर" शब्दों (outlier words) के एक छोटे समूह में केंद्रित थी—दुर्लभ, अजीब टोकन जिन्हें रोबोट मुश्किल से जानता था। ये कुछ शब्द संभावनाओं को बिगाड़ने में सारा भारी काम कर रहे थे। नया नियम विशेष रूप से इन कम-संभावना वाले शब्दों को लक्षित करता है, उन्हें धीरे से सामान्य की ओर धकेलता है ताकि वे पूरे सिस्टम को खराब न कर दें।

निष्कर्ष

शोध पत्र का सुझाव है कि रोबोट "पागल" क्यों हो रहे थे क्योंकि उन्हें अपनी संभावना के गणित को नियंत्रण में रखने के लिए मजबूर नहीं किया जा रहा था। अपने देखे गए उत्तरों की कुल संभावना को स्थिर रखने के लिए एक सरल नियम जोड़कर, रोबोट अपनी आंतरिक तर्क को तोड़े बिना मानवीय प्राथमिकताओं का पालन करने में बेहतर बनना सीखते हैं।

लेखकों ने पाया कि यह दृष्टिकोण उन दोनों प्रकार के रोबोटों के लिए काम करता है जो संदर्भ मार्गदर्शिका का उपयोग करते हैं और जो नहीं करते। उन्होंने दिखाया कि यह तरीका केवल बुरे व्यवहार को ही नहीं रोकता है; यह वास्तव में रोबोट को वास्तविक दुनिया के कार्यों पर बेहतर प्रदर्शन करने में मदद करता है। हालांकि वे यह दावा नहीं करते कि यह AI की हर समस्या को हल करता है, उनके प्रयोगों से पता चलता है कि "पिज्जा स्लाइस" को संतुलित रखना एक ऐसा AI बनाने की दिशा में एक महत्वपूर्ण कदम है जो बुद्धिमान और सुरक्षित दोनों हो।

तकनीकी सारांश: प्राथमिकता अनुकूलन के लिए सामान्यीकृत पुरस्कार (Normalized Rewards for Preference Optimization)

समस्या विवरण

डायरेक्ट एलाइनमेंट एल्गोरिदम (DAAs), जैसे कि डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) और SimPO, मानव प्राथमिकताओं के साथ लार्ज लैंग्वेज मॉडल्स (LLMs) को संरेखित करने के लिए मानक बन गए हैं क्योंकि ये रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) की तुलना में गणनात्मक रूप से अधिक कुशल हैं। हालांकि, हाल के कार्यों ने एक महत्वपूर्ण सीमा की पहचान की है: DAAs अक्सर अपने निहित रिवॉर्ड मॉडल के ओवर-ऑप्टिमाइज़ेशन (over-optimization) से ग्रस्त होते हैं।

इसका एक प्राथमिक लक्षण लाइक्लीहुड डिस्प्लेसमेंट (likelihood displacement) है, जो एक ऐसी घटना है जहाँ प्रशिक्षण के दौरान पसंदीदा (preferred) और गैर-पसंदीदा (non-preferred) दोनों प्रतिक्रियाओं की लाइक्लीहुड (likelihood) एक साथ गिर जाती है। यह इसलिए होता है क्योंकि मानक DAA ऑब्जेक्टिव्स (DPO, SimPO) प्रतिक्रिया युग्मों (response pairs) के बीच रिवॉर्ड के अंतर को अनुकूलित करते हैं, जिससे पार्टिशन फंक्शन $Z(x)$ गणितीय रूप से रद्द हो जाता है। इसके परिणामस्वरूप, मॉडल के पास प्रतिक्रिया स्थान (response space) पर कुल संभाव्यता द्रव्यमान (total probability mass) का कैलिब्रेटेड अनुमान बनाए रखने का कोई प्रोत्साहन नहीं रहता है। सामान्यीकरण (normalization) की यह कमी स्प्यूरियस (spurious) संभाव्यता बदलावों की ओर ले जाती है, विशेष रूप से "अनदेखी" (unseen) प्रतिक्रियाओं (वे जो प्रशिक्षण युग्म में नहीं हैं) के लिए, जिसके परिणामस्वरूप अवांछित या हानिकारक व्यवहार हो सकता है।

ओवर-ऑप्टिमाइज़ेशन के मौजूदा परिकल्पनाएं—जैसे उच्च एम्बेडिंग समानता या अपर्याप्त रेगुलराइजेशन—रेफरेंस-आधारित (जैसे DPO) और रेफरेंस-मुक्त (जैसे SimPO) दोनों विधियों में सामान्यीकरण करने में विफल रहती हैं। इसके अलावा, पूर्व विश्लेषण अक्सर साझा तंत्र के बजाय DAAs के एकल उदाहरणों पर ध्यान केंद्रित करते हैं।

कार्यप्रणाली (Methodology)

लेखक प्रस्तावित करते हैं कि रिवॉर्ड ओवर-ऑप्टिमाइज़ेशन निहित रिवॉर्ड में सामान्यीकरण की कमी के कारण होता है। इससे निपटने के लिए, वे एक रेगुलराइजेशन टर्म (regularization term) पेश करते हैं जिसे एक प्राथमिकता युग्म के भीतर चुनी गई ( $y_w$ ) और अस्वीकार की गई ( $y_l$ ) प्रतिक्रियाओं के कुल लेंथ-नॉर्मलाइज्ड संभाव्यता द्रव्यमान को संरक्षित करने के लिए डिज़ाइन किया गया है।

रेगुलराइजेशन टर्म

मुख्य अंतर्दृष्टि यह है कि सॉफ्टमैक्स लागू करने वाले पैरामीटराइज्ड लैंग्वेज मॉडल के लिए, आउटपुट वितरण पूरे प्रशिक्षण के दौरान सामान्यीकृत (partition function = 1) रहना चाहिए। चूंकि सभी संभावित प्रतिक्रियाओं पर पूर्ण पार्टिशन फंक्शन का अनुमान लगाना अव्यवहारिक है, इसलिए लेखक 'देखी गई' (seen) प्रतिक्रियाओं पर सामान्यीकरण लागू करते हैं।

वे एक रेगुलराइजेशन पेनल्टी $R(\pi_\theta, \pi_{ref}, x, y_w, y_l)$ को परिभाषित करते हैं:
$R = \lambda \left( \log \frac{\bar{\pi}_\theta(y_w|x) + \bar{\pi}_\theta(y_l|x)}{\bar{\pi}_{ref}(y_w|x) + \bar{\pi}_{ref}(y_l|x)} \right)^2$
जहाँ:

$\bar{\pi}$ लेंथ-नॉर्मलाइज्ड प्रोबेबिलिटी (लेंथ बायस को कम करने के लिए) को दर्शाता है।
$\lambda$ एक हाइपरपैरामीटर है।
यह टर्म वर्तमान मॉडल बनाम संदर्भ मॉडल द्वारा युग्म को दिए गए कुल संभाव्यता द्रव्यमान के लॉग-रेशियो के वर्ग को न्यूनतम करता है।

इस पेनल्टी को मानक ऑब्जेक्टिव्स में जोड़ा जाता है:

N-DPO: $L_{N-DPO} = L_{DPO} + R$
N-SimPO: $L_{N-SimPO} = L_{SimPO} + R$

यांत्रिक विश्लेषण (Mechanistic Analysis)

पेपर इस रेगुलराइजेशन टर्म का एक सैद्धांतिक ग्रेडिएंट विश्लेषण प्रदान करता है। मॉडल पैरामीटर्स $\theta$ के सापेक्ष $R$ का ग्रेडिएंट व्यक्तिगत टोकन की लाइक्लीहुड के व्युत्क्रमानुपाती (inversely proportional) है।

आउटलियर टोकन्स (Outlier Tokens): विश्लेषण से पता चलता है कि लाइक्लीहुड डिस्प्लेसमेंट बहुत कम लाइक्लीहुड वाले आउटलियर टोकन्स के एक छोटे सेट द्वारा संचालित होता है। ये टोकन्स ग्रेडिएंट अपडेट पर हावी होते हैं।
शमन (Mitigation): जब कुल प्रतिक्रिया संभाव्यता कम होती है, तो रेगुलराइजेशन टर्म ऐसे ग्रेडिएंट उत्पन्न करता है जो मुख्य रूप से इन कम-लाइक्लीहुड वाले आउटलियर टोकन्स की लाइक्लीहुड को बढ़ाते हैं। यह रिवॉर्ड वितरण को नया आकार देता है, जिससे डिस्प्लेसमेंट से जुड़ी भारी स्प्यूरियस संभाव्यता गिरावट को रोका जा सकता है, जबकि जनरेशन के लिए प्रासंगिक उच्च-लाइक्लीहुड वाले टोकन्स में न्यूनतम परिवर्तन होता है।

मुख्य योगदान

सामान्यीकरण घाटे की पहचान: लेखक स्पष्ट करते हैं कि कैसे अनदेखी प्रतिक्रियाओं के वितरण का लेखा-जोखा न रख पाना (पार्टिशन फंक्शन के रद्द होने के कारण) लाइक्लीहुड डिस्प्लेसमेंट की ओर ले जाता है।
यांत्रिक स्पष्टीकरण: वे लाइक्लीहुड डिस्प्लेसमेंट को आउटलियर टोकन्स पर संभाव्यता बदलावों के संकेंद्रण से जोड़ते हैं और ग्रेडिएंट विश्लेषण के माध्यम से प्रदर्शित करते हैं कि उनका रेगुलराइज़र आउटलियर टोकन्स का उपयोग करके इन बदलावों को कैसे कम करता है।
नवीन ऑब्जेक्टिव्स: वे N-DPO और N-SimPO का प्रस्ताव करते हैं, जो प्रस्तावित रेगुलराइजेशन टर्म को शामिल करते हैं, जो रेफरेंस-आधारित और रेफरेंस-मुक्त दोनों एलाइनमेंट विधियों पर लागू होते हैं।
प्रायोगिक सत्यापन: वे प्रदर्शित करते हैं कि ये संशोधित ऑब्जेक्टिव्स जनरेशन गुणवत्ता और सामान्य बेंचमार्क क्षमताओं के बीच के संतुलन में सुधार करते हैं।

प्रायोगिक परिणाम

लेखकों ने UltraFeedback डेटासेट का उपयोग करके Mistral-7B-Instruct, Llama-3.1-8B-Instruct, और OLMo-7B-SFT पर N-DPO और N-SimPO का मूल्यांकन किया।

जनरेशन गुणवत्ता (AlpacaEval):
- Llama-3.1-8B-Instruct पर, N-DPO ने मानक DPO की तुलना में AlpacaEval2 (लेंथ-कंट्रोल्ड) स्कोर में >20% सापेक्ष वृद्धि प्राप्त की।
- OLMo-7B-SFT पर, N-SimPO ने SimPO की तुलना में AlpacaEval2 (रॉ विन-रेट) में >75% सापेक्ष वृद्धि दिखाई।
- प्रस्तावित विधियाँ आम तौर पर DPO+SFT और DPOP जैसे अन्य रेगुलराइजेशन बेसलाइन्स से बेहतर प्रदर्शन करती हैं।
सामान्य बेंचमार्क प्रदर्शन:
- उस विशिष्ट ट्रेड-ऑफ के विपरीत जहाँ बेहतर जनरेशन सामान्य क्षमताओं को कम कर देता है, N-DPO और N-SimPO ने कॉमन सेंस और रीजनिंग बेंचमार्क (MMLU, ARC, HellaSwag, आदि) पर स्कोर बनाए रखा या उसमें सुधार किया।
- Llama-3.1-8B-Instruct के लिए, N-DPO ने जनरेशन गुणवत्ता में सुधार के साथ-साथ औसत बेंचमार्क स्कोर में 3% से अधिक का सुधार किया।
रिवॉर्ड मॉडलिंग:
- रेगुलराइजेशन टर्म के साथ प्रशिक्षित मॉडल्स ने होल्ड-आउट डेटासेट्स (HH-RLHF, HelpSteer2) पर मानक DPO/SimPO की तुलना में बेहतर या तुलनीय रिवॉर्ड मॉडलिंग सटीकता दिखाई, जबकि DPO+SFT और DPOP ने सटीकता में महत्वपूर्ण गिरावट दिखाई।
लाइक्लीहुड डायनेमिक्स:
- ट्रेनिंग कर्व्स ने पुष्टि की कि रेगुलराइजेशन लाइक्लीहुड डिस्प्लेसमेंट को कम करता है। N-DPO में, चुनी गई प्रतिक्रिया की लाइक्लीहुड स्थिर रही, जबकि मानक DPO में, यह काफी गिर गई।
- टोकन-स्तरीय विश्लेषण ने पुष्टि की कि रेगुलराइजेशन विशेष रूप से न्यूनतम टोकन रिवॉर्ड्स (आउटलियर्स) के वितरण को लक्षित करता है और उन्हें ठीक करता है।

महत्व और दावे

यह पेपर दावा करता है कि रिवॉर्ड नॉर्मलाइजेशन डायरेक्ट एलाइनमेंट एल्गोरिदम की सफलता में एक महत्वपूर्ण, पहले अनदेखा किया गया कारक है। देखे गए प्रतिक्रियाओं के लिए संभाव्यता द्रव्यमान के संरक्षण को स्पष्ट रूप से लागू करके, प्रस्तावित विधि:

लाइक्लीहुड डिस्प्लेसमेंट को कम करती है: यह स्प्यूरियस संभाव्यता बदलावों को रोकता है जो हानिकारक व्यवहारों की ओर ले जा सकते हैं, विशेष रूप से आउटलियर टोकन्स के व्यवहार को ठीक करके।
ट्रेड-ऑफ में सुधार करती है: यह मॉडल्स को सामान्य क्षमताओं का त्याग किए बिना प्राथमिकताओं को अधिक प्रभावी ढंग से सीखने की अनुमति देता है, जिससे उस "ओवर-ऑप्टिमाइज़ेशन" की समस्या का समाधान होता है जिसने DAAs की विश्वसनीयता को सीमित किया है।
सामान्यीकरण (Generalizes) करती है: यह दृष्टिकोण रेफरेंस-आधारित (DPO) और रेफरेंस-मुक्त (SimPO) दोनों फ्रेमवर्क में प्रभावी है, जो ओवर-ऑप्टिमाइज़ेशन के लिए एक एकीकृत तंत्र का सुझाव देता है।

लेखक निष्कर्ष निकालते हैं कि उनका विश्लेषण इस बात पर प्रकाश डालता है कि क्यों DAAs (आउटलियर टोकन शिफ्ट के कारण) लाइक्लीहुड घटने के बावजूद जनरेशन की गुणवत्ता में सुधार करते हैं, और यह प्रदर्शित करता है कि रिवॉर्ड डिस्ट्रीब्यूशन को नया आकार देने के लिए लो-लाइक्लीहुड टोकन्स का उपयोग करना एक प्रभावी रणनीति है। वे नोट करते हैं कि हालांकि उनका वर्तमान विश्लेषण ऑफलाइन सेटिंग्स पर केंद्रित है, उनके निष्कर्ष रिवॉर्ड मॉडल्स के सूक्ष्म व्यवहार में और अधिक शोध को प्रेरित करते हैं।