Se-DPO: Self-Evolving Token Credit for Direct Preference Optimization
यह शोध पत्र Se-DPO को प्रस्तुत करता है, जो डायरेक्ट प्रिफरेंस ऑप्टिमाइज़ेशन (Direct Preference Optimization) में स्टैटिक यूनिफॉर्म एग्रीगेशन की सीमाओं को दूर करने के लिए विकसित किया गया एक ऐसा तरीका है जो विकसित होते आंतरिक रिवॉर्ड सिग्नल्स और कॉन्फिडेंस के आधार पर टोकन-लेवल क्रेडिट को गतिशील रूप से समायोजित करता है, जिससे AlpacaEval 2 और Arena-Hard जैसे बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को ऐसी कहानी लिखना सिखा रहे हैं जिसे इंसान पसंद करें। आप केवल रोबोट को "एक कहानी लिखो" नहीं कहते; बल्कि आप उसे दो कहानियाँ दिखाते हैं—एक जिसे इंसानों ने पसंद किया और एक जिसे उन्होंने पसंद नहीं किया—और फिर उससे पूछते हैं कि ऐसा क्यों हुआ। यह डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) की दुनिया है, जो AI को मददगार और हानिरहित बनाने के लिए उपयोग की जाने वाली एक लोकप्रिय विधि है। इस प्रक्रिया में, AI हर एक शब्द (या "टोकन") की तुलना उसके संदर्भ संस्करण से करके सीखता है। इसे एक सख्त संपादक की तरह समझें जो वाक्य के हर एक शब्द की जांच करता है, यह मानते हुए कि हर शब्द का अंतिम ग्रेड में समान महत्व है। यदि AI वाक्य के बीच में एक टाइपो (वर्तनी की गलती) लिखता है, तो संपादक उस टाइपो को "the" या "and" जैसे उबाऊ शब्द के समान ही भार देता है।
लेकिन यहाँ एक पेंच है: सभी शब्द समान नहीं होते। एक गलत तथ्य पूरे उत्तर को बर्बाद कर सकता है, जबकि एक फिलर शब्द (filler word) बहुत कम मायने रखता है। बड़ा सवाल यह है कि: हम AI को यह कैसे सिखाएं कि कौन से शब्द "सितारे" हैं और कौन से सिर्फ "एक्स्ट्रा" हैं? यदि हम उन सभी के साथ एक जैसा व्यवहार करते हैं, तो AI उबाऊ हिस्सों को चमकाने में अपनी ऊर्जा बर्बाद कर सकता है जबकि महत्वपूर्ण गलतियों को अनदेखा कर देता है। यह शोध पत्र ठीक इसी समस्या में गहराई से उतरता है, और यह पूछता है कि हम AI को यह समझने में कैसे सक्षम बना सकते हैं कि उसे अपना ध्यान कहाँ केंद्रित करना चाहिए।
इस शोध पत्र के लेखक, वेनक्सियाओ झाओ और उनके सहयोगियों ने कुछ आश्चर्यजनक खोजा: एक शब्द का "महत्व" कोई स्थिर तथ्य नहीं है; यह बदलता रहता है जैसे-जैसे AI सीखता है। कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। पहले दिन, वह सोच सकता है कि वाक्य की शुरुआत में कैपिटल लेटर सबसे महत्वपूर्ण चीज़ है। लेकिन दसवें दिन तक, कड़ी मेहनत करने के बाद, उसे एहसास होता है कि वाक्य के बीच के वास्तविक तथ्य वास्तव में अधिक महत्वपूर्ण हैं। शोध पत्र का तर्क है कि पिछली विधियाँ एक ऐसे शिक्षक की तरह थीं जो छात्र को पहले दिन ही "महत्वपूर्ण शब्दों" की एक स्थिर सूची दे देता था और उसे कभी अपडेट नहीं करता था। जैसे-जैसे छात्र की समझ बढ़ती है, वह सूची जल्दी ही पुरानी हो जाती है।
इसे ठीक करने के लिए, टीम ने एक नई विधि पेश की जिसे Se-DPO (सेल्फ-इवॉल्विंग टोकन क्रेडिट) कहा जाता है। एक स्थिर सूची का उपयोग करने या किसी बाहरी विशेषज्ञ (जैसे कि एक प्री-ट्रेनड टीचर मॉडल) से यह तय करने के लिए पूछने के बजाय, Se-DPO AI को यह सब खुद, रियल-टाइम में figuring out करने देता है। AI लगातार अपने आंतरिक संकेतों की जांच करता है ताकि यह देख सके कि किन शब्दों में सबसे अधिक "प्रेफरेंस वेट" (वे शब्द जो एक अच्छे और बुरे उत्तर के बीच अंतर पैदा करते हैं) है और कौन से शब्द केवल शोर (noise) हैं। इसके बाद, यह उन महत्वपूर्ण शब्दों को बदलने की अधिक स्वतंत्रता देता है और उबाऊ शब्दों के लिए एक समान रहने के सख्त नियम बनाता है।
शोध पत्र सुझाव देता है कि यह "सेल्फ-इवॉल्विंग" दृष्टिकोण महत्वपूर्ण है क्योंकि प्रशिक्षण के दौरान एक शब्द के महत्वपूर्ण होने की AI की आंतरिक समझ नाटकीय रूप से बदल जाती है। वास्तव में, शोधकर्ताओं ने पाया कि प्रशिक्षण की शुरुआत में "टॉप" शब्दों का सेट और अंत में "टॉप" शब्दों के सेट के बीच बहुत कम ओवरलैप है—पूरी प्रक्रिया के दौरान केवल 33.6% ही समान शब्द शीर्ष 20% में बने रहते हैं। यदि आप एक स्थिर सूची का उपयोग करते, तो आप तब गलत शब्दों पर ध्यान केंद्रित कर रहे होते जब तक कि AI स्नातक होने के लिए तैयार न हो जाए।
Se-DPO यह तय करने के लिए दो संकेतों का उपयोग करता है कि प्रत्येक शब्द को कितना "क्रेडिट" (या स्वतंत्रता) दिया जाए: AI का उस शब्द के लिए प्रेफरेंस सिग्नल कितना मजबूत है, और संदर्भ मॉडल (reference model) उस शब्द के बारे में कितना आश्वस्त था। यदि संदर्भ मॉडल किसी शब्द को लेकर बहुत अनिश्चित (उच्च एंट्रॉपी) था, तो AI जानता है कि सिग्नल शोर भरा हो सकता है, इसलिए वह उस पर आँख मूंदकर भरोसा नहीं करता है। एक छोटा, हल्का नेटवर्क एक "कैलिब्रेटर" के रूप में कार्य करता है जो इन दोनों संकेतों को संतुलित करता है, जिससे यह सुनिश्चित होता है कि AI रैंडम शोर से विचलित न हो।
इसके परिणाम काफी उत्साहजनक हैं। AI लेखन की गुणवत्ता के मानक बेंचमार्क पर परीक्षण किए जाने पर, Se-DPO ने मानक विधि (DPO) को बड़े अंतर से पीछे छोड़ दिया। विशेष रूप से, इसने AlpacaEval 2 पर जीत की दर में 9.8 अंक और Arena-Hard पर 12.2 अंक तक सुधार किया। कुछ विशिष्ट सेटअप में, इसने AlpacaEval 2 पर 50.6% और Arena-Hard पर 43.3% की जीत दर हासिल की, जो अन्य उन्नत तरीकों को भी मात देती है जो अक्सर भारी बाहरी मॉडलों पर निर्भर होते हैं। लेखक इस बात पर जोर देते हैं कि उन्होंने यह बिना किसी अतिरिक्त, प्री-ट्रेनड "टीचर" मॉडल के, बहुत कम अतिरिक्त कंप्यूटिंग पावर जोड़कर हासिल किया है।
संक्षेप में, शोध पत्र सुझाव देता है कि AI के लिए मानवीय प्राथमिकताओं में वास्तव में महारत हासिल करने के लिए, उसे यह तय करने के लिए एक गतिशील, स्व-सुधारने वाले तरीके की आवश्यकता है कि क्या महत्वपूर्ण है। AI को सीखने के दौरान शब्द के महत्व की अपनी समझ विकसित करने देने से, न कि एक कठोर, पूर्व-निर्धारित नियम पुस्तिका पर टिके रहने से, हम बहुत बेहतर परिणाम प्राप्त कर सकते हैं। यह एक शिक्षक से एक मेंटर (मार्गदर्शक) में अपग्रेड करने जैसा है जो चेकलिस्ट के आधार पर ग्रेड देता है, बजाय इसके कि वह छात्र के विकास को देखता है और हर दिन अपनी सलाह को समायोजित करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।