ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment
ActiveDPO एक सैंपल-एफिशिएंट अलाइनमेंट एल्गोरिदम है जो नॉन-लीनियर रिवॉर्ड फंक्शन्स के लिए उच्च-गुणवत्ता वाले प्रेफरेंस डेटा को चुनने के लिए एक सैद्धांतिक रूप से आधारित, LLM-पैरामीटराइज्ड रिवॉर्ड मॉडल का लाभ उठाता है, जो डेटा चयन के दौरान लक्षित मॉडल के प्रभाव को स्पष्ट रूप से ध्यान में रखकर मौजूदा तरीकों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन थोड़ी शरारती छात्रा है (Large Language Model, या LLM)। वह लिखने में तो बहुत अच्छी है, लेकिन कभी-कभी वह ऐसी चीजें लिख देती है जो अभद्र होती हैं, तथ्यात्मक रूप से गलत होती हैं, या बस वैसी नहीं होती जैसी एक इंसान पसंद करेगा। इसे ठीक करने के लिए, आपको एक शिक्षक (एक इंसान) की आवश्यकता है जो उसके द्वारा लिखे गए दो अलग-अलग उत्तरों को देखे और कहे, "मुझे यह वाला ज्यादा पसंद है।"
समस्या यह है कि शिक्षक को काम पर रखना महंगा है और इसमें बहुत समय लगता है। आप हर उस होमवर्क को दिखाने के लिए शिक्षक को नहीं बुला सकते जो छात्रा ने कभी लिखा है। आपको इस बारे में स्मार्ट होना होगा कि उन्हें कौन सा होमवर्क दिखाया जाए।
यह पेपर ACTIVEDPO नामक एक नई विधि पेश करता है जो इस समस्या को हल करती है। यह कैसे काम करता है, इसके सरल अवधारणाओं में विवरण यहाँ दिया गया है:
1. पुराना तरीका: अनुमान लगाना या नियमों का पालन करना
पहले, शोधकर्ता शिक्षक को दिखाने के लिए होमवर्क चुनने के दो मुख्य तरीकों का उपयोग करते थे:
- रैंडम तरीका (The Random Way): बस रैंडम तरीके से होमवर्क चुनना। यह आसान है लेकिन अक्षम है क्योंकि आप शिक्षक को 100 निबंध दिखा सकते हैं जो बिल्कुल एक जैसे हैं, जिससे उनका समय बर्बाद होता है।
- "लीनियर" तरीका (The "Linear" Way): कुछ स्मार्ट तरीकों ने गणित का उपयोग करके यह चुनने की कोशिश की कि "सबसे भ्रमित करने वाला" होमवर्क कौन सा है। हालाँकि, इन तरीकों ने यह माना कि छात्रा का मस्तिष्क एक सरल, सीधी रेखा की तरह काम करता है (जैसे एक बेसिक कैलकुलेटर)। लेकिन LLMs जटिल और अव्यवस्थित होते हैं; उनका मस्तिष्क घुमावदार, नॉन-लीनियर तरीकों से काम करता है। इसलिए, ये तरीके अक्सर विफल हो जाते थे क्योंकि वे एक चौकोर चीज़ को गोल छेद में फिट करने की कोशिश कर रहे थे।
2. नया तरीका: ACTIVEDPO (एक "स्व-चिंतनशील" ट्यूटर)
ACTIVEDPO एक सुपर-स्मार्ट ट्यूटर की तरह है जो जानता है कि छात्रा को अभी क्या नहीं पता है।
- छात्रा को ही छात्रा को सिखाने के लिए उपयोग करना: किसी अलग, जेनेरिक टूल का उपयोग यह तय करने के लिए करने के बजाय कि क्या दिखाना है, ACTIVEDPO खुद छात्रा (LLM) का उपयोग यह समझने के लिए करता है कि उसे किस चीज़ में मदद की ज़रूरत है। यह छात्रा से पूछता है: "अगर आपको अंदाज़ा लगाना हो कि कौन सा उत्तर बेहतर है, तो आप कितने आश्वस्त हैं?"
- "कन्फ्यूजन" मीटर: यह तरीका छात्रा के आंतरिक "आत्मविश्वास" (गणितीय रूप से, यह ग्रेडिएंट है) को देखता है। यदि छात्रा दो उत्तरों के बीच बहुत भ्रमित है, तो शिक्षक को दिखाने का यह एक बेहतरीन अवसर है। यदि वह पहले से ही आश्वस्त है, तो शिक्षक से पूछने का कोई मतलब नहीं है।
- "डाइवर्सिटी" फ़िल्टर: कल्पना कीजिए कि आप शिक्षक से प्रश्न पूछने के लिए प्रश्न चुन रहे हैं। यदि आप तीन प्रश्न पूछते हैं जो सुनने में एक जैसे हैं, तो आप बहुत कम सीख रहे हैं। ACTIVEDPO में एक विशेष फ़िल्टर (जिसे डाइवर्सिटी रेगुलराइज़र कहा जाता है) है जो कहता है, "यह प्रश्न मत चुनो; हमने कल भी बहुत मिलता-जुलता सवाल पूछा था।" यह चयन को नए क्षेत्रों को कवर करने के लिए मजबूर करता है, यह सुनिश्चित करता है कि शिक्षक छात्रा को विषयों की एक विस्तृत श्रृंखला के बारे में सिखाए।
3. इसे व्यावहारिक बनाना: "स्केच" ट्रिक
इस विचार के साथ एक बड़ी समस्या थी: यह पता लगाने के लिए कि छात्रा किस बात को लेकर भ्रमित है, आपको हर एक होमवर्क के लिए भारी मात्रा में गणित करना होगा। यह रेत के हर एक कण का सटीक वजन मापने की कोशिश करने जैसा है ताकि सबसे भारी कण को पाया जा सके। इसमें बहुत समय लगेगा और आपके कंप्यूटर की मेमोरी भर जाएगी।
लेखकों ने इसे तेज़ करने के लिए दो चतुर ट्रिक्स विकसित की हैं:
- बैचिंग (Batching): एक समय में एक होमवर्क असाइनमेंट चुनने के बजाय, वे एक साथ होमवर्क का एक छोटा समूह (एक बैच) चुनते हैं। इससे समय बचता है क्योंकि उन्हें हर एक आइटम के लिए व्यक्तिगत रूप से छात्रा का "आत्मविश्वास" फिर से कैलकुलेट नहीं करना पड़ता।
- "स्केच" (रैंडम प्रोजेक्शन): कल्पना कीजिए कि आपके पास छात्रा के मस्तिष्क का एक विशाल, विस्तृत पेंटिंग है। यह ले जाने के लिए बहुत बड़ा है। पूरी पेंटिंग ले जाने के बजाय, आप उसका एक त्वरित, सरल स्केच लेते हैं। यह स्केच सबसे महत्वपूर्ण विवरणों को रखता है लेकिन इसे आसानी से ले जाने के लिए पर्याप्त छोटा है। गणित के शब्दों में, वे निर्णय लेने के लिए आवश्यक महत्वपूर्ण जानकारी खोए बिना विशाल डेटा को एक छोटे आकार में सिकोड़ देते हैं।
4. परिणाम
लेखकों ने विभिन्न "छात्राओं" (विभिन्न AI मॉडल्स) और विभिन्न प्रकार के होमवर्क (समाचारों का सारांश, लंबे प्रश्नों के उत्तर) पर इस विधि का परीक्षण किया।
- परिणाम: ACTIVEDPO ने लगातार अन्य सभी तरीकों की तुलना में कम शिक्षक इंटरैक्शन के साथ छात्रा को बेहतर प्रदर्शन करने में सक्षम बनाया।
- यह क्यों मायने रखता है: इसने साबित कर दिया कि आपको शिक्षक को सब कुछ दिखाने की आवश्यकता नहीं है। यदि आप उन्हें सही चीजें दिखाते हैं—विशेष रूप से वे चीजें जिनमें छात्रा भ्रमित है और जो उसने पहले नहीं देखी हैं—तो छात्रा बहुत तेज़ी से सीखती है और अधिक सहायक बनती है।
सारांश उपमा
AI को प्रशिक्षित करने को एक कुत्ते को प्रशिक्षित करने जैसा समझें।
- पुराने तरीके ऐसे थे जैसे गेंद को रैंडम तरीके से फेंकना और उम्मीद करना कि कुत्ता सीख जाएगा, या एक कठोर नियम पुस्तिका का उपयोग करना जो मानती है कि कुत्ता एक रोबोट की तरह सोचता है।
- ACTIVEDDPO एक ट्रेनर की तरह है जो कुत्ते को देखता है, ध्यान देता है कि कुत्ता कब हिचकिचा रहा है या भ्रमित है, और फिर व्यवहार को सुधारने के लिए ठीक उसी क्षण एक कमांड देता है। यह यह भी सुनिश्चित करता है कि वह एक ही ट्रिक को बार-बार न दोहराए, बल्कि कुशलता से कौशलों का एक पूरा नया सेट सिखाए।
पेपर का दावा है कि यह विधि गणितीय रूप से सुदृढ़ है (इसके पीछे एक मजबूत सिद्धांत है) और व्यावहारिक रूप से प्रभावी है (यह वास्तविक परीक्षणों में अच्छा काम करती है), जो इसे AI को अधिक मानव-अनुकूल बनाने के लिए बिना भारी खर्च के एक शक्तिशाली उपकरण बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।