Adaptive Margin RLHF via Preference over Preferences
यह शोध पत्र 'अडेप्टिव मार्जिन RLHF' (Adaptive Margin RLHF) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो रिवॉर्ड मॉडलिंग और एलाइनमेंट के लिए गतिशील, डेटा-विशिष्ट मार्जिन को अनुमानित करने हेतु "प्रेफरेंस-ओवर-प्रेफरेंस" (preference-over-preference) एनोटेशन का लाभ उठाता है, और विशेष सैंपलिंग रणनीतियों के माध्यम से दोनों के बीच के ट्रेड-ऑफ को संबोधित करते हुए डिस्क्रिमिनेटिव और जनरेटिव प्रदर्शन दोनों को बढ़ाने के लिए DPO-PoP एल्गोरिदम पेश करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को ऐसी कहानियाँ लिखना सिखा रहे हैं जिन्हें इंसान वास्तव में पसंद करें। ऐसा करने के लिए, आप रोबोट को "अच्छी" और "बुरी" कहानियों के जोड़े दिखाते हैं, और पूछते हैं, "कौन सी बेहतर है?" यह AI को प्रशिक्षित करने का मानक तरीका है, जिसे RLHF (मानवीय फीडबैक से सुदृढीकरण सीखना) कहा जाता है।
आमतौर पर, रोबोट बस "बुरे" के मुकाबले "अच्छे" को चुनना सीख जाता है। लेकिन नया शोध पत्र, "Adaptive Margin RLHF via Preference over Preferences," तर्क देता है कि सभी "अच्छे बनाम बुरे" के तुलनात्मक अध्ययन समान नहीं होते हैं।
यहाँ उनके विचार का सरल विवरण दिया गया, जिसमें कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है।
1. समस्या: सभी "बेहतर" चुनाव एक जैसे नहीं होते
कल्पना कीजिए कि आप छात्रों को ग्रेड दे रहे एक शिक्षक हैं।
- परिदृश्य A: आप एक ऐसे छात्र की तुलना करते हैं जिसने उत्कृष्ट कृति (masterpiece) लिखी है, बनाम एक जिसने बड़बड़ाहट (gibberish) लिखी है। अंतर बहुत बड़ा है। यह एक आसान निर्णय है।
- परिदृश्य B: आप दो ऐसे छात्रों की तुलना करते हैं जिन्होंने दोनों अच्छे निबंध लिखे हैं, लेकिन एक की व्याकरण थोड़ा बेहतर है। अंतर बहुत मामूली है। यह एक कठिन निर्णय है।
पारंपरिक AI प्रशिक्षण में, कंप्यूटर दोनों परिदृश्यों के साथ बिल्कुल एक जैसा व्यवहार करता है। वह बस यह सीखता है कि "A, B से बेहतर है।"
लेखक कहते हैं कि यह एक गलती है। कंप्यूटर को यह समझना चाहिए कि परिदृश्य A (बड़ा अंतर) एक "मजबूत" प्राथमिकता है और इसे अधिक आत्मविश्वास के साथ लिया जाना चाहिए। परिदृश्य B (मामूली अंतर) एक "कमजोर" प्राथमिकता है और इसे अधिक सावधानी से लिया जाना चाहिए।
2. पुराना तरीका: स्कोर मांगना (द "रेटिंग स्केल" समस्या)
यह पता लगाने के लिए कि अंतर कितना बड़ा है, पिछले तरीकों ने मनुष्यों से पूछने की कोशिश की: "1 से 10 के पैमाने पर, अच्छी कहानी कितनी बेहतर है?"
यह शोध पत्र तर्क देता है कि यह अविश्वसनीय है। इंसान सुसंगत नंबर देने में खराब होते हैं। एक व्यक्ति एक बड़े अंतर के लिए "9" दे सकता है, जबकि दूसरा "7" दे सकता है। यह लोगों से थर्मामीटर के बिना सटीक तापमान का अनुमान लगाने के लिए पूछने जैसा है; हर किसी का अनुमान थोड़ा गलत होता है।
3. नया समाधान: "प्राथमिकताओं पर प्राथमिकता" (PoP)
एक नंबर पूछने के बजाय, लेखक एक स्मार्ट सवाल प्रस्तावित करते हैं। वे मनुष्यों से दो अलग-अलग तुलनाओं को देखने और यह तय करने के लिए कहते हैं कि कौन सा अंतर "अधिक मजबूत" है।
- तुलना 1: एक उत्कृष्ट कृति बनाम बड़बड़ाहट।
- तुलना 2: एक अच्छा निबंध बनाम एक थोड़ा बेहतर निबंध।
सवाल: "इन दो स्थितियों में से कौन सी स्थिति अधिक बड़ा अंतर दिखाती है?"
ज्यादातर लोग आसानी से कह सकते हैं, "पहला वाला (उत्कृष्ट कृति बनाम बड़बड़ाहट) बहुत स्पष्ट अंतर है।"
यही "Preference over Preferences" (PoP) का विचार है। यह एक जज से पूछने जैसा है, "क्या स्वर्ण पदक और अंतिम स्थान के बीच का अंतर, रजत और कांस्य पदक के बीच के अंतर से बड़ा है?" इसका उत्तर स्पष्ट है और नंबर मांगने की तुलना में बहुत अधिक विश्वसनीय है।
4. AI इसका उपयोग कैसे करता है (द "एडेप्टिव मार्जिन")
गणितीय शब्दों में, अच्छे और बुरे उत्तर के बीच के "अंतर" को मार्जन (margin) कहा जाता है।
- पुराना AI: सबके लिए एक निश्चित अंतर का उपयोग करता है। "यदि अच्छा उत्तर थोड़ा भी बेहतर है, तो मैं उससे सीखूँगा।"
- नया AI (DPO-PoP): एक एडेप्टिव मार्जन (adaptive margin) का उपयोग करता है।
- यदि इंसान कहता है, "यह एक बहुत बड़ा अंतर है," तो AI कहता है, "ठीक है, मुझे यह सुनिश्चित करना होगा कि मेरे आंतरिक गणित में अच्छा उत्तर बुरे वाले से बहुत बेहतर हो।"
- यदि इंसान कहता है, "यह एक बहुत छोटा अंतर है," तो AI कहता है, "ठीक है, मैं इस एक के साथ अधिक विनम्र रहूँगा।"
शोध पत्र एक विशिष्ट विधि पेश करता है जिसे DPO-PoP (Direct Preference Optimization with Preference-over-Preferences) कहा जाता है, जो इन "मजबूत बनाम कमजोर" लेबल का उपयोग करके गणित को स्वचालित रूप से समायोजित करता है।
5. ट्रेड-ऑफ: नमूने लेने के दो तरीके
शोधकर्ताओं ने पाया कि आप सवाल कैसे पूछते हैं, इससे परिणाम बदल जाते हैं। उन्होंने दो रणनीतियों का परीक्षण किया:
"इटरेटिव" रणनीति (परफेक्शनिस्ट): आप AI को हर एक "कमजोर" तुलना (छोटे अंतर) को देखने और उन्हें सही करने के लिए मजबूर करते हैं।
- परिणाम: AI बेहतर उत्तरों को पहचानने में अद्भुत हो जाता है (यह एक बेहतरीन ग्रेडर है)।
- नुकसान: क्योंकि इसने बहुत अधिक सूक्ष्म और कठिन अंतरों पर ध्यान केंद्रित किया, इसलिए यह वास्तव में कहानी लिखते समय कभी-कभी भ्रमित हो जाता है। यह बहुत अधिक सतर्क हो जाता है।
"रैंडम" रणनीति (बड़ी तस्वीर): आप तुलनाओं को बेतरतीब ढंग से चुनते हैं, जिसका अर्थ है कि आप स्वाभाविक रूप से "बड़े अंतरों" (स्पष्ट जीत) को "छोटे अंतरों" की तुलना में अधिक देखते हैं।
- परिणाम: AI एक बेहतर लेखक बन जाता है। यह अधिक रचनात्मक और सहायक कहानियाँ बनाता है क्योंकि इसने उन स्पष्ट और मजबूत उदाहरणों पर ध्यान केंद्रित किया जिन्हें इंसान पसंद करते हैं।
- नुकसान: यह सबसे सूक्ष्म अंतरों को पकड़ने में थोड़ा कम सटीक हो सकता है।
निचोड़
शोध पत्र का दावा है कि केवल मनुष्यों से एक अंतर के बजाय दो अंतरों की तुलना करने के लिए पूछकर, हम AI को मानवीय प्राथमिकताओं की शक्ति को बहुत बेहतर तरीके से समझने के लिए सिखा सकते हैं।
- यदि आप एक ऐसा AI चाहते हैं जो उत्तरों का परफेक्ट जज हो, तो "इटरेटिव" विधि का उपयोग करें।
- यदि आप एक ऐसा AI चाहते हैं जो एक बेहतरीन रचनात्मक लेखक हो, तो "रैंडम" विधि का उपयोग करें।
दोनों विधियाँ AI को प्रशिक्षित करने के पुराने तरीकों से बेहतर प्रदर्शन करती हैं, जो यह सिद्ध करती हैं कि "यह अंतर कितना बड़ा है?" पूछने के बजाय "कौन सा अंतर बड़ा है?" पूछना एक स्मार्ट सवाल है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।