Less Data, Better Alignment: Data-Centric Multi-Evaluator Agreement for Preference Optimization
यह शोध पत्र DMAPO प्रस्तुत करता है, जो एक डेटा-केंद्रित प्राथमिकता अनुकूलन विधि है जो मानक दृष्टिकोणों की तुलना में काफी कम प्रशिक्षण डेटा के साथ बेहतर संरेखण प्रदर्शन प्राप्त करने के लिए मल्टी-इवैल्यूएटर सहमति का उपयोग करके ऑन-पॉलिसी प्रतिक्रियाओं के एक छोटे, उच्च-आम सहमति वाले उपसमुच्चय को फ़िल्टर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अराजक रोबोट को एक सहायक बनना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस प्रक्रिया को "अलाइनमेंट" (alignment) कहा जाता है। लंबे समय से, वैज्ञानिक इस बात पर ध्यान केंद्रित कर रहे हैं कि रोबोट को कैसे सिखाया जाए, और विभिन्न गणितीय सूत्रों का परीक्षण कर रहे हैं ताकि वह पूर्व-लिखित उदाहरणों के एक विशाल ढेर से सीख सके। लेकिन एक समस्या है: कभी-कभी उदाहरणों का वह ढेर अव्यवset, विरोधाभासों से भरा या बस भ्रमित करने वाला होता है। यह एक रेसिपी बुक से खाना बनाना सीखने जैसा है जहाँ आधे पन्ने फटे हुए हैं और दूसरे आधे पन्नों पर परस्पर विरोधी निर्देश लिखे हैं।
यह शोध पत्र एक अलग सवाल पूछता है: क्या होगा अगर समस्या सिखाने का तरीका नहीं, बल्कि सामग्री (ingredients) है? एक विशाल, शोर-शराबे वाली लाइब्रेरी से सीखने के बजाय, क्या होगा अगर हम रोबोट को केवल उदाहरणों के एक छोटे, उत्तम सेट से सीखने दें जिसके बारे में हमें पूरा विश्वास हो कि वे अच्छे हैं? शोधकर्ताओं ने देखना चाहा कि क्या डेटा का एक छोटा, उच्च-गुणवत्ता वाला "स्नैक" (नाश्ता), डेटा के एक विशाल, अस्त-व्यस्त "फीस्ट" (दावत) से बेहतर हो सकता है। उन्होंने एक ऐसा सिस्टम बनाया जो एक बहुत ही सख्त फूड क्रिटिक (खाद्य समीक्षक) की तरह काम करता है, जो रोबोट के अपने हजारों उत्तरों को चखता है और केवल उन्हीं को रखता है जिन पर सभी एकमत हों कि वे स्वादिष्ट हैं। परिणाम? यह तरीका बताता है कि हमें रोबोट को स्मार्ट बनाने के लिए लाखों उदाहरणों की आवश्यकता नहीं हो सकती; हमें बस कुछ सौ ऐसे उदाहरणों की आवश्यकता हो सकती है जो वास्तव में, निर्विवाद रूप से उत्कृष्ट हों।
शोध पत्र की कहानी: DMAPO
यह शोध पत्र DMAPO (Data-centric Multi-evaluator Agreement for Preference Optimization) नामक एक नई विधि पेश करता है। DMAPO को एक बहुत ही चयनात्मक संपादक के रूप में समझें जो केवल एक कहानी पढ़ता ही नहीं; वे स्वयं कहानी भी लिखते हैं, फिर तीन अलग-अलग विशेषज्ञ आलोचकों को उसे ग्रेड करने के लिए काम पर रखते हैं, और अंत में, वे केवल उन्हीं कहानियों को प्रकाशित करते हैं जिन पर सभी इस बात के लिए सहमत होते हैं कि वे या तो एक उत्कृष्ट कृति (masterpiece) हैं या पूरी तरह से आपदा।
यहाँ जादू कैसे होता है, चरण-दर-चरण:
1. रोबोट पहले लिखता है
"अच्छे" और "बुरे" उत्तरों की एक पूर्व-मौजूद सूची देखने के बजाय, शोधकर्ताओं ने रोबोट (विशेष रूप से Mistral-7B नामक मॉडल) को हजारों सवालों के अपने उत्तर लिखने दिया। यह एक छात्र को टेस्ट देने के लिए कहने जैसा है, इससे पहले कि शिक्षक उसे ग्रेड करें। रोबोट ने 13,559 अलग-अलग प्रॉम्प्ट्स के लिए 54,236 अलग-अलग उत्तर उत्पन्न किए।
2. न्यायाधीशों का पैनल
अब सख्त हिस्सा आता है। शोधकर्ता इन उत्तरों को ग्रेड करने के लिए केवल एक AI का उपयोग नहीं करते हैं। वे तीन विशिष्ट "इवैल्यूएटर्स" (AI मॉडल जो न्यायाधीश के रूप में कार्य करते हैं) का उपयोग प्रत्येक उत्तर को तीन विशिष्ट चीजों पर स्कोर करने के लिए करते हैं:
- उपयोगिता (Helpfulness): क्या यह वास्तव में उपयोगी है?
- तथ्यात्मकता (Factuality): क्या यह सच बता रहा है?
- संक्षिप्तता (Conciseness): क्या यह बहुत अधिक शब्दबहुल है?
प्रत्येक जज 1 से 10 तक का स्कोर देता है। लेकिन रुकिए, यहाँ चौथा जज भी है, एक "प्रोसेस क्रिटिक", जो तार्किक त्रुटियों या अजीब तर्क दोषों की तलाश करता है और यदि उत्तर ढीला-ढाला है तो अंक काट लेता है।
3. "कंसेंसस गेट" (सर्वसम्मति का द्वार)
यह सबसे महत्वपूर्ण फ़िल्टर है। सिस्टम केवल एक उत्तर को तभी रखता है जब तीनों मुख्य जज इस बात पर सहमत हों कि वह या तो अद्भुत है (7 या उससे अधिक का स्कोर) या भयानक है (4 या उससे कम का स्कोर)। यदि जज भ्रमित हैं या उनके बीच असहमति है, तो उस उत्तर को कचरे में फेंक दिया जाता है। यह एक टैलेंट शो की तरह है जहाँ एक प्रतियोगी केवल तभी बचता है जब सभी जज अपना "हाँ" बटन दबाते हैं, या यदि सभी जज अपना "ना" बटन दबाते हैं। यदि जज विभाजित हैं, तो प्रतियोगी घर चला जाता है।
4. परिणाम: कम डेटा, बेहतर अलाइनमेंट
इस सख्त फ़िल्टरिंग का परिणाम चौंकाने वाला है। 54,236 उत्पन्न उत्तरों में से, सिस्टम ने केवल 1,871 को रखा। यह केवल 3.45% की स्वीकृति दर थी। इसने 96.55% डेटा को फेंक दिया!
लेकिन यहाँ एक मोड़ है: इस छोटे, उच्च-गुणवत्ता वाले 1,871 उदाहरणों पर प्रशिक्षित रोबोट ने वास्तव में उन रोबोटों से बेहतर प्रदर्शन किया जो अन्य विधियों का उपयोग करके बहुत बड़े डेटासेट पर प्रशिक्षित थे।
- MT-Bench नामक एक टेस्ट पर, नए रोबोट ने 7.50 स्कोर किया, जो पिछले सर्वश्रेष्ठ तरीकों को भी पीछे छोड़ गया।
- एक संदर्भ मॉडल (reference model) की तुलना में, जब लंबाई को नियंत्रित किया गया, तो इसने 95.5% बार जीत हासिल की।
- इसने IFEVAL नामक एक टेस्ट पर 57.3% स्कोर किया, जो यह जांचता है कि क्या रोबोट सख्त नियमों का पालन कर सकता है।
शोध पत्र क्या खारिज करता है
लेखक सावधानीपूर्वक कहते हैं कि यह विधि क्या नहीं है।
- यह कोई जादुई छड़ी नहीं है जो रोबोट को हर चीज़ में स्मार्ट बना देती है। वास्तव में, जब उन्होंने गणित की समस्याओं पर परीक्षण किया, तो स्कोर वास्तव में थोड़ा गिर गया (6.45 से 5.70)। सख्त "संक्षिप्तता" फ़िल्टर ने शायद गणित के लिए आवश्यक लंबी, विस्तृत प्रक्रियाओं को दंडित किया होगा।
- यह नया ज्ञान जोड़ने का तरीका नहीं है। रोबोट केवल उन चीजों में बेहतर होने के लिए सीख रहा है जो वह पहले से ही करने में सक्षम था; वह बस उन्हें अधिक विश्वसनीयता के साथ करना सीख रहा है।
- यह मानव-स्तर की सच्चाई की गारंटी नहीं है। सिस्टम AI न्यायाधीशों पर निर्भर करता है, और यदि उन AI न्यायाधीशों में पूर्वाग्रह (जैसे कि शब्दबहुलता पर बहुत सख्त होना या सांस्कृतिक अंध बिंदु होना) हैं, तो रोबोट भी उन पूर्वाग्रहों को सीख लेगा।
वे कितने आश्वस्त हैं?
शोध पत्र इसे प्रयोगों के आधार पर एक मजबूत सुझाव के रूप में प्रस्तुत करता है, न कि भौतिकी के अंतिम नियम के रूप में।
- परिणाम एक विशिष्ट रोबोट मॉडल (Mistral-7B) पर मापे गए थे और स्पष्ट सुधार दिखाया।
- हालाँकि, जब उन्होंने एक अलग रोबोट मॉडल (Llama-3.1-8B) पर समान विधि का परीक्षण किया, तो परिणाम "मिश्रित" थे। नया रोबोट कुछ परीक्षणों में अच्छा प्रदर्शन करता है लेकिन मुख्य बेंचमार्क पर मूल संस्करण को नहीं हरा पाया। यह सुझाव देता है कि यह विधि कुछ प्रकार के रोबोटों के लिए अच्छी तरह से काम करती है लेकिन सभी के लिए सार्वभौमिक समाधान नहीं हो सकती है।
- लेखक स्पष्ट रूप से कहते हैं कि जबकि यह विधि काम करती है, इसके साथ एक लागत आती है: आपको डेटा उत्पन्न करने और फ़िल्टर करने के लिए प्रशिक्षण से पहले बहुत अधिक कंप्यूटर शक्ति खर्च करनी पड़ती है। यह एक समझौता है: कम प्रशिक्षण समय, लेकिन अधिक "क्यूरेशन" (संग्रहण) समय।
निष्कर्ष
DMAPO सुझाव देता है कि AI को स्मार्ट बनाने की दौड़ में, मात्रा से अधिक गुणवत्ता मायने रखती है। एक बहुत ही सख्त संपादक की तरह काम करते हुए, जो केवल उन्हीं उत्तरों को स्वीकार करता है जिन पर सभी इस बात के लिए सहमत होते हैं कि वे पूर्ण हैं (या पूर्ण विफलता हैं), शोधकर्ताओं ने पाया कि एक छोटा, उच्च-विश्वास वाला डेटासेट उन डेटासेट्स की तुलना में बेहतर प्रदर्शन करता है जो विशाल, अव्यवस्त ढेरों पर प्रशिक्षित होते हैं। यह एक याद दिलाता है कि कभी-कभी, सीखने का सबसे अच्छा तरीका शोर को अनदेखा करना और केवल संकेत (signal) पर ध्यान केंद्रित करना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।