STAGE: Controlled Objective Admission for Multi-Preference LLM Alignment
यह शोध पत्र STAGE को प्रस्तुत करता है, जो एक स्थिरता-निर्देशित सक्रिय-सेट (stability-guided active-set) नियंत्रक है जो LLM संरेखण के दौरान बहु-वरीयता उद्देश्य प्रवेश के समय और भार को गतिशील रूप से प्रबंधित करता है, जो रिवॉर्ड-विचलन गेट्स (reward-deviation gates) और अनुकूली अन्वेषण (adaptive probing) के आधार पर उद्देश्यों को बनाए रखकर स्थिर स्केलरकरण (static scalarization) विधियों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, 'अलाइनमेंट' (alignment) के रूप में एक बढ़ती हुई चुनौती मौजूद है। जब हम किसी बड़े लैंग्वेज मॉडल को मददगार बनाना सिखाते हैं, तो हम अक्सर पाते हैं कि एक चीज़ में बेहतर बनाने से अनजाने में वह दूसरी चीज़ में कमजोर हो सकता है। एक मॉडल तेजी और रचनात्मकता के साथ सवालों के जवाब देना सीख सकता है, लेकिन बदले में तथ्यों के प्रति लापरवाह या सुरक्षा नियमों को अनदेखा करने वाला बन सकता है। वर्षों से, शोधकर्ता इस समस्या को हल करने के लिए उन सभी चीजों को मिलाने की कोशिश कर रहे हैं जो वे मॉडल से करवाना चाहते हैं—जैसे मदद करना, सुरक्षा, सटीकता, ईमानदारी—और उन्हें एक एकल स्कोर में समाहित कर रहे हैं। वे इन विभिन्न लक्ष्यों को एक स्मूदी के अवयवों (ingredients) की तरह मिला देते थे और मॉडल को अंतिम स्वाद के लिए अनुकूलित (optimize) करने को कहते थे। लेकिन यह दृष्टिकोण एक महत्वपूर्ण प्रश्न अनुत्तरित छोड़ देता है: मॉडल को कब प्रत्येक विशिष्ट घटक के बारे में चिंता शुरू करनी चाहिए? क्या उसे पहले ही क्षण से हर चीज़ में पूर्ण होने का प्रयास करना चाहिए, या क्या इन जटिल मांगों को पेश करने का कोई बेहतर तरीका है?
एंट इंटरनेशनल (Ant International) के शोधकर्ताओं की एक टीम ने इस प्रश्न का उत्तर देने के लिए STAGE नामक एक नई विधि प्रस्तावित की है। मॉडल को एक साथ पंद्रह अलग-अलग लक्ष्यों के बीच तालमेल बिठाने के लिए मजबूर करने के बजाय, उन्होंने एक ऐसी प्रणाली डिजाइन की है जो इन लक्ष्यों को एक-एक करके पेश करती है, लेकिन केवल तभी जब मॉडल इसके लिए तैयार हो। कल्पना कीजिए कि एक छात्र संगीत का वाद्य यंत्र बजाना सीख रहा है। यदि आप पहले ही दिन उसे एक जटिल सिम्फनी थमा दें, तो वह संभवतः विफल हो जाएगा। यदि आप एक सरल स्केल (scale) से शुरुआत करते हैं और वर्तमान रचना में महारत हासिल करने के बाद ही अगली कठिन रचना की ओर बढ़ते हैं, तो उसकी प्रगति कहीं अधिक बेहतर होती है। STAGE समय के इसी सिद्धांत पर कार्य करता है। यह एक नियंत्रक (controller) के रूप में कार्य करता है जो मॉडल के वर्तमान लक्ष्यों पर प्रदर्शन की निगरानी करता है। यह तब तक प्रतीक्षा करता है जब तक कि उन लक्ष्यों पर मॉडल का व्यवहार स्थिर न हो जाए और उसमें अत्यधिक उतार-चढ़ाव आना बंद न हो जाए। उसके बाद ही यह अगले लक्ष्य को प्रशिक्षण मिश्रण में शामिल करता है, जिससे यह सुनिश्चित होता है कि मॉडल कुछ नया सीखते समय वह जो पहले से सीख चुका है, उसे भूल न जाए।
शोधकर्ताओं ने इस विचार का परीक्षण एक ऐसे मॉडल के साथ किया जिसमें नैतिक अनुपालन और तथ्यात्मक सटीकता से लेकर रचनात्मकता और संख्यात्मक संवेदनशीलता तक पंद्रह विशिष्ट प्राथमिकताएं थीं। उन्होंने अपने STAGE पद्धति की तुलना कई अन्य दृष्टिकोणों से की, जिनमें वे भी शामिल हैं जो शुरुआत से ही एक साथ पंद्रह लक्ष्यों को सीखने का प्रयास करते हैं। परिणाम स्पष्ट थे: STAGE द्वारा प्रशिक्षित मॉडल समग्र रूप से काफी बेहतर प्रदर्शन करता है। विभिन्न बेंचमार्क पर परीक्षण करने पर, STAGE-प्रशिक्षित मॉडल ने औसत स्कोर 44.81 प्राप्त किया, जबकि सबसे अच्छा प्रतिस्पर्धी तरीका जिसने सब कुछ एक साथ सीखने का प्रयास किया था, केवल 39.32 तक ही पहुँच सका। यह अंतर तब और भी अधिक स्पष्ट हो गया जब शोधकर्ताओं ने एक बड़े, अधिक शक्तिशाली मॉडल पर इस पद्धति का परीक्षण किया, जहाँ STAGE ने फिर से एक बड़े अंतर से बढ़त बनाई। अध्ययन बताता है कि मॉडल को नए आवश्यकता के संपर्क में लाने का समय, उस आवश्यकता के स्वयं होने जितना ही महत्वपूर्ण है।
इस खोज का एक प्रमुख हिस्सा यह समझना था कि इन लक्ष्यों को कैसे क्रमबद्ध किया जाए। शोधकर्ताओं ने केवल एक यादृच्छिक (random) क्रम या एक निश्चित अनुक्रम नहीं चुना। इसके बजाय, उन्होंने एक संक्षिप्त प्रारंभिक परीक्षण चलाया यह देखने के लिए कि कौन से लक्ष्य मॉडल के लिए स्वाभाविक रूप से सीखने में कठिन हैं और कौन से आसान। उन्होंने पाया कि रचनात्मकता और तर्क की गुणवत्ता जैसे लक्ष्य अधिक अस्थिर और सुधारने में कठिन थे, जबकि मदद करने और नैतिक अनुपालन जैसे लक्ष्य आसानी से समझ में आने वाले थे। STAGE ने इस जानकारी का उपयोग एक पाठ्यक्रम (curriculum) बनाने के लिए किया, जिसमें आसान लक्ष्यों से शुरुआत की गई और धीरे-धीरे कठिन लक्ष्यों को जोड़ा गया। हालाँकि, प्रणाली केवल एक कठोर कार्यक्रम का पालन नहीं करती थी। इसमें एक "धैर्य" (patience) तंत्र शामिल था जिसने मॉडल को वर्तमान लक्ष्यों का अभ्यास करने के लिए आवश्यक समय तक सक्षम बनाया। यदि मॉडल एक नए लक्ष्य पर स्थिर होने के लिए संघर्ष कर रहा था, तो सिस्टम अगला लक्ष्य जोड़ने से पहले अधिक समय तक प्रतीक्षा करता था, जिससे मॉडल पर बोझ न पड़े।
अध्ययन ने यह भी खुलासा किया कि केवल लक्ष्यों को एक-एक करके जोड़ना पर्याप्त नहीं है; मॉडल को पुराने लक्ष्यों को भी याद रखना होगा। कुछ पिछली विधियों में, जब एक नया लक्ष्य पेश किया जाता था, तो मॉडल कभी-कभी पिछले लक्ष्यों को संभालने का तरीका भूल जाता था, जिसे 'कैटास्ट्रोफिक फॉरगेटिंग' (catastrophic forgetting) कहा जाता है। STAGE ने प्रशिक्षण प्रक्रिया के दौरान सभी पहले से स्वीकृत लक्ष्यों को सक्रिय रखकर इसे हल किया। जैसे-जैसे मॉडल एक चरण से दूसरे चरण में बढ़ता है, वह नए लक्ष्यों को सीखते हुए भी शुरुआती लक्ष्यों के लिए अनुकूलन जारी रखता है। यह संचयी (cumulative) दृष्टिकोण सुनिश्चित करता है कि मॉडल का ज्ञान अपनी पिछली प्रगति को मिटाए बिना निरंतर बढ़ता रहे। शोधकर्ताओं ने पाया कि इस विशेषता को हटाने से प्रदर्शन गिर गया, जिससे सिद्ध हुआ कि बहु-लक्ष्य प्रशिक्षण के लिए शुरुआती उद्देश्यों को बनाए रखना सफलता के लिए आवश्यक है।
समय और प्रतिधारण (retention) के यांत्रिकी के अलावा, शोधकर्ताओं ने यह भी खोजा कि मॉडल अपने लक्ष्यों को कैसे महत्व देता है। किसी भी एकल चरण के प्रशिक्षण के दौरान, प्रणाली स्वचालित रूप से उन लक्ष्यों पर अधिक ध्यान देती थी जिनमें मॉडल का प्रदर्शन खराब था। यदि मॉडल सटीकता में अच्छा था लेकिन रचनात्मकता में संघर्ष कर रहा था, तो प्रशिक्षण प्रक्रिया स्वाभाविक रूप से रचनात्मकता में सुधार करने के लिए अधिक ऊर्जा पर ध्यान केंद्रित करती थी। इस अनुकूलन योग्य वेटिंग (adaptive weighting) ने यह सुनिश्चित किया कि किसी भी लक्ष्य की उपेक्षा न हो, भले ही नए लक्ष्य पेश किए जा रहे हों। स्मार्ट वेटिंग, नए लक्ष्यों को जोड़ने के सटीक समय और पुराने लक्ष्यों को कभी न छोड़ने की रणनीति के संयोजन ने एक मजबूत प्रशिक्षण लूप बनाया जिसने सभी परीक्षित तरीकों से बेहतर प्रदर्शन किया।
ये निष्कर्ष आर्टिफिशियल इंटेलिजेंस को प्रशिक्षित करने के बारे में एक नया दृष्टिकोण प्रदान करते हैं। लंबे समय से, ध्यान इस बात पर रहा है कि विभिन्न पुरस्कारों (rewards) को एक एकल संख्या में कैसे संयोजित किया जाए। यह शोध पत्र सुझाव देता है कि अधिक महत्वपूर्ण प्रश्न यह है कि उन पुरस्कारों को कब पेश किया जाए। नए उद्देश्यों को स्वीकार करने की प्रक्रिया को एक नियंत्रित प्रक्रिया के रूप में मानकर, जो मॉडल की अपनी स्थिरता द्वारा निर्देशित हो, शोधकर्ता ऐसे सिस्टम बना सकते हैं जो न केवल स्मार्ट बल्कि अधिक विश्वसनीय भी हों। यह अध्ययन यह दावा नहीं करता है कि इसने आर्टिफिशियल इंटेलिजेंस अलाइनमेंट की हर समस्या को हल कर लिया है, लेकिन यह एक ठोस, कामकाजी उदाहरण प्रदान करता है कि कैसे सीखने की गति का प्रबंधन बेहतर परिणाम ला सकता है। एक ऐसे क्षेत्र में जहाँ मॉडलों से अक्सर बहुत कम समय में बहुत कुछ करने की अपेक्षा की जाती है, STAGE एक शांत और अधिक विचारशील मार्ग प्रदान करता है, जो यह सिद्ध करता है कि कभी-कभी, सब कुछ सीखने का सबसे अच्छा तरीका इसे एक-एक कदम करके सीखना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।