आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स मानव ज्ञान के विशाल पुस्तकालयों की तरह हैं, जो कहानियाँ लिखने, समीकरण हल करने और प्रश्नों के उत्तर देने में सक्षम हैं। हालाँकि, ये पुस्तकालय स्वाभाविक रूप से इस तरह व्यवस्थित नहीं होते कि वे मददगार, सुरक्षित या मानवीय निर्देशों के प्रति आज्ञाकारी हों। इसे ठीक करने के लिए, शोधकर्ता 'अलाइनमेंट' (alignment) नामक एक प्रक्रिया का उपयोग करते हैं, जो अंतिम प्रशिक्षण चरण के रूप में कार्य करती है ताकि मॉडल को एक अच्छे सहायक की तरह व्यवहार करना सिखाया जा सके। इस पद्धति के लिए मानक तरीका 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) नामक एक तकनीक है, जहाँ मॉडल विभिन्न उत्तरों का परीक्षण करता है, इस बात के लिए स्कोर प्राप्त करता है कि वे कितने अच्छे हैं, और फिर अगली बार बेहतर स्कोर प्राप्त करने के लिए अपने आंतरिक सेटिंग्स को समायोजित करने के लिए जटिल गणित का उपयोग करता है। यह प्रक्रिया शक्तिशाली है, लेकिन यह अविश्वसनीय रूप से भारी भी है। इसके लिए भारी मात्रा में कंप्यूटर पावर, विशेष हार्डवेयर और कई प्रोसेसरों के बीच निरंतर संचार की आवश्यकता होती है, जो इसे सबसे बड़े मॉडलों के लिए महंगा और स्केल अप करना कठिन बनाता है।

T-Tech और Yandex के शोधकर्ताओं की एक टीम ने एक अलग रास्ता प्रस्तावित किया है, जो पूरी तरह से भारी गणितीय समायोजनों को छोड़ देता है। वे अपने नए तरीके को ESSA कहते हैं, जिसका अर्थ है 'एवोल्यूशनरी स्ट्रैटेजीज फॉर स्केलेबल अलाइनमेंट' (Evolutionary Strategies for Scalable Alignment)। यह गणना करने के बजाय कि मॉडल को सही दिशा में कैसे धकेला जाए, ESSA मॉडल के साथ एक सिमुलेशन में एक जीवित जीव की तरह व्यवहार करता है। यह मॉडल के कई थोड़े अलग संस्करण बनाता है, यह देखने के लिए कि कौन सा सबसे अच्छा प्रदर्शन करता है, उन सभी का एक साथ परीक्षण करता है, और फिर सर्वोत्तम गुणों को बनाए रखता है और बाकी को त्याग देता है। यह दृष्टिकोण उन जटिल 'बैकवर्ड कैलकुलेशन' की आवश्यकता को समाप्त कर देता है जो पारंपरिक तरीकों को धीमा कर देते हैं। मॉडल की सेटिंग्स के एक बहुत ही छोटे, विशिष्ट हिस्से पर ध्यान केंद्रित करके और एक रणनीति का उपयोग करके जो प्राकृतिक चयन की नकल करती है, शोधकर्ताओं ने पाया कि वे पारंपरिक तरीकों की तुलना में बहुत अधिक तेज़ी से और बहुत कम कंप्यूटिंग पावर के साथ विशाल मॉडलों को अलाइन कर सकते हैं, जिससे ऐसे परिणाम प्राप्त हुए जो वर्तमान अत्याधुनिक तरीकों के बराबर या उनसे भी बेहतर हैं।

ESSA के पीछे का मूल विचार मॉडल के भीतर के प्रत्येक अंक को समायोजित करने की कोशिश करना बंद करना है। लार्ज लैंग्वेज मॉडल्स में अरबों ऐसे अंक होते हैं, और उन सभी को एक साथ बदलना जहाज के पतवार पर लगे हर एक बोल्ट को हिलाकर सुपरटैंकर को मोड़ने जैसा है। शोधकर्ताओं ने महसूस किया कि एक प्रारंभिक प्रशिक्षण चरण के बाद, मॉडल को बुनियादी कार्य करना पहले से ही आता है। इसे केवल एक 'फाइन-ट्यूनिंग' की आवश्यकता है, यानी व्यवहार में एक छोटा सा समायोजन। इसे प्राप्त करने के लिए, उन्होंने 'लो-रैंक अडैप्टेशन' (Low-Rank Adaptation) नामक एक तकनीक का उपयोग किया, जो मॉडल में एक छोटा, लचीला स्तर जोड़ती है, और फिर उस स्तर को उसके सबसे आवश्यक घटकों में विभाजित किया। उन्होंने इन घटकों की दिशा को स्थिर (freeze) कर दिया और केवल कुछ प्रमुख संख्याओं के आकार, या परिमाण (magnitude), को बदलने की अनुमति दी। इसने समस्या को अरबों चरों को समायोजित करने से घटाकर केवल कुछ हज़ार में बदल दिया, जिससे एक संक्षिप्त स्थान (compact space) बना जहाँ एक खोज रणनीति कुशलता से काम कर सके।

इस नई व्यवस्था में, कंप्यूटर उम्मीदवारों के एक समूह (population) को उत्पन्न करता है, जिनमें से प्रत्येक में उन कुछ हज़ार संख्याओं के लिए थोड़े अलग सेटिंग्स होते हैं। प्रत्येक उम्मीदवार का परीक्षण समस्याओं के एक सेट पर किया जाता है, जैसे गणितीय समीकरणों को हल करना या सख्त निर्देशों का पालन करना, और उन्हें एक स्कोर दिया जाता है। सिस्टम फिर यह तय करने के लिए स्कोर को देखता है कि कौन से उम्मीदवार सबसे सफल थे। ग्रेडिएंट्स (gradients) की गणना करने के बजाय, जो सबसे अच्छी दिशा खोजने के लिए उपयोग किए जाने वाले जटिल गणितीय ढलान हैं, सिस्टम बस विजेताओं को चुनता है और उनके सेटिंग्स को अगले दौर के बदलावों के लिए शुरुआती बिंदु के रूप में उपयोग करता है। यह प्रक्रिया दोहराई जाती है, और जनसंख्या धीरे-धीरे बेहतर प्रदर्शन की ओर विकसित होती है। क्योंकि सिस्टम को स्कोर प्राप्त करने के लिए केवल मॉडल को 'फॉरवर्ड रन' करने की आवश्यकता होती है, इसलिए इसे उन कंप्यूटरों पर चलाया जा सकता है जो संख्याओं के एक सरलीकृत, कम-परिशुद्धता (low-precision) प्रारूप का उपयोग करते हैं, जो और भी अधिक मेमोरी और गति बचाता है।

शोधकर्ताओं ने निर्देशों का पालन करने, एक सहायक के रूप में कार्य करने और कठिन गणितीय समस्याओं को हल करने सहित विभिन्न प्रकार के कार्यों पर इस पद्धति का परीक्षण किया। उन्होंने ESSA की तुलना अग्रणी तरीकों से की जो पारंपरिक, भारी गणितीय दृष्टिकोण का उपयोग करते हैं। गणितीय तर्क (math reasoning) से जुड़े कार्यों में, ESSA मौजूदा सर्वोत्तम तरीकों के समान प्रदर्शन करता है, और कुछ मामलों में, यह काफी तेज़ था। उदाहरण के लिए, 128 शक्तिशाली ग्राफिक्स प्रोसेसरों के क्लस्टर पर एक बड़े मॉडल को प्रशिक्षित करते समय, ESSA ने मानक पद्धति की तुलना में लगभग आठ गुना तेज़ी से एक विशिष्ट लक्ष्य सटीकता स्तर प्राप्त किया। यह गति इसलिए नहीं आई क्योंकि ESSA को सीखने के लिए कम उदाहरणों की आवश्यकता थी, बल्कि इसलिए क्योंकि इसके प्रत्येक चरण की प्रक्रिया बहुत हल्की थी और इसे पारंपरिक दृष्टिकोण को धीमा करने वाले बॉटलनैक्स (bottlenecks) के बिना समानांतर (parallel) में चलाया जा सकता था।

अध्ययन ने यह भी पता लगाया कि यह विधि मॉडलों के विभिन्न आकारों और कार्यों के विभिन्न प्रकारों के साथ कितनी अच्छी तरह काम करती है। उन्होंने पाया कि ESSA तब भी प्रभावी बना रहा जब मॉडल को 72 बिलियन पैरामीटर्स तक बढ़ाया गया, जो एक ऐसा आकार है जिसे कुशलतापूर्वक अलाइन करना आमतौर पर बहुत कठिन होता है। इन बड़े पैमाने के परीक्षणों में, विधि एक ग्राफिक्स प्रोसेसर प्रति एक उम्मीदवार मॉडल के साथ चल सकी, जो मेमोरी सीमाओं के कारण पारंपरिक पद्धति के साथ असंभव होता। शोधकर्ताओं ने यह भी जाँच की कि क्या यह विधि तब काम करती है जब प्रारंभिक प्रशिक्षण किसी अन्य विषय पर किया गया हो, जैसे सामान्य बातचीत पर प्रशिक्षण देना लेकिन सख्त नियम पालन पर परीक्षण करना। विधि अच्छी तरह से टिकी रही, यह दिखाते हुए कि विकासवादी खोज (evolutionary search) सही समायोजन पा सकती है भले ही वह एक थोड़े अलग आधार से शुरू हुई हो।

एक सबसे आश्चर्यजनक खोज यह थी कि इस पद्धति को पारंपरिक तरीकों द्वारा आवश्यक जटिल, सूक्ष्म-ट्यून की गई सेटिंग्स की आवश्यकता नहीं थी। शोधकर्ताओं ने उम्मीदवारों के जनसंख्या आकार के विभिन्न प्रकारों का परीक्षण किया और पाया कि उत्कृष्ट परिणाम प्राप्त करने के लिए एक मध्यम संख्या ही आमतौर पर पर्याप्त थी। उन्होंने यह भी खोजा कि यह विधि मॉडल की सेटिंग्स में होने वाले बदलाव की मात्रा के प्रति कितनी मजबूत (robust) है। यह स्थिरता बताती है कि विकासवादी दृष्टिकोण इंजीनियर के विशिष्ट विकल्पों के प्रति कम संवेदनशील है, जिससे इसे व्यवहार में उपयोग करना आसान हो जाता है। इसके अलावा, यह विधि तब भी अच्छी तरह से काम करती रही जब कंप्यूटर ने इसकी गणनाओं के लिए कम परिशुद्धता (lower precision) का उपयोग किया, जिससे सटीकता का केवल एक बहुत छोटा हिस्सा ही कम हुआ लेकिन महत्वपूर्ण गति और मेमोरी दक्षता प्राप्त हुई।

पेपर ने इस पर भी चर्चा की कि जब इस पद्धति की तुलना सर्वोत्तम सेटिंग्स खोजने के अन्य तरीकों से की जाती है, तो क्या होता है। शोधकर्ताओं ने विभिन्न प्रकार की विकासवादी रणनीतियों (evolutionary strategies) का परीक्षण किया और पाया कि हालांकि कुछ अंत में थोड़े बेहतर थे, लेकिन उनके द्वारा चुनी गई विशिष्ट रणनीति तेजी से अच्छे परिणाम प्राप्त करने में सबसे विश्वसनीय थी। उन्होंने अपने तरीके की तुलना एक ऐसे संस्करण से भी की जिसने समान सरलीकृत सेटिंग्स का उपयोग करने का प्रयास किया लेकिन पारंपरिक गणितीय दृष्टिकोण के साथ। विकासवादी पद्धति लगातार इस हाइब्रिड मॉडल से बेहतर प्रदर्शन करती रही, जो यह सिद्ध करता है कि खोज कैसे की जा रही थी, वह उन सेटिंग्स के जितने महत्वपूर्ण थे जिन्हें खोजा जा रहा था। यह सुझाव देता है कि मशीनों को प्रशिक्षित करने के लिए प्राकृतिक चयन के पुराने विचार का उपयोग करना केवल एक बैकअप योजना नहीं है, बल्कि एक शक्तिशाली विकल्प है जो सही परिस्थितियों में मानक उपकरणों से बेहतर प्रदर्शन कर सकता है।

अंत में, यह कार्य प्रदर्शित करता है कि आधुनिक अलाइनमेंट की भारी, जटिल मशीनरी ही एकमात्र रास्ता नहीं है। समस्या को उम्मीदवारों के एक छोटे समूह के बीच सर्वोत्तम सेटिंग्स की खोज में सरल बनाकर, और समानांतर कंप्यूटिंग की शक्ति का लाभ उठाकर, शोधकर्ताओं ने दिखाया कि बड़े मॉडलों को तेज़ी से और कुशलता से अलाइन किया जा सकता है। यह विधि उस प्रारंभिक प्रशिक्षण को प्रतिस्थापित नहीं करती है जो मॉडल को उसका बुनियादी ज्ञान प्रदान करता है, बल्कि यह उस ज्ञान को एक सहायक के रूप में ढालने का एक नया, हल्का तरीका प्रदान करती है। जैसे-जैसे मॉडल बड़े होते जा रहे हैं, यह दृष्टिकोण उन्हें कंप्यूटिंग पावर की असंभव मात्रा की आवश्यकता के बिना अलाइन रखने के लिए एक व्यावहारिक मार्ग प्रदान करता है, जो यह सुझाव देता है कि AI अलाइनमेंट का भविष्य जटिल गणितीय सूत्रों के बजाय सरल, अधिक प्रत्यक्ष रणनीतियों में निहित हो सकता है।