ATLAS: Scaffold-Free Algorithm Synthesis by LLMs via Embedding-Guided Quality-Diversity Search
ATLAS एक स्कैफोल्ड-मुक्त, एम्बेडिंग-निर्देशित क्वालिटी-डाइवर्सिटी फ्रेमवर्क है जो LLMs को घटकों और कंट्रोल फ्लो को गतिशील रूप से पुनर्गठित करते हुए कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन के लिए पूर्ण एल्गोरिदम को स्वायत्त रूप से संश्लेषित करने में सक्षम बनाता है, जबकि यह विशाल डिज़ाइन स्पेस में नेविगेट करने और विविध, उच्च-प्रदर्शन वाले समाधानों की खोज करने के लिए एरर-कंडीशन्ड रिपेयर और सिमिलैरिटी-आधारित आर्काइव्स का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अनुकूलन (ऑप्टिमाइज़ेशन) आधुनिक जीवन के बहुत से कार्यों के पीछे का शांत इंजन है। यह एक जटिल कार्य के लिए सबसे अच्छा संभव विन्यास खोजने की गणितीय कला है, चाहे वह ईंधन बचाने के लिए डिलीवरी ट्रकों का मार्ग निर्धारित करना हो, समय पर काम पूरा करने के लिए फैक्ट्री मशीनों का शेड्यूलिंग करना हो, या बिना किसी टकराव के श्रमिकों को शिफ्ट में नियुक्त करना हो। दशकों तक, इन समस्याओं को हल करने के लिए मानव विशेषज्ञों को उन नियमों और तर्क को हाथ से तैयार करने की आवश्यकता थी जो समाधान की खोज का मार्गदर्शन करते थे। ये विशेषज्ञ एक कठोर ढांचा, चरणों का एक निश्चित कंकाल डिजाइन करते थे, और फिर उस कंकाल के विशिष्ट हिस्सों को चतुर 'ह्यूरिस्टिक्स' (heuristics), या नियमों के संक्षिप्त रूप (rules of thumb) से भर देते थे। हालांकि यह प्रभावी था, लेकिन इस दृष्टिकोण का अर्थ यह था कि कंप्यूटर हमेशा एक इंसान द्वारा बनाए गए बॉक्स के भीतर काम कर रहा था, जो काम को व्यवस्थित करने के एक मौलिक रूप से भिन्न तरीके की कल्पना करने में असमर्थ था।
हाल ही में, आर्टिफिशियल इंटेलिजेंस ने इस गतिशीलता को बदलना शुरू कर दिया है। लार्ज लैंग्वेज मॉडल्स, वही तकनीक जो निबंध लिख सकती है या प्रश्नों के उत्तर दे सकती है, ने दिखाया है कि वे इन अनुकूलन पहेलियों को हल करने के लिए कोड भी लिख सकते हैं। शुरुआती प्रयासों में इन मॉडल्स से पहेली का केवल एक हिस्सा लिखने के लिए कहा गया, जैसे कि अगली वस्तु को चुनने के लिए एक विशिष्ट नियम, जबकि बाकी संरचना को मानव डिजाइनर के लिए छोड़ दिया गया। लेकिन एक नई सोच यह सुझाव देती है कि यदि हम आर्टिफिशियल इंटेलिजेंस को शुरू से ही पूरी मशीन डिजाइन करने दें, तो वह ऐसे समाधान खोज सकता है जिनकी कल्पना मानव विशेषज्ञ कभी नहीं कर पाएंगे। चुनौती, हालांकि, यह है कि कंप्यूटर को पूर्ण स्वतंत्रता देना खतरनाक है; बिना सुरक्षा घेरे (guardrails) के, यह आसानी से ऐसा कोड बना सकता है जो क्रैश हो जाए, नियमों की अनदेखी करे, या एक लूप में फंस जाए। शोधकर्ताओं की एक टीम ने अब इस खतरे से निपटने का एक तरीका विकसित किया है, जो आर्टिफिशियल इंटेलिजेंस को शून्य से पूर्ण, काम करने वाले एल्गोरिदम आविष्कार करने की अनुमति देता है, और ऐसा करके, ऐसे समाधान पाता है जो सर्वश्रेष्ठ मानव-डिजाइन किए गए सिस्टमों का मुकाबला करते हैं।
शोधकर्ताओं ने, जो डैनियल याजदानी और आरएमआईटी यूनिवर्सिटी एवं अन्य संस्थानों के सहयोगियों के नेतृत्व में थे, एक प्रणाली बनाई जिसे वे ATLAS कहते हैं। नाम का अर्थ है 'आर्काइव-आधारित थ्री-लेयर एल्गोरिदम सिंथेसिस' (Archive-based Three-Layer Algorithm Synthesis), लेकिन इसका कार्य सरल है: यह एक 'स्कैफोल्ड-फ्री' (scaffold-free) वातावरण है जहाँ एक आर्टिफिशियल इंटेलिजेंस बिना किसी पूर्व-लिखित संरचना के एक पूर्ण अनुकूलन एल्गोरिदम बनाने के लिए स्वतंत्र है। पारंपरिक तरीकों में, मानव एक कंकाल प्रदान करता है—चरणों का एक निश्चित सेट जैसे "यहाँ से शुरू करें, इसे जांचें, फिर वह करें"—और एआई केवल खाली स्थानों को भरता है। ATLAS उस कंकाल को पूरी तरह से हटा देता है। मानव केवल समस्या का विवरण प्रदान करता है, जैसे कि "वाहन की क्षमता का सम्मान करते हुए यात्रा की दूरी को कम करें," और डेटा प्राप्त करने और उत्तर वापस करने के लिए एक सरल नियम। बाकी सब कुछ, आंतरिक तर्क से लेकर नियंत्रण के प्रवाह तक, एआई की जिम्मेदारी है।
यह स्वतंत्रता एक विशाल और अराजक परिदृश्य बनाती है। बिना किसी निश्चित संरचना के, एआई समस्या को हल करने के लाखों अलग-अलग तरीके उत्पन्न कर सकता है, लेकिन इनमें से कई प्रयास विफल होंगे। कोड क्रैश हो सकता है, आउटपुट गलत प्रारूप का हो सकता है, या समाधान नियमों का उल्लंघन कर सकता है। इसे प्रबंधित करने के लिए, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो एक कठोर गुणवत्ता नियंत्रण निरीक्षक की तरह कार्य करती है। जब एआई एक नया एल्गोरिदम बनाता है, तो सिस्टम उसे परीक्षण समस्याओं के एक सेट के विरुद्ध चलाता है। यदि एल्गोरिदम क्रैश होता है या गलत परिणाम देता है, तो सिस्टम उसे केवल खारिज नहीं करता है। इसके बजाय, यह विश्लेषण करता है कि वह क्यों विफल हुआ—चाहे वह मेमोरी समाप्त होने के कारण हुआ हो, समय समाप्त होने के कारण, या असंभव समाधान उत्पन्न करने के कारण—और उस विशिष्ट त्रुटि संदेश को एआई को वापस फीड करता है। एआई फिर उस फीडबैक का उपयोग कोड को फिर से लिखने के लिए करता है, विशिष्ट दोष को ठीक करने का प्रयास करता है। यह 'एरर-कंडीशन्ड रिपेयर' (error-conditioned repair) की प्रक्रिया विफलताओं को सीखने के अवसरों में बदल देती है, जिससे सिस्टम उन गलतियों से उबरने में सक्षम होता है जो अन्य तरीकों में खोज को समाप्त कर देतीं।
खोज को एक ही औसत दर्जे के समाधान में फंसने से रोकने के लिए, ATLAS एक रणनीति का उपयोग करता है जो इस तरह से प्रेरित है जैसे प्रकृति विविधता को संरक्षित करती है। कई अनुकूलन खोजों में, सिस्टम जल्दी ही एक "अच्छे" उत्तर पर केंद्रित हो जाता है और कुछ और खोजने के लिए रुक जाता है, जिससे खोज क्षेत्र के दूसरे हिस्से में छिपे कहीं बेहतर समाधान को खोने की संभावना रहती है। ATLAS इसे एक 'सिमेंटिक मैप' (semantic map) बनाकर टालता है। यह कोड के अर्थ के गणितीय प्रतिनिधित्व का उपयोग समान एल्गोरिदम को एक साथ समूहबद्ध करने और अलग-अलग समूहों को अलग रखने के लिए करता है। सिस्टम अब तक खोजे गए सर्वश्रेष्ठ एल्गोरिदम के एक विविध संग्रह को बनाए रखता है, यह सुनिश्चित करता है कि यह समाधान स्थान के विभिन्न क्षेत्रों की खोज करना जारी रखे, न कि एक एकल डिजाइन में सिमट जाए। यह इसे एक साथ कई प्रतिस्पर्धी दृष्टिकोणों को बनाए रखने की अनुमति देता है, जिनमें से कुछ एक-दूसरे से बहुत अलग दिख सकते हैं लेकिन समान रूप से अच्छा प्रदर्शन करते हैं।
शोधकर्ताओं ने चार कुख्यात रूप से कठिन प्रकार की समस्याओं पर इस दृष्टिकोण का परीक्षण किया: डिलीवरी वाहनों का रूटिंग, फैक्ट्री जॉब्स की शेड्यूलिंग, और स्थानों को सुविधाओं (facilities) के असाइनमेंट। उन्होंने ATLAS की तुलना कई अन्य विधियों के विरुद्ध की, जिसमें वे विधियाँ भी शामिल थीं जहाँ एआई को केवल एक मानव-निर्मित ढांचे के एकल घटक को डिजाइन करने की अनुमति दी गई थी, और एक ऐसे संस्करण के विरुद्ध भी जहाँ एआई ने पूरे एल्गोरिदम को डिजाइन किया था लेकिन बिना स्मार्ट विविधता प्रणाली के। परिणाम स्पष्ट थे। ATLAS ने उन तरीकों की तुलना में लगातार बेहतर प्रदर्शन किया जो मानव-डिजाइन किए गए कंकालों पर निर्भर थे। इसने विविधता प्रणाली के बिना पूर्ण-एल्गोरिदम संश्लेषण वाले संस्करण को भी हरा दिया, जिससे सिद्ध हुआ कि समाधानों की एक विस्तृत विविधता को जीवित रखना सर्वोत्तम परिणाम खोजने के लिए महत्वपूर्ण है। सबसे प्रभावशाली बात यह थी कि ATLAS द्वारा आविष्कृत एल्गोरिदम उन मजबूत मानव-डिजाइन किए गए एल्गोरिदम के साथ प्रतिस्पर्धी थे जिन्हें विशेषज्ञों द्वारा कई वर्षों तक परिष्कृत किया गया है। कुछ मामलों में, एआई-जनित समाधान सर्वश्रेष्ठ मानवीय प्रयासों के सांख्यिकीय रूप से अविभाज्य थे, और अन्य में, वे थोड़े बेहतर भी थे।
सबसे उल्लेखनीय निष्कर्ष केवल यह नहीं था कि एआई अच्छे समाधान ढूंढ सकता है, बल्कि यह था कि उसने कई अलग-अलग प्रकार के अच्छे समाधान खोजे। जब शोधकर्ताओं ने अंतिम एल्गोरिदम संग्रह की जांच की, तो उन्होंने संरचनाओं की एक समृद्ध विविधता देखी। कुछ ने 'ग्रीडी अप्रोच' (greedy approach) का उपयोग किया, जो हर चरण पर सबसे अच्छा स्थानीय विकल्प चुनता है। अन्य ने जटिल हाइब्रिड तरीकों का उपयोग किया जिन्होंने विभिन्न रणनीतियों को जोड़ा, जैसे कि स्थानीय जाल से बचने के लिए 'कूलिंग प्रोसेस' (cooling process) का अनुकरण करना या गलतियों को दोहराने से बचने के लिए मेमोरी का उपयोग करना। सिस्टम ने केवल समस्या को हल करने का एक "सर्वश्रेष्ठ" तरीका नहीं खोजा; इसने विशिष्ट, उच्च-प्रदर्शन वाली रणनीतियों का एक पोर्टफोलियो खोजा। यह सुझाव देता है कि संभावित एल्गोरिदम का स्थान पहले की तुलना में बहुत अधिक समृद्ध है, और मानव बाधाओं को हटाकर, एक आर्टिफिशियल इंटेलिजेंस इस स्थान का प्रभावी ढंग से अन्वेषण कर सकता है।
अध्ययन सुझाव देता है कि स्वचालित डिजाइन का भविष्य इसी तरह के 'स्कैफोल्ड-फ्री सिंथेसिस' (scaffold-free synthesis) में निहित हो सकता है। एआई को समाधान के तर्क की पूरी जिम्मेदारी लेने देकर, और उसे त्रुटियों को संभालने और विविधता बनाए रखने के लिए एक मजबूत प्रणाली प्रदान करके, शोधकर्ता जटिल समस्याओं को हल करने के नए तरीके खोल सकते हैं। यह कार्य यह दावा नहीं करता है कि मानव विशेषज्ञ अप्रचलित हो गए हैं; बल्कि, यह दिखाता है कि जब मनुष्य समस्या प्रदान करते हैं और एआई को विधि आविष्कार करने की स्वतंत्रता दी जाती है, तो परिणाम उल्लेखनीय रूप से शक्तिशाली हो सकते हैं। शोधकर्ता नोट करते हैं कि हालांकि वर्तमान प्रणाली अत्यधिक प्रभावी है, फिर भी सुधार की गुंजाइश है, विशेष रूप से जनरेट किए गए एल्गोरिदम के संख्यात्मक सेटिंग्स को फाइन-ट्यून करने में। हालांकि, मुख्य उपलब्धि कायम है: एक प्रणाली जो स्वायत्त रूप से पूर्ण, काम करने वाले अनुकूलन एल्गोरिदम को संश्लेषित कर सकती है, जो पूर्ण स्वतंत्रता के अराजक माहौल में भी व्यवस्था और उत्कृष्टता खोजने के लिए रास्ता बनाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।