Latent Heuristic Search: Continuous Optimization for Automated Algorithm Design
यह शोध पत्र लेटेंट ह्यूरिस्टिक सर्च (Latent Heuristic Search) प्रस्तुत करता है, जो एक फ्रेमवर्क है जो एक सीखे हुए लेटेंट मैनिफोल्ड (latent manifold) के भीतर निरंतर अनुकूलन (continuous optimization) का लाभ उठाता है—एन्कोडर्स, डिफरेंशिएबल सरोगेट्स और नॉर्मलाइजिंग फ्लोज़ का उपयोग करते हुए—ताकि एक फ्रीज़्ड लार्ज लैंग्वेज मॉडल (Large Language Model) को कंडीशन करके कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन समस्याओं के लिए उच्च-प्रदर्शन वाले ह्यूरिस्टिक्स को कुशलतापूर्वक उत्पन्न किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नया, अत्यंत कुशल तरीका खोजने की कोशिश कर रहे हैं जिससे किसी जटिल पहेली को हल किया जा सके, जैसे कि ट्रकों के बेड़े के लिए डिलीवरी रूट व्यवस्थित करना या सूटकेस को पूरी तरह से पैक करना। पारंपरिक रूप से, इंसानों को यह काम 'ट्रायल एंड एरर' (गलती करके सीखना) के माध्यम से करना पड़ता है, जहाँ वे बार-बार नियमों में बदलाव करते रहते हैं।
हाल ही में, वैज्ञानिकों ने लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करना शुरू किया है—वही AI जो कोड लिख सकता है—ताв कि वे स्वचालित रूप से नए "नुस्खे" (एल्गोरिदम) बनाने में मदद कर सकें। वे AI को एक रचनात्मक साथी की तरह देखते हैं, उससे नए "नुस्खे" (एल्गोरिदम) बनाने के लिए कहते हैं और फिर यह परीक्षण करते हैं कि उनमें से कौन सा सबसे अच्छा काम करता है।
हालाँकि, इसे करने का वर्तमान तरीका कुछ ऐसा है जैसे किसी कुकबुक में एक बार में एक शब्द बदलकर एकदम सही रेसिपी खोजने की कोशिश करना। आप "नमक" को "चीनी" में बदल सकते हैं, फिर "मैदा" को "रेत" में, इस उम्मीद में कि आप बेहतर व्यंजन तक पहुँच जाएँगे। यह धीमा, अव्यवस्थित और अक्सर खाने लायक न रहने वाले परिणामों की ओर ले जाता है क्योंकि आप शब्दों और प्रतीकों के एक अराजक, "डिस्क्रीट" (विच्छिन्न) स्थान में खोज कर रहे होते हैं।
यह शोध पत्र एक स्मार्ट तरीका प्रस्तावित करता है: "लेटेंट ह्यूरिस्टिक सर्च" (LHS)।
यहाँ बताया गया है कि यह कैसे काम करता है, रोजमर्रा के उदाहरणों का उपयोग करते हुए:
1. "जादुई मानचित्र" (द लेटेंट स्पेस)
नुस्खे को शब्द-दर-शब्द देखने के बजाय, शोधकर्ता पहले हर संभावित नुस्खे को एक सुचारू, निरंतर मानचित्र (smooth, continuous map) पर एक एकल बिंदु में बदल देते हैं।
- उदाहरण: कल्पना कीजिए कि हर संभावित डिलीवरी रूट एक विशाल, 3D परिदृश्य पर एक बिंदु है। अच्छे रूट ऊँची, धूप वाली पहाड़ियों पर हैं; खराब रूट गहरे, अंधेरे घाटियों में हैं।
- समस्या: पुराने तरीके में, आपको यादृच्छिक रूप से एक बिंदु से दूसरे बिंदु पर कूदना पड़ता था। इस नए तरीके में, AI इस परिदृश्य के आकार को समझ लेता है ताकि वह सर्वोत्तम पहाड़ियों की ओर सुचारू रूप से "फिसल" सके।
2. "अनुवादक" (द एनकोडर और सरोगेट)
इस मानचित्र को काम करने योग्य बनाने के लिए, सिस्टम दो विशेष उपकरणों का उपयोग करता है:
- एनकोडर (Encoder): यह एक अनुवादक की तरह है जो एक बिखरे हुए, लिखित नुस्खे (कोड) को मानचित्र पर एक साफ समन्वय (coordinate) में बदल देता है।
- सरोगेट (Surrogate): यह एक "क्रिस्टल बॉल" (भविष्य बताने वाला गोला) है जो केवल मानचित्र पर उसके समन्वय को देखकर यह अनुमान लगाता है कि वह नुस्खा कितना अच्छा होगा। आपको यह जानने के लिए वास्तव में केक बनाने (कोड चलाने) की आवश्यकता नहीं है कि उसका स्वाद कैसा होगा; क्रिस्टल बॉल इसका अनुमान लगा लेती है। इससे बहुत सारा समय बचता है।
3. "सुरक्षा जाल" (नॉर्मलाइजिंग फ्लो)
यहाँ पेचीदा हिस्सा है: यदि आप केवल मानचित्र पर इधर-उधर फिसलते हैं, तो आप किनारे से बाहर फिसल सकते हैं जहाँ कोई वैध नुस्खा मौजूद नहीं है (जैसे कि एक समन्वय जो कहता है "500 पाउंड चीनी डालें")।
- समाधान: शोधकर्ता एक नॉर्मलाइजिंग फ्लो (Normalizing Flow) का उपयोग करते हैं। इसे एक जादुई, खिंचाव वाले रबर शीट की तरह समझें। यह व्यंजनों के बिखरे हुए, अनियमित मानचित्र को एक आदर्श, चिकने, गोल गोले (गौसियन आकार) में खींच देता है।
- यह क्यों मदद करता है: जब AI सबसे अच्छे नुस्खे की तलाश करता है, तो वह इस आदर्श गोले के अंदर फिसलता है। क्योंकि गोले का आकार बहुत अच्छा है, AI के लिए "बेमतलब" के क्षेत्र में फिसलने की संभावना बहुत कम हो जाती है। यह खोज को सुरक्षित और व्यवस्थित रखता है।
4. "बैक-ट्रांसलेटर" (द मैपर और LLM)
एक बार जब AI सुचारू गोले (सबसे अच्छे स्थान) पर एक आदर्श समन्वय खोज लेता है, तो उसे उस समन्वय को वापस एक वास्तविक, निष्पादन योग्य कंप्यूटर प्रोग्राम में बदलने की आवश्यकता होती है।
- प्रक्रिया: यह एक "सॉफ्ट प्रॉम्प्ट" (विशेष निर्देशों का एक सेट) का उपयोग करता है जो LLM को धीरे से निर्देश देता है: "हे, इस मानचित्र पर इस सटीक स्थान के आधार पर, मेरे लिए एक नया डिलीवरी रूट एल्गोरिदम लिखो।"
- इसके बाद LLM वास्तविक कोड तैयार करता है, जिसका परीक्षण यह देखने के लिए किया जाता है कि क्या वह वास्तव में काम करता है।
उन्होंने क्या पाया?
शोधकर्ताओं ने चार क्लासिक पहेलियों पर इस पद्धति का परीक्षण किया:
- ट्रैवलिंग सेल्सपर्सन (Traveling Salesperson): कई शहरों में जाने के लिए सबसे छोटा रास्ता खोजना।
- व्हीकल रूटिंग (Vehicle Routing): सीमित ट्रक क्षमता के साथ कई घरों तक पैकेज पहुँचाना।
- नैपसैक समस्या (Knapsack Problem): वजन की सीमा के भीतर सबसे मूल्यवान वस्तुओं को बैग में पैक करना।
- बिन पैकिंग (Bin Packing): वस्तुओं को आते ही बक्सों में फिट करना।
परिणाम:
- प्रदर्शन: उनकी नई पद्धति ने ऐसे समाधान खोजे जो यादृच्छिक शब्द-बदलने (random word-swapping) पर आधारित मौजूदा सर्वोत्तम तरीकों के समान या कभी-कभी उनसे भी बेहतर थे।
- दक्षता: उन्होंने इन समाधानों को अधिक तेज़ी से और अधिक विश्वसनीयता के साथ खोजा।
- स्थिरता: "सुरक्षा जाल" (रबर शीट) के कारण, सिस्टम ने शायद ही कभी ऐसा टूटा हुआ कोड बनाया जिसे चलाया न जा सके।
मुख्य निष्कर्ष
यह शोध पत्र समस्या सुलझाने वाले एल्गोरिदम के आविष्कार को स्वचालित करने का एक तरीका पेश करता है, जो खोज प्रक्रिया को "अगले शब्द का अनुमान लगाने" के अराजक खेल के बजाय एक सुचारू, गणितीय फिसलन में बदल देता है। यह अच्छे समाधानों के आकार को समझने के लिए AI की शक्ति का उपयोग करता है, जिससे यह शोर के बीच खो जाने के बजाय सीधे सर्वोत्तम विचारों की ओर फिसलने में सक्षम होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।