Directed Neuro-Symbolic Stochastic Execution for Verification of Distributed Parallel AI Programs
यह शोध पत्र डिरेक्टेड न्यूरो-सिंबॉलिक स्टोकेस्टिक एक्ज़ीक्यूशन (DNSSE) प्रस्तुत करता है, जो एक हाइब्रिड टेस्टिंग फ्रेमवर्क है जो वितरित समानांतर AI प्रोग्रामों को प्रभावी ढंग से सत्यापित करने के लिए LLM-निर्देशित शेड्यूल प्रेडिक्शन को सिंबॉलिक कंस्ट्रेंट सॉल्विंग और स्टोकेस्टिक म्यूटेशन के साथ जोड़ता है, जिससे मौजूदा बेसलाइनों की तुलना में काफी अधिक ब्रांच कवरेज और कंकरेंसी बग डिटेक्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसे समुद्र तट पर रेत के एक अकेले, विशिष्ट कण को खोजने की कोशिश कर रहे हैं जो लगातार बदल रहा है, खिंच रहा है और अपना आकार बदल रहा है। आधुनिक आर्टिफिशियल इंटेलिजेंस को संचालित करने वाले विशाल, मस्तिष्क जैसे कंप्यूटर प्रोग्राम बनाने वाले इंजीनियरों के लिए यह दैनिक वास्तविकता है। ये प्रोग्राम केवल स्थिर नहीं रहते; वे कंप्यूटर के विशाल समूहों पर चलते हैं, जहाँ हजारों छोटे कार्यकर्ता (थ्रेड्स) एक ही समय में एक-दूसरे से बात कर रहे होते हैं। समस्या यह है कि जब आपके पास इतने सारे कार्यकर्ता एक साथ काम कर रहे हों, तो उनके काम करने का क्रम एक अराजक लॉटरी बन जाता है। कभी-कभी, यदि दो कार्यकर्ता एक ही क्षण में सूचना के एक ही टुकड़े को पकड़ने की कोशिश करते हैं, तो पूरा सिस्टम ग्लिच हो सकता है, फ्रीज हो सकता है, या डेटा खो सकता है। इन्हें "कन्करेंसी बग्स" (concurrency bugs) कहा जाता है, और इन्हें खोजना बेहद कठिन होता है क्योंकि ये केवल समय और इनपुट के बहुत विशिष्ट, दुर्लभ संयोजनों के तहत ही घटित होते हैं।
इसे और भी बदतर बनाने के लिए, ये AI प्रोग्राम जटिल गणित से भरे होते हैं जो डेटा के आधार पर बदलता रहता है। पारंपरिक परीक्षण उपकरण (testing tools) एक टॉर्च की तरह हैं: वे एक बार में एक ही पथ पर रोशनी डाल सकते हैं, लेकिन जब पथ लाखों संभावनाओं में विभाजित हो जाता है, या जब गणित बहुत अजीब हो जाता है जिसे वे कैलकुलेट नहीं कर पाते, तो वे अभिभूत हो जाते हैं। अन्य उपकरण अंधेरे में तीर चलाने की कोशिश करते हैं, इस उम्मीद में कि संयोग से किसी बग को पकड़ लेंगे, लेकिन वे अक्सर उन संवेदनशील जगहों को छोड़ देते हैं जहाँ गणित और समय का टकराव होता है। हमें अधिक स्मार्ट होने की आवश्यकता है कि हम कहाँ देखें, जिसमें एक कैलकुलेटर की सटीकता और एक अनुभवी जासूस की अंतर्दृष्टि का मेल हो, और वह भी एक ऐसे भूलभुलैया के बीच जो अपनी दीवारों को बदलती रहती है।
यहीं पर डायरेक्टेड न्यूरो-सिंबोलिक स्टोकेस्टिक एक्जीक्यूशन (DNSSE) नामक एक नया दृष्टिकोण आता है। DNSSE को AI प्रोग्रामों में इन अदृश्य बगों का शिकार करने के लिए काम करने वाली तीन जासूसों की एक सुपर-स्मार्ट टीम के रूप में समझें। पहला जासूस एक सिंबोलिक इंजन (Symbolic Engine) है, जो एक कठोर गणितज्ञ है जो सरल, सीधी तर्क पहेलियों को पूरी तरह से हल कर सकता है। दूसरा, एक स्टोकेस्टिक इंजन (Stochastic Engine) है, जो एक साहसी खोजकर्ता है जो उन अव्यवस्थित, गैर-रैखिक गणितीय समस्याओं से निपटने के लिए रैंडम अनुमान और परीक्षण-त्रुटि (trial-and-error) का उपयोग करता है जो गणितज्ञ को उलझा देती हैं। तीसरा, और शायद सबसे अनूठा, एक LLM शेड्यूलर (LLM Scheduler) है—एक लार्ज लैंग्वेज मॉडल जो एक अनुभवी टूर गाइड की तरह कार्य करता है। इस गाइड ने लाखों कोड कहानियाँ पढ़ी हैं और यह भविष्यवाणी कर सकता है कि अराजक भूलभुलैया के माध्यम से कौन सा रास्ता आपदा की ओर ले जाने की सबसे अधिक संभावना रखता है।
यह पेपर बताता है कि यह टीम इन तीनों शक्तियों को कैसे जोड़ती है। केवल रैंडम अनुमान लगाने या हर एक पथ को हल करने के बजाय (जिसमें बहुत समय लगेगा), "टूर गाइड" कोड को देखता है और कहता है, "हे, ये दो कार्यकर्ता साझा मेमोरी स्थान पर बहस करने वाले हैं; चलिए अभी उन्हें टकराने के लिए मजबूर करते हैं।" गणितज्ञ फिर जांचता है कि क्या संख्याएँ उस टकराव के लिए सही हैं, और खोजकर्ता उन विशिष्ट डेटा इनपुट्स को खोजने का प्रयास करता है जो संख्याओं को काम करने लायक बनाते हैं। यदि गाइड गलत होता है, तो टीम के पास एक सुरक्षा जाल होता है: वे रैंडम एक्सप्लोरेशन (random exploration) पर वापस आ जाते हैं, ताकि सिस्टम कभी अटक न जाए।
इस नए तरीके के परिणाम प्रभावशाली हैं। जब शोधकर्ताओं ने पांच वास्तविक, जटिल AI प्रोग्रामों पर DNSSE का परीक्षण किया—जिसमें मॉडल ट्रेनिंग से लेकर डेटा सर्व करने तक शामिल थे—तो उन्होंने पाया कि यह मौजूदा सर्वोत्तम उपकरणों की तुलना में कहीं अधिक श्रेष्ठ है। जबकि सबसे मजबूत पिछले तरीके ने 25 बग ढूंढे, DNSSE ने 73 बग ढूंढे, जो कि 2.9 गुना अधिक है। इसने 91.6% संभावित कोड पथों को भी कवर किया, जो अन्य उपकरणों के 68.6% औसत कवरेज से एक बड़ी छलांग है। इस सिस्टम ने बिना अटके काम पूरा किया, जिसने कुछ हज़ार सेकंडों में अपना काम समाप्त कर लिया, जबकि अन्य तरीकों ने 24 घंटे के बाद टाइम आउट दे दिया। "टूर गाइड" (LLM) ने कुल कंप्यूटिंग समय का केवल लगभग 14.3% हिस्सा उपयोग किया, जो यह साबित करता है कि स्मार्ट मार्गदर्शन का थोड़ा सा हिस्सा भी वितरित AI सिस्टम की अराजकता को नियंत्रित करने में बहुत काम आता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।