Agentic Framework for Deep Learning workload migration via In-Context Learning
यह शोध पत्र एक स्वायत्त एजेंटिक फ्रेमवर्क प्रस्तावित करता है जो इन-कॉन्टेक्स्ट लर्निंग और वास्तविक PyTorch आउटपुट से प्राप्त एक निष्पादन ओरेकल (execution oracle) का लाभ उठाकर, पुनरावृत्ति स्व-डीबगिंग के माध्यम से 91% संख्यात्मक समानता प्राप्त करते हुए, डीप लर्निंग मॉडल्स को PyTorch से JAX में अत्यधिक विश्वसनीय, स्वचालित माइग्रेशन सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक परिवार को लकड़ी और कीलों (PyTorch) से बने घर से पूरी तरह कांच और स्टील (JAX) से बने घर में स्थानांतरित करने की कोशिश कर रहे हैं। दोनों घरों में कमरों की संख्या समान है और उनका उद्देश्य भी एक ही है, लेकिन उन्हें बनाने के नियम पूरी तरह से अलग हैं।
"लकड़ी" वाले घर में, आप एक कील ठोक सकते हैं, उसे बाद में बदल सकते हैं, और संरचना लचीली है। "कांच" वाले घर में, सब कुछ पहले से नियोजित, कठोर और अपरिवर्तनीय (immutable) होना चाहिए। यदि आप कांच के घर को उसी हथौड़े चलाने वाली तकनीकों से बनाने की कोशिश करते हैं जो आपने लकड़ी के घर के लिए उपयोग की थीं, तो वह टूट जाएगा।
यह पेपर एक नए AI निर्माण दल (एक "एजेंटिक फ्रेमवर्क") का वर्णन करता है जिसे इस स्थानांतरण को स्वचालित करने के लिए डिज़ाइन किया गया है। यहाँ बताया गया है कि उन्होंने इन सरल उपमाओं का उपयोग करके इस समस्या को कैसे हल किया:
समस्या: AI आर्किटेक्ट भ्रमित हो जाता है
आमतौर पर, जब आप किसी स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल) से PyTorch से JAX में कोड अनुवाद करने के लिए कहते हैं, तो वह एक ऐसे आर्किटेक्ट की तरह व्यवहार करता है जिसने कभी कांच का घर नहीं देखा है। वह ब्लूप्रिंट का अनुमान लगाने की कोशिश करता है।
- वह गणित गलत कर सकता है क्योंकि वह अपने दिमाग में जटिल गणनाएँ नहीं कर सकता।
- वह भूल सकता है कि कांच के घर को कमरे जोड़ने के अलग नियमों की आवश्यकता होती है।
- परिणाम? एक ऐसी इमारत जो कागज पर तो ठीक दिखती है लेकिन जब आप इसमें रहने की कोशिश करते हैं तो ढह जाती है।
समाधान: एक तीन-स्तरीय सुरक्षा जाल
टीम ने एक ऐसा सिस्टम बनाया है जो AI को अनुमान लगाने से रोकता है और उसे एक सख्त, सत्यापित प्रक्रिया का पालन करने के लिए मजबूर करता है। वे इसे "ग्राउंडेड जनरेशन" सिस्टम कहते हैं।
1. "स्टाइल गाइड" (इन-कॉन्टेक्स्ट लर्निंग)
AI को कांच के घर का कोड लिखने का अनुमान लगाने देने के बजाय, टीम ने उसे एक सख्त स्टाइल गाइड दी।
- उपमा: कल्पना कीजिए कि आप AI को अब तक के सबसे बेहतरीन कांच के घरों का एक फोटो एल्बम दे रहे हैं, जो दिखा रहा है कि खिड़कियाँ और दरवाजे बिल्कुल कैसे रखे जाने चाहिए।
- यह क्या करता है: यह "इन-कॉन्टेक्स्ट लर्निंग" (ICL) एक लंगर (anchor) के रूप में कार्य करता है। यह AI को दिखाता है, "JAX में कोड लिखने का तरीका यह है।" यह AI को मनगढ़ंत चीजें बनाने (hallucinating) से रोकता है और उसे सही रास्ते पर रखता है।
2. "सत्य की मशीन" (द ओरकल)
यही सबसे महत्वपूर्ण हिस्सा है। AI अपने दिमाग में जटिल गणित करने में बुरा है। इसलिए, टीम ने AI से नंबरों की गणना करने के लिए नहीं कहा। इसके बजाय, उन्होंने पहले मूल PyTorch कोड को गणित करने दिया।
- उपमा: AI द्वारा कांच का घर बनाने की कोशिश करने से पहले, वे लकड़ी के घर को एक सिम्युलेटर के माध्यम से चलाते हैं और एक "स्नैपशॉट" लेते हैं कि हर कमरा बिल्कुल कैसे व्यवहार करता है, फर्नीचर कितना भारी है, और दीवार पर रोशनी कैसे पड़ती है। वे इस स्नैपशॉट को एक ओरकल (परम सत्य का स्रोत) के रूप में सहेजते हैं।
- यह क्या करता है: AI नंबरों का अनुमान नहीं लगाता। उसे इस स्नैपशॉट से बिल्कुल मेल खाने वाला कांच का घर बनाना होता है। यदि कांच का घर स्नैपशॉट से मेल नहीं खाता है, तो वह गलत है।
3. "स्व-सुधार करने वाला निरीक्षक" (इटरेटिव डीबगिंग)
AI कांच के घर का एक ड्राफ्ट बनाता है। फिर, एक रोबोट निरीक्षक "सत्य की मशीन" के स्नैपशॉट के विरुद्ध इसकी जांच करता है।
- उपमा: यदि निरीक्षक को कोई खिड़की मिलती है जो गलत आकार की है या कोई दरवाजा जो नहीं खुलता, तो वे केवल "विफल" नहीं कहते। वे ब्लूप्रिंट को वापस AI आर्किटेक्ट को सौंप देते हैं और कहते हैं, "देखो, प्रकाश इस दीवार पर फोटो की तुलना में अलग तरह से पड़ता है। इसे ठीक करो।"
- यह क्या करता है: AI फिर से प्रयास करता है, त्रुटि को पढ़ता है, और कोड को ठीक करता है। यह इस प्रक्रिया को तब तक दोहराता है जब तक कि कांच का घर स्नैपशॉट से पूरी तरह मेल न खा जाए।
परिणाम: "शायद" से "परफेक्ट" तक
टीम ने इस सिस्टम का परीक्षण दो प्रकार के कार्यों पर किया:
- सरल गणित संचालन (स्तर 1): जैसे एक अकेली ईंट को हिलाना।
- जटिल न्यूरल मॉड्यूल (स्तर 2): जैसे जटिल वायरिंग वाले पूरे घर के विंग का निर्माण करना।
इस सिस्टम के बिना (बेसलाइन):
- जटिल मॉड्यूल के लिए AI केवल 9% बार गणित सही कर पाया। वह ज्यादातर केवल अनुमान लगा रहा था।
केवल निर्देशों के साथ (बिना ओरकल के):
- AI नियमों का पालन करने में बेहतर हुआ लेकिन फिर भी 73% बार गणित गलत था। यह एक ऐसा घर बना रहा था जो दिखने में तो सही था लेकिन काम नहीं कर रहा था।
पूरे सिस्टम के साथ (पेपर का तरीका):
- सरल कार्य: 100% सफलता।
- जटिल कार्य: 91% सफलता।
इस सिस्टम ने SAM (जो कंप्यूटर को चित्र "देखने" में मदद करता है), T5 (एक टेक्स्ट ट्रांसलेटर), और Code Whisper (एक कोडिंग असिस्टेंट) जैसे प्रसिद्ध मॉडलों को उच्च सटीकता के साथ PyTorch से JAX में सफलतापूर्वक माइग्रेट किया।
मुख्य निष्कर्ष
यह पेपर सिद्ध करता है कि आप केवल AI से जटिल कोड को "अनुवाद" करने के लिए नहीं कह सकते और उम्मीद नहीं कर सकते कि सब ठीक होगा। आपको उसे देना होगा:
- उदाहरण कि इसे सही ढंग से कैसे किया जाए (स्टाइल गाइड)।
- प्रमाण कि परिणाम कैसा दिखना चाहिए (ओरकल)।
- उस प्रमाण के आधार पर अपनी गलतियों को सुधारने का मौका (निरीक्षक)।
इन तीनों को जोड़कर, उन्होंने एक विश्वसनीय, स्वचालित तरीका बनाया जिससे मानव द्वारा कोड की हर एक पंक्ति की जांच किए बिना डीप लर्निंग मॉडल्स को विभिन्न फ्रेमवर्क्स के बीच स्थानांतरित किया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।