Sutra: Tensor-Op RNNs as a Compilation Target for Vector Symbolic Architectures
यह शोध पत्र Sutra को प्रस्तुत करता है, जो एक विशुद्ध कार्यात्मक (purely functional) प्रोग्रामिंग भाषा है जो प्रतीकात्मक वेक्टर सिम्बोलिक आर्किटेक्चर (Vector Symbolic Architecture) ऑपरेशन्स को फ्यूज्ड PyTorch टेंसर ग्राफ्स में संकलित करती है, जिससे प्रोग्राम विविध फ्रोजन एम्बेडिंग सबस्ट्रेट्स (frozen embedding substrates) पर पूर्ण डिकोडिंग सटीकता प्राप्त करने और बैकप्रोपैगेशन के माध्यम से प्रशिक्षित होने में सक्षम होते हैं, जबकि वे पूरी तरह से सुपाठ्य और सोर्स कोड के रूप में पुन: संकलित करने योग्य रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास ज्ञान का एक विशाल, जमा हुआ (frozen) पुस्तकालय है। इस पुस्तकालय में, हर अवधारणा (जैसे "सेब," "न्याय," या "प्रोटीन") पन्ने पर लिखा कोई शब्द नहीं है, बल्कि एक अद्वितीय, बहु-आयामी (multi-dimensional) रंग या आकार है। यह पुस्तकालय एक विशाल AI द्वारा बनाया गया है जिसने पूरे इंटरनेट को पढ़ा है, और यह "जमा हुआ" है, जिसका अर्थ है कि पुस्तकालय बनने के बाद ये रंग और आकार कभी नहीं बदलते।
समस्या यह है: आप इन रंगों के साथ गणित या तर्क (logic) कैसे करें? यदि आप उन्हें मानक नियमों (जैसे कि ऊपर उल्लेखित "हैडामार्ड उत्पाद" या Hadamard product) का उपयोग करके मिलाने की कोशिश करते हैं, तो रंग धुंधले हो जाते हैं और आप उन्हें पहचान नहीं पाते। यह लाल और नीले रंग को मिलाने जैसा है जिससे बैंगनी रंग बनना चाहिए, लेकिन इसके बजाय, आपको केवल एक गंदा भूरा रंग मिलता है जो कमरे के हर दूसरे रंग जैसा ही दिखता है।
Sutra एक नया उपकरण है जो इस समस्या को हल करता है। यह एक प्रोग्रामिंग भाषा है जो आपको तर्क के नियम लिखने की अनुमति देती है, लेकिन यह सामान्य कंप्यूटर प्रोसेसर पर नहीं चलती, बल्कि यह उन नियमों को सीधे इस "जमा हुआ" पुस्तकालय के भीतर मौजूद "रंगों" (वेक्टर्स) पर संचालित करने के लिए एक एकल, अत्यंत कुशल मशीन में संकलित (compile) कर देती है।
Sutra कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. "जादुई घुमाव" (Binding)
पुराने तरीके में, दो अवधारणाओं को मिलाना उन्हें आपस में कुचलने जैसा था, जिससे एक गड़बड़ी पैदा होती थी। Sutra एक तकनीक का उपयोग करता है जिसे रोटेशन बाइंडिंग (Rotation Binding) कहा जाता है।
- उपमा: कल्पना करें कि प्रत्येक अवधारणा के पास एक अद्वितीय "चाबी" (भूमिका/role) है। उस चाबी से एक विशिष्ट विवरण (एक "फिलर") जोड़ने के लिए, Sutra उन्हें कुचलता नहीं है; बल्कि, यह विवरण को एक ताले में चाबी घुमाने की तरह घुमाता (rotate) है।
- यह क्यों काम करता है: क्योंकि पुस्तकालय जमा हुआ है और घुमाव गणितीय रूप से सटीक है, इसलिए आप मूल विवरण को वापस पाने के लिए चाबी को हमेशा वापस घुमा सकते हैं, भले ही आपने इसे अन्य विवरणों के साथ मिला दिया हो। पेपर यह सिद्ध करता है कि यह टेक्स्ट और यहाँ तक कि प्रोटीन अनुक्रमों (जीव विज्ञान) पर भी पूरी तरह से काम करता है, जबकि पुराना "कुचलने वाला" तरीका पूरी तरह विफल रहा।
2. "सुचारू तर्क" (Fuzzy Math)
आमतौर पर, कंप्यूटर सख्त "हाँ/नहीं" या "चालू/बंद" स्विचों में सोचते हैं। लेकिन पुस्तकालय के "रंग" पूर्ण नहीं हैं; वे थोड़े धुंधले (fuzzy) हैं।
- उपमा: कल्पना करें कि यह एक लाइट स्विच के बजाय एक डिमर स्विच (dimmer switch) है। Sutra एक विशेष प्रकार के गणित (पॉलीनोमियल्स) का उपयोग करता है जो तर्क को एक सुचारू स्लाइडर की तरह मानता है। यह बिना टूटे "शायद" (0), "सत्य" (+1), और "असत्य" (-1) को संभाल सकता है।
- जादू: पेपर दिखाता है कि Sutra इन धुंधले तर्क नियमों को एक एकल, सुचारू गणितीय सूत्र में बदल देता है। इसका मतलब है कि कंप्यूटर न केवल तर्क को चला सकता है, बल्कि उससे सीख भी सकता है।
3. "एक-चरण मशीन" (Compilation)
सामान्यतः, यदि आप लूप (दोहराव वाले कदम) या "यदि-तो" (if-then) निर्णय वाला प्रोग्राम लिखते हैं, तो कंप्यूटर को उन नियमों की एक-एक करके जाँच करनी पड़ती है, जो धीमा होता है।
- उपमा: Sutra एक मास्टर शेफ की तरह है जो आपके नुस्खे (प्रोग्राम) को लेता है और आपके बैठने से पहले ही पूरे भोजन को एक एकल, तैयार-से-खाने योग्य ब्लॉक में पका देता है।
- परिणाम: जब आप प्रोग्राम चलाते हैं, तो वास्तविक समय में कोई "यदि" (if) जाँच या "जबकि" (while) लूप नहीं चल रहे होते हैं। कंप्यूटर बस गणित के एक विशाल, निरंतर प्रवाह को निष्पादित करता है। यह एक ऐसी ट्रेन की तरह है जो स्टेशनों पर कभी नहीं रुकती; यह बस शुरुआत से अंत तक बिना रुके चलती रहती है।
4. सीखना और "पठनीय" कोड
Sutra की एक सबसे आश्चर्यजनक बात यह है कि यह सीखता है।
- उपमा: आमतौर पर, जब एक न्यूरल नेटवर्क सीखता है, तो वह एक "ब्लैक बॉक्स" बन जाता है—संख्याओं का एक ऐसा ढेर जिसे कोई इंसान पढ़ नहीं सकता। Sutra अलग है। यह एक एकल संख्या (एक "गेन" या वॉल्यूम नॉब) को समायोजित कर सकता है ताकि तर्क बेहतर ढंग से काम कर सके।
- ट्विस्ट: जब कंप्यूटर उस नॉब के लिए एकदम सही सेटिंग सीख लेता है, तो Sutra उस संख्या को मूल कोड में वापस लिख देता है जैसे कि एक साधारण संख्या।
- महत्व: आपको एक रहस्यमय ब्लैक बॉक्स नहीं मिलता; आपको एक साफ, पठनीय प्रोग्राम मिलता है जो कहता है, "यह तर्क करें, लेकिन परिणाम को 1.43 से गुणा करें।" प्रशिक्षित मॉडल अभी भी मानव-पठनीय टेक्स्ट का एक हिस्सा है।
5. "शब्दकोश" (Codebook)
चूंकि कंप्यूटर केवल "रंगों" (वेक्टर्स) को समझता है, इसलिए यह मनुष्यों से कैसे बात करता है?
- उपमा: Sutra एक अंतर्निहित शब्दकोश (कोडबुक) रखता है। जब आप "सेब" जैसा शब्द टाइप करते हैं, तो कंपाइलर प्रोग्राम शुरू होने से पहले तुरंत इसे अपने "रंग" में अनुवादित कर देता है। जब प्रोग्राम समाप्त होता है, तो यह परिणामी "रंग" को देखता है और आपको मानव-पठनीय उत्तर देने के लिए शब्दकोश में सबसे करीबी शब्द ढूँढ लेता है।
इस पेपर ने वास्तव में क्या सिद्ध किया
पेपर यह दावा नहीं करता कि Sutra अभी बीमारियों का इलाज कर सकता है या शेयर बाजार की भविष्यवाणी कर सकता है। यह तीन विशिष्ट चीजें सिद्ध करता है:
- यह विभिन्न पुस्तकालयों पर काम करता है: इसने बिना कोड बदले टेक्स्ट (जैसे किताबें) और जीव विज्ञान (जैसे प्रोटीन) पर समान तर्क कार्यक्रम को सफलतापूर्वक चलाया।
- यह पुराने तरीकों को पछाड़ता है: इन जमा हुए पुस्तकालयों पर, Sutra की "रोटेशन" विधि सूचना प्राप्त करने में 100% सटीकता के साथ काम कर सकी, जबकि पुराना "कुचलने वाला" तरीका बुरी तरह विफल रहा (लगतः रैंडम अनुमान लगाने तक गिर गया)।
- यह सीख सकता है और पठनीय बना रहता है: उन्होंने शून्य से एक सरल क्लासिफायर (शब्दों को श्रेणियों में वर्गीकृत करने वाला प्रोग्राम) को प्रशिक्षित किया। यह रैंडम अनुमानों के साथ शुरू हुआ, 100% सटीक होने तक सीखा, और अंतिम परिणाम एक साफ, पठनीय कोड था जिसमें एक विशिष्ट संख्या शामिल थी।
संक्षेप में, Sutra एक सेतु (bridge) है जो हमें ऐसे तार्किक नियम लिखने की अनुमति देता है जो आधुनिक AI के "जमा हुए मस्तिष्क" के भीतर सीधे चलते हैं, जिससे वे तेज़, सीखने योग्य और मानव-पठनीय मशीनों में बदल जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।