💻 computer science

NeSyCat Torch: A Differentiable Tensor Implementation of Categorical Semantics for Neurosymbolic Learning

NeSyCat Torch एक लेज़ी लॉग-टेन्सर मोनाड (lazy log-tensor monad) के माध्यम से डिफरेंशिएबल टेन्सर-आधारित प्रशिक्षण को लागू करके एक एकल मोनाडिक ढांचे के तहत विविध न्यूरोसिम्बोलिक सिमेंटिक्स को एकीकृत करता है, जो विभिन्न प्रथम-क्रम दृष्टिकोणों के अनुकूल एक समान संरचना बनाए रखते हुए मौजूदा प्रणालियों की तुलना में MNIST एडिशन पर बेहतर गति और सटीकता प्राप्त करता है।

मूल लेखक: Daniel Romero Schellhorn, Till Mossakowski, Björn Gehrke

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel Romero Schellhorn, Till Mossakowski, Björn Gehrke

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "NeSyCat Torch" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके किया गया विवरण है।

बड़ी समस्या: बहुत सारी भाषाएँ

कल्पंतना कीजिए कि आपके पास विशेषज्ञों की एक टीम है जो एक रोबोट को सोचना सिखाने की कोशिश कर रही है।

शास्त्रीय विशेषज्ञ (The Classical Expert) सख्त "हाँ/नहीं" तर्क में बोलता है।
फजी विशेषज्ञ (The Fuzzy Expert) "शायद" या "कुछ हद तक" में बोलता है।
संभाव्यता विशेषज्ञ (The Probabilistic Expert) प्रतिशत और संभावनाओं में बोलता है।
न्यूरल विशेषज्ञ (The Neural Expert - AI) चित्रों को देखकर और पैटर्न का अनुमान लगाकर सीखता है।

समस्या यह है कि ये सभी विशेषज्ञ अलग-अलग भाषाएँ बोलते हैं। "सत्य" किसे माना जाए, इसके लिए उनके नियम अलग-अलग हैं। यदि शास्त्रीय विशेषज्ञ एक नियम लिखता है, तो संभाव्यता विशेषज्ञ उसे समझ नहीं पाता, और न्यूरल विशेषज्ञ उससे सीख नहीं पाता। इसे विखंडन (fragmentation) कहा जाता है।

समाधान: एक सार्वभौमिक अनुवादक (NeSyCat)

लेखकों ने पहले एक "सार्वभौमिक अनुवादक" बनाया था जिसे NeSyCat कहा जाता है। इसे एक मास्टर ब्लूप्रिंट की तरह समझें जो उन सभी विशेषज्ञों की भाषाओं को एक एकल, एकीकृत नियम पुस्तिका में अनुवाद कर सकता है। यह तर्क को रखने के लिए एक मोनाड (Monad) नामक गणितीय उपकरण का उपयोग करता है (जिसे आप एक "कंटेनर" या "रैपर" के रूप में सोच सकते हैं)।

हालाँकि, अब तक, इस अनुवादक का एक हिस्सा गायब था: यह नियमों का वर्णन तो कर सकता था, लेकिन यह वास्तव में न्यूरल विशेषज्ञ (AI) को उन्हें कैसे सीखना है, यह सिखा नहीं सकता था। यह एक कार के ब्लूप्रिंट होने जैसा था लेकिन उसमें इंजन नहीं था।

NeSyCat Torch का आगमन: इंजन

NeSyCat Torch वह लापता इंजन है। यह उस सार्वभौमिक ब्लूप्रिंट को लेता है और उसे आधुनिक AI टूल्स (जैसे PyTorch और JAX) में सीधे प्लग इन करता है। यह AI को केवल अनुमान लगाने के बजाय, नियमों से सीखने की अनुमति देता है।

यह कैसे काम करता है, इसे तीन सरल परतों में विभाजित किया गया है:

1. "आलसी" लेखाकार (The "Lazy" Accountant - Training Monad)

जब एक AI सीखता है, तो वह बहुत सारी गणितीय गणनाएँ करता है। यदि आप एक साथ हर एक संभावना की गणना करने की कोशिश करेंगे, तो संख्याएँ उलझ जाएँगी और कंप्यूटर क्रैश हो जाएगा (या बहुत समय लेगा)।

उपमा: कल्पना कीजिए कि एक शेफ सूप का स्वाद चखने की कोशिश कर रहा है। यदि उसे नमक के हर एक दाने को अलग-अलग चखना पड़े, तो वह कभी भी समाप्त नहीं कर पाएगा। इसके बजाय, वह एक बार में पूरे बर्तन का स्वाद लेता है।
पेपर की ट्रिक: लेखक एक "लेजी" (Lazy) दृष्टिकोण का उपयोग करते हैं। वे तुरंत हर एक परिणाम की संभावना की गणना नहीं करते हैं। वे गणित करने के लिए बिल्कुल अंत तक प्रतीक्षा करते हैं। वे एक विशेष "Log-Tensor" कंटेनर का उपयोग करते हैं जो संख्याओं को स्थिर और आसान बनाए रखता है, जैसे कि एक रेसिपी को नोटबुक में रखना जो केवल तभी अपडेट होती है जब आपको वास्तव में खाना बनाना हो।

2. "बैच" कन्वेयर बेल्ट (The "Batch" Conveyor Belt - Batch Monad)

आमतौर पर, एक AI एक तस्वीर देखता है, एक अनुमान लगाता है, और फिर अगली तस्वीर देखता है। यह धीमा है।

उपमा: कल्पना कीजिए कि एक फैक्ट्री लाइन है। एक समय में एक कार के निरीक्षण करने के बजाय, आप 32 कारों को एक कन्वेयर बेल्ट पर रखते हैं और उन सभी का एक साथ निरीक्षण करते हैं।
पेपर की ट्रिक: वे डेटा के एक पूरे समूह (मिनी-बैच) को एक साथ रखने के लिए "Batch Monad" का उपयोग करते हैं। AI एक ही बार में पूरे समूह को प्रोसेस करता है, जिससे ट्रेनिंग अविश्वसनीय रूप से तेज़ हो जाती है।

3. "दो-तरफा" पुल (The "Two-Way" Bridge)

सिस्टम को न्यूरल नेटवर्क (जो धुंधली छवियां देखता है) और तर्क नियमों (जिन्हें स्पष्ट उत्तर चाहिए) के बीच बात करने की आवश्यकता होती है।

उपमा: एक अनुवादक के बारे में सोचें जो "धुंधली छवि" और "स्पष्ट तर्क" दोनों बोलता है।
पेपर की ट्रिक: उन्होंने एक पुल बनाया। जब AI "7" की एक धुंधली छवि देखता है, तो वह केवल "7" का अनुमान नहीं लगाता। यह "संभावनाओं का एक बादल" (probability distribution) बनाता है। सिस्टम फिर इन बादलों को मिलाने (जैसे रंगों को मिलाने) के लिए गणित का उपयोग करता है ताकि यह देखा जा सके कि अंतिम परिणाम नियम (जैसे, "क्या यह छवि और वह छवि मिलकर 15 होती है?") से मेल खाता है या नहीं।

परीक्षण: हस्तलिखित अंकों को जोड़ना

यह काम करता है, यह साबित करने के लिए, लेखकों ने एक क्लासिक कार्य पर सिस्टम का परीक्षण किया: MNIST Addition।

कार्य: AI को दो हस्तलिखित संख्याएँ दिखाएं (जैसे 3 और 4) लेकिन स्वयं संख्याओं को छिपा दें। AI केवल उनका योग (7) देखता है।
लक्ष्य: AI को व्यक्तिगत अंकों को पहचानने के लिए सीखना है, केवल यह जानकर कि उनका योग क्या है।
परिणाम: AI ने लगभग 97% सटीकता के साथ अंकों को पहचानना सीख लिया।

यह एक बड़ी बात क्यों है (परिणाम)

लेखकों ने NeSyCat Torch की तुलना अन्य प्रसिद्ध AI लॉजिक सिस्टम (जैसे LTN और DeepProbLog) से की।

गति: यह बहुत तेज़ था। जहाँ अन्य सिस्टम समय समाप्त होने (timeout) या कठिन समस्याओं पर अटक गए, वहीं Ne𝘲ाτ Torch सुचारू रूप से चलता रहा।
सटीकता: यह LTN और DeepProbLog की तुलना में अधिक सटीक था, और सबसे अच्छे सिस्टम (DeepStochLog) के लगभग उतना ही सटीक था।
लचीलापन: सबसे अच्छी बात यह है कि क्योंकि यह इस "सार्वभौमिक अनुवादक" (Monad) पर बना है, आप AI के सोचने के तरीके को बदलने के लिए "कंटेनर" को बदल सकते हैं। आप पूरे प्रोग्राम को फिर से लिखे बिना, केवल कोड में एक सेटिंग बदलकर "संभावनाओं" (Probabilities) से "फजी लॉजिक" (Fuzzy Logic) पर स्विच कर सकते हैं।

सारांश

NeSyCat Torch AI बनाने का एक नया तरीका है जो सख्त तर्क को लचीले सीखने के साथ जोड़ता है। यह गणनाओं में उलझने से बचने के लिए एक चतुर "लेजी" गणितीय ट्रिक और डेटा को तेज़ी से प्रोसेस करने के लिए एक "बैचिंग" ट्रिक का उपयोग करता है। इसने साबित कर दिया कि आप जोड़ के नियमों को देकर एक AI को हस्तलिखित संख्याओं को पहचानने के लिए सिखा सकते हैं, जो पिछले तरीकों की तुलना में अधिक तेज़ी से और अधिक सटीकता से किया गया।

तकनीकी सारांश: NeSyCat Torch

समस्या विवरण

न्यूरो-सिम्बोलिक (NeSy) AI का लक्ष्य न्यूरल नेटवर्क की संवेदी क्षमताओं को प्रतीकात्मक तर्क (symbolic logic) की संरचित तर्कशक्ति के साथ संयोजित करना है। हालाँकि, यह क्षेत्र विखंडन (fragmentation) से ग्रस्त है: शास्त्रीय (classical), फजी (fuzzy), और संभावabilistic (probabilistic) प्रणालियाँ प्रत्येक एक अलग आगमन नियमों (inductive rules) के माध्यम से सत्य को परिभाषित करती हैं, जिससे ज्ञान आधारों (knowledge bases) और सीखने के उद्देश्यों का स्थानांतरण बाधित होता है। जबकि 'यूनिफाइड लैंग्वेज फॉर लर्निंग एंड रीजनिंग' (ULLER) ने पहले इन अर्थों को मोनैड्स (monads) पर आधारित एक एकल श्रेणीगत ढांचे के तहत एकीकृत किया था, इसमें न्यूरल नेटवर्क द्वारा सीखे गए विधेयों (predicates) और फलनों (functions) के लिए कार्यान्वयन का अभाव था। इसके अतिरिक्त, मौजूदा कार्यान्वयन अक्सर डिस्क्रीट से कंटीन्यूअस या बड़े-बैच सेटिंग्स में जाने पर स्केलेबिलिटी और संख्यात्मक स्थिरता (numerical stability) के साथ संघर्ष करते हैं।

कार्यप्रणाली

यह शोध पत्र NeSyCat Torch प्रस्तुत करता है, जो NeSyCat श्रेणीगत ढांचे का एक डिफरेंशिएबल टेंसर कार्यान्वयन है। मुख्य कार्यप्रणाली में कम्प्यूटेशनल प्रतीकों को एक एकीकृत, मोनैड-पैरामेट्रिक आर्किटेक्चर के भीतर न्यूरल नेटवर्क के माध्यम से व्याख्यायित करना शामिल है।

1. श्रेणीगत ढांचा और मोनैड्स (Categorical Framework and Monads)

यह ढांचा जॉनस्टोन (2002) के श्रेणीगत अर्थों का विस्तार करता है, जो सिंटैक्स और सिमेंटिक्स को चार परतों में व्यवस्थित करता है: श्रेणीगत (categorical), तार्किक (logical), डोमेन (domain), और व्याकरणिक (grammatical)। एकीकृत करने वाला तंत्र स्ट्रॉन्ग मोनैड (strong monad) $M$ है, जो प्रभाव (जैसे, प्रायिकता, टेंसर वेट्स) को पैरामीटराइज़ करता है। शोध पत्र तीन विशिष्ट मोनैड परतों का उपयोग करता है (तालिका 1):

डिस्ट्रीब्यूशन मोनैड ( $D$ ): सीमित रूप से समर्थित प्रायिकता वितरणों (finitely supported probability distributions) का प्रतिनिधित्व करता है। यह संदर्भ अर्थ (reference semantics) और मेट्रिक रीडआउट के रूप में कार्य करता है, जहाँ बाइंड ( $>>=$ ) मार्जलाइजेशन (लॉ ऑफ टोटल प्रोबेबिलिटी) करता है।
टेंसर मोनैड ( $T$ ) / लॉग-टेंसर मोनैड ( $T_{log}$ ): वास्तविक संख्याओं (logits) का उपयोग करके डिस्ट्रीब्यूशन मोनैड को डिफरेंशिएबल तरीके से लागू करता है। $T_{log}$ लॉग-सेमिरिंग $(\mathbb{R}, \text{logsumexp}, +)$ पर कार्य करता है ताकि संख्यात्मक स्थिरता और डिफरेंशिएबिलिटी सुनिश्चित हो सके, जिससे $[0,1]$ में फजी ऑपरेटर्स से जुड़ी ग्रेडिएंट डिजनरेशन (gradient degeneration) से बचा जा सके।
बैच मोनैड ( $B$ ): एक बैच इंडेक्स सेट पर रीडर मोनैड है जो रैंडमनेस पेश किए बिना मिनी-बैचेस के समानांतर प्रसंस्करण को सक्षम बनाता है।

2. सिंटैक्स और सिमेंटिक्स (Syntax and Semantics)

यह प्रणाली तीन प्रकार के प्रतीकों का समर्थन करती है:

टार्स्की (Tarski): नियतात्मक मानचित्र (deterministic maps) (मानक FOL)।
क्लीस्ली (Kleisli): $M$ में प्रभावकारी मानचित्र (effectful maps)।
NeSy: न्यूरल मानचित्र जो मोनैडिक कैरियर को इनपुट के रूप में लेते हैं और मोनैडिक कैरियर को आउटपुट के रूप में उत्पन्न करते हैं।

फॉर्मुलों का निर्माण डू-नोटेशन (do-notation) (मोनैडिक बाइंड के लिए सिंक्टैक्स शुगर) का उपयोग करके किया जाता है। कम्प्यूटेशनल फंक्शन सिम्बल्स (जैसे, $digit: \text{Image} \to M \text{Digit}$ ) और विधेयों के उपचार में एक प्रमुख नवाचार है। अर्थ (semantics) को आगमनात्मक (inductively) रूप से परिभाषित किया गया है:

बाइंड ( $\leftarrow$ ): $D$ में मार्जलाइजेशन और $T$ में लॉग-स्पेस कन्वोल्यूशन करता है।
क्वांटिफायर (Quantifiers): सीमित डोमेन पर मोनैडिक सत्य मानों को एकत्रित करते हैं।
लेज़ी इवैल्यूएशन (Lazy Evaluation): ढांचा मार्जलाइजेशन की गणना को तब तक टालने के लिए लेज़ी मोनैड्स का उपयोग करता है जब तक कि वह सख्त रूप से आवश्यक न हो, जिससे अनावश्यक शाखाओं को हटाया जा सके।

3. प्रशिक्षण और अनुमान (Training and Inference)

प्रशिक्षण एक डेटासेट पर नॉलेज लॉस (knowledge loss) (स्वयंसिद्धों का माध्य नकारात्मक लॉग-ट्रुथ) को कम करता है।

बैचिंग: $N$ नमूनों के लिए $N$ बार डू-नोटेशन प्रोग्राम चलाने के बजाय, सिस्टम एक बैच टेंसर पर इसे एक बार चलाता है। बैच मोनैड $B$ को टेंसर मोनैड $T$ के साथ संयोजित किया जाता है ( $B \circ T$ )।
डेटा हैंडलिंग: अवलोकनों (observations) को "निश्चित" मानों के रूप में माना जाता है (लॉग-स्पेस में वन-हॉट एनकोडेड) जो liftB के माध्यम से फॉर्मूला में प्रवेश करते हैं।
कार्यान्वयन: इस ढांचे को Haskell (HaskTorch), Python (JAX), और Python (PyTorch) में लागू किया गया है। JAX बैकएंड लॉग-स्पेस कन्वोल्यूशन और डिफरेंशिएशन के लिए JIT कंपाइलेशन का उपयोग करता है।

मुख्य योगदान

NeSyCat का न्यूरल कार्यान्वयन: NeSyCat श्रेणीगत ढांचे का पहला न्यूरल कार्यान्वयन प्रदान करता है, जो अमूर्त श्रेणीगत अर्थों और व्यावहारिक डीप लर्निंग के बीच के अंतर को पाटता है।
एकीकृत मोनैड पैरामीट्रिसिटी: यह प्रदर्शित करता है कि एक ही कोडबेस, जिसे मोनैडिक डू-नोटेशन में लिखा गया है, केवल अंतर्निहित मोनैड को बदलकर विभिन्न अर्थों (संभाव्यता, फजी, शास्त्रीय) को इंस्टैंशिएट कर सकता है।
डिफरेंशिएबल लॉग-टेंसर मोनैड: लॉग-सेमिरिंग का उपयोग करके एक संख्यात्मक रूप से स्थिर, डिफरेंशिएबल ट्रेनिंग बैकएंड पेश करता है, जो मध्यवर्ती चरणों के दौरान स्पष्ट सॉफ्टमैक्स नॉर्मलाइजेशन की आवश्यकता को समाप्त करता है (इसे सीमा/बाउंड्री तक टाल देता है)।
लेज़नेस के माध्यम से स्केलेबिलिटी: मार्जलाइजेशन गणनाओं को टालकर बैच और मल्टी-डिजिट समस्याओं पर कुशल प्रशिक्षण प्राप्त करता है।

प्रयोगात्मक परिणाम

लेखकों ने MNIST एडिशन कार्य पर ढांचे का मूल्यांकन किया (डिस्टेंट सुपरविजन: केवल दो हस्तलिखित अंकों के योग को देखा जाता है, स्वयं अंकों को नहीं)।

सटीकता (Accuracy):
- सिंगल डिजिट ( $N=1$ ): NeSyCat Torch ने 94.6% (LTN-शैली) और 94.2% (DeepProbLog-शैली) प्राप्त किया, जो LTN (93.5%) और DeepProbLog (92.2%) से बेहतर प्रदर्शन करता है।
- मल्टी-डिजिट ( $N=4$ ): NeSyCat Torch ने 92.0% सटीकता प्राप्त की। इसके विपरीत, LTN और DeepProbLog इस कार्य पर टाइम आउट (T/O) हो गए।
- तुलना: यह दृष्टिकोण DeepStochLog (N=4 के लिए 92.7%) की सटीकता के करीब पहुँचता है, जो वर्तमान में सबसे सटीक बेसलाइन है, जबकि एक समान ढांचे को बनाए रखता है जो विभिन्न फर्स्ट-ऑर्डर दृष्टिकोणों पर लागू होता है।
दक्षता (Efficiency):
- एक सिंगल A100 GPU पर ट्रेनिंग स्टेप्स पुराने हार्डवेयर पर LTN-स्टाइल (LTN के लिए 5.36ms बनाम LTN के लिए 0.52ms) की तुलना में काफी तेज़ थे।
- सिस्टम तेजी से अभिसरण (converge) करता है; सिंगल-डिजिट एडिशन के लिए पूर्ण 15-सीड स्वीप में लगभग 1.5 मिनट का समय लगा।
सामान्यीकरण (Generalization): नेटवर्क ने केवल देखे गए योगों का उपयोग करके अंकों को ~97% सटीकता के साथ पहचानना सीखा, बिना अंक लेबल का उपयोग किए।

महत्व और दावे

शोध पत्र का दावा है कि NeSyCat Torch सफलतापूर्वक NeSyCat श्रेणीगत ढांचे की व्यापकता को न्यूरल कार्यान्वयन स्तर तक स्केल करता है। इसका प्राथमिक महत्व है:

एकीकरण: यह एक ही, समान ढांचा प्रदान करता है जो केवल मोनैड को इंस्टैंशिएट करके कई फर्स्ट-ऑर्डर NeSy दृष्टिकोणों (शास्त्रीय, फजी, संभाव्यता) पर लागू होता है, न कि अलग-अलग परिभाषाओं की आवश्यकता होती है।
स्केलेबिलिटी: लेज़ी मोनैड्स और टेंसर संरचनाओं का उपयोग करके, यह अन्य विधियों (जैसे DeepProbLog में #P-hard वेटेड मॉडल काउंटिंग) की कम्प्यूटेशनल बाधाओं को दूर करता है जो बड़ी समस्याओं (जैसे $N=4$ अंक) पर सीमा तय करती हैं।
विस्तारशीलता: ढांचा पैरामीट्रिक है; जबकि वर्तमान कार्य सीमित रूप से समर्थित वितरणों पर केंद्रित है, लेखक नोट करते हैं कि इसे Giry मोनैड के साथ स्थापित करके निरंतर (continuous) संभाव्यता तक विस्तारित किया जा सकता है (हालांकि इसका न्यूरल प्रतिनिधित्व भविष्य के कार्य के लिए छोड़ दिया गया है)।

लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि वर्तमान कार्यान्वयन सीमित डोमेन और डिस्क्रीट वितरणों को प्रभावी ढंग से संभालता है, अनंत डोमेन और निरंतर संभाव्यता के कुशल न्यूरल प्रतिनिधित्व तक विस्तार करना भविष्य के अनुसंधान के लिए एक खुला विषय बना हुआ है।