🤖 AI

Neuro-symbolic Weak Supervision: Theory and Semantics

यह शोध पत्र एक न्यूरो-सिम्बोलिक ढांचे का प्रस्ताव करता है जो मल्टी-इंस्टेंस पार्शियल लेबल लर्निंग के सिमेंटिक्स को औपचारिक रूप देने के लिए इंडक्टिव लॉजिक प्रोग्रामिंग को एकीकृत करता है, जिससे अस्पष्ट सुपरविजन सिग्नल्स के बारे में संरचित तर्क और सरल सटीकता मेट्रिक्स से परे सिमेंटिक विफलता मोड का निदान सक्षम होता है।

मूल लेखक: Nijesh Upreti, Vaishak Belle

प्रकाशित 2026-07-07

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nijesh Upreti, Vaishak Belle

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: सुरागों के साथ एक रहस्य सुलझाना

कल्पना कीजिए कि आप एक जासूस हैं जो एक अपराध को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास स्पष्ट सबूत नहीं हैं। इसके बजाय, आपके पास मिले-जुले सुरागों का एक ढेर है (जैसे वस्तुओं का एक थैला) और एक एकल, अस्पष्ट नोट है, जिसमें लिखा है, "इन वस्तुओं का कुल मूल्य 5 है।" आप यह नहीं जानते कि कौन सी विशिष्ट वस्तु कितनी मूल्यवान है, आप केवल यह जानते हैं कि वे मिलकर 5 होती हैं।

यह AI में कमजोर पर्यवेक्षण (Weak Supervision) की समस्या है। आमतौर पर, AI मॉडल को एक शिक्षक की आवश्यकता होती है जो कहे, "यह तस्वीर एक बिल्ली है, वह एक कुत्ता है।" लेकिन वास्तविक दुनिया में, हमारे पास अक्सर डेटा के "थैले" होते हैं जिनमें पूरे समूह के लिए एक ही शोर वाला लेबल होता है।

यह पेपर AI को ये पहेलियाँ सुलझाने के लिए सिखाने का एक नया तरीका प्रस्तावित करता है। यह दो प्रकार की सोच को जोड़ता है:

न्यूरल (अंतर्ज्ञान/Intuition): एक "गट फीलिंग" सिस्टम जो एक तस्वीर को देखता है और अनुमान लगाता है कि वह क्या है (जैसे, "वह एक 2 जैसा दिखता है")।
सिंबोलिक (तर्क/Logic): एक सख्त नियम-पुस्तिका प्रणाली जो यह जाँचती है कि क्या अनुमान गणितीय रूप से सही हैं (जैसे, "यदि थैला 5 कहता है, और मैंने 2 और 3 का अनुमान लगाया है, तो क्या 2 + 3 = 5 होता है?")।

लेखक इसे न्यूरो-सिंबोलिक वीक सुपरविजन (Neuro-Symbolic Weak Supervision) कहते हैं। उन्होंने एक ऐसा ढांचा बनाया है जहाँ AI की "गट फीलिंग" और उसके "लॉजिक चेक" को सही ढंग से सीखने के लिए एक-दूसरे के साथ सहमत होना चाहिए।

तीन मुख्य पात्र

इसे काम करने के योग्य बनाने के लिए, लेखकों ने तीन "पात्रों" (या तार्किक नियमों) को पेश किया जो एक-दूसरे से बात करते हैं:

क्लासिफायर (CP - प्रति-इंसटेंस डिटेक्टिव):
- भूमिका: यह वह AI है जो एक एकल छवि को देख रहा है और कह रहा है, "मुझे लगता है कि यह एक 2 है।"
- उपमा: एक लाइनअप में खड़ा गवाह जो एक व्यक्ति की ओर इशारा करते हुए कहता है, "वह संदिग्ध है।"
ट्रांजिशन रूल (TP - गणित का जादूगर):
- भूमिका: यह वह नियम है जो समझाता है कि व्यक्तिगत अनुमान अंतिम बैग लेबल में कैसे बदलते हैं। क्या यह जोड़ (addition) है? गुणा (multiplication)? XOR (एक विशेष लॉजिक गेम)?
- उपमा: वह जज जो कहता है, "ठीक है, यदि गवाह कहते हैं कि संदिग्ध 2 और 3 हैं, और नियम 'उन्हें जोड़ने' का है, तो कुल 5 होना चाहिए।"
ऑब्जर्वेशन (OP - क्राइम सीन नोट):
- भूमिका: यह वह कमजोर लेबल है जो हमारे पास वास्तव में है। यह अपराध स्थल पर मिला एक नोट है जिसमें लिखा है, "कुल मूल्य 5 है।"
- उपमा: पुलिस रिपोर्ट जो कहती है, "चोरी किए गए सामान का कुल मूल्य $5 था।"

जादू: सिस्टम डिटेक्टिव (CP) और मैथ विजार्ड (TP) को एक साथ काम करने के लिए मजबूर करता है ताकि उनकी संयुक्त कहानी क्राइम सीन नोट (OP) से मेल खा सके। यदि डिटेक्टिव "2" का अनुमान लगाता है और "3" का, लेकिन मैथ विजार्ड "गुणा" का नियम उपयोग करता है, तो परिणाम 6 होगा। चूंकि नोट 5 कहता है, सिस्टम को पता चल जाता है कि कुछ गलत है और वह डिटेक्टिव के अनुमान को सुधारता है।

दो परिदृश्य (इंडक्टिव टास्क)

पेपर इस ढांचे का परीक्षण दो अलग-अलग तरीकों से करता है, जैसे दो अलग-अलग प्रकार के रहस्यों को सुलझाना:

परिदृश्य 1: नियम खोजना ( "क्या है गणित?" खेल)

सेटअप: हम मानते हैं कि डिटेक्टिव (CP) संख्याओं को पहचानने में पहले से ही अच्छा है। हमें नियम (TP) नहीं पता। क्या यह जोड़ है? गुणा है?
कार्य: AI संख्याओं के कई थैलों को देखता है और यह पता लगाने की कोशिश करता है कि कौन सा गणितीय नियम नोट्स की व्याख्या करता है।
परिणाम: सिस्टम ने सफलतापूर्वक नियमों (जैसे जोड़ या गुणा) का पता लगा लिया क्योंकि उसने देखा कि अनुमान अंतिम योगों के साथ फिट बैठते हैं। यह तब सबसे अच्छा काम कर पाया जब डिटेक्टिव पहले से ही स्मार्ट था। यदि डिटेक्टिव रैंडमली अनुमान लगा रहा था, तो सिस्टम भ्रमित हो गया, खासकर गुणा जैसे कठिन नियमों के साथ (जहाँ 0 किसी भी चीज़ को 0 बना देता है)।

परिदृश्य 2: डिटेक्टिव को सुधारना ( "संदिग्ध कौन है?" खेल)

सेटअप: हम जानते हैं कि नियम (TP) "जोड़" है। हमें नहीं पता कि डिटेक्टिव (CP) संख्याओं को पहचानने में कितना अच्छा है।
कार्य: AI नियम (TP) का उपयोग करके डिटेक्टिव की गलतियों को ठीक करता है। यदि थैला "5" कहता है और डिटेक्टिव "2" और "4" का अनुमान लगाता है (जो 6 जोड़ते हैं), तो सिस्टम समझ जाता है कि डिटेक्टिव गलत है और अनुमानों को "2" और "3" में बदल देता है।
परिणाम:
- जोड़ (Addition) जैसे सरल नियमों के लिए, सिस्टम ने डिटेक्टिव को पूरी तरह से ठीक कर दिया।
- XOR (एक लॉजिक नियम जहाँ 1+1=0 होता है) के लिए, सिस्टम को समस्या आई। कभी-कभी यह पूरी तरह से काम करता था; अन्य समय में, यह एक लूप में फंस गया जहाँ यह नंबरों को आपस में बदल रहा था (उदाहरण के लिए, एक 2 को 7 कहना और एक 7 को 2 कहना) लेकिन फिर भी अंतिम कुल योग सही प्राप्त कर रहा था। इसने दिखाया कि भले ही अंतिम उत्तर सही हो, AI विवरणों के बारे में "भ्रम" (hallucinating) पैदा कर सकता है।

यह क्यों मायने रखता है ( "आहा!" क्षण)

पेपर एक महत्वपूर्ण अंतर्दृष्टि को उजागर करता है: सिर्फ इसलिए कि AI अंतिम उत्तर सही प्राप्त कर लेता है, इसका मतलब यह नहीं है कि वह विवरणों को समझता है।

"शॉर्टकट" की समस्या: तार्किक ढांचे के बिना, एक AI धोखाधड़ी कर सकता है। वह अंतिम संख्या (5) का अनुमान लगाना सीख सकता है बिना वास्तव में यह जाने कि व्यक्तिगत संख्याएँ क्या हैं। यह एक ऐसे छात्र की तरह है जो गणित सीखने के बजाय केवल उत्तर कुंजी (answer key) रट लेता है।
नैदानिक उपकरण (Diagnostic Tool): "डिटेक्टिव" (CP) को "नियम" (TP) से अलग करके, लेखकों ने इन धोखों को पकड़ने का एक तरीका बनाया। उन्होंने "गैप मेट्रिक्स" (Gap Metrics) पेश किए:
- यदि AI बैग को सही बताता है लेकिन व्यक्तिगत वस्तुओं को गलत, तो "गैप" बहुत बड़ा है।
- यह हमें बताता है कि AI वास्तव में सीखने के बजाय शॉर्टकट ले रहा है।

निष्कर्ष

यह पेपर केवल एक बेहतर AI नहीं बनाता; यह यह जांचने का एक बेहतर तरीका बनाता है कि क्या AI वास्तव में सोच रहा है।

AI को अपने उत्तरों को तर्क (Symbolic) के साथ अपने विजुअल अनुमानों (Neural) के माध्यम से समझाने के लिए मजबूर करके, शोधकर्ताओं ने एक अधिक विश्वसनीय प्रणाली बनाई है। यह आपको न केवल यह बता सकता है कि उत्तर क्या है, बल्कि यह भी कि वह ऐसा क्यों सोचता है, और यह खुद को पकड़ सकता है जब वह ऐसी कहानी बना रहा हो जो तर्कसंगत नहीं है।

उन्होंने हाथ से लिखे अंकों (जैसे चेक पर नंबर) पर इसका परीक्षण किया, जिससे पता चला कि जब नियम स्पष्ट होते हैं, तो AI तेजी से सीखता है। लेकिन जब नियम पेचीदा होते हैं (जैसे गुणा या XOR लॉजिक), तो AI अपनी कमजोरियों को प्रकट करता है, जिससे मनुष्यों को यह देखने में मदद मिलती है कि मॉडल वास्तव में कहाँ विफल हो रहा है।

तकनीकी सारांश: न्यूरो-सिंबोलिक वीक सुपरविज़न: थ्योरी और सिमेंटिक्स

समस्या विवरण (Problem Statement)

यह शोध पत्र वीक सुपरविज़न (Weak Supervision) की चुनौतियों को संबोधित करता है, विशेष रूप से मल्टी-इंस्टेंस पार्शियल लेबल लर्निंग (MI-PLL) के संदर्भ में। MI-PLL में, प्रशिक्षण डेटा "बैग्स" (bags) के रूप में होता है, जहाँ प्रत्येक बैग कई संभावित लेबल वाले इंस्टेंस के सेट से जुड़ा होता है, जिसमें कम से कम एक सत्य लेबल और संभावित रूप से गलत सकारात्मक (false positives) शामिल होते हैं। मुख्य कठिनाई सुपरविज़न संकेतों की अस्पष्टता और इंस्टेंस-टू-लेबल मैपिंग की अनिश्चितता में निहित है।

मौजूदा सैद्धांतिक कार्य (जैसे, वांग एट अल. [5]; त्समौरा एट अल. [6]) ने MI-PLL के लिए सैंपल-कॉम्प्लेक्सिटी बाउंड्स और क्लास-विशिष्ट जोखिम विश्लेषण स्थापित किया है, लेकिन इन ढांचों में अक्सर एक संरचित तार्किक तंत्र (logical mechanism) का अभाव होता है जो लर्निंग को निर्देशित कर सके, सिमेंटिक विफलता मोड (semantic failure modes) का निदान कर सके, या उच्च-जोखिम वाले अनुप्रयोगों में विश्वसनीयता सुनिश्चित कर सके। यह शोध पत्र एक औपचारिक सिमेंटिक्स (semantics) प्रदान करने में अंतराल की पहचान करता है जो नॉइजी न्यूरल आउटपुट्स और वीक बैग-लेवल लेबल्स के बीच संबंध को संरचित करने के लिए इंडक्टिव लॉजिक प्रोग्रामिंग (ILP) को एकीकृत करता है।

कार्यप्रणाली (Methodology)

1. सिमेंटिक फ्रेमवर्क: CP, TP, और OP

लेखक एक न्यूरो-सिंबोलिक फ्रेमवर्क प्रस्तावित करते हैं जो तीन सहायक लॉजिकल प्रेडिकेट्स (auxiliary logical predicates) पर आधारित है जो MI-PLL समस्या को औपचारिक रूप देते हैं:

CP (क्लासिफायर प्रेडिकेट): यह प्रति-इंस्टेंस प्रेडिक्शन $f(x_i) = y_i$ का प्रतिनिधित्व करता है। यह गैर-सिंबोलिक इनपुट्स (जैसे, चित्र) को लेटेंट इंस्टेंस लेबल्स में मैप करता है।
TP (ट्रांजिशन प्रेडिकेट): यह एग्रीगेशन ऑपरेटर $\sigma$ का प्रतिनिधित्व करता है जो इंस्टेंस लेबल्स के वेक्टर को बैग-लेवल लेबल में मैप करता है ( $s = \sigma(y_1, \dots, y_M$ )। यह लेबल ट्रांजिशनल हाइपोथेसिस स्पेस को परिभाषित करता है।
OP (ऑब्जर्व्ड प्रेडिकेट): यह देखे गए वीक सुपरविज़न को रिकॉर्ड करता है, जो इंस्टेंस के एक बैग $x$ को देखे गए बैग-लेवल लेबल $s$ से जोड़ता है।

यह फ्रेमवर्क लर्निंग कार्य को एक हाइपोथेसिस $H = (f, \sigma)$ खोजने के रूप में मानता है ताकि CP प्रेडिक्शन्स, TP के माध्यम से एकत्रित होने पर, OP ऑब्जर्वेशन्स के साथ तार्किक रूप से सुसंगत हों।

2. इंडक्टिव टास्क (Inductive Tasks)

पेपर इस सिमेंटिक स्ट्रक्चर के भीतर दो अलग-अलग इंडक्टिव परिदृश्यों को औपचारिक रूप देता है:

परिदृश्य 1 (TP का अनुमान लगाना): देखे गए OP और इंस्टेंस-लेवल प्रेडिक्शन्स CP (माना गया उपलब्ध या प्री-ट्रेन्ड) को देखते हुए, लक्ष्य उस ट्रांजिशन प्रेडिकेट (एग्रीगेशन ऑपरेटर $\sigma$ ) का अनुमान लगाना है जो इंस्टेंस लेबल्स और बैग लेबल्स के बीच के संबंध की सबसे अच्छी व्याख्या करता है।
परिदृश्य 2 (CP का अनुमान लगाना): देखे गए OP और एक निश्चित ट्रांजिशन प्रेडिकेट TP (ज्ञात $\sigma$ ) को देखते हुए, लक्ष्य क्लासिफायर $f$ (और इस प्रकार CP असाइनमेंट्स) का अनुमान लगाना है जो बैग-लेवल लेबल्स द्वारा लगाए गए तार्किक बाधाओं (logical constraints) को संतुष्ट करता है।

3. कार्यान्वयन और मूल्यांकन (Implementation and Evaluation)

प्रस्तावित सिमेंटिक्स का अनुभवजन्य परीक्षण करने के लिए, लेखक $\alpha$ -ILP सिस्टम से प्रेरित एक डिफरेंशिएबल पाइपलाइन का उपयोग करते हैं।

आर्किटेक्चर: एक कन्वेल्शनल न्यूरल नेटवर्क (CNN) CP को इंस्टेंशिएट करता है। TP को सिंबोलिक ऑपरेटर्स के एक डिस्क्रीट सेट ( $\Sigma = \{+, \times, \oplus, C\}$ ) से लिया गया है।
ट्रेनिंग: सिस्टम एक चार-पदों वाले लॉस फंक्शन का उपयोग करता है:
1. $L_{bag}$ : देखे गए वीक लेबल्स के विरुद्ध बैग-लेवल क्रॉस-एन्ट्रॉपी।
2. $L_{con}$ : TP कंसिस्टेंसी सुनिश्चित करने वाला कंस्ट्रेंट लॉस।
3. $L_{cp}$ : क्लासिफायर कॉन्फिडेंस।
4. $L_{ctp}$ : CP-व्युत्पन्न और TP-व्युत्पन्न बैग डिस्ट्रीब्यूशन के बीच कंसिस्टेंसी लॉस।
डेटासेट्स: प्रयोगों में हिडन इंस्टेंस लेबल्स और एडिशन ( $+$ ), मल्टीप्लिकेशन ( $\times$ ), या XOR ( $\oplus$ ) के माध्यम से जनरेट किए गए वीक बैग-लेवल लेबल्स के साथ MNIST डिजिट बैग्स का उपयोग किया गया है।

मुख्य परिणाम (Key Results)

1. सिमेंटिक कपलिंग की आवश्यकता (Necessity of Semantic Coupling)

एब्लेशन स्टडीज (टेबल 1) दर्शाती हैं कि सिमेंटिक घटकों को हटाने से विफलता होती है:

No CP: मॉडल एक "OP $\leftrightarrow$ TP शॉर्टकट" सीखता है, जिससे मध्यम बैग सटीकता प्राप्त होती है लेकिन इंस्टेंस सिमेंटिक्स को रिकवर करने में विफल रहता है (InstAcc चांस लेवल, ~0.10 तक गिर जाता है)।
No TP / OP Only: ट्रांजिशन प्रेडिकेट के स्ट्रक्चरल कंस्ट्रेंट के बिना, मॉडल बेसलाइन परफॉर्मेंस की ओर गिर जाता है, और वीक सुपरविज़न का प्रभावी ढंग से उपयोग करने में असमर्थ रहता है।
Full Model: उच्च बैग सटीकता (~0.96) और सभी ऑपरेटर्स के लिए कंस्ट्रेंट सेटिस्फेक्शन प्राप्त करता है, जिसमें बैग-कंस्ट्रेंट गैप शून्य के करीब है, जो इंगित करता है कि सफलता स्ट्रक्चरल रूप से समर्थित है न कि स्प्यूरियस (spurious)।

2. ऑपरेटर-डिपेंडेंट फेलियर मोड्स (Operator-Dependent Failure Modes)

फ्रेमवर्क उन विफलता मोड को प्रकट करता है जो केवल बैग-लेवल सटीकता से अदृश्य रहते हैं:

XOR ( $\oplus$ ) बाइमोडैलिटी: नॉन-M-अनबिक्वियस XOR ऑपरेटर के लिए, इंस्टेंस सटीकता रैंडम सीड्स के बीच एक तीव्र बाइमोडल डिस्ट्रीब्यूशन प्रदर्शित करती है। लगभग आधे सीड्स उच्च इंस्टेंस सटीकता रिकवर करते हैं, जबकि अन्य उच्च बैग सटीकता बनाए रखते हुए भी शून्य के करीब सटीकता तक गिर जाते हैं। यह वांग एट अल. [5] द्वारा नॉन-M-अनबिक्वियस ऑपरेटर्स के लिए अनुमानित विफलता मोड के अनुरूप है।
मल्टीप्लिकेशन ( $\times$ ) सेंसिटिविटी: रैंडम CP (अनट्रेन्ड क्लासिफायर) के तहत, मल्टीप्लिकेटिव ऑपरेटर "जीरो-अट्रैक्टर" प्रभाव के कारण पहचाना जाने में विफल रहता है, जबकि एडिशन और XOR ऑपरेटर रैंकिंग बनाए रखते हैं।

3. नॉइज़ रोबस्टनेस (Noise Robustness)

सिस्टम कंसिस्टेंसी रेशियो में एक "प्लेटो" (plateau) और उसके बाद एक तीव्र संक्रमण (transition) प्रदर्शित करता है जब OP नॉइज़ बढ़ती है।

एडिशन और XOR: 50% नॉइज़ तक कंसिस्टेंसी बनाए रखते हैं, फिर तेजी से गिरते हैं।
मल्टीप्लिकेशन: 70% नॉइज़ तक भी मजबूत (robust) रहता है। लेखक इसका श्रेय मल्टीप्लिकेशन के एसिमेट्रिक प्री-इमेज डिस्ट्रीब्यूशन (जहाँ लेबल 0 कई पेयर्स को सोख लेता है) को देते हैं, जो कि त्समौरा एट अल. [6] के क्लास-विशिष्ट जोखिम विश्लेषण के अनुरूप एक स्ट्रक्चरल प्रॉपर्टी है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह MI-PLL के लिए एक औपचारिक सिमेंटिक्स (formal semantics) प्रदान करता है जो सांख्यिकीय लर्निंग थ्योरी और न्यूरो-सिंबोलिक रीजनिंग के बीच के अंतर को पाटता है। इसके प्राथमिक योगदान हैं:

लॉजिकल कैरेक्टराइजेशन: यह ILP का उपयोग करके लेबल ट्रांजिशन्स पर एक हाइपोथेसिस स्पेस को परिभाषित करता है, जो प्रति-इंस्टेंस क्लासिफायर के सिमेंटिक्स को औपचारिक रूप देता है और वीक सुपरविज़न के बारे में तर्क करने के लिए एक रिलेशनल स्कैफोल्ड प्रदान करता है।
डायग्नोस्टिक क्षमता: फ्रेमवर्क उन सिमेंटिक विफलता मोड (जैसे, रीजनिंग शॉर्टकट्स, इंस्टेंस-लेवल कोलैप्स) का निदान करने में सक्षम बनाता है जिन्हें केवल बैग-लेवल सटीकता छिपा लेती है। प्रस्तावित मेट्रिक्स (Bag–Constraint, Bag–Inst) इस डायग्नोस्टिक क्षमता को संचालित करते हैं।
थ्योरिटिकल एलाइनमेंट: अनुभवजन्य परिणाम वांग एट अल. [5] (अनबिक्विटी कंडीशंस) और त्समौरा एट अल. [6] (क्लास-विशिष्ट जोखिम और प्री-इमेज एसिमेट्री) की शर्तों के साथ संरेखित और संचालित होते हैं। विशेष रूप से, पेपर दिखाता है कि वांग एट अल. [5] में लर्नेबिलिटी के लिए आवश्यक "r-bounded" धारणा केवल तभी व्यावहारिक रूप से संतुष्ट होती है जब ऑपरेटर (परिदृश्य 1) को अनुमानित करने से पहले क्लासिफायर (परिदृश्य 2) को प्री-ट्रेन किया जाता है।

लेखक अपनी स्कोप के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि वर्तमान कार्यान्वयन एक सीमित सेट हैंड-इंजीनियर्ड ऑपरेटर्स पर निर्भर करता है और मूल क्लासिफायर आर्किटेक्चर को संशोधित नहीं करता है। इस कार्य को MI-PLL के व्यापक ILP-आधारित उपचार की दिशा में एक मौलिक कदम के रूप में प्रस्तुत किया गया है, जिसमें भविष्य के कार्यों के लिए विलंबित सुपरविज़न (delayed supervision), लचीली नियम खोज (flexible rule discovery), और क्रॉस-डोमेन मजबूती (cross-domain robustness) को संबोधित करने की आवश्यकता है।