💬 NLP

CLMN: Concept based Language Models via Neural Symbolic Reasoning

यह शोध पत्र CLMN को प्रस्तुत करता है, जो एक न्यूरल-सिम्बोलिक फ्रेमवर्क है जो अवधारणाओं को निरंतर एम्बेडिंग्स के रूप में प्रदर्शित करके और गतिशील अंतःक्रियाओं को मॉडल करने तथा पारदर्शी तर्क नियमों को प्रेरित करने के लिए फजी-लॉजिक रीजनिंग को लागू करके एनएलपी (NLP) की व्याख्यात्मकता और प्रदर्शन को बढ़ाता है।

मूल लेखक: Yibo Yang

प्रकाशित 2026-03-31

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yibo Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ CLMN पेपर का स्पष्टीकरण दिया गया है, जिसे रोज़मर्रा की भाषा और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।

बड़ी समस्या: "ब्लैक बॉक्स" शेफ

कल्पना कीजिए कि आप एक रेस्टोरेंट में जाते हैं, और शेफ आपको एक स्वादिष्ट व्यंजन परोसता है। आप पूछते हैं, "आपने यह डिश क्यों बनाई?" शेफ जवाब देता है, "मैंने बस अपने अंतर्मन की भावना और जादू का पालन किया।"

आजकल का अधिकांश आधुनिक AI (डीप लर्निंग) इसी तरह काम करता है। यह अविश्वसनीय रूप से स्मार्ट है और बेहतरीन परिणाम देता है, लेकिन यह एक "ब्लैक बॉक्स" है। यह आपको एक उत्तर तो देता है (जैसे बीमारी का निदान करना या लोन अप्रूव करना), लेकिन यह समझा नहीं सकता कि क्यों। स्वास्थ्य सेवा या वित्त जैसे उच्च-जोखिम वाले क्षेत्रों में, यह खतरनाक है। डॉक्टरों और बैंकरों को केवल परिणाम नहीं, बल्कि निर्णय के पीछे का तर्क जानने की आवश्यकता होती है।

पुराना समाधान: "चेकलिस्ट" शेफ (कॉन्सेप्ट बॉटलनेक मॉडल्स)

वैज्ञानिकों ने "कॉन्सेप्ट बॉटलनेक मॉडल्स" (CBMs) बनाकर इसे ठीक करने की कोशिश की। कल्पना कीजिए कि एक शेफ जो खाना बनाने से पहले एक चेकलिस्ट भरना अनिवार्य है:

क्या खाना तीखा है? (हाँ/नहीं)
क्या सर्विस धीमी है? (हाँ/नहीं)
क्या कीमत अधिक है? (हाँ/नहीं)

AI टेक्स्ट को देखता है, इन बॉक्सों को चेक करता है, और फिर केवल उन बॉक्सों के आधार पर निर्णय लेता है।
समस्या: यह बहुत कठोर है। वास्तविक भाषा अव्यवस्थित होती है।

यदि कोई रिव्यू कहता है, "खाना तीखा नहीं था," तो एक साधारण हाँ/नहीं वाला बॉक्स भ्रमित हो जाता है।
यदि AI को "तीखा = नहीं" चेक करने के लिए मजबूर किया जाता है, तो वह वाक्य की बारीकियों (nuance) को भूल सकता है, जिससे महत्वपूर्ण विवरण खो जाते हैं और खाना स्वाद में खराब हो सकता है (कम सटीकता)।

नया समाधान: CLMN (द "स्मार्ट सू-शेफ")

इस पेपर के लेखक CLMN (कॉन्सेप्ट लैंग्वेज मॉडल नेटवर्क) का प्रस्ताव करते हैं। CLMN को मुख्य AI शेफ के साथ काम करने वाले एक "स्मार्ट सू-शेफ" के रूप में समझें।

यहाँ CLMN कैसे काम करता है, इसे तीन सरल चरणों में बताया गया है:

1. "फजी" चेकलिस्ट (कंटीन्यूअस कॉन्सेप्ट्स)

चेकलिस्ट पर सख्त "हाँ" या "नहीं" थोपने के बजाय, CLMN एक डिमर स्विच (dimmer switch) का उपयोग करता है।

पुराना तरीका: "क्या यह तीखा है?" -> [हाँ] या [नहीं]।
CLмN का तरीका: "क्या यह तीखा है?" -> [0.8 (बहुत तीखा)] या [0.2 (हल्का तीखा)]।

यह AI को "कीमत के हिसाब से भरा हुआ नहीं है" या "शोर वाला लेकिन अच्छा खाना" जैसी बारीकियों को समझने की अनुमति देता है। यह मानव-समझने योग्य कॉन्सेप्ट्स का उपयोग करते हुए भी टेक्स्ट के समृद्ध विवरणों को बनाए रखता है।

2. "लॉजिक बोर्ड" (न्यूरल-सिंबोलिक रीजनिंग)

यही जादुई हिस्सा है। CLMN केवल चेकलिस्ट को देखता ही नहीं है; इसके पास एक लॉजिक बोर्ड है जो कड़ियों को जोड़ता है।
कल्पना कीजिए कि कॉन्सेप्ट्स सामग्रियाँ (ingredients) हैं, और लॉजिक बोर्ड रेसिपी है।

नियम: "यदि खाना अच्छा है AND शोर अधिक है, तो कुल अनुभव मिला-जुला है।"
नियम: "यदि कीमत अधिक है AND पोर्शन (मात्रा) कम है, तो वैल्यू खराब है।"

CLMN इन नियमों को स्वचालित रूप से सीखता है। यह समझता है कि कॉन्सेप्ट्स आपस में कैसे जुड़ते हैं। यह समझता है कि "शोर वाला" एक रोमांटिक डिनर के लिए बुरा हो सकता है लेकिन स्पोर्ट्स बार के लिए ठीक हो सकता है। यह इन कनेक्शनों को लचीला और मानव-पठनीय बनाने के लिए फजी लॉजिक (एक प्रकार का गणित जो "शायद" और "कुछ हद तक" को संभालता है) का उपयोग करता है।

3. "डबल-चेक" सिस्टम

CLMN एक साथ दो इंजन चलाता है:

डायरेक्ट इंजन: AI टेक्स्ट को देखता है और उत्तर का अनुमान लगाता है (एक सामान्य AI की तरह)।
रीज़निंग इंजन: AI कॉन्सेप्ट्स को देखता है, तर्क के नियमों को लागू करता है, और फिर से उत्तर का अनुमान लगाता है।

अंत में, यह दोनों अनुमानों को मिला देता है। यह सुनिश्चित करता है कि AI अभी भी सुपर सटीक है (क्योंकि यह डायरेक्ट इंजन का उपयोग करता है) लेकिन यह एक स्पष्ट स्पष्टीकरण भी प्रदान कर सकता है (क्योंकि यह आपको लॉजिक बोर्ड और डिमर स्विच चेकलिस्ट दिखा सकता है)।

यह एक बड़ी बात क्यों है?

अब कोई "ब्लैक बॉक्स" नहीं: आप AI से पूछ सकते हैं, "आपने मेरा लोन क्यों खारिज किया?" और वह कह सकता है, "क्योंकि कर्ज का कॉन्सेप्ट उच्च था और आय का कॉन्सेप्ट कम था, और हमारा नियम कहता है कि इसका अर्थ 'उच्च जोखिम' है।"
यह बुद्धिमत्ता का त्याग नहीं करता: आमतौर पर, AI को समझाने योग्य बनाने से वह कम स्मार्ट हो जाता है। CLMN साबित करता है कि आप उच्च सटीकता और उच्च पारदर्शिता दोनों प्राप्त कर सकते हैं।
यह बारीकियों को संभालता है: यह समझता है कि "बुरा नहीं" का मतलब "अच्छा" नहीं है, और "शोर वाला" संदर्भ के आधार पर अच्छा या बुरा हो सकता है।

निचोड़ (The Bottom Line)

CLMN एक सुपर-स्मार्ट AI को एक अनुवादक और एक नोटबुक देने जैसा है। यह अभी भी जटिल गणित में सोचता है, लेकिन यह अपने विचारों को एक ऐसी भाषा में लिखता है जिसे इंसान समझ सकें, जो एक लचीली प्रणाली का उपयोग करती है जो मानवीय भाषा के अव्यवस्थित और ग्रे क्षेत्रों (gray areas) को संभाल सकती है। यह AI को अस्पतालों, बैंकों और अदालतों में उपयोग करने के लिए भरोसेमंद बनाता है।

यहाँ "CLMN: Concept based Language Models via Neural Symbolic Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप लर्निंग मॉडल, विशेष रूप से नेचुरल लैंग्वेज प्रोसेसिंग (NLP) में, "ब्लैक बॉक्स" प्रकृति से ग्रस्त हैं, जो स्वास्थ्य सेवा और वित्त जैसे उच्च-जोखिम वाले क्षेत्रों में उनकी तैनाती को सीमित करता है जहाँ व्याख्यात्मकता (interpretability) अनिवार्य है।

मौजूदा समाधानों की सीमाएँ:
- कॉन्सेप्ट बॉटलनैक मॉडल्स (CBMs): कंप्यूटर विजन में सफल होने के बावजूद, NLP में मौजूदा CBMs अक्सर कठोर बाइनरी कॉन्सेप्ट एक्टिवेशन लागू करते हैं। इससे टेक्स्ट रिप्रेजेंटेशन में महत्वपूर्ण सूचना की हानि होती है, जिससे प्रेडिक्शन सटीकता में गिरावट आती है।
- कॉन्सेप्ट एम्बेडिंग मॉडल्स (CEMs): ये प्रदर्शन को बनाए रखने के लिए कॉन्सेप्ट्स को निरंतर स्पेस (continuous spaces) में प्रोजेक्ट करते हैं, लेकिन अक्सर मानव-समझने योग्य अर्थों (semantics) को अस्पष्ट कर देते हैं, जिससे तर्क प्रक्रिया अपारदर्शी हो जाती है।
- गतिशील अंतःक्रिया का अभाव (Lack of Dynamic Interaction): वर्तमान विधियाँ कॉन्सेप्ट्स के बीच गतिशील अंतःक्रियाओं को कैप्चर करने में विफल रहती हैं (जैसे, कैसे "not severe" जैसा निषेध (negation) "disease severity" जैसे कॉन्सेप्ट को संशोधित करता है), और इसके बजाय स्थिर, कठोर लेबलिंग पर निर्भर रहती हैं।

2. कार्यप्रणाली: कॉन्सेप्ट लैंग्वेज मॉडल नेटवर्क (CLMN)

लेखक CLMN प्रस्तावित करते हैं, जो एक नवीन न्यूरल-सिंबोलिक फ्रेमवर्क है जो फजी लॉजिक-आधारित रीजनिंग के साथ निरंतर कॉन्सेप्ट एम्बेडिंग्स को एकीकृत करके उच्च प्रदर्शन और पारदर्शिता के बीच सामंजस्य स्थापित करता है।

A. मुख्य आर्किटेक्चर (Core Architecture)

यह फ्रेमवर्क तीन मुख्य चरणों के माध्यम से संचालित होता है:

प्री-ट्रेंड लैंग्वेज मॉडल (PLM) बैकबोन:
- इनपुट टेक्स्ट $x$ को BERT, RoBERTa, GPT-2, या LSTM जैसे मॉडल्स का उपयोग करके एक लेटेंट रिप्रेजेंटेशन $z$ में एनकोड किया जाता है।
कॉन्सेप्ट लेयर और एम्बेडिंग:
- कॉन्सेप्ट लेयर: $S$ कॉन्सेप्ट्स की स्टेट प्रोबेबिलिटी को एक स्ट्रक्चर्ड वेक्टर में स्पष्ट रूप से एनकोड करता है। प्रत्येक कॉन्सेप्ट $s$ के तीन स्टेट होते हैं: पॉजिटिव ( $p^+$ ), नेगेटिव ( $p^-$ ), और अननोन ( $p^u$ )।
- निरंतर एम्बेडिंग (Continuous Embeddings): बाइनरी एक्टिवेशन के बजाय, मॉडल सक्रिय ( $C^+_s$ ) और निष्क्रिय ( $C^-_s$ ) अवस्थाओं के लिए निरंतर एम्बेडिंग्स सीखता है। एक स्कोरिंग फंक्शन $p_s$ एक्टिवेशन की संभावना निर्धारित करता है, जो एक भारित (weighted) अंतिम एम्बेडिंग $\hat{c}_s$ बनाता है।
- फीचर फ्यूजन: इन कॉन्सेप्ट एम्बेडिंग्स को मूल टेक्स्ट फीचर्स के साथ जोड़ा जाता है और अंतिम प्रेडिक्शन को बढ़ाने के लिए एक फ्यूजन लेयर के माध्यम से पास किया जाता है, यह सुनिश्चित करता है कि मॉडल कच्चे टेक्स्ट और कॉन्सेप्ट-अवेयर रिप्रेजेंटेशन दोनों का लाभ उठा सके।
न्यूरल-सिंबोलिक रीजनिंग ब्रांच:
- पोलैरिटी नेटवर्क ( $\Phi$ ): एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) जो प्रत्येक कॉन्सेप्ट के दिशात्मक प्रभाव (सकारात्मक या निरोधात्मक) को सीखता है।
- रिलिवेंस नेटवर्क ( $\Psi$ ): एक समानांतर MLP जो एक विशिष्ट इंस्टेंस के लिए प्रत्येक कॉन्सेप्ट के संदर्भ-जागरूक महत्व (context-aware importance) को सीखता है।
- फजी लॉजिक रीजनिंग: मॉडल इन संकेतों को डिफरेंशिएबल फजी लॉजिक ऑपरेटर्स (कंजंक्शन $\land$ , डिसजंक्शन $\lor$ , नेगेशन $\neg$ ) का उपयोग करके संश्लेषित करता है, ताकि एक प्रेडिक्शन रूल जनरेट किया जा सके:
  $\hat{y}_j(x) = \bigwedge_{c_s \in C} (\neg I_{p,s,j} \lor I_{r,s,j})$
  यह मॉडल को ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन के लिए डिफरेंशिएबिलिटी बनाए रखते हुए, कॉन्सेप्ट्स से बने तार्किक नियमों के आधार पर भविष्यवाणियाँ करने की अनुमति देता है।

B. ट्रेनिंग ऑब्जेक्टिव (Training Objective)

कुल लॉस फंक्शन तीन घटकों को जोड़ता है:
$L = L_{prediction} + \alpha_1 L_{concept} + \alpha_2 L_{neural}$

$L_{prediction}$ : अंतिम टास्क लेबल के लिए मानक क्रॉस-एन्ट्रॉपी।
$L_{concept}$ : कॉन्सेप्ट लेबल्स की भविष्यवाणी करने के लिए लॉस (यह सुनिश्चित करना कि कॉन्सेप्ट लेयर सटीक है)।
$L_{neural}$ : न्यूरल-सिंबोलिक रीजनिंग ब्रांच के लिए लॉस (यह सुनिश्चित करना कि तार्किक नियम ग्राउंड ट्रुथ के साथ संरेखित हैं)।

3. मुख्य योगदान (Key Contributions)

नवीन फ्रेमवर्क (CLMN): पहला न्यूरल-सिंबोलिक फ्रेमवर्क जो सटीकता-व्याख्यात्मकता ट्रेड-ऑफ को प्रभावी ढंग से संबोधित करता है। यह कठोर बाइनरी कॉन्सेप्ट्स से आगे बढ़कर निरंतर, सीखने योग्य कॉन्सेप्ट इंटरैक्शन की ओर बढ़ता है।
इंटरैक्शन के लिए न्यूरल-सिंबोलिक रीजनिंग: सीखने योग्य नियमों और फजी लॉजिक का उपयोग करके यह स्पष्ट रूप से मॉडल करने के लिए एक तंत्र पेश करता है कि कॉन्सेप्ट्स एक-दूसरे को कैसे प्रभावित करते हैं और अंतिम प्रेडिक्शन को कैसे प्रभावित करते हैं, जिससे स्थिर कॉन्सेप्ट संबंधों की समस्या हल होती है।
प्रदर्शन संरक्षण (Performance Preservation): यह प्रदर्शित करता है कि कॉन्सेप्ट-अवेयर रिप्रेजेंटेशन और सिंबोलिक रीजनिंग जोड़ने से मानक ब्लैक-बॉक्स मॉडल्स की तुलना में टास्क परफॉरमेंस में महत्वपूर्ण गिरावट नहीं आती है।
डेटा ऑग्मेंटेशन रणनीति: मानव-एनोटेटेड डेटासेट्स (CEBaB) से परे कॉन्सेप्ट स्पेस का विस्तार करने के लिए LLMs (ChatGPT) का उपयोग करके नए कॉन्सेप्ट्स और नॉइज़ी लेबल्स उत्पन्न करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन विभिन्न बैकबोन (BERT, RoBERTa, GPT-2, LSTM) के साथ aug-CEBaB-yelp डेटासेट (रेस्टोरेंट रिव्यू सेंटीमेंट एनालिसिस) पर किया गया।

टास्क परफॉरमेंस:
- CLMN ने बेसलाइन मॉडल्स के साथ प्रतिस्पर्धी सटीकता प्राप्त की। उदाहरण के लिए, BERT-base के साथ, अंतिम टास्क सटीकता 69.26% थी (बनाम 69.49% बेसलाइन), जो ~0.23% की नगण्य गिरावट है।
- मैक्रो F1 स्कोर 79.62% पर उच्च बना रहा।
व्याख्यात्मकता प्रदर्शन (Interpretability Performance):
- कॉन्सेप्ट सटीकता: मॉडल ने मध्यवर्ती कॉन्सेप्ट्स (जैसे, "food," "noise," "price") की भविष्यवाणी करने में उच्च सटीकता प्राप्त की (BERT के लिए 85.85%), जो यह सिद्ध करता है कि यह सिमेंटिक फीचर्स को सही ढंग से पहचानता है।
- रीजनिंग सटीकता: न्यूरल-सिंबोलिक रीजनिंग ब्रांच ने 65.35% सटीकता प्राप्त की, जो दर्शाता है कि कॉन्सेप्ट्स से प्राप्त तार्किक नियम स्वतंत्र रूप से अंतिम लेबल की भविष्यवाणी करने में उचित सफलता के साथ सक्षम हैं।
एब्लेशन स्टडीज (Ablation Studies):
- कॉन्सेप्ट लॉस को हटाने से मॉडल की सार्थक कॉन्सेप्ट्स सीखने की क्षमता कमजोर हो गई।
- केवल कॉन्सेप्ट सुपरविजन के बिना न्यूरल-सिंबोलिक कंपोनेंट का उपयोग करने से प्रदर्शन में गिरावट आई, जो फीचर लर्निंग को लॉजिकल रीजनिंग के साथ संरेखित करने के लिए ड्यूल-लॉस रणनीति की आवश्यकता की पुष्टि करता है।

5. महत्व और प्रभाव (Significance and Impact)

पैराडाइम शिफ्ट: CLMN एक ही निरंतर स्पेस में न्यूरल रिप्रेजेंटेशन (प्रदर्शन के लिए) और सिंबोलिक रीजनिंग (व्याख्यात्मकता के लिए) को एकीकृत करके NLP के लिए एक नया प्रतिमान स्थापित करता है।
विश्वसनीय AI (Trustworthy AI): पारदर्शी डेरिवेशन पाथवे प्रदान करके (जैसे, "रिव्यू नकारात्मक है क्योंकि खाना अच्छा था लेकिन शोर अधिक था और कीमत ज्यादा थी"), यह मॉडल महत्वपूर्ण क्षेत्रों जैसे स्वास्थ्य सेवा और वित्त में विश्वास पैदा करता है।
डायनामिक लॉजिक: फजी लॉजिक का उपयोग मॉडल को निषेध (negation) और संदर्भ संशोधन जैसे भाषाई बारीकियों को संभालने की अनुमति देता है, जिसे पारंपरिक बाइनरी CBMs मिस कर देते हैं।
भविष्य की दिशाएं: लेखक इस फ्रेमवर्क को पदानुक्रमित कॉन्सेप्ट रीजनिंग (hierarchical concept reasoning) और बहुभाषी अनुकूलन क्षमता तक विस्तारित करने का सुझाव देते हैं, जो अधिक मजबूत और व्याख्या योग्य AI सिस्टम का मार्ग प्रशस्त करता है।

कोड उपलब्धता: कार्यान्वयन और डेटा https://github.com/MichaelYang-lyx/CLMN पर ओपन-सोर्स है।