🤖 machine learning

Hybrid Models for Natural Language Reasoning: The Case of Syllogistic Logic

यह शोध पत्र न्यायवाक्य तर्क (syllogistic logic) को एक बेंचमार्क के रूप में उपयोग करते हुए, बड़े भाषा मॉडलों (LLMs) में संरचनात्मकता (compositionality) और पुनरावृत्ति (recursiveness) की विशिष्ट सामान्यीकरण चुनौतियों की जांच करता है, जो यह प्रकट करता है कि जहाँ LLMs पुनरावृत्ति को अच्छी तरह से संभालते हैं, वहीं वे संरचनात्मकता के साथ संघर्ष करते हैं, और एक हाइब्रिड न्यूरो-सिंबोलिक आर्किटेक्चर प्रस्तावित करता है जो तंत्रिका दक्षता (neural efficiency) को प्रतीकात्मक पूर्णता (symbolic completeness) के साथ जोड़कर इन सीमाओं को प्रभावी ढंग से दूर करता है।

मूल लेखक: Manuel Vargas Guzmán, Jakub Szymanik, Maciej Malicki

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Manuel Vargas Guzmán, Jakub Szymanik, Maciej Malicki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित रोबोट सहायक है। आपने उसे हजारों कहानियाँ पढ़ना और सरल पहेलियाँ सुलझाना सिखाया है। वह पैटर्न पहचानने में माहिर है, जैसे यह जानना कि यदि कोई कहानी "बिल्लियों" और "कुत्तों" का उल्लेख करती है, तो वह "पालतू जानवरों" का भी उल्लेख कर सकती है। लेकिन जब आप उससे एक सख्त तर्क पहेली (जैसे कि एक न्यायवाक्य/syllogism: उदाहरण के लिए, "सभी बिल्लियाँ स्तनधारी हैं; सभी स्तनधारी जानवर हैं; इसलिए, सभी बिल्लियाँ जानवर हैं") को हल करने के लिए कहते हैं, तो वह लड़खड़ाने लगता है।

यह शोध पत्र वास्तव में यह जांच करता है कि ऐसा क्यों होता है और इसे ठीक करने का एक तरीका प्रस्तावित करता है। यहाँ इसका सरल विवरण दिया गया है:

1. "स्मार्ट" के दो प्रकार

लेखकों का तर्क है कि एक मॉडल के "तर्क करने में अच्छा" होने के दो अलग-अलग तरीके हैं, और वर्तमान AI इन दोनों को मिला देता है:

पुनरावृत्ति/Recursiveness (द "कॉपीकैट"): यह एक ही चीज़ को बार-बार करने की क्षमता है, जिससे चीजें लंबी होती जाती हैं। कल्पना कीजिए कि एक रोबोट ने यह नियम सीख लिया है: "यदि A से B होता है, और B से C होता है, तो A से C होता है।" यदि आप उसे इस नियम को पांच बार जोड़ने के लिए कहते हैं (A→B→C→D→E→F), तो वह इसे आसानी से कर सकता है क्योंकि यह केवल एक ही पैटर्न को दोहरा रहा है। यह एक ऐसे तोते की तरह है जो एक लंबे वाक्य को पूरी तरह से दोहरा सकता है क्योंकि उसने उसकी लय को याद कर लिया है।
रचनात्मकता/Compositionality (द "आर्किटेक्ट"): यह एक जटिल संरचना को लेने, उसे उसके छोटे, परमाणु नियमों में तोड़ने और यह समझने की क्षमता है कि वे एक साथ कैसे फिट होते हैं। उसी उदाहरण का उपयोग करते हुए, एक वास्तव में रचनात्मक विचारक समझता है कि वह श्रृंखला क्यों काम करती है। यदि आप उसे एक छोटी श्रृंखला (A→B→C) देते हैं जिसे उसने पहले नहीं देखा है, तो भी वह इसे हल कर सकता है क्योंकि वह केवल पैटर्न को नहीं, बल्कि अंतर्निहित नियम को समझता है।

समस्या: शोध में पाया गया कि वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) बेहतरीन कॉपीकैट (Recursiveness) हैं लेकिन खराब आर्किटेक्ट (Compositionality) हैं। वे लंबे श्रृंखलाओं को संभाल सकते हैं यदि उन्होंने समान श्रृंखला देखी हो, लेकिन यदि आप उन्हें एक जटिल पहेली को उसके सबसे सरल भागों में तोड़ने के लिए कहते हैं, तो वे भ्रमित हो जाते हैं।

2. प्रयोग: "स्यूडोवर्ड" (छद्म शब्द) पहेली

इसे बिना AI को वास्तविक दुनिया के ज्ञान (जैसे कि यह जानना कि "बिल्लियाँ" वास्तविक जानवर हैं) से विचलित किए परखने के लिए, शोधकर्ताओं ने नकली शब्दों (pseudowords) का उपयोग करके एक तर्क खेल बनाया।

सेटअप: उन्होंने AI को नियमों की एक सूची दी जैसे "सभी preacs, verdes हैं" और "कोई भी verdes, ramers नहीं है।"
परीक्षण: उन्होंने AI से निष्कर्ष को सिद्ध करने के लिए विशिष्ट नियमों को खोजने (Premise Selection) या विरोधाभास खोजने (Proof by Contradiction) के लिए कहा।
ट्विस्ट: उन्होंने AI को "छोटी" तर्क श्रृंखलाओं पर प्रशिक्षित किया और "लंबी" श्रृंखलाओं पर परीक्षण किया, और इसके विपरीत भी किया।

परिणाम:

अच्छी खबर: जब AI को छोटी श्रृंखलाओं पर प्रशिक्षित किया गया और लंबी श्रृंखलाओं को हल करने के लिए कहा गया, तो इसने काफी अच्छा प्रदर्शन किया। यह पैटर्न को खींच सकता था।
बुरी खबर: जब AI को लंबी, जटिल श्रृंखलाओं पर प्रशिक्षित किया गया और एक सरल, छोटी श्रृंखला को हल करने के लिए कहा गया, तो यह बुरी तरह विफल रहा। यह जटिल ढेर के अंदर छिपे सरल नियमों को देखने के लिए "ज़ूम इन" नहीं कर सका। यह उस छात्र की तरह था जिसने पूरा अध्याय रट लिया हो लेकिन पहले पृष्ठ के एक भी प्रश्न का उत्तर न दे सके।

3. समाधान: "इंसान + कैलकुलेटर" की टीम

चूंकि AI पैटर्न पहचानने में अच्छा है लेकिन सख्त तर्क में बुरा है, और एक कंप्यूटर प्रोग्राम (सिंबोलिक प्रूवर) सख्त तर्क में उत्तम है लेकिन धीमा और कठोर है, इसलिए लेखकों ने एक हाइब्रिड मॉडल बनाया।

इसे एक टीम की तरह सोचें:

न्यूरल असिस्टेंट (AI): यह तेज़, सहज स्काउट है। यह नियमों के ढेर को देखता है और कहता है, "हे, मुझे यकीन है कि ये तीन विशिष्ट नियम ही हैं जिनकी आपको समाधान के लिए आवश्यकता है," या "मुझे लगता है कि यह विरोधाभास ही कुंजी है।" यह खोज को सीमित करता है।
सिंबोलिक प्रूवर (कैलकुलेटर): यह धीमा, पूर्ण तर्कशास्त्री है। यह AI के सुझावों को लेता है और उन्हें 100% गणितीय निश्चितता के साथ दोबारा जांचता है।

यह कैसे काम करता है:

AI तेजी से उत्तर तक पहुँचने वाले सबसे संभावित मार्ग का अनुमान लगाता है।
कैलकुलेटर उस मार्ग की जाँच करता है।
यदि AI गलत होता है, तो कैलकुलेटर AI के सुझाव को अनदेखा कर देता है और अगला रास्ता खुद आज़माता है।

परिणाम:
यह टीम अविश्वसनीय रूप से कुशल है। AI काम को लगभग 1,000 गुना (तीन ऑर्डर ऑफ मैग्नीट्यूड) कम कर देता है। भले ही AI कोई गलती करे, कैलकुलेटर यह सुनिश्चित करता है कि अंतिम उत्तर सही हो। AI गति प्रदान करता है; कैलकुलेटर सुनिश्चित करता है कि कुछ भी गलत न हो।

4. क्या गलत हुआ ("हैलुसिनेशन")

शोधकर्ताओं ने यह भी देखा कि अकेले काम करते समय AI क्यों विफल हुआ। उन्होंने त्रुटियों के दो मुख्य प्रकार पाए:

"ओवर-हेल्पर" (अति-सहायक): कभी-कभी AI अतिरिक्त, अनावश्यक नियम शामिल कर देता था। यह सख्ती से गलत नहीं था (प्रमाण अभी भी काम करता था), लेकिन यह कुशल नहीं था।
"दिखावा करना" (Fake It 'Til You Make It): जब AI फंस जाता था, तो वह कभी-कभी मूल सूची में मौजूद न होने वाले नकली नियम बना देता था ताकि तर्क काम कर सके। उदाहरण के लिए, यदि उसे "verdes" के बारे में एक नियम की आवश्यकता थी लेकिन उसके पास नहीं था, तो वह बस एक नियम बना देता था क्योंकि उसे लगा कि पैटर्न को कैसा दिखना चाहिए।

निष्कर्ष

पत्र यह निष्कर्ष निकालता है कि जबकि AI पैटर्न पहचानने में बेहतर हो रहा है, इसमें अभी भी तर्क की गहरी, संरचनात्मक समझ की कमी है। यह तर्क के आकार की नकल कर सकता है लेकिन हमेशा उसके तंत्र को नहीं समझ पाता।

आगे बढ़ने का सबसे अच्छा तरीका केवल AI को बड़ा या अधिक स्मार्ट बनाना नहीं है; बल्कि AI की गति को एक सख्त, नियम-आधारित तर्क प्रणाली के साथ जोड़ना है। यह "न्यूरो-सिंबोलिक" टीम दोनों का सर्वश्रेष्ठ लेती है: AI की गति और एक गणित की किताब की विश्वसनीयता।

तकनीकी सारांश: प्राकृतिक भाषा तर्क के लिए हाइब्रिड मॉडल

समस्या विवरण
न्यूरल मॉडल में महत्वपूर्ण प्रगति के बावजूद, उनकी सामान्यीकरण (generalization) करने की क्षमता तार्किक तर्क अनुप्रयोगों के लिए एक गंभीर बाधा बनी हुई है। वर्तमान साहित्य अक्सर सामान्यीकरण के दो अलग पहलुओं को मिला देता है: कंपोजिशनैलिटी (Compositionality) और रिकर्सिवनेस (Recursiveness)।

कंपोजिशनैलिटी को यहाँ अर्थ के मानक "बॉटम-अप" निर्माण के रूप में नहीं, बल्कि एक विश्लेषणात्मक "टॉप-डाउन" क्षमता के रूप में परिभाषित किया गया है: जटिल संरचनाओं से परमाणु तार्किक नियमों को निकालने और उन्हें सरल घटकों पर लागू करने की क्षमता।
रिकर्सिवनेस नियमों के एक सीमित सेट के पुनरावृत्ति अनुप्रयोग (जैसे, एक ट्रांसिटिव चेन का विस्तार करना) के माध्यम से जटिल निरूपण बनाने की क्षमता है।

लेखक तर्क देते हैं कि जबकि मॉडल रिकर्सिव हो सकते हैं (सतही पैटर्न की नकल करके लंबी श्रृंखलाओं को प्रोसेस करना), उनमें वास्तविक कंपोजिशनैलिटी का अभाव होता है (व्यक्तिगत कड़ियों के संरचनात्मक संयोजन को समझना)। यह कमी मजबूत तार्किक तर्क को रोकता है, विशेष रूप से जब जटिल निष्कर्षों पर प्रशिक्षित मॉडल अंतर्निहित सरल घटकों को पहचानने में विफल रहते हैं।

कार्यप्रणाली
इन क्षमताओं की जांच करने के लिए, लेखक सिलोगिस्टिक लॉजिक (syllogistic logic) का एक नियंत्रित बेंचमार्क के रूप में उपयोग करते हैं। प्राकृतिक भाषा तर्क का यह अंश पर्याप्त अभिव्यंजक है कि यह गैर-तुच्छ (non-trivial) हो, फिर भी पूर्ण फर्स्ट-ऑर्डर लॉजिक के विपरीत गणनात्मक रूप से सुलभ (tractable) है।

औपचारिक ढांचा (Formal Framework): अध्ययन स्माइली (1973) पर आधारित एक सिलोगिस्टिक प्रमाण प्रणाली को अपनाता है, जिसमें चार क्वांटिफायर प्रकार (A, E, I, O) शामिल हैं और जो मनमाने प्रमेयों (premises) से व्युत्पत्ति की अनुमति देता है। इस प्रणाली को सुदृढ़ (sound) और पूर्ण (complete) सिद्ध किया गया है।
प्रतीकात्मक घटक (Symbolic Component): एक नॉन-डिटरमिनिस्टिक ऑटोमेटेड प्रूवर कार्यान्वयित किया गया। यह निम्नलिखित का उपयोग करके एक ज्ञान आधार (KB) से एक परिकल्पना $H$ $H$ को व्युत्पन्न करने का प्रयास करता है:
- प्रत्यक्ष नियम-आधारित प्रमाण (trivial and rule-based)।
- विरोधाभास द्वारा प्रमाण (एक ऐसा सूत्र $F$ खोजना जिससे $KB \cup \{H\} \vdash F$ और $KB \vdash \neg F$ हो)।
कनेक्शनिस्ट घटक (Connectionist Component): दो प्री-ट्रेन्ड लार्ज लैंग्वेज मॉडल्स (LLMs)—FLAN-T5-base (encoder-decoder) और GPT-4o-mini (decoder-only)—को सहायक के रूप में कार्य करने के लिए सिंथेटिक डेटा पर फाइन-ट्यून किया गया। यह डेटा ग्राफ के रूप में प्रतिनिधित्व किए गए ज्ञान आधारों से बना है, जिसे कंटेंट बायस से बचने के लिए 'स्यूडोवर्ड्स' (pseudowords) का उपयोग करके प्राकृतिक भाषा में परिवर्तित किया गया है।
- कार्य 1 (प्रमेय चयन): ऐसे न्यूनतम उपसमुच्चय $P \subseteq KB$ की भविष्यवाणी करना जिससे $P \vdash H$ हो।
- कार्य 2 (विरोधाभास द्वारा प्रमाण): विरोधाभास प्रमाण को सुगम बनाने के लिए एक रिफ्यूटेशन फॉर्मूला $F$ की भविष्यवाणी करना।
सामान्यीकरण मूल्यांकन: लेखकों ने A-chain लंबाई (ट्रांजिटिव समावेशन की लंबाई) के आधार पर प्रशिक्षण और परीक्षण सेटों में हेरफेर करके कंपोजिशनैलिटी और रिकर्सिवनेस को संचालित किया:
- कंपोजिशनल (COM): लंबी श्रृंखलाओं पर प्रशिक्षित मॉडलों का परीक्षण छोटी श्रृंखलाओं पर किया जाता है (डीकंस्ट्रक्शन)।
- रिकर्सिव (REC): छोटी श्रृंखलाओं पर प्रशिक्षित मॉडलों का परीक्षण लंबी श्रृंखलाओं पर किया जाता है (कंस्ट्रक्शन)।
- ओवरऑल (OVE): सभी लंबाई के डेटा पर प्रशिक्षित और परीक्षित मॉडल।

प्रमुख योगदान

अनुभवजन्य अंतर (Empirical Distinction): एक कठोर प्रदर्शन कि LLMs के पास उचित रिकर्सिवनेस दक्षता है लेकिन वे कंपोजिशनैलिटी के साथ काफी संघर्ष करते हैं। जटिल निष्कर्षों पर प्रशिक्षित मॉडल उनके सरल घटकों को पहचानने में विफल रहते हैं।
संरचनात्मक बाधाएं (Structural Constraints): एक सैद्धांतिक निष्कर्ष कि न्यूरल मॉडल्स में सामान्यीकरण तार्किक संरचना द्वारा बाधित होता है। प्रदर्शन विभिन्न सिलोगिज्म प्रकारों (जैसे, टाइप $\tau_2$ , जो सबसे सरल निष्कर्ष है, उसे मास्टर किया गया है, जबकि $\tau_1$ और $\tau_5$ जैसे जटिल संयोजन चुनौतीपूर्ण बने हुए हैं) के बीच व्यवस्थित रूप से भिन्न होता है।
हाइब्रिड आर्किटेक्चर: एक न्यूरो-सिम्बोलिक फ्रेमवर्क का प्रस्ताव और मूल्यांकन जहाँ न्यूरल घटक एक सिम्बोलिक प्रूवर की सहायता करते हैं। न्यूरल मॉडल उम्मीदवार प्रमेयों और विरोधाभास सूत्रों की भविष्यवाणी करके सर्च स्पेस को कम करते हैं, जबकि सिम्बोलिक प्रूवर तार्किक पूर्णता और शुद्धता की गारंटी देता है।

परिणाम

सामान्यीकरण विषमता (Generalization Disparity): Recursive सेटिंग में, मॉडल ओवरऑल बेसलाइन के तुलनीय प्रदर्शन करते हैं, जो यह सुझाव देता है कि वे लंबी श्रृंखलाओं तक पैटर्न का विस्तार कर सकते हैं। हालांकि, Compositional सेटिंग में, प्रदर्शन काफी गिर जाता है (उदाहरण के लिए, प्रमेय चयन पर GPT की सटीकता OVE-short में ~94% से गिरकर COM में ~76% हो जाती है)।
टाइप-निर्भर परिवर्तनशीलता: प्रदर्शन विशिष्ट सिलोगिज्म प्रकार पर अत्यधिक निर्भर था। टाइप $\tau_2$ (एकल A-chain) ने सभी सेटिंग्स में लगभग पूर्ण सटीकता प्राप्त की, जबकि कई श्रृंखलाओं या मिश्रित क्वांटिफायर वाले प्रकारों में कंपोजिशनल कार्यों में महत्वपूर्ण गिरावट देखी गई।
त्रुटि विश्लेषण:
- अनावश्यक प्रमेयों (Unnecessary Premises): मॉडल अक्सर अतिरिक्त प्रमेयों को शामिल करते थे जो न्यूनतम नहीं थे लेकिन वैध थे, जिससे सिम्बोलिक प्रूवर सफल हो सका।
- निर्मित प्रमेयों (Fabricated Premises): वास्तविक विफलता के मामलों में, मॉडलों ने सुव्यवस्थित लेकिन अर्थहीन रूप से गलत प्रमेयों को उत्पन्न किया, जो अक्सर समान हाइपोथेसिस संरचना वाले सिलोगिज्म प्रकारों को भ्रमित कर देते थे (जैसे, $\tau_1$ हाइपोथेसिस के लिए $\tau_3$ प्रमाण बनाने का प्रयास करना)।
हाइब्रिड दक्षता: हाइब्रिड मॉडलों ने सिम्बोलिक प्रूवर की कम्प्यूटेशनल लागत को काफी कम कर दिया।
- शुद्ध सिम्बोलिक प्रूवर को औसतन $\approx 10^{5.7}$ चरणों की आवश्यकता थी।
- Overall या Recursive सहायकों के साथ हाइब्रिड मॉडलों ने इसे $\approx 10^{2.4}$ चरणों तक कम कर दिया (तीन ऑर्डर्स ऑफ मैग्नीट्यूड की कमी)।
- Compositional सहायकों (जिनकी सटीकता कम थी) के साथ भी, हाइब्रिड सिस्टम मजबूत रहा, जिसे सर्वश्रेष्ठ प्रदर्शन करने वाले सहायकों की तुलना में केवल थोड़े अधिक चरणों ( $\approx 10^{2.7}$ से $10^{3.1}$ ) की आवश्यकता पड़ी, बिना अंतिम प्रमाण की साउंडनेस या पूर्णता से समझौता किए।

महत्व और दावे
पेपर का दावा है कि न्यूरल तर्क में देखी गई सीमाएं केवल स्केल (scale) का मामला नहीं हैं, बल्कि संरचनात्मक अपघटन (कंपोजिशनैलिटी) बनाम पैटर्न पुनरावृत्ति (रिकर्सिवनेस) की मौलिक अक्षमता से उत्पन्न होती हैं। लेखक प्रतिपादित करते हैं कि ट्रांसफॉर्मर अटेंशन मैकेनिज्म स्वाभाविक रूप से दूसरे (रिकर्सिवनेस) का समर्थन कर सकते हैं लेकिन पहले (कंपोजिशनैलिटी) का नहीं।

इस कार्य का महत्व यह प्रदर्शित करने में है कि हाइब्रिड मॉडल एक व्यवहार्य मार्ग प्रदान करते हैं। कुशल सर्च-स्पेस रिडक्शन के लिए न्यूरल नेटवर्क का उपयोग करके और तार्किक गारंटी के लिए सिम्बोलिक रीजनिंग का लाभ उठाकर, शुद्ध न्यूरल सिस्टम की सामान्यीकरण बाधाओं को पार करना संभव है। अध्ययन सुझाव देता है कि विश्वसनीय तार्किक प्रूवर विकसित करने के लिए यह मॉड्यूलर दृष्टिकोण आवश्यक है, भले ही न्यूरल घटक अपूर्ण हों या सीमित डेटा पर प्रशिक्षित हों। लेखक निष्कर्ष निकालते हैं कि यद्यपि सिलोगिस्टिक लॉजिक एक सरल खंड है, यह पहले से ही न्यूरल सामान्यीकरण के लिए गैर-तुच्छ सीमाओं को प्रकट करता है, जो समृद्ध तार्किक खंडों और सीखने की क्षमता के पीछे के संरचनात्मक कारणों में आगे के शोध को प्रेरित करता है।