💬 NLP

Modern Hopfield Networks Require Chain-of-Thought to Solve $\mathsf{NC}^1$ -Hard Problems

यह शोध पत्र स्थापित करता है कि मानक मॉडर्न हॉपफील्ड नेटवर्क सैद्धांतिक रूप से $\mathsf{TC}^0$ जटिलता वर्ग तक सीमित हैं और $\mathsf{NC}^1$ -कठिन समस्याओं को हल नहीं कर सकते हैं, लेकिन यह प्रदर्शित करता है कि उन्हें चेन-ऑफ-थॉट तंत्र से सुसज्जित करने से वे इन सीमाओं को पार करने और स्वाभाविक रूप से क्रमिक कार्यों को हल करने में सक्षम होते हैं।

मूल लेखक: Yang Cao, Xiaoyu Li, Yuanpeng Li, Yingyu Liang, Zhenmei Shi, Zhao Song

प्रकाशित 2026-01-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yang Cao, Xiaoyu Li, Yuanpeng Li, Yingyu Liang, Zhenmei Shi, Zhao Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है:

मुख्य विचार: एक अत्यंत शक्तिशाली पुस्तकालय सहायक

कल्पना कीजिए कि एक मॉडर्न हॉपफील्ड नेटवर्क (MHN) एक अत्यंत उन्नत और सुपर-फास्ट पुस्तकालय सहायक है। इसका मुख्य काम बिखरे हुए नोट्स (इनपुट) को देखना और तुरंत यादों की एक विशाल किताब से सबसे मिलता-जुलता, सटीक पन्ना ढूँढ निकालना है।

AI की दुनिया में, ये सहायक अपनी अविश्वसनीय गति और विशाल मेमोरी के लिए प्रसिद्ध हैं। इनका उपयोग अक्सर AI सिस्टम के पुराने और धीमे हिस्सों को बदलने के लिए किया जाता है, जैसे कि जानकारी इकट्ठा करने के लिए एक "सुपर-पूल" या सही विवरणों पर ध्यान केंद्रित करने के लिए एक "सुपर-अटेंशन" स्पैन के रूप में।

हालाँकि, यह शोध पत्र एक मौलिक प्रश्न पूछता है: यह सहायक वास्तव में कितना स्मार्ट है? क्या यह कोई भी समस्या हल कर सकता है, या ऐसी भी चीजें हैं जिन्हें यह कभी नहीं कर सकता, चाहे यह कितना भी तेज़ क्यों न हो?

खोज: "तत्काल" सहायक की एक सीमा है

इस शोध पत्र के लेखकों ने सर्किट डिटेक्टिव (सर्किट जासूसों) की तरह काम किया। उन्होंने इन AI सहायकों की आंतरिक वायरिंग को देखा ताकि यह पता लगाया जा सके कि वे किस प्रकार के तर्क (logic) को संभाल सकते हैं।

उन्होंने पाया कि मानक मॉडर्न हॉपफील्ड नेटवर्क (यहाँ तक कि कई परतों वाले भी) तत्काल कैलकुलेटर की तरह हैं। वे उन कार्यों को करने में अद्भुत हैं जिन्हें कई छोटे, समानांतर कार्यों में तोड़ा जा सकता है जो एक साथ होते हैं। कंप्यूटर विज्ञान की भाषा में, वे TC0 नामक एक श्रेणी में आते हैं।

उपमा:
कल्पना कीजिए कि आपके पास एक कारखाने में 1,000 श्रमिकों की एक टीम है।

मानक MHN: हर श्रमिक पहेली का एक हिस्सा प्राप्त करता है और अपना काम एक साथ (simultaneously) पूरा करता है। वे बहुत तेज़ी से एक साधारण दीवार बना सकते हैं।
सीमा: यदि कार्य के लिए किसी श्रमिक को अपने से पहले वाले व्यक्ति के काम पूरा होने का इंतज़ार करना पड़े, और फिर अगला औज़ार अगले व्यक्ति को पास करना पड़े (एक "सीरियल" कार्य), तो यह कारखाना विफल हो जाता है। वे उन कार्यों को नहीं कर सकते जिनमें "चरण A, फिर चरण B, फिर चरण C" जैसी लंबी श्रृंखला की आवश्यकता होती है।

यह शोध पत्र सिद्ध करता है कि ये नेटवर्क कुछ जटिल समस्याओं को हल नहीं कर सकते जिनमें इस तरह के चरण-दर-चरण तर्क की आवश्यकता होती है। विशेष रूप से, वे इन्हें हल नहीं कर सकते:

ग्राफ कनेक्टिविटी (Graph Connectivity): यह निर्धारित करना कि क्या आप बिना रास्ता भटके एक भूलभुलैया में बिंदु A से बिंदु B तक जा सकते हैं।
ट्री आइसोमोर्फिज्म (Tree Isomorphism): यह पता लगाना कि क्या दो जटिल पारिवारिक वृक्ष (या संगठनात्मक चार्ट) संरचनात्मक रूप से समान हैं, भले ही उनके नाम अलग हों।

ये समस्याएँ NC1 नामक एक कठिन श्रेणी से संबंधित हैं। शोध पत्र का तर्क है कि जब तक गणित का एक बड़ा, अनसुलझा रहस्य गलत साबित नहीं हो जाता (यानी, जब तक यह सिद्ध नहीं हो जाता कि TC0, NC1 के बराबर है), ये AI सहायक इन पहेलियों को सुलझाने के लिए मौलिक रूप से "उथले" (too shallow) हैं। वे तेज़ तो हैं, लेकिन उनमें गहरे, क्रमिक चिंतन (sequential thinking) की कमी है।

समाधान: सहायक को "सोचने की टोपी" देना (चेन-ऑफ-थॉट)

यदि मानक सहायक अटक गया है, तो क्या हम इसे ठीक कर सकते हैं? शोध पत्र कहता है हाँ, लेकिन केवल तभी जब हम उसे एक विशिष्ट उपकरण दें: चेन-ऑफ-थॉट (CoT)।

उपमा:

CoT के बिना: सहायक एक बड़ी, पलक झपकते ही पूरी भूलभुलैया को देखने की कोशिश करता है। वह पूरी तस्वीर तो देख लेता है, लेकिन रास्ता मिस कर देता है क्योंकि वह मानसिक रूप से उस पर "चल" नहीं पाता।
CoT के साथ: हम सहायक को कहते हैं: "सिर्फ उत्तर का अनुमान मत लगाओ। अपने चरणों को लिखो। पहले, बायां रास्ता देखो। फिर, दायां रास्ता देखो। फिर, उन नोट्स को मिलाकर बाहर निकलने का रास्ता ढूँढो।"

नेटवर्क को अपने मध्यवर्ती "विचारों" (जैसे कि रफ कार्य के लिए नोट्स लिखना) को उत्पन्न करने के लिए मजबूर करके, हम उसे एक नया रूप देते हैं। वह केवल एक "तत्काल कैलकुलेटर" नहीं रह जाता, बल्कि एक "चरण-दर-चरण तर्क करने वाला" बन जाता है।

परिणाम:
इस "सोचने की टोपी" (चेन-ऑफ-थॉट) के साथ, मॉडर्न हॉपफील्ड नेटवर्क अंततः उन कठिन समस्याओं (जैसे भूलभुलैया या पारिवारिक वृक्ष) को हल कर सकता है जो पहले असंभव थीं। यह अपनी मूल सीमाओं को पार कर जाता है।

निष्कर्षों का सारांश

सीमा: मानक मॉडर्न हॉपफील्ड नेटवर्क शक्तिशाली हैं लेकिन सीमित हैं। वे एक सुपर-फास्ट फोटो स्कैनर की तरह हैं: पैटर्न को तुरंत पहचानने में महान, लेकिन उन पहेलियों को सुलझाने में खराब जिन्हें लंबे तार्किक क्रम की आवश्यकता होती है। वे जटिल भूलभुलभुलैया में रास्ता खोजने या जटिल वृक्ष संरचनाओं की तुलना करने जैसी विशिष्ट कठिन समस्याओं को हल नहीं कर सकते।
समाधान: यदि आप इसमें "चेन-ऑफ-थॉट" तंत्र जोड़ते हैं (AI को उसके तर्क के चरणों को एक-एक करके लिखने के लिए प्रेरित करते हैं), तो यह अपनी सीमा को तोड़ देता है। यह उन कठिन, चरण-दर-चरण समस्याओं को हल करने की क्षमता प्राप्त कर लेता है।
निष्कर्ष: यह शोध पत्र एक स्पष्ट रेखा खींचता है। मानक MHN मेमोरी और पैटर्न मिलान के लिए बेहतरीन हैं, लेकिन यदि आप चाहते हैं कि वे गहरा, तार्किक तर्क करें, तो आपको उन्हें चरण-दर-चरण सोचने का एक तरीका देना ही होगा। इसके बिना, वे एक कठिन दीवार से टकरा जाते हैं।

तकनीकी सारांश: आधुनिक हॉपफील्ड नेटवर्क को NC1-हार्ड समस्याओं को हल करने के लिए चेन-ऑफ-थॉट (Chain-of-Thought) की आवश्यकता है

समस्या विवरण

मॉडर्न हॉपफील्ड नेटवर्क्स (MHNs) डीप लर्निंग में शक्तिशाली घटकों के रूप में उभरे हैं, जो पूलिंग लेयर्स, LSTMs और अटेंशन मैकेनिज्म के प्रभावी विकल्प के रूप में कार्य करते हैं। जबकि हालिया प्रगति ने उनकी स्टोरेज क्षमता और रिट्रीवल दक्षता में सुधार किया है, उनकी मौलिक सैद्धांतिक सीमाओं के संबंध में कम्प्यूटेशनल अभिव्यंजना (computational expressiveness) अभी भी अनछुए क्षेत्र हैं। विशेष रूप से, सर्किट कॉम्प्लेक्सिटी थ्योरी के दृष्टिकोण से MHNs द्वारा हल की जा सकने वाली समस्याओं के वर्गीकरण के संबंध में एक कठोर चरित्र चित्रण का अभाव है। संबोधित किया जाने वाला केंद्रीय प्रश्न यह है: सर्किट कॉम्प्लेक्सिटी के संदर्भ में मॉडर्न हॉपफील्ड नेटवर्क्स की मौलिक सीमाएँ क्या हैं?

कार्यप्रणाली (Methodology)

लेखक MHNs द्वारा आवश्यक कम्प्यूटेशनल संसाधनों का कठोर विश्लेषण करने के लिए सर्किट कॉम्प्लेक्सिटी थ्योरी के ढांचे का उपयोग करते हैं। कार्यप्रणाली में शामिल हैं:

कम्प्यूटेशनल सर्किट्स में मानचित्रण: लेखक MHNs के वास्तुशिल्प घटकों (जिसमें हॉपफील्ड लेयर, कर्नलाइज्ड वेरिएंट और संबंधित फीड-फॉरवर्ड नेटवर्क शामिल हैं) को बूलियन सर्किट्स में मैप करते हैं।
परिशुद्धता और आर्किटेक्चर संबंधी बाधाएं: विश्लेषण उन नेटवर्क्स पर केंद्रित है जिनमें बहुपद परिशुद्धता ( $p \le \text{poly}(n)$ ), स्थिर गहराई ( $m = O(1)$ ), और रैखिक हिडन डायमेंशन ( $d \le O(n)$ ) है।
कॉम्प्लेक्सिटी क्लास विश्लेषण: लेखक इन नेटवर्क्स के संचालन (जिसमें फ्लोटिंग-पॉइंट अंकगणित, मैट्रिक्स गुणन और नॉन-लीनियर एक्टिवेशन फंक्शन शामिल हैं) को सिम्युलेट करने के लिए आवश्यक थ्रेशोल्ड सर्किट्स की गहराई और आकार का विश्लेषण करके यह निर्धारित करते हैं कि वे किस विशिष्ट कॉम्प्लेक्सिटी क्लास (जैसे, $\text{TC}^0$ , $\text{NC}^1$ ) में आते हैं।
कठिनाई प्रमाण (Hardness Proofs): एक विशिष्ट कॉम्प्लेक्सिटी क्लास के भीतर MHNs के ऊपरी स्तर (upper bound) को स्थापित करके, लेखक यह प्रदर्शित करते हैं कि वे उस क्लास के लिए ज्ञात कठिन समस्याओं (विशेष रूप से $\text{NC}^1$ -हार्ड समस्याओं) को हल करने में असमर्थ हैं, बशर्ते कि मानक जटिलता अनुमान ( $\text{TC}^0 \neq \text{NC}^1$ ) लागू हों।
चेन-ऑफ-थॉट (CoT) विस्तार: अध्ययन MHNs के साथ एक चेन-ऑफ-थॉट मैकेनिज्म को जोड़कर विश्लेषण का विस्तार करता है, और यह जांचता है कि क्या पुनरावृत्ति तर्क चरण (iterative reasoning steps) स्थापित जटिलता बाधाओं को पार कर सकते हैं।

मुख्य योगदान और परिणाम

1. मानक MHNs के लिए सर्किट कॉम्प्लेक्सिटी अपर बाउंड

यह शोध पत्र स्थापित करता है कि कोई भी मॉडर्न हॉपफील्ड नेटवर्क (या कर्नलाइज्ड हॉपफील्ड नेटवर्क) जिसमें बहुपद परिशुद्धता, स्थिर गहराई और रैखिक हिडन डायमेंशन है, वह $\text{DLOGTIME-uniform } \text{TC}^0$ कॉम्प्लेक्सिटी क्लास के अंतर्गत आता है।

थ्योरम 4.8 और 5.4: लेखक सिद्ध करते हैं कि घटक घटक (हॉपफील्ड अटेंशन मैट्रिसेस, लेयर कंप्यूटेशन और ReLU फीड-फॉरवर्ड नेटवर्क) को स्थिर गहराई और बहुपद आकार के यूनिफॉर्म थ्रेशोल्ड सर्किट्स द्वारा सिम्युलेट किया जा सकता है।
निहितार्थ: जब तक $\text{TC}^0 = \text{NC}^1$ न हो, ये आर्किटेक्चर मौलिक रूप से $\text{NC}^1$ -हार्ड समस्याओं को हल करने में असमर्थ हैं।

2. विशिष्ट समस्याओं के लिए असंभवता के परिणाम

$\text{TC}^0$ अपर बाउंड के आधार पर, लेखक प्रदर्शित करते हैं कि मानक MHNs विशिष्ट $\text{NC}^1$ -हार्ड समस्याओं को हल नहीं कर सकते:

अनडायरेक्टेड ग्राफ कनेक्टिविटी (Undirected Graph Connectivity): यह निर्धारित करना कि क्या एक अनडायरेक्टेड ग्राफ में दो वर्टिसेस के बीच पथ मौजूद है।
ट्री आइसोमोर्फिज्म (Tree Isomorphism): यह निर्धारित करना कि क्या दो रंगीन ट्री आइसोमॉर्फिक हैं।
थ्योरम्स 6.9–6.12: ये परिणाम $\text{TC}^0 \neq \text{NC}^1$ की धारणा के तहत, मानक मॉडर्न हॉपफील्ड नेटवर्क और कर्नलाइज्ड हॉपफील्ड नेटवर्क दोनों के लिए मान्य हैं।

3. चेन-ऑफ-थॉट के साथ सीमाओं को पार करना

यह शोध पत्र दिखाता है कि ये सीमाएँ पूर्ण नहीं हैं। MHNs को चेन-ऑफ-थॉट (CoT) मैकेनिज्म से लैस करके, ये नेटवर्क $\text{TC}^0$ बाधा को पार कर सकते हैं।

थ्योरम 7.4: एक मॉडर्न हॉपफील्ड नेटवर्क जिसमें $n$ -स्टेप CoT मैकेनिज्म है, वह परम्यूटेशन ग्रुप $S_5$ के वर्ड प्रॉब्लम (एक $\text{NC}^1$ -पूर्ण समस्या) को हल कर सकता है।
तुलना: यह कार्य, बिना CoT के स्थिर गहराई वाले मानक MHNs के लिए प्रमाणित रूप से असंभव है, भले ही उनमें बहुपद एम्बेडिंग साइज और लॉगरिदमिक प्रिसिजन हो। यह ट्रांसफॉर्मर साहित्य के निष्कर्षों के अनुरूप है जहाँ मध्यवर्ती तर्क चरण कम्प्यूटेशनल अभिव्यंजना को बढ़ाते हैं।

महत्व

यह शोध पत्र मानक मॉडर्न हॉपफील्ड नेटवर्क्स और तर्क चरणों (reasoning steps) द्वारा संवर्धित नेटवर्क्स के बीच की क्षमताओं के बीच एक सूक्ष्म सैद्धांतिक सीमा प्रदान करता है।

सैद्धांतिक अंतर्दृष्टि: यह स्पष्ट करता है कि अपने अनुभवजन्य (empirical) सफलता और LSTMs तथा अटेंशन मैकेनिज्म जैसी जटिल लेयर्स को बदलने की क्षमता के बावजूद, मानक MHNs उन्हीं मौलिक कम्प्यूटेशनल सीमाओं को साझा करते हैं जो स्थिर गहराई वाले ट्रांसफॉर्मर्स और अन्य $\text{TC}^0$ -बाउंड मॉडल्स की हैं। वे स्वाभाविक रूप से सीरियल, $\text{NC}^1$ -हार्ड कार्यों को हल करने में प्रतिबंधित हैं।
आर्किटेक्चरल मार्गदर्शन: परिणाम सुझाव देते हैं कि यदि MHNs को स्वाभाविक रूप से सीरियल समस्याओं (जैसे जटिल ग्राफ कनेक्टिविटी या ग्रुप थ्योरी वर्ड प्रॉब्लम्स) से निपटने के लिए तैयार करना है, तो ऐसे वास्तुशिल्प संशोधनों की आवश्यकता है जो पुनरावृत्ति तर्क (iterative reasoning) की अनुमति देते हों (जैसे CoT)।
एकीकरण: यह कार्य MHNs और कर्नलाइज्ड MHNs की समझ को एक ही कॉम्प्लेक्सिटी बाधाओं के तहत एकीकृत करता है, जो मुख्य रूप से ट्रांसफॉर्मर्स पर केंद्रित पिछले जटिलता विश्लेषणों का विस्तार करता है।

संक्षेप में, यह शोध पत्र मॉडर्न हॉपफील्ड नेटवर्क्स की अभिव्यंजना शक्ति को कठोरता से चित्रित करता है, यह सिद्ध करते हुए कि बिना पुनरावृत्ति तर्क के वे $\text{TC}^0}$ तक सीमित हैं, लेकिन चेन-ऑफ-थॉट मैकेनिज्म के साथ एकीकृत होने पर $\text{NC}^1$ -हार्ड समस्याओं को हल करने में सक्षम हैं।