Barriers to Discrete Reasoning with Transformers: A Survey Across Depth, Exactness, and Bandwidth
यह सर्वेक्षण सर्किट कॉम्प्लेक्सिटी (circuit complexity), एप्रोक्सिमेशन थ्योरी (approximation theory) और कम्युनिकेशन कॉम्प्लेक्सिटी (communication complexity) से प्राप्त अंतर्दृष्टि को संश्लेषित करता है ताकि उन मौलिक संरचनात्मक और कम्प्यूटेशनल बाधाओं को स्पष्ट किया जा सके जो ट्रांसफॉर्मर आर्किटेक्चर को सटीक विविक्त तर्क (exact discrete reasoning) कार्यों को करने से रोकती हैं, साथ ही भविष्य के मॉडल डिज़ाइन के लिए निहितार्थ भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ट्रांसफॉर्मर मॉडल (जो ChatGPT जैसे आधुनिक AI के पीछे का मस्तिष्क है) की कल्पना एक अति-तेज़, अत्यधिक समानांतर (parallel) काम करने वाली जासूसों की टीम के रूप में करें जो एक विशाल, खुले कार्यालय (open-plan office) में काम कर रही है। वे पैटर्न पहचानने, कहानियों का सारांश निकालने और वाक्य में अगले शब्द का अनुमान लगाने में अविश्वसनीय हैं क्योंकि वे सभी आपस में तुरंत बात कर सकते हैं।
हालाँकि, यह शोध पत्र तर्क देता है कि जब इन जासूसों को कठोर, चरण-दर-चरण तर्क पहेलियाँ (जैसे जटिल गणित, सख्त तर्क नियम, या विशिष्ट वस्तुओं की गिनती) हल करने के लिए कहा जाता है, तो वे एक "कांच की छत" (glass ceiling) से टकरा जाते हैं। वे इसलिए विफल नहीं हो रहे हैं क्योंकि वे पर्याप्त बुद्धिमान नहीं हैं; वे इसलिए विफल हो रहे हैं क्योंकि उनका कार्यालय जिस तरह से बना है, वह एक समस्या है।
लेखक इस समस्या को समझाने के लिए तीन अलग-अलग "लेंस" (सैद्धांतिक ढांचे) का उपयोग करते हैं। यहाँ सरल शब्दों में विवरण दिया गया है:
1. "गहराई" की समस्या (सर्किट कॉम्प्लेक्सिटी/Circuit Complexity)
उपमा: सीढ़ी बनाम लिफ्ट
कल्पना कीजिए कि आपको एक पैकेज लेने के लिए 100 सीढ़ियाँ चढ़नी हैं।
- एक इंसान (या एक पारंपरिक कंप्यूटर) एक बार में एक कदम उठा सकता है, और चलते हुए गिनती भी कर सकता है। वह जितनी आवश्यकता हो उतनी ऊँचाई तक चढ़ सकता है।
- ट्रांसफॉर्मर एक ऐसी लिफ्ट की तरह है जिसमें केवल 5 मंजिलें हैं। इमारत चाहे कितनी भी ऊँची क्यों न हो, लिफ्ट 5वीं मंजिल पर ही रुक जाती है।
AI की दुनिया में, "मंजिलें" मॉडल की परतें (layers) हैं। एक कठिन गणितीय समस्या को हल करने के लिए, आपको अक्सर गणनाओं की एक लंबी श्रृंखला (चरण A से B होता है, जो C की ओर ले जाता है...) की आवश्यकता होती है।
- बाधा: क्योंकि ट्रांसफॉर्मर में परतों की संख्या निश्चित होती है (यह एक "उथला" या shallow लिफ्ट है), यह एक बार में तर्क की लंबी श्रृंखलाएँ नहीं कर सकता। यह पूरे चित्र को एक साथ देखकर उत्तर का अनुमान लगाने की कोशिश करता है, लेकिन जटिल तर्क के लिए, इसे एक-एक करके कदम उठाने की आवश्यकता होती है। यह एक 100-चरणीय भूलभुलैया को पूरी मैप को एक साथ देखने के बजाय, उसके माध्यम से चलकर हल करने की कोशिश करने जैसा है।
2. "स्मूथनेस" की समस्या (एप्रोक्सिमेशन थ्योरी/Approximation Theory)
उपमा: ढलान बनाम चट्टान
कल्पना कीजिए कि आप एक ग्राफ पर रेखा खींचने की कोशिश कर रहे हैं।
- निरंतर कार्य (Continuous tasks) (जैसे फोटो में बिल्ली को पहचानना) एक हल्की ढलान बनाने जैसा है। यदि आप एक पिक्सेल थोड़ा सा भी बदलते हैं, तो उत्तर थोड़ा बदल जाता है। न्यूरल नेटवर्क ढलान बनाने में माहिर होते हैं।
- डिस्क्रीट रीजनिंग (Discrete reasoning) (जैसे गणित या तर्क) एक चट्टान (Cliff) की तरह है। यदि आप 9.9 पर हैं, तो उत्तर "नहीं" है। यदि आप 10.0 पर हैं, तो उत्तर "हाँ" है। बीच में कोई "शायद" नहीं होता।
बाधा: ट्रांसफॉर्मर को "स्मूथ" होने के लिए प्रशिक्षित किया जाता है। उन्हें चट्टानें पसंद नहीं हैं। वे उस तीखी चट्टान को एक हल्की ढलान में बदलने की कोशिश करते हैं।
- परिणाम: जब किसी समस्या के लिए सख्त "हाँ" या "नहीं" की आवश्यकता होती है (जैसे जोड़ में हासिल/carry-over), तो AI भ्रमित हो जाता है। वह कह सकता है कि "9.95 शायद एक 'हाँ' है," जो कि गलत है। क्योंकि AI तर्क के तीखे किनारों को सुचारू (smooth) करने की कोशिश करता है, वह निर्णय बिंदुओं पर बड़ी गलतियाँ करता है। यह 90-डिग्री की दीवार पर कार चलाने की कोशिश करने जैसा है; कार सड़कों के लिए बनी है, चट्टानों के लिए नहीं।
3. "बैंडविड्थ" की समस्या (कम्युनिकेशन कॉम्प्लेक्सिटी/Communication Complexity)
उपमा: फुसफुसाहट बनाम मेगाफोन
"टेलीफोन" (लाइन में फुसफुसाहट) के खेल की कल्पना करें लेकिन एक ट्विस्ट के साथ।
- एक ट्रांसफॉर्मर में, प्रत्येक जासूस (टोकन) एक ही समय में प्रत्येक अन्य जासूस को चिल्लाकर बता सकता है। यह कम दूरी के लिए बहुत अच्छा है।
- बाधा: यदि आपके पास 1,000 लोगों की एक बहुत लंबी लाइन है, और अंतिम व्यक्ति को पहले व्यक्ति से एक रहस्य जानना है, तो संदेश को हर किसी के माध्यम से गुजरना होगा।
एक ट्रांसफॉर्मर में, "रहस्य" (सूचना) परतों के माध्यम से यात्रा करता है।
- बॉटलनेक (Bottleneck): यदि तर्क की श्रृंखला बहुत लंबी है (जैसे "यदि A सत्य है, तो B की जाँच करें, जो C पर निर्भर है..."), तो सूचना परतों के बीच के "शोर" (noise) के माध्यम से यात्रा करते समय पतली (diluted) या लुप्त हो जाती है।
- भले ही आप जासूसों को "अधिक बुद्धिमान" (बड़े मॉडल) बना दें, फिर भी वे परतों की संख्या के अनुसार संदेश को तेज़ी से नहीं भेज सकते। यह एक संकीर्ण ट्यूब के माध्यम से एक लंबा, विस्तृत पत्र भेजने की कोशिश करने जैसा है; आप कितनी भी ज़ोर से धक्का दें, ट्यूब का आकार एक बार में कितनी जानकारी जा सकती है, इसकी सीमा तय करता है।
यह क्यों मायने रखता है? ("तो क्या?")
शोध पत्र निष्कर्ष निकालता है कि स्केलिंग अप (AI को बड़ा बनाना, इसे अधिक डेटा देना) कोई जादुई समाधान नहीं है।
- वर्तमान AI पैटर्न मिलान (अगले शब्द का अनुमान लगाना, टेक्स्ट का सारांश निकालना) का उस्ताद है।
- वर्तमान AI सटीक निष्पादन (गणित करना, सख्त तर्क नियमों का पालन करना) में बहुत खराब है।
लेखक सुझाव देते हैं कि इसे ठीक करने के लिए, हम केवल बड़ी लिफ्ट नहीं बना सकते। हमें पूरी इमारत को बदलना होगा।
प्रस्तावित समाधान (भविष्य)
- न्यूरो-सिंबोलिक हाइब्रिड्स (Neuro-Symbolic Hybrids): AI को अपने मस्तिष्क में एक "कैलकुलेटर" या "लॉजिक इंजन" प्लग करने के लिए दें। AI को धुंधली चीजों (भाषा) को संभालने दें और कैलकुलेटर को तीखी चीजों (गणित) को संभालने दें।
- चेन-ऑफ-थॉट (CoT): AI को एक "स्क्रैचपैड" पर खुद से बात करने दें। सीधे उत्तर पर कूदने के बजाय, वह चरण A, B और C लिखता है। यह प्रभावी रूप से लिफ्ट में अधिक "मंजिलें" जोड़ता है, जिससे वह लंबे कदम उठा पाता है।
- मेमोरी और स्टेट (Memory & State): AI को एक बाहरी नोटबुक दें ताकि उसे सारी जानकारी अपने "सिर" (वर्तमान परतों) में एक साथ रखने की आवश्यकता न पड़े।
मुख्य बात (The Bottom Line)
ट्राफॉर्मर प्रतिभाशाली तात्कालिक अभिनेताओं (improvisational actors) की तरह हैं। वे माहौल को पढ़ने और यह अनुमान लगाने में अद्भुत हैं कि आगे क्या होगा। लेकिन वे अकाउंटेंट या तर्कशास्त्री नहीं हैं। जब नियम कठोर हों, चरण लंबे हों और उत्तर सटीक होना आवश्यक हो, तो वे संघर्ष करते हैं। उन्हें वास्तव में "तर्क" करने के योग्य बनाने के लिए, हमें उन्हें केवल अकाउंटेंट बनने के लिए मजबूर करना बंद करना होगा और उन्हें ऐसे उपकरण (जैसे स्क्रैचपैड या लॉजिक सर्किट) देने होंगे जो उन्हें सही ढंग से काम करने में मदद करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।