On the Expressive Power of Transformers

मस्तिष्क का ब्लूप्रिंट: कुछ पहेलियाँ दूसरों की तुलना में कठिन क्यों होती हैं

कल्पना कीजिए कि आप एक रोबोट को पढ़ना सिखाने की कोशिश कर रहे हैं। आप सोच सकते हैं कि रोबोट को बस एक-एक करके अक्षरों को देखने की ज़रूरत है, जैसे कोई व्यक्ति पन्ने को स्कैन करता है। लेकिन आधुनिक अति-बुद्धिमान रोबोट, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, उस तरह से काम नहीं करते। बाएं-से-दाएं पढ़ने के बजाय, वे "ट्रांसफॉर्मर" नामक एक विशेष तकनीक का उपयोग करते हैं। ट्रांसफॉर्मर को एक कमरे में काम करने वाली जासूसों की एक विशाल टीम के रूप में सोचें। जब वे एक वाक्य देखते हैं, तो हर जासूस तुरंत दूसरे हर जासूस को चिल्लाकर बता सकता है, "हे, मैं इस शब्द को देख रहा हूँ, और यह वहां मौजूद उस शब्द से जुड़ता है!" यह उन्हें केवल नियमों की सूची याद करने के बजाय, पलक झपकते ही संदर्भ और संबंधों को समझने की अनुमति देता है।

लेकिन यहाँ वह बड़ा सवाल है जो वैज्ञानिकों को रात भर जगाए रखता है: ये जासूस वास्तव में कितने स्मार्ट हैं? क्या वे कोई भी पहेली हल कर सकते हैं, या कुछ ऐसी पहेलियाँ हैं जो उन्हें हमेशा उलझा देंगी? उत्तर खोजने के लिए, शोधकर्ता केवल परीक्षण नहीं चलाते; वे कंप्यूटर विज्ञान गणित के लेंस के माध्यम से रोबोट के "मस्तिष्क" को देखते हैं। वे ट्रांसफॉर्मर की तुलना "सर्किट्स" नामक गणितीय मशीनों के एक परिवार से करते हैं। इन सर्किट्स को असेंबली लाइनों वाली फैक्ट्रियों के रूप में कल्पना करें। कुछ कारखाने बहुत सरल होते हैं, जिनमें छोटी लाइनें और कम कर्मचारी होते हैं (इन्हें AC0 कहा जाता है)। अन्य में लंबी लाइनें और अधिक शक्तिशाली उपकरण होते हैं जो बड़ी संख्याओं को गिन और तुलना कर सकते हैं (ये TC0 हैं)। यह पता लगाकर कि ट्रांसफॉर्मर किस फैक्ट्री के सबसे अधिक समान है, वैज्ञानिक सटीक भविष्यवाणी कर सकते हैं कि वह किस प्रकार की समस्याओं को हल कर सकता है और कहाँ उसकी सीमा समाप्त होती है। यह महत्वपूर्ण है क्योंकि यदि हम इन मॉडल्स की सीमाओं को जान जाते हैं, तो हम उनसे जादू करने की उम्मीद करना बंद कर सकते हैं और उन्हें वह बनाने के लिए बनाना शुरू कर सकते हैं जिसमें वे वास्तव में अच्छे हैं।

पेपर की बड़ी खोज: ट्रांसफॉर्मर का पावर स्विच

अपने पेपर, "ऑन द एक्सप्रेसिव पावर ऑफ ट्रांसफॉर्मर्स" में, शोधकर्ता फोक्सियन जी. कोलाइटिस और रिक सेनगुप्ता एक नए, हाई-टेक भवन का निरीक्षण करने वाले आर्किटेक्ट्स की तरह कार्य करते हैं। वे केवल यह नहीं देख रहे हैं कि इमारत कितनी सुंदर है; वे इसकी भार वहन करने की क्षमता को माप रहे हैं ताकि यह देख सकें कि यह वास्तव में कितना भार उठा सकती है। उनकी मुख्य खोज यह है कि ट्रांसफॉर्मर की शक्ति स्थिर नहीं है; यह कुछ "नॉब्स" या सेटिंग्स के आधार पर नाटकीय रूप से बदलती है, विशेष रूप से कितनी परिशुद्धता (यह कितने दशमलव स्थानों का उपयोग कर सकता है) और क्या इसे ज़ोर से सोचने (चेन-ऑफ-थॉट नामक एक तकनीक) की अनुमति है।

सबसे पहले, बिना किसी अतिरिक्त सोच के ट्रांसफॉर्मर को देखें। लेखक बताते हैं कि यदि आप ट्रांसफॉर्मर को एक सरल, "कठिन" अटेंशन सेटिंग देते हैं (जहाँ यह केवल एक शब्द को चुनने पर ध्यान केंद्रित करता है) या यदि आप इसकी गणितीय गणना को बहुत कम परिशुद्धता (जैसे केवल कुछ बिट्स की जानकारी का उपयोग करना) तक सीमित कर देते हैं, तो यह आश्चर्यजनक रूप से कमजोर होता है। वास्तव में, इन स्थितियों के तहत, ट्रांसफॉर्मर सरल प्रकार के सर्किट फैक्ट्री, AC0 के गणितीय रूप से समकक्ष है। इसका मतलब है कि यह बुनियादी तर्क को संभाल सकता है, जैसे यह जांचना कि क्या किसी वाक्य में शब्दों की संख्या सम है, लेकिन यह उन कार्यों के लिए संघर्ष करता है जिनमें बड़ी संख्याओं को गिनने या तुलना करने की आवश्यकता होती है। यह एक ऐसे जासूस की तरह है जो लाल टोपी तो देख सकता है लेकिन यह नहीं गिन सकता कि कमरे में कितनी लाल टोपियाँ हैं।

हालाँकि, कहानी बहुत अधिक दिलचस्प हो जाती है जब आप परिशुद्धता बढ़ा देते हैं। यदि ट्रांसफॉर्मर को अधिक सटीक गणित का उपयोग करने की अनुमति दी जाती है (विशेष रूप से, बिट्स की एक संख्या जो टेक्स्ट की लंबाई के साथ बढ़ती है, जैसे $\Theta(\log n)$), तो यह एक स्तर ऊपर उठ जाता है। यह TC0 सर्किट फैक्ट्री के समान शक्तिशाली हो जाता है। यह एक महत्वपूर्ण छलांग है! अब, ट्रांसफॉर्मर "बहुमत" (majority) वाले प्रश्नों और अधिक जटिल गिनती वाले कार्यों को संभाल सकता है। यह जासूस को कैलकुलेटर देने जैसा है; अचानक, वे उन पहेलियों को हल कर सकते हैं जो पहले असंभव थीं। लेकिन इस अपग्रेड के साथ भी, पेपर सुझाव देता है कि अभी भी एक सीमा है। अतिरिक्त मदद के बिना, ये मॉडल्स संभवतः TC0 क्षेत्र में ही फंसे हुए हैं और PTIME (पॉलीनोमियल टाइम) जैसे अधिक जटिल कंप्यूटर वर्गों में पाए जाने वाले गहरे, चरण-दर-चरण तार्किक तर्क को आसानी से हल नहीं कर सकते हैं।

पेपर के अनुसार असली गेम-चेंजर चेन-ऑफ-थॉट (CoT) है। कल्पना कीजिए कि ट्रांसफॉर्मर अब केवल अपराध स्थल को देखने वाला जासूस नहीं है; अब, इसे अंतिम उत्तर देने से पहले अपने विचारों की डायरी लिखने की अनुमति है। यह मध्यवर्ती "टोकन्स" (छोटे नोट्स) उत्पन्न कर सकता है जिन्हें यह समस्या को हल करने में मदद के लिए वापस अपने भीतर फीड करता है। लेखक दिखाते हैं कि यह सरल परिवर्तन पिछले प्रतिबंधों को तोड़ देता है।

• यदि ट्रांसफॉर्मर को एक छोटी डायरी (टेक्स्ट की लंबाई के आनुपातिक, या $O(n)$) लिखने की अनुमति दी जाती है, तो यह क्वाड्रेटिक समय (जैसे $n^2$) वाली समस्याओं को हल कर सकता है।
• यदि यह एक बहुत लंबी डायरी (टेक्स्ट की लंबाई के बहुपद के आनुपातिक, या $poly(n)$) लिख सकता है, तो यह किसी भी मानक कंप्यूटर एल्गोरिदम को सिम्युलेट करने के लिए पर्याप्त शक्तिशाली हो जाता है, जिससे यह PTIME क्लास तक पहुँच जाता है।
• और यदि इसके पास असीमित सोचने की जगह और परिशुद्धता है, तो यह एक ट्यूरिंग मशीन का अनुकरण कर सकता है, जो किसी भी गणना योग्य समस्या को हल करने में सक्षम सार्वभौमिक कंप्यूटर की सैद्धांतिक परिभाषा है।

पेपर बहुत स्पष्ट है कि इसका क्या अर्थ है: ट्रांसफॉर्मर स्वाभाविक रूप से "सर्वशक्तिमान" या "बेकार" नहीं है। कठिन समस्याओं को हल करने की इसकी क्षमता पूरी तरह से इस बात पर निर्भर करती है कि आप इसे कितना "रफ पेपर" (चेन-ऑफ-थॉट) और कितनी "गणितीय परिशुद्धता" देते हैं। इनके बिना, यह सरल, उथले तर्क तक सीमित है। इनके साथ, यह एक पूर्ण कंप्यूटर का अनुकरण करने तक जटिलता की सीढ़ी चढ़ सकता है।

लेखक कुछ विशिष्ट सीमाओं की ओर भी इशारा करते हैं। उनका तर्क है कि "हार्ड" अटेंशन मॉडल (जहाँ रोबोट केवल एक शब्द चुनता है) "सॉफ्ट" अटेंशन मॉडल (जहाँ यह कई शब्दों को महत्व देता है) की तुलना में स्पष्ट रूप से कमजोर हैं और कुछ मामलों में सबसे सरल सर्किट क्लास की पूर्ण शक्ति तक भी नहीं पहुँच सकते। इसके अलावा, वे इस बात पर जोर देते हैं कि हालांकि ट्रांसफॉर्मर सैद्धांतिक रूप से पर्याप्त चेन-ऑफ-थॉट के साथ ट्यूरिंग मशीन का अनुकरण कर सकता है, लेकिन यह एक सैद्धांतिक सीमा है। वास्तविक दुनिया में, हमारे पास अनंत मेमोरी या अनंत मध्यवर्ती विचार उत्पन्न करने के लिए अनंत समय नहीं है, इसलिए वास्तविक दुनिया के मॉडल्स की एक व्यावहारिक सीमा हमेशा उनके सैद्धांतिक अधिकतम से कम होगी।

संक्षेप में, कोलाइटिस और सेनगुप्ता ने ट्रांसफॉर्मर्स के "पावर ग्रिड" का मानचित्र तैयार किया है। वे हमें दिखाते हैं कि ये मॉडल्स कोई जादुई ब्लैक बॉक्स नहीं हैं; वे संसाधन-बद्ध मशीनें हैं। यदि आप चाहते हैं कि वे एक कठिन पहेली हल करें, तो आप केवल उन्हें "अधिक प्रयास करने" के लिए नहीं कह सकते; आपको उन्हें सही उपकरण देने होंगे: अधिक परिशुद्धता, अधिक परतें, और सबसे महत्वपूर्ण बात, चरण-दर-चरण सोचने की क्षमता। पेपर निष्कर्ष निकालता है कि इन सीमाओं को समझना महत्वपूर्ण है। यह हमें इन मॉडल्स से असंभव करने की उम्मीद करना बंद करने और उन्हें उनके सर्वोत्तम संभव संस्करण के रूप में डिजाइन करने में मदद करता है जो वे वास्तव में हैं: अविश्वसनीय रूपм शक्तिशाली, लेकिन अंततः सीमित, पैटर्न पहचानने वाले।