Three Tokens Force Exponential Feature Rank in Nonnegative Kernel Attention

द ग्रेट टोकन शोडाउन: क्यों "शॉर्ट एंड स्वीट" हमेशा पर्याप्त नहीं होता

कल्पना कीजिए कि आप एक भीड़ भरे कमरे में एक आदर्श जोड़ी (परफेक्ट मैच) खोजने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से मशीन लर्निंग नामक क्षेत्र में, कंप्यूटर यह काम हर समय करते हैं। वे वस्तुओं की एक सूची देखते हैं—जैसे किसी वाक्य में शब्द या किसी छवि के पिक्सेल—और यह समझने की कोशिश करते हैं कि कौन से आपस में सबसे अच्छी तरह मेल खाते हैं। इस प्रक्रिया को अक्सर "अटेंशन" (attention) कहा जाता है।

कंप्यूटर इसे करने के दो मुख्य तरीके हैं। पहला तरीका एक अत्यंत मिलनसार मेजबान की तरह है जो कमरे में मौजूद हर व्यक्ति के पास जाता है और हर किसी से हाथ मिलाता है, एक-एक करके उनकी तुलना करता है। इसे "फुल अटेंशन" (full attention) कहा जाता है। यह बहुत विस्तृत है लेकिन यदि कमरा बहुत बड़ा हो जाए तो यह बहुत धीमा और महंगा हो जाता है। दूसरा तरीका एक ऐसे मेजबान की तरह है जो पूरे कमरे का एक त्वरित, संकुचित सारांश (एक "स्केच") लेता है—और फिर उस सारांश का उपयोग करके यह अनुमान लगाता है कि कौन किससे मेल खाता है। इसे "कर्नेल अटेंशन" (kernel attention) या "लीनियर अटेंशन" (linear attention) कहा जाता है। यह बहुत तेज़ है और विशाल मात्रा में डेटा, जैसे पूरी किताबें या लंबे वीडियो, को संभालने के लिए डिज़ाइन किया गया है।

लंबे समय तक, वैज्ञानिकों ने यह माना कि यह "स्केच" विधि केवल "फुल" विधि का एक थोड़ा कम सटीक संस्करण है, लेकिन यह तब भी ठीक काम करेगी जब आप स्केच को पर्याप्त बड़ा बना दें। बड़ा सवाल यह था: क्या कोई ऐसा बिंदु है जहाँ स्केच, चाहे आप उसे कितना भी स्मार्ट बना लें, काम करने में पूरी तरह विफल हो जाएगा? यह शोध पत्र इसी प्रश्न की गहराई में जाता है, न कि विशाल, अव्यवस्थित वास्तविक दुनिया के डेटा को देखकर, बल्कि एक बहुत ही विशिष्ट और छोटे पहेली को सेट करके यह देखने के लिए कि स्केच कहाँ टूट जाता है।

---

द थ्री-टोकन ट्रैप (तीन-टोकन का जाल)

इस शोध पत्र के लेखक, विसेंट ओपाज़ो (Vicente Opazo) ने Min-IP (मिनिमम इनर प्रोडक्ट) नामक एक खेल का उपयोग करके इन "स्केच" मॉडलों की सीमाओं का परीक्षण करने का निर्णय लिया। कल्पना कीजिए कि आपके पास शून्य और एक (zeros and ones) से बने गुप्त कोडों की एक सूची है। सूची में मौजूद प्रत्येक कोड के लिए, आपको वह दूसरा कोड खोजना है जिसका उसके साथ सबसे कम ओवरलैप (मेल) हो। यह बिल्कुल वैसा ही है जैसे एक कमरे में उन दो लोगों को खोजना जिनमें आपस में सबसे कम समानता हो।

शोधकर्ताओं ने दो प्रकार के एआई (AI) मॉडलों के बीच एक दौड़ आयोजित की:

1. द फुल अटेंशन मॉडल: यह मॉडल कोड के हर जोड़े को सीधे देखता है। यह हर तुलना के लिए आवर्धक लेंस (magnifying glass) रखने जैसा है।
2. द कर्नेल अटेंशन मॉडल: यह मॉडल सभी कोडों को एक निश्चित आकार के "स्केच" (एक सारांश) में संकुचित करके और फिर उस सारांश के आधार पर गणितीय गणना करके इस पहेली को हल करने की कोशिश करता है।

शोध पत्र एक सरल प्रश्न पूछता है: सूची में कितने कोड होने पर स्केच मॉडल विफल हो जाएगा?

जादुिक संख्या है तीन

इस शोध पत्र की सबसे आश्चर्यजनक खोज यह है कि स्केच मॉडल तब विफल नहीं होता जब सूची बहुत बड़ी हो जाती है। यह लगभग तुरंत ही विफल हो जाता है।

• लंबाई 1 और 2: यदि सूची में केवल एक या दो कोड हैं, तो स्केच मॉडल एकदम सटीक है। यह पहेली को सटीक रूप से हल कर सकता है, भले ही उसका सारांश बहुत छोटा (केवल एक "फीचर") क्यों न हो। यह केवल दो लोगों वाले कमरे में सबसे अच्छा मिलान खोजने जैसा है; यह आसान है।
• लंबाई 3: जैसे ही आप तीसरा कोड जोड़ते हैं, स्केच मॉडल एक दीवार से टकरा जाता है। शोध पत्र सिद्ध करता है कि केवल तीन कोडों के लिए पहेली को सही ढंग से हल करने के लिए, स्केच मॉडल को फीचर्स (features) की ऐसी संख्या की आवश्यकता होती है जो कोड के आकार के साथ एक्सपोनेंशियल (exponentially - घातांकीय) रूप से बढ़ती है।

इसे समझने के लिए: यदि आपके कोड 100 बिट्स लंबे हैं, तो स्केच मॉडल को इसे सही करने के लिए अरबों फीचर्स की आवश्यकता हो सकती है। यदि वे 200 बिट्स लंबे हैं, तो इसे इतनी बड़ी संख्या की आवश्यकता होगी जो व्यावहारिक रूप से असंभव है। इस बीच, "फुल अटेंशन" मॉडल (जो हर किसी की व्यक्तिगत रूप से जांच करता है) उसी तीन-कोड वाली पहेली को बहुत कम और स्थिर प्रयास के साथ आसानी से हल कर लेता है।

ऐसा क्यों होता है?

लेखक इसे "डोमिनो इफेक्ट" या "एम्प्लीफिकेशन" (प्रवर्धन) के उदाहरण से समझाते हैं।

कल्पना कीजिए कि स्केच मॉडल दो उम्मीदवारों, उम्मीदवार A और उम्मीदवार B के बीच निर्णय लेने की कोशिश कर रहा है।

• यदि सूची में केवल दो लोग हैं, तो मॉडल केवल A की तुलना B से करता है। आसान है।
• यदि सूची में तीन लोग हैं (A, B, और C), तो मॉडल को A की तुलना B और A की तुलना C, दोनों से करनी होगी।

शोध पत्र दिखाता है कि क्योंकि मॉडल को सब कुछ एक एकल सारांश में संकुचित करने के लिए मजबूर किया जाता है, इसलिए यह "बहुत अलग" और "थोड़ा अलग" के बीच स्पष्ट अंतर करने की क्षमता खो देता है। जब दो प्रतिस्पर्धी उम्मीदवार होते हैं, तो मॉडल का सारांश भ्रमित हो जाता है। इस भ्रम को दूर करने के लिए, मॉडल को अपने सारांश को अविश्वसनीय रूप से विस्तृत बनाना पड़ता है—इतना विस्तृत कि वह मूल रूप से एक सारांश के बजाय हर एक संभावना की सूची बन जाता है।

लेखक ने गणितीय रूप से सिद्ध किया कि तीन वस्तुओं की सूची के लिए, आवश्यक फीचर्स की संख्या लगभग $2^m$ (जहाँ $m$ कोड की लंबाई है) होती है। यह एक एक्सपोनेंशियल विस्फोट है। यह एक दरवाजे को खोलने के लिए एक चाबी की आवश्यकता होने बनाम ब्रह्मांड के हर परमाणु के संयोजन के लिए एक चाबी की आवश्यकता होने के बीच का अंतर है।

"साइंड" (Signed) कर्नेल्स या मल्टीपल हेड्स के बारे में क्या?

यह शोध पत्र बहुत सावधानी से उन चीजों के बारे में बताता है जो यह सिद्ध नहीं करता है। यह "नॉन-नेगेटिव" (nonnegative) कर्नेल्स (जहाँ गणित केवल चीजों को जोड़ता है, घटाता नहीं) और सिंगल "हेड्स" (विचार प्रक्रिया की एक रेखा) पर ध्यान केंद्रित करता है।

• "साइंड" लूपहोल: यदि मॉडल को संख्याओं को घटाने (नेगेटिव फीचर्स का उपयोग करने) की अनुमति दी जाती है, तो यह सिस्टम को बायपास कर सकता है। शोध पत्र कहता है, "हमें नहीं पता कि यह दृष्टिकोण घटाव-आधारित मॉडलों के लिए काम करता है या नहीं, लेकिन केवल जोड़ने वाले मॉडलों के लिए, यह दीवार वास्तविक है।"
• "मल्टीपल हेड्स" लूपहोल: यदि आप मॉडल को कई अलग-अलग "हेड्स" (डेटा को एक साथ देखने के कई तरीके) देते हैं, तो वे पहेली को हल करने के लिए मिलकर काम कर सकते हैं। शोध पत्र इसे स्वीकार करता है लेकिन यह भी दिखाता है कि उस समय भी, उन्हें साझा करने के लिए आवश्यक कुल जानकारी का आकार बहुत अधिक बढ़ जाता है।

प्रमाण और प्रयोग

लेखक ने केवल अनुमान नहीं लगाया; उन्होंने गणितीय रूप से इसे सिद्ध किया। उन्होंने दिखाया कि किसी भी मॉडल के लिए जो इस विशिष्ट तीन-टोकन पहेली को 50% से कम त्रुटि दर के साथ हल करने की कोशिश कर रहा है, फीचर्स की संख्या अनिवार्य रूप से एक्सपोनेंशियल होनी चाहिए।

उन्होंने इस बात की पुष्टि करने के लिए कंप्यूटर सिमुलेशन भी चलाए। उन्होंने तीन कोडों की सूचियों पर एआई मॉडलों को प्रशिक्षित किया और देखा कि क्या होता है जब वे "फीचर रैंक" (सारांश का आकार) बढ़ाते हैं।

• रैंक 1 से 15: मॉडल बुरी तरह विफल रहे, बड़ी गलतियाँ कीं।
• रैंक 32: अचानक, मॉडल सही परिणाम देने लगे।
  इस प्रयोग ने सिद्धांत की पुष्टि की: एक स्पष्ट "फेज ट्रांजिशन" (phase transition) है जहाँ मॉडल अचानक सक्षम हो जाता है, बशर्ते उसके पास एक्सपोनेंशियल थ्रेशोल्ड को पार करने के लिए पर्याप्त फीचर्स हों।

निष्कर्ष (The Takeaway)

मुख्य सबक यह है कि गति की एक कीमत होती है, और वह कीमत हमें उम्मीद से कहीं अधिक जल्दी दिखाई देती है।

हम अक्सर सोचते हैं कि लीनियर अटेंशन (तेज़, स्केच-आधारित विधि) केवल तभी समस्या है जब हमारे पास प्रोसेस करने के लिए बहुत अधिक टोकन हों। लेकिन यह शोध पत्र दिखाता है कि समस्या डेटा की मात्रा नहीं है; यह विकल्प की जटिलता है। जैसे ही ऐसी स्थिति आती है जहाँ एआई को कुछ विशिष्ट वस्तुओं के बीच सटीक, तीखी तुलना करने की आवश्यकता होती है, "स्केच" विधि विफल हो जाती है, जब तक कि आप उसे बहुत अधिक मेमोरी न दें।

वास्तविक दुनिया में, यह सुझाव देता है कि जबकि तेज़ अटेंशन मॉडल लंबे दस्तावेज़ों का सारांश बनाने के लिए बेहतरीन हैं, वे उन कार्यों में संघर्ष कर सकते हैं जिनमें कुछ विशिष्ट वस्तुओं के बीच सटीक और तीखी तुलना की आवश्यकता होती है। "फुल अटेंशन" मॉडल, हालांकि धीमा है, एकमात्र ऐसा है जो बिना अत्यधिक कंप्यूटिंग पावर की आवश्यकता के इन तीखे निर्णयों को संभाल सकता है। शोध पत्र निष्कर्ष निकालता है कि तेज़ मॉडल और सटीक मॉडल के बीच का यह "एक्सपोनेंशियल गैप" इन विशिष्ट प्रकार के एआई के काम करने का एक मौलिक नियम है, न कि केवल एक बग जिसे आसानी से ठीक किया जा सके।