Length Generalization Bounds for Transformers
यह शोध पत्र यह सिद्ध करके कि केवल दो परतों वाले CRASP (और इस प्रकार सामान्य ट्रांसफॉर्मर) के लिए ऐसे बाउंड्स गैर-गणना योग्य (non-computable) हैं, CRASP के लिए कंप्यूट करने योग्य लेंथ जनरलाइजेशन बाउंड्स की खुली समस्या को हल करता है, और साथ ही CRASP के सकारात्मक अंश (positive fragment) और फिक्स्ड-प्रिसिजन ट्रांसफॉर्मर के लिए इष्टतम घातीय (exponential) बाउंड्स स्थापित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य प्रश्न: क्या AI "गहरे पानी में तैरना" सीख सकता है?
कल्पना कीजिए कि आप एक बच्चे को तैरना सिखा रहे हैं। आप उसे एक छोटे टब (छोटे वाक्यों) से शुरुआत करते हैं। वह तैरना और पैर चलाना बखूबी सीख जाता है। बड़ा सवाल यह है: यदि आप उसे समुद्र के गहरे हिस्से (लंबे, जटिल वाक्यों) में ले जाते हैं, तो क्या वह अभी भी तैरना जानता होगा?
आर्टिफिशियल इंटेलिजेंस की दुनिया में (विशेष रूप से "ट्रांसफॉर्मर्स" में, जो ChatGPT जैसे मॉडल्स के पीछे का दिमाग है), इसे लेंथ जनरलाइजेशन (Length Generalization) कहा जाता है। क्या एक मॉडल जो छोटी कहानियों पर प्रशिक्षित किया गया है, वह एक उपन्यास को समझ सकता है?
लंबे समय से, शोधकर्ता इस उम्मीद में थे कि एक सरल नियम (एक "फॉर्मूला") हो सकता है जो हमें ठीक-ठीक बता सके कि हमें कितनी ट्रेनिंग डेटा की आवश्यकता है ताकि यह गारंटी दी जा सके कि AI किसी भी लंबाई पर काम करेगा। यदि आप इसे 100 शब्दों पर प्रशिक्षित करते हैं, तो क्या यह 1,000 शब्दों पर काम करेगा? एक मिलियन पर?
यह पेपर कहता है: "नहीं। ऐसा कोई फॉर्मूला नहीं है।"
मुख्य खोज: "अनकम्प्यूटेबल" (Uncomputable) दीवार
लेखकों ने एक विशिष्ट प्रकार के AI तर्क (जिसे C-RASP कहा जाता है) को देखा है जो इस बात का ब्लूप्रिंट है कि ट्रांसफॉर्मर्स कैसे सोचते हैं। उन्होंने पूछा: क्या कोई गणितीय सीमा (mathematical limit) है जिसे हम कैलकुलेट कर सकते हैं जो यह गारंटी दे सके कि AI कभी विफल नहीं होगा, चाहे इनपुट कितना भी लंबा क्यों न हो जाए?
उत्तर: नहीं। इस सीमा को कैलकुलेट करना गणितीय रूप से असंभव है।
उपमा: अनंत भूलभुलैया (The Infinite Maze)
कल्पना कीजिए कि आप एक भूलभुलैया में एक विशिष्ट निकास (exit) खोजने की कोशिश कर रहे हैं।
- अच्छी खबर: यदि भूलभुलैया छोटी है (सरल तर्क), तो आप आसानी से एक नक्शा बना सकते हैं और कह सकते हैं, "यदि आप 50 कदम चलते हैं, तो आप निश्चित रूप से निकास पा लेंगे।"
- बुरी खबर: लेखकों ने सिद्ध किया है कि जटिल ट्रांसफॉर्मर्स के लिए, भूलभुलैया एक दर्पणों के हॉल (hall of mirrors) की तरह है जो जितना अधिक आप इसे देखते हैं, उतना ही बड़ा होता जाता है।
- यह सुनिश्चित करने के लिए कि AI एक वाक्य को समझता है, आपको शायद उसे एक ऐसा वाक्य दिखाना पड़े जो ब्रह्मांड में मौजूद परमाणुओं की संख्या से भी लंबा हो।
- इससे भी बुरा यह है कि कोई एल्गोरिदम (कोई कंप्यूटर प्रोग्राम) नहीं है जो आपको यह बता सके कि वह वाक्य कितना लंबा होना चाहिए। यह एक कैलकुलेटर से ऐसी गणितीय समस्या हल करने के लिए कहने जैसा है जिसका कोई उत्तर ही नहीं है।
इससे क्या फर्क पड़ता है?
इसका मतलब यह है कि भले ही आपके पास एक परफेक्ट AI हो, लेकिन कोई "जादुвई नंबर" नहीं है जो यह गारंटी दे सके कि यह लंबे इनपुट पर काम करेगा। कभी-कभी, आप इसे कितना भी प्रशिक्षित क्यों न कर लें, यह तब विफल हो सकता है जब कहानी बहुत लंबी हो जाती है।
राहत की बात: "सरल" ट्रांसफॉर्मर्स
यह पेपर पूरी तरह से बुरी खबर नहीं है। लेखकों ने इन AI मॉडल्स का एक विशिष्ट, सरल संस्करण पाया है (जिसे फिक्स्ड-प्रिसिजन ट्रांसफॉर्मर्स कहा जाता है) जहाँ हम एक सीमा ढूंढ सकते हैं।
उपमा: स्केल बनाम टेप मेजर (The Ruler vs. The Tape Measure)
- स्टैंडर्ड ट्रांसफॉर्मर्स एक जादुई टेप मेजर की तरह हैं जो अनंत तक खिंच सकता है लेकिन ऐसे मटेरियल से बना है जो कभी भी अप्रत्याशित रूप से टूट सकता है। आप भविष्यवाणी नहीं कर सकते कि यह कब टूटेगा।
- फिक्स्ड-प्रिसिजन ट्रांसफॉर्मर्स एक सख्त स्केल (रूलर) की तरह हैं। इसकी एक सीमा है कि यह कितनी लंबी दूरी माप सकता है, लेकिन आप जानते हैं कि वह सीमा कहाँ है।
इन सरल मॉडल्स के लिए, लेखकों ने सीमा ढूंढ ली है।
- सीमा: एक नियम सीखने के लिए, आपको ऐसे उदाहरण देखने की आवश्यकता है जो एक्सपोनेंशियल रूप से लंबे (exponentially long) हों।
- "एक्सपोनेंशियल" का क्या अर्थ है? कल्पना कीजिए कि आपको एक नियम सीखने के लिए 10 शब्दों वाला वाक्य देखने की आवश्यकता है। अगले स्तर के लिए, आपको शायद 100 शब्द चाहिए। फिर 1,000। फिर 1 मिलियन।
- पेंच: हालांकि हम इस सीमा को कैलकुलेट कर सकते हैं, लेकिन यह संख्या इतनी तेजी से बड़ी होती जाती है कि उस लंबे डेटा पर AI को प्रशिक्षित करना व्यावहारिक रूप से असंभव है। यह कहने जैसा है कि, "इसे सीखने के लिए, आपको लाइब्रेरी की हर किताब, और भविष्य में लिखी जाने वाली हर किताब पढ़नी होगी।"
ट्रांसफॉर्मर्स लंबे टेक्स्ट के साथ संघर्ष क्यों करते हैं?
यह पेपर एक दिलचस्प स्पष्टीकरण देता है कि वास्तविक दुनिया के AI मॉडल लंबे कार्यों (जैसे 100 पन्नों की किताब का सारांश बनाना) में अक्सर क्यों विफल होते हैं।
"भूसे के ढेर में सुई" (Needle in a Haystack) की समस्या
लेखक सुझाव देते हैं कि समस्या यह नहीं है कि AI "मूर्ख" है। समस्या यह है कि AI को नियम सीखने के लिए "भूसे के ढेर" (टेक्स्ट की एक लंबी स्ट्रिंग) में एक "सुई" (एक विशिष्ट पैटर्न) देखने की आवश्यकता होती है।
- यदि भूसे का ढेर बहुत बड़ा है, तो AI प्रशिक्षण के दौरान उस सुई को कभी देख ही नहीं पाएगा।
- चूंकि सीखने का "सुरक्षित क्षेत्र" (safe zone) इतना विशाल है (एक्सपोनेंशियल रूप से बड़ा), इसलिए जब AI उन लंबे इनपुट्स का सामना करता है जिन्हें उसने पहले नहीं देखा है, तो वह वास्तव में अंधेरे में अनुमान लगा रहा होता है।
"गोल्डिलॉक्स" ज़ोन (The Goldilocks Zone)
यही कारण है कि AI कभी छोटे टेक्स्ट पर बहुत अच्छा काम करता है, मध्यम टेक्स्ट पर ठीक-ठाक, और लंबे टेक्स्ट पर विफल हो जाता है। यह कोई बग नहीं है; यह एक मौलिक गणितीय सीमा है। AI ने पर्याप्त "लंबे" उदाहरण नहीं देखे हैं जिससे वह आश्वस्त हो सके कि नियम अभी भी लागू होते हैं।
सारांश: मुख्य निष्कर्ष
- कोई जादुई समाधान नहीं: कोई सरल फॉर्मूला नहीं है जो हमें यह बता सके कि AI को किसी भी लंबाई के टेक्स्ट पर काम करने के लिए कितने डेटा की आवश्यकता है। जटिल मॉडल्स के लिए, यह सीमा गणितीय रूप से "अनकम्प्यूटेबल" (uncomputable) है।
- सुरक्षा की कीमत: अधिक सरल और अनुमानित मॉडल्स के लिए, हम इस सीमा को कैलकुलेट कर सकते हैं, लेकिन इसके लिए इतने विशाल (एक्सपोनेंशियल रूप से बड़े) डेटा पर ट्रेनिंग की आवश्यकता होती है कि इसे हासिल करना व्यावहारिक रूप से असंभव है।
- वास्तविक दुनिया पर प्रभाव: यह समझाता है कि AI मॉडल्स अपने प्रशिक्षण (training) के प्रति इतने संवेदनशील क्यों होते हैं। सेटिंग्स (जैसे सीखने की गति या शब्दों को गिनने का तरीका) में छोटे बदलाव यह तय कर सकते हैं कि AI एक उपन्यास को समझेगा या पहले पैराग्राफ के बाद ही खो जाएगा।
संक्षेप में: हम यह वादा नहीं कर सकते कि छोटी कहानियों पर प्रशिक्षित AI स्वचालित रूप से एक उपन्यास को समझ लेगा। गणित कहता है कि "सुरक्षा जाल" (safety net) या तो अस्तित्व में नहीं है या इतना बड़ा है कि उसका कोई अस्तित्व नहीं है। जब हम AI से लंबे, जटिल कार्यों को संभालने के लिए कहते हैं, तो हमें बहुत सावधान रहना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।