💻 computer science

How Many Different Outputs Can a Transformer Generate?

यह शोध पत्र यह स्थापित करता है कि विविध आउटपुट अनुक्रम उत्पन्न करने की एक ट्रांसफार्मर की क्षमता मौलिक रूप से उसकी प्रॉम्प्ट लंबाई द्वारा सीमित है, यह सिद्ध करते हुए कि सुलभ अनुक्रमों की संख्या प्रॉम्प्ट के साथ रैखिक रूप से बढ़ती है जबकि सुलभ अनुक्रमों का अनुपात एक महत्वपूर्ण सीमा के परे तेजी से (एक्सपोनेंशियल रूप से) घटता है, जिससे कॉपी करने और क्रैमिंग जैसे कार्यों पर होने वाली अनुभवजन्य विफलताओं की व्याख्या होती है।

मूल लेखक: Maxime Meyer, Mario Michelessa, Caroline Chaux, Vincent Y. F. Tan

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maxime Meyer, Mario Michelessa, Caroline Chaux, Vincent Y. F. Tan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: ट्रांसफॉर्मर का "सीमित पुस्तकालय" (Finite Library)

कल्पना कीजिए कि एक ट्रांसफॉर्मर (चैटबॉट्स के पीछे का AI मॉडल) कोई अनंत, जादुई मस्तिष्क नहीं, बल्कि एक विशाल, हाई-टेक पुस्तकालय है।

यह शोध पत्र एक सरल प्रश्न पूछता है: यह पुस्तकालय वास्तव में कितने अलग-अलग प्रकार के पुस्तकें (शब्दों के अनुक्रम/sequences) बना सकता है?

लेखकों ने एक आश्चर्यजनक सीमा की खोज की है: पुस्तकालय चाहे कितना भी बड़ा क्यों न हो, या आप उसे कितना भी समय क्यों न दे दें, वह केवल एक सीमित संख्या में ही अद्वितीय कहानियाँ लिख सकता है। अधिकांश संभावित कहानियाँ मौलिक रूप से "अगम्य" (inaccessible) हैं—पुस्तकालय के पास उन्हें लिखने के लिए पर्याप्त भौतिक स्थान या "स्याही" नहीं है, भले ही आप अलग-अलग प्रॉम्प्ट के साथ उसे चकमा देने की कोशिश करें।

मुख्य उपमा: पिक्सेलेटेड मैप (Pixelated Map)

यह समझने के लिए कि ऐसा क्यों होता है, ट्रांसफॉर्मर की आंतरिक सोचने की प्रक्रिया को एक विशाल मानचित्र (जिसे "एम्बेडिंग स्पेस" कहा जाता है) के रूप में कल्पना करें।

मानचित्र पिक्सेलेटेड है: क्योंकि कंप्यूटर सीमित सटीकता (precision) वाले नंबरों का उपयोग करते हैं (जैसे कि निश्चित संख्या में पिक्सेल वाली एक डिजिटल फोटो), यह मानचित्र चिकना और निरंतर (continuous) नहीं है। यह छोटे, अलग-अलग "टाइल्स" या "पिक्सेल" से बना है।
ज़ोन (Zones): इस मानचित्र पर, विभिन्न क्षेत्र अलग-अलग अगले शब्दों को दर्शाते हैं। यदि AI का आंतरिक "पॉइंटर" ज़ोन A में गिरता है, तो वह "बिल्ली" (cat) लिखता है। यदि वह ज़ोन B में गिरता है, तो वह "कुत्ता" (dog) लिखता है।
आकार की समस्या: जैसे-जैसे आप AI को एक लंबी कहानी लिखने के लिए कहते जाते हैं, शब्दों के संभावित संयोजन विस्फोट की तरह बढ़ते जाते हैं।
- कल्पना कीजिए कि आप इस मानचित्र में लंबाई 100 वाले हर संभव वाक्य को फिट करने की कोशिश कर रहे हैं।
- चूंकि मानचित्र सीमित टाइल्स से बना है, इसलिए विशिष्ट लंबी वाक्यों के लिए "ज़ोन" अविश्वसनीय रूप से छोटे हो जाते हैं—एक एकल पिक्सेल से भी छोटे।
- एक बार जब कोई ज़ोन पिक्सेल से छोटा हो जाता है, तो AI उसे अपने पड़ोसियों से अलग नहीं कर पाता। वह उस विशिष्ट लंबी वाक्य को लिखने के मार्ग को देख ही नहीं सकता।

तीन प्रमुख निष्कर्ष

यह शोध पत्र इस "पिक्सेलेटेड मैप" के बारे में तीन मुख्य बातें सिद्ध करता है:

1. "प्रॉम्ट" (Prompt) कुंजी है, लेकिन इसकी एक सीमा है
सोचिए कि "प्रॉम्ट" (वह टेक्स्ट जो आप टाइप करते हैं) एक चाबी है जो पुस्तकालय में एक विशिष्ट दरवाजा खोलती है।

शोध पत्र दिखाता है कि AI द्वारा लिखी जाने वाली कहानी की लंबाई आपकी चाबी (प्रॉम्ट) की लंबाई के साथ रैखिक (linearly) रूप से बढ़ती है।
उपमा: यदि आप AI को 1-शब्द का प्रॉम्ट देते हैं, तो वह शायद केवल 10-शब्दों की कहानी लिख पाएगा। यदि आप इसे 10-शब्दों का प्रॉम्ट देते हैं, तो यह 100-शब्दों की कहानी लिख सकता है। लेकिन आप हमेशा के लिए शब्द जोड़ते नहीं रह सकते; अंततः, नए, लंबे रास्तों को खोलने के लिए "चाबी" के पास अद्वितीय संयोजनों की कमी हो जाएगी।

2. विफलता की "खड़ी ढलान" (The Cliff of Failure)
एक विशिष्ट लंबाई की दहलीज (threshold) होती है।

खड़ी ढलान से नीचे: AI पूरी तरह से काम करता है। यह आपके द्वारा मांगे गए लगभग किसी भी छोटे अनुक्रम की नकल या निर्माण कर सकता है।
खड़ी ढलान के ऊपर: वह कहानियाँ जो वह लिख सकता है, अचानक खड़ी ढलान (cliff) की तरह गिर जाती हैं। यह धीरे-धीरे खराब नहीं होता; यह अचानक असंभव हो जाता है कि अधिकांश लंबी अनुक्रमों को उत्पन्न किया जा सके।
उपमा: एक सीढ़ी की कल्पना करें जहाँ पहले 50 कदम ठोस हैं। लेकिन 51वां कदम एक ट्रैपडोर (trapdoor) है। एक बार जब आप एक निश्चित लंबाई पार कर लेते हैं, तो एक विशिष्ट लंबी स्ट्रिंग को सफलतापूर्वक लिखने की AI की संभावना तेजी से शून्य के करीब गिर जाती है।

3. "क्रेमिंग" (Cramming) प्रयोग
शोधकर्ताओं ने एक विशेष, अनुकूलित प्रॉम्ट (एक मास्टर की की तरह) का उपयोग करके एक विशिष्ट लंबी अनुक्रम को AI की मेमोरी में "क्रेम" (ठूँसने) की कोशिश करके इसका परीक्षण किया।

परिणाम: उन्होंने पाया कि छोटे अनुक्रमों के लिए, AI को उन्हें आउटपुट करने के लिए मजबूर किया जा सकता था। लेकिन जैसे ही अनुक्रम बहुत लंबा हुआ, कोई भी "क्रेमिंग" काम नहीं आई। AI उस अनुक्रम को उत्पन्न ही नहीं कर सका, चाहे उन्होंने प्रॉम्ट को ट्यून करने की कितनी भी कोशिश क्यों न की हो।
यह समझाता है कि क्यों AI मॉडल कभी-कभी टेक्स्ट की एक लंबी स्ट्रिंग को पूरी तरह से कॉपी करने जैसे सरल कार्यों में विफल हो जाते हैं, भले ही उन्हें इसके लिए विशेष रूप से प्रशिक्षित किया गया हो। यह प्रशिक्षण की त्रुटि नहीं है; यह आर्किटेक्चर की एक संरचनात्मक सीमा (structural limit) है।

यह क्यों होता है? ("राउंडिंग एरर" की उपमा)

शोध पत्र का तर्क है कि यह सीमित सटीकता (finite precision) के कारण होता है।

उपमा: कल्पना कीजिए कि आप एक ऐसे रूलर (पैमाने) से चित्र बना रहे हैं जिसमें केवल प्रत्येक मिलीमीटर पर निशान हैं। आप एक सीधी रेखा आसानी से खींच सकते हैं। लेकिन यदि आप एक बहुत ही जटिल, लंबी, घुमावदार राह बनाने की कोशिश करते हैं जिसके लिए आपको ऐसे बिंदु पर मुड़ना पड़ता है जो एक निशान से 0.0001 मिलीमीटर दूर है, तो आपका रूलर यह नहीं कर सकता। आप निकटतम मिलीमीटर तक राउंड (round) करने के लिए मजबूर हैं।
परिणाम: एक लंबे अनुक्रम के दौरान, ये छोटी-छोटी राउंडिंग त्रुटियां जमा होती रहती हैं। AI का आंतरिक "पॉइंटर" उस विशिष्ट लंबे वाक्य को लिखने के लिए आवश्यक सूक्ष्म, सटीक पथ से भटक जाता है, और वह एक अलग ज़ोन में गिर जाता है, जिससे एक अलग शब्द उत्पन्न होता है।

सारांश

ट्रांसफॉर्मर अनंत नहीं हैं: उनके पास कितने अद्वितीय अनुक्रम उत्पन्न किए जा सकते हैं, इसकी एक कठोर, गणितीय सीमा है।
यह एक ज्यामिति (geometry) की समस्या है: यह सीमा AI के अंदर के "मानचित्र" के आकार और आकार (shape and size) और इस तथ्य से आती है कि कंप्यूटर अनंत सटीकता को स्टोर नहीं कर सकते।
"खड़ी ढलान" (The Cliff): प्रदर्शन छोटे कार्यों के लिए बेहतरीन है लेकिन लंबे कार्यों के लिए अचानक गिर जाता है, धीरे-धीरे नहीं।
यह मौलिक है: यह इसलिए नहीं है कि मॉडल "मूर्ख" है या खराब तरीके से प्रशिक्षित है। अनंत समय और डेटा के साथ भी, आर्किटेक्चर स्वयं अधिकांश लंबे अनुक्रमों को उत्पन्न नहीं कर सकता है।

शोध पत्र निष्कर्ष निकालता है कि यह ट्रांसफॉर्मर डिज़ाइन का एक मौलिक गुण है, जो छोटे मॉडलों से लेकर आज के विशाल मॉडलों तक, सभी पर लागू होता है।

तकनीकी सारांश: एक ट्रांसफॉर्मर कितने अलग-अलग आउटपुट उत्पन्न कर सकता है?

समस्या विवरण

प्राकृतिक भाषा प्रसंस्करण (NLP) और कंप्यूटर विज़न में ट्रांसफॉर्मर्स की अनुभवजन्य सफलता के बावजूद, ये मॉडल सरल एल्गोरिदम संबंधी कार्यों, जैसे कि अनुक्रमों (sequences) को कॉपी करने या दोहराने में मौलिक विफलता प्रदर्शित करते हैं, जब इनपुट की लंबाई एक निश्चित सीमा से अधिक हो जाती है। जबकि पूर्ववर्ती कार्यों ने इन विफलताओं को प्रशिक्षण डेटा या अनुकूलन (optimization) संबंधी समस्याओं के रूप में देखा है, यह शोध पत्र यह प्रतिपादित करता है कि वे अंतर्निहित वास्तुशिल्प बाधाओं (architectural constraints) से उत्पन्न होती हैं। विशेष रूप से, लेखक एक्सेसिबिलिटी (accessibility - सुलभता) की जांच करते हैं: उन सभी टोकन अनुक्रमों का सेट जिन्हें एक ट्रांसफॉर्मर किसी भी संभावित प्रॉम्प्ट (अनुकूलित सॉफ्ट प्रॉम्प्ट सहित) और अनिश्चित संदर्भ लंबाई (context length) के आधार पर उत्पन्न कर सकता है। मुख्य प्रश्न यह है: एक ट्रांसफॉर्मर वास्तव में कितने अलग-अलग अनुक्रमों को आउटपुट कर सकता है, और यह क्षमता प्रॉम्प्ट की लंबाई और मॉडल आर्किटेक्चर के साथ कैसे स्केल करती है?

कार्यप्रणाली

लेखक ट्रांसफॉर्मर आर्किटेक्चर के भीतर सीमित संख्यात्मक परिशुद्धता (finite numerical precision) और आंतरिक निरूपण की सीमित प्रकृति (bounded nature of internal representations) द्वारा लगाए गए ज्यामितीय प्रतिबंधों का विश्लेषण करके इस समस्या को हल करते हैं।

मीन-फील्ड फॉर्मूलेशन (Mean-Field Formulation): किसी भी प्रॉम्प्ट लंबाई को संभालने के लिए, लेखक ट्रांसफॉर्मर्स को परिमित अनुक्रमों के बजाय संभाव्यता मापों (probability measures - मीन-फील्ड एक्सटेंशन) के बीच मैपिंग के रूप में व्याख्या करते हैं। यह अटेंशन लेयर्स की परम्यूटेशन इक्विवैरिएंस (permutation equivariance) का लाभ उठाता है।
एम्बेडिंग स्पेस पार्टीशनिंग (Embedding Space Partitioning): एम्बेडिंग स्पेस को डिकोडर के आउटपुट प्रोजेक्शन के आधार पर सबसे संभावित अगले टोकन (या टोकन के अनुक्रम) के अनुरूप क्षेत्रों ( $E_t$ ) में विभाजित किया गया है।
पैकिंग नंबर विश्लेषण (Packing Number Analysis): लेखक यह मात्रा निर्धारित करने के लिए कि एक ट्रांसफॉर्मर कितने अलग-अलग इनपुट को पहचान सकता है, पैकिंग नंबरों (एक दिए गए त्रिज्या वाले विलगित बॉल्स की अधिकतम संख्या जो एक स्थान में फिट हो सकती है) की अवधारणा का उपयोग करते हैं।
- सीमित परिशुद्धता धारणा (Finite Precision Assumption): वे मानते हैं कि ट्रांसफॉर्मर में एक सीमित परिशुद्धता $\epsilon$ है, जिसका अर्थ है कि यह $\epsilon$ से करीब स्थित इनपुट के बीच अंतर नहीं कर सकता (जिसे एक्सिस-अलाइन्ड क्यूब्स या बॉल्स के रूप में मॉडल किया गया है)।
- सीमित सपोर्ट (Bounded Support): वे मानते हैं कि एम्बेडिंग सपोर्ट एक सीमित क्षेत्र (जैसे, त्रिज्या $r$ वाला एक बॉल) के भीतर स्थित है।
सैद्धांतिक व्युत्पत्ति (Theoretical Derivation): इनपुट स्पेस के पैकिंग नंबर को एम्बेडिंग सपोर्ट के वॉल्यूम के सापेक्ष बाउंड (bound) करके, वे सुलभ अनुक्रमों की संख्या पर ऊपरी सीमा (upper bounds) प्राप्त करते हैं।
अनुभवजन्य सत्यापन (Empمrical Validation): सैद्धांतिक भविष्यवाणियों का परीक्षण "क्रैमिंग" कार्य (Cramming task) (कुराटोव एट अल., 2025) का उपयोग करके किया जाता है, जहाँ एक फ्रीज किए गए ट्रांसफॉर्मर को विशिष्ट लक्षित अनुक्रम उत्पन्न करने के लिए अनुकूलित सॉफ्ट प्रॉम्प्ट्स के माध्यम से कंडिशन किया जाता है। वे लंबाई-निर्भर सामान्यीकरण विफलताओं (generalization failures) को देखने के लिए कॉपीइंग टास्क का भी मूल्यांकन करते हैं।

प्रमुख योगदान

1. अनुक्रमों की सीमित एक्सेसिबिलिटी (Finite Accessibility of Sequences)

यह शोध पत्र सिद्ध करता है कि एक ट्रांसफॉर्मर केवल सीमित सेट के अलग-अलग अनुक्रम ही आउटपुट कर सकता है, चाहे प्रॉम्प्ट की लंबाई या इंफरेंस रणनीति कुछ भी हो।

थ्योरम 4.5: एक ट्रांसफॉर्मर के लिए जिसकी परिशुद्धता $\epsilon$ , एम्बेडिंग रेडियस $r$ , और प्रॉम्प्ट लंबाई $m$ है, सुलभ अनुक्रमों की संख्या $(1 + 2r/\epsilon)^{dm}$ द्वारा ऊपरी रूप से सीमित है।
निहितार्थ (Implication): अधिकांश अनुक्रम मौलिक रूप से अप्राप्य (inaccessible) हैं; कोई भी प्रॉम्प्ट उन्हें मॉडल द्वारा उत्पन्न करने के लिए मजबूर नहीं कर सकता।

2. लीनियर स्केलिंग और एक्सपोनेंशियल डिके (Linear Scaling and Exponential Decay)

लेखक प्रॉम्प्ट लंबाई और सुलभ अनुक्रमों की अधिकतम लंबाई के बीच एक सटीक संबंध स्थापित करते हैं:

रैखिक वृद्धि (Linear Growth): सुलभ अनुक्रमों की अधिकतम लंबाई $n$ , प्रॉम्प्ट लंबाई $m$ के साथ रैखिक रूप से बढ़ती है ( $n \propto m$ )।
घातांकीय ह्रास (Exponential Decay): एक महत्वपूर्ण थ्रेशोल्ड $N$ के बाद, लंबाई $n$ के सुलभ अनुक्रमों का अनुपात $n$ के साथ घातांकीय रूप से घटता है।
सैद्धांतिक थ्रेशोल्ड: वे इस थ्रेशोल्ड के लिए एक स्पष्ट सूत्र निकालते हैं: $n^* \approx C \cdot m$ , जहाँ $C$ एम्बेडिंग डायमेंशन $d$ , शब्दावली आकार $|V|$ , परिशुद्धता $\epsilon$ , और सपोर्ट रेडियस $r$ पर निर्भर करता है।

3. अनुभवजन्य विफलताओं की व्याख्या

यह विश्लेषण अभ्यास में देखी जाने वाली "अचानक विफलता" (जैसे, लंबाई $L$ तक पूर्ण कॉपी, फिर पूर्ण विफलता) के लिए एक सैद्धांतिक स्पष्टीकरण प्रदान करता है। शोध पत्र का तर्क है कि यह क्रमिक गिरावट नहीं है, बल्कि क्रिटिकल थ्रेशोल्ड के बाद सुलभ अनुक्रमों के घातांकीय ह्रास का परिणाम है।

4. ज्यामिति के माध्यम से परिष्कृत बाउंड्स (Refined Bounds via Geometry)

लेखक एक समान बॉल-आकार के एम्बेडिंग सपोर्ट की धारणा को शिथिल करके अपने सैद्धांतिक ऊपरी बाउंड्स को परिष्कृत करते हैं। वे प्रस्तावित करते हैं:

एनिसोट्रोपिक सपोर्ट्स (Anisotropic Supports): एम्बेडिंग के वास्तविक वितरण को बेहतर ढंग से पकड़ने के लिए सपोर्ट को शंकु (cones) या दीर्घवृत्त (ellipsoids) के रूप में मॉडल करना।
गैर-समान सेल वॉल्यूम (Non-Uniform Cell Volumes): इस तथ्य को ध्यान में रखना कि सामान्य टोकन एम्बेडिंग स्पेस में दुर्लभ टोकनों की तुलना में बड़े क्षेत्र घेरते हैं।
ये सुधार सैद्धांतिक ऊपरी बाउंड और अनुभवजन्य अवलोकनों के बीच के अंतर को कम करते हैं (लगभग 10 के कारक से घटाकर ~5–6 तक)।

परिणाम

सैद्धांतिक भविष्यवाणियाँ

कोरोलरी 4.6: एक निश्चित प्रॉम्प्ट बजट $m$ के लिए, एक्सेसिबिलिटी $n^*(m)$ तक उच्च रहती है और फिर तेजी से (exponentially) गिरती है। इस रैखिक संबंध का ढलान (slope) $C \leq \frac{d \ln(1 + 2r/\epsilon)}{\ln(|V|)}$ द्वारा सीमित है।
कोरोलरी 4.10: अनबाउंडेड कॉन्टेक्स्ट और कंप्यूटेशन के बावजूद, एक थ्रेशोल्ड $N$ मौजूद है जिसके बाद लगभग सभी अनुक्रम अप्राप्य हो जाते हैं।

अनुभवजन्य सत्यापन

क्रैमिंग टास्क: मॉडल्स (Pythia, Qwen-2.5, Llama-3.2, Gemma-3) पर प्रयोग दिखाते हैं कि लंबाई $n_{50}$ (जहाँ एक्सेसिबिलिटी 50% तक गिर जाती है) de संख्यात्मक मेमोरी वेक्टर्स $m$ के साथ रैखिक रूप से स्केल करती है ( $R^2 > 0.99$ )।
स्लोप तुलना: अनुभवजन्य रूप से देखे गए स्लोप लगातार सैद्धांतिक ऊपरी बाउंड से कम हैं, और मॉडल तथा ज्यामितीय धारणाओं के आधार पर सिद्धांत और प्रयोग के बीच का अनुपात 4.5 से 20.4 के बीच रहता है।
कॉपीइंग टास्क: लंबाई 50 तक अनुक्रमों को कॉपी करने के लिए प्रशिक्षित मॉडल लंबी अनुक्रमों पर परीक्षण करने पर अचानक विफल हो जाते हैं, जो प्रॉम्प्ट लंबाई से स्वतंत्र एक तीक्ष्ण एक्सेसिबिलिटी थ्रेशोल्ड के अस्तित्व की पुष्टि करता है।
सेल वॉल्यूम डिस्ट्रीब्यूशन: विश्लेषण से पता चलता है कि डिकोडर सेल वॉल्यूम अत्यधिक विषम (skewed) हैं; टोकन का एक छोटा समूह (जैसे, व्हाइटस्पेस, विराम चिह्न) एम्बेडिंग स्पेस के एक बड़े हिस्से पर कब्जा करता है, जो समान धारणाओं की तुलना में एक्सेसिबिलिटी बाउंड्स को कड़ा करता है।

महत्व और दावे

शोध पत्र का दावा है कि यह अनुक्रम निर्माण कार्यों पर ट्रांसफॉर्मर्स की अंतर्निहित सीमाओं के लिए पहला कठोर सैद्धांतिक स्पष्टीकरण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

आर्किटेक्चरल सीमाएं: यह प्रदर्शित करना कि लंबे अनुक्रमों को कॉपी करने में असमर्थता केवल एक प्रशिक्षण आर्टिफैक्ट नहीं है, बल्कि आर्किटेक्चर की सीमित परिशुद्धता और सीमित निरूपण का एक मौलिक गुण है।
भविभवी शक्ति (Predictive Power): पूरे पैरामीटर सेट का निरीक्षण किए बिना, केवल इसके एम्बेडिंग स्पेस ज्योमेट्री (डायमेंशन, शब्दावली आकार, परिशुद्धता और सपोर्ट शेप) के आधार पर एक ट्रांसफॉर्मर की प्रदर्शन सीमाओं की भविष्यवाणी करने के लिए एक सूत्र प्रदान करना।
सामान्यीकरण (Generalizability): परिणाम ट्रांसफॉर्मर्स से परे किसी भी ऐसे आर्किटेक्चर तक विस्तारित होते हैं जिसमें सीमित आंतरिक निरूपण और सीमित परिशुद्धता हो (जैसे, मम्बा (Mamba) जैसे स्टेट-स्पेस मॉडल्स, हालांकि डाइवर्जिंग हिडन स्टेट्स चुनौतियां पेश करते हैं)।

लेखक निष्कर्ष निकालते हैं कि एम्बेडिंग स्पेस, हालांकि मॉडल के केवल एक अंश का प्रतिनिधित्व करता है, मॉडल की मौलिक क्षमताओं और सीमाओं के बारे में सार्थक जानकारी वहन करता है।