🤖 machine learning

Why Do Few-Step Text Latents Fail When Image Latents Work? Non-Commitment at Sharp Categorical Readouts

यह शोधपत्र यह प्रदर्शित करता है कि निरंतर टेक्स्ट लेटेंट्स (continuous text latents) पर नियतात्मक अल्प-चरणीय पीढ़ी (deterministic few-step generation) की विफलता, इमेज लेटेंट्स के विपरीत, स्मूथ मैप्स (smooth maps) की उस ज्यामितीय अक्षमता से उत्पन्न होती है जहाँ वे शार्प कैटेगोरिकल रीडआउट्स (sharp categorical readouts) से पहले डिस्क्रीट टोकन चॉइस को हल करने में असमर्थ होते हैं, जो एक ऐसी सीमा है जिसे डिकोडर शार्पनेस मेट्रिक्स द्वारा मापा गया है और यह सिद्ध किया गया है कि इसे दूर करने के लिए या तो ऑटोरेग्रेसिव कमिटमेंट (autoregressive commitment) या स्टोकेस्टिक री-इंजेक्शन (stochastic re-injection) की आवश्यकता होती है।

मूल लेखक: Zhongyao Wang

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhongyao Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

मुख्य प्रश्न: AI इमेज जनरेटर 4 स्टेप्स में क्यों काम करते हैं, लेकिन टेक्स्ट जनरेटर्स क्यों विफल हो जाते हैं?

कल्पना कीजिए कि आप एक आँखों पर पट्टी बँधे हुए व्यक्ति (AI) को एक शुरुआती बिंदु (रैंडम नॉइज़) से एक विशिष्ट गंतव्य (एक स्पष्ट चित्र या एक वाक्य) तक ले जाने की कोशिश कर रहे हैं।

इमेज के लिए: यदि आप व्यक्ति को सुचारू, निरंतर निर्देश देते हैं (जैसे "थोड़ा बाईं ओर चलें, फिर थोड़ा ऊपर"), तो वे केवल 4 या 5 स्टेप्स में एक सुंदर चित्र तक पहुँच सकते हैं।
टेक्स्ट के लिए: यदि आप बिल्कुल वही सुचारू निर्देश एक वाक्य बनाने के लिए देते हैं, तो वह व्यक्ति लड़खड़ा जाता है। वे अर्थहीन शब्द पैदा करते हैं, शब्दों को दोहराते हैं, या भाषाएँ मिला देते हैं। वे केवल तभी सफल होते हैं जब आप उन्हें सैकड़ों छोटे, सावधानीपूर्ण स्टेप्स देते हैं।

यह पेपर पूछता है: सुचारू रास्ता चित्रों के लिए काम क्यों करता है लेकिन शब्दों के लिए क्यों टूट जाता है?

मूल समस्या: "तीखी ढलान" (Sharp Cliff) बनाम "कोमल पहाड़ी" (Soft Hill)

लेखकों का तर्क है कि समस्या यह नहीं है कि AI गणित में खराब है या उसे अधिक प्रशिक्षण की आवश्यकता है। समस्या गंतव्य का मानचित्र (destination map) है।

इमेज मैप (कोमल पहाड़ियाँ - Soft Hills): कल्पना कीजिए कि एक इमेज डिकोडर को कोमल, लहरदार पहाड़ियों वाले परिदृश्य की तरह है। यदि आप लक्ष्य से थोड़ा भटक जाते हैं (अपने चलने के निर्देशों में एक छोटी सी त्रुटि के कारण), तो आप बस एक पहाड़ी से थोड़ा नीचे लुढ़क जाते हैं। आप शायद थोड़े अलग स्थान पर पहुँच जाएँ, लेकिन आप अभी भी उसी "घाटी" (सही चित्र) में पहुँचेंगे। यह मानचित्र क्षमशील है।
टेक्स्ट मैप (तीखी ढलानें - Sharp Cliffs): एक टेक्स्ट डिकोडर अलग होता है। इसे हजारों में से एक विशिष्ट शब्द चुनना होता है। कल्पना कीजिए कि मानचित्र तीखी ढलानों की एक श्रृंखला है। "cat" शब्द प्राप्त करने के लिए, आपको एक बहुत ही विशिष्ट ज़ोन में खड़ा होना होगा। यदि आप उस ज़ोन के किनारे से एक मिलीमीटर भी हट जाते हैं, तो आप ढलान से नीचे गिर जाएंगे और "bat" या "rat" पर पहुँच जाएंगे।

विफलता:
जब AI केवल कुछ ही स्टेप्स में टेक्स्ट जनरेट करने की कोशिश करता है, तो वह छोटी गलतियाँ करता है (वह बिल्कुल सीधा नहीं चलता)।

इमेज मैप पर, ये छोटी गलतियाँ हानिकारक नहीं हैं। आप सही पहाड़ी पर उतरते हैं।
टेक्स्ट मैप पर, वही छोटी गलतियाँ आपको सीधे ढलान के किनारे पर धकेल देती हैं। आप गलत शब्द में गिर जाते हैं। क्योंकि AI इसे एक "सुचारू" तरीके से करने की कोशिश कर रहा है, यह अपनी स्थिति का औसत निकालता है, जिससे यह ढलान के किनारे पर आ जाता है, जिससे यह यादृच्छिक रूप से शब्दों के बीच झूलने लगता है।

दो तरीके जिनसे इसे ठीक किया जा सकता है (दो "एस्केप्स")

यह पेपर दिखाता है कि टेक्स्ट को तेज़ी से जनरेट करने के लिए, आपको "सुचारू रूप से चलने" के नियमों को तोड़ना होगा। आपको इन दो में से एक चीज़ करनी होगी:

1. "कमिटमेंट" एस्केप (ऑटोपायलट)

यह वही तरीका है जिससे मानक चैटबॉट्स (जैसे वे जिनसे आप बात करते हैं) काम करते हैं।

रूपक (Metaphor): अंतिम वाक्य तक सुचारू रूप से चलने के बजाय, AI एक शब्द चुनता है, उसे लॉक (lock in) कर देता है, और फिर उस लॉक किए गए चुनाव के आधार पर अगले शब्द की ओर बढ़ता है।
यह क्यों काम करता है: एक बार जब शब्द लॉक (commit) हो जाता है, तो AI को उस विशिष्ट शब्द के लिए ढलान से गिरने की चिंता करने की ज़रूरत नहीं होती। वह उस निर्णय को अंतिम मानता है। यह इसे "डिस्कंटीन्यूअस" (एक अवस्था से दूसरी अवस्था में कूदना) होने की अनुमति देता है बजाय इसके कि वह सुचारू बना रहे।
प्रमाण: लेखकों ने एक स्मार्ट AI लेकर और उसकी शब्द लॉक करने की क्षमता को हटाकर इसका परीक्षण किया। तुरंत ही, टेक्स्ट जनरेशन अर्थहीनता में बदल गया। "लॉकिंग" तंत्र ही असली सफलता का रहस्य है।

2. "स्टोकेस्टिक री-इंजेक्शन" एस्केप (एक हल्का धक्का)

यह तरीका कुछ उन्नत डिफ्यूजन मॉडल्स द्वारा अपनाया जाता है।

रूपक: कल्पना कीजिए कि AI "cat" शब्द की ओर बढ़ रहा है। वह करीब पहुँचता है लेकिन ढलान के किनारे पर डगमगा रहा है। एक सुचारू पथ बनाने के बजाय, AI खुद को एक छोटा, रैंडम धक्का (nudge) देता है (थोड़ा शोर/noise जोड़ता है) हर स्टेप पर।
यह क्यों काम करता है: यह रैंडम धक्का AI को वापस सुरक्षित किनारे पर आने में मदद करता है यदि वह फिसलने लगता है। यह "सुचारूता" के नियम को तोड़ता है, जिससे AI उन त्रुटियों से उबरने में सक्षम होता है जिन्हें एक शुद्ध रूप से सुचारू पथ कभी ठीक नहीं कर पाता।
प्रमाण: लेखकों ने दिखाया कि यदि आप इस रैंडम धक्के को हटा देते हैं और AI को पूरी तरह से सुचारू होने के लिए मजबूर करते हैं, तो टेक्स्ट की गुणवत्ता गिर जाती है, भले ही AI वही मॉडल हो।

"DABI" और "CCI" स्कोरकार्ड

इसे साबित करने के लिए, लेखकों ने AI मॉडल्स को मापने के लिए दो सरल टेस्ट (स्कोरकार्ड) बनाए:

DABI (डिकोडर संवेदनशीलता - Decoder Sensitivity): यह मापता है कि ढलानें कितनी "तीखी" हैं।
- इमेज मॉडल्स: कम स्कोर। ढलानें कोमल पहाड़ियाँ हैं। एक छोटा सा धक्का परिणाम को नहीं बदलता।
- टेक्स्ट मॉडल्स: बहुत बड़ा स्कोर। ढलानें बेहद तीखी हैं। एक छोटा सा धक्का शब्द को पूरी तरह बदल देता है।
CCI (कमिटमेंट इंडेक्स - Commitment Index): यह मापता है कि AI कितनी बार शब्द को "लॉक" करता है।
- स्मूथ टेक्स्ट मॉडल्स: शून्य कमिटमेंट। वे उत्तर तक सुचारू रूप से तैरने की कोशिश करते हैं। परिणाम: विफलता।
- स्मार्ट टेक्स्ट मॉडल्स: उच्च कमिटमेंट। वे एक-एक करके शब्दों को लॉक करते हैं। परिणाम: सफलता।

मुख्य निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि शुद्ध, नियत (deterministic) गणित तेजी से टेक्स्ट जनरेट नहीं कर सकता यदि अंतिम चरण के लिए एक विशाल सूची से एक विशिष्ट शब्द चुनना आवश्यक हो। शब्दों के बीच की "ढलानें" बहुत तीखी हैं, जिससे एक सुचारू पथ बिना गिरे आगे नहीं बढ़ सकता।

टेक्स्ट को कुछ ही स्टेप्स में जनरेट करने के लिए, आपको या तो:

चलते समय निर्णयों को लॉक करना होगा (कैटेगोरिकल कमिटमेंट), या
फिसलन से उबरने में मदद के लिए यादृच्छिकता (randomness) जोड़नी होगी (स्टोकेस्टिक री-इंजेक्शन)।

यदि आप इसे पूरी तरह से सुचारू और नियत (deterministic) तरीके से करने की कोशिश करते हैं, तो टेक्स्ट हमेशा अर्थहीनता में बदल जाएगा। यह ट्रेनिंग में कोई बग नहीं है; यह इस बात का एक मौलिक ज्यामितीय नियम है कि शब्दों की संरचना कैसे होती है।

तकनीकी सारांश: क्यों इमेज लेटेंट्स (Image Latents) के सफल होने पर भी फ्यू-स्टेप टेक्स्ट लेटेंट्स (Few-Step Text Latents) विफल हो जाते हैं

समस्या विवरण (Problem Statement)

डिटरमिनिस्टिक फ्यू-स्टेप जनरेशन (Deterministic few-step generation) ने इमेज सिंथेसिस (जैसे कि कंसिस्टेंसी मॉडल्स, रेक्टिफाइड फ्लो) में तीव्र सफलता प्राप्त की है, जो 1–4 नेटवर्क इवैल्यूएशन में उच्च गुणवत्ता वाली छवियां उत्पन्न करती है। हालांकि, निरंतर टेक्स्ट लेटेंट्स (टेक्स्ट ऑटोएनकोडर्स जैसे कि ELF के माध्यम से) पर इसी प्रकार के डिटरमिनिस्टिक फ्यू-स्टेप दृष्टिकोण को लागू करने पर आउटपुट असंगत हो जाता है, जिसमें बार-बार आने वाले टोकन और बहुभाषी अंश (multilingual fragments) दिखाई देते हैं। जबकि वर्तमान साहित्य अक्सर ऐसी विफलताओं को प्रशिक्षण की कमियों, आर्किटेक्चरल सीमाओं या शेड्यूलिंग संबंधी समस्याओं के कारण बताता है, यह शोध पत्र तर्क देता है कि यह विफलता संरचनात्मक और ज्यामितीय (structural and geometric) है। विशेष रूप से, एक सुचारू (smooth), रेगुलैरिटी-लिमिटेड डिटरमिनिस्टिक मैप, एक शार्प कैटेगोरिकल रीडआउट (sharp categorical readout) से पहले डिस्क्रीट ब्रांच चॉइस (discrete branch choices) को हल नहीं कर सकता है। यह शोध पत्र प्रस्तावित करता है कि टेक्स्ट में फ्यू-स्टेप विफलता डिकोडर की शार्पनेस (decoder sharpness) द्वारा नियंत्रित होती है, न कि ट्रांसपोर्ट सटीकता (transport accuracy) द्वारा।

कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

1. नॉन-कमिटमेंट मैकेनिज्म (Non-Commitment Mechanism - ओवरलैपिंग रिजीम)

लेखक वास्तविक टेक्स्ट ऑटोएनकोडर्स में विशिष्ट "ओवरलैपिंग रिजीम" का विश्लेषण करते हैं, जहाँ प्रति-टोकन पोस्टीरियर्स (per-token posteriors) ओवरलैप होते हैं।

थ्योरम 3 (रीडआउट-कैलिब्रेटेड नॉन-कमिटमेंट): पेपर सिद्ध करता है कि एक डिटरमिनिस्टिक टर्मिनल स्टेप के लिए, जो कि पोस्टीरियर मीन (posterior mean) आउटपुट करता है, टोकन फ्लिप रेट रीडआउट डिसीजन बाउंडरीज की ज्यामिति द्वारा निर्धारित होता है।
ट्यूब लॉ (Tube Law): जैसे-जैसे प्रभावी नॉइज़ स्केल $s(t) \to 0$ होता है, टोकन फ्लिप होने की संभावना $s(t)$ के साथ रैखिक रूप से स्केल करती है और निर्णय सीमाओं के $O(s(t))$ ट्यूब के भीतर लेटेंट वितरण के द्रव्यमान (mass) के समानुपाती होती है।
मुख्य अंतर्दृष्टि (Key Insight): विफलता ट्रांसपोर्ट मैप की अशुद्धि के कारण नहीं है, बल्कि इसलिए है क्योंकि पोस्टीरियर मीन ब्रांच एम्बिग्युइटी (branch ambiguities) के ऊपर औसत निकाल देता है। जब यह औसत लेटेंट एक शार्प डिसीजन बाउंडरी के पास लैंड करता है (स्ट्रक्चर्ड रेसिडुअल्स के कारण), तो argmax रीडआउट टोकन को बदल (flip) देता है। यह एक "नॉन-कमिटमेंट" विफलता है: जनरेटर ने अभी तक किसी डिस्क्रीट टोकन के प्रति प्रतिबद्धता (commit) नहीं जताई है, इसलिए शार्प रीडआउट अस्पष्टता को हल नहीं कर पाता है।

2. सेपरेटेड-मोड ट्रांसपोर्ट थ्योरी (Separated-Mode Transport Theory)

आदर्श "सेपरेटेड रिजीम" (वेल-सेपरेटेड मोड्स) में, पेपर शार्प लिप्सचिट्ज़ ट्रांसपोर्ट लॉ (Lipschitz transport laws) व्युत्पन्न करता है:

थ्योरम 5 (इंटरफेस $\Gamma$ -लिमिट): एक स्मूथ मैप के साथ $M$ मोड्स को अलग करने की लागत इंटरफेस एनर्जी $J_{p,\sigma}$ के रूप में बढ़ती है।
थ्योरम 6 (डायमेंशन फेज डायग्राम): जब लेटेंट डायमेंशन $\Omega(\log M)$ हो, तो $M$ मोड्स को अलग करने के लिए आवश्यक डिटरमिनिस्टिक स्टिफनेस (stiffness) $\Lambda$ , $\Theta(\sqrt{\log M})$ के रूप में बढ़ती है।
थ्योरम 7 (हायरार्किकल सेपरेशन): एक डेप्थ- $B$ कैटेगोरिकल पदानुक्रम (hierarchy) प्रति-स्टेप पीक स्टिफनेस को $\sqrt{B}$ के कारक से कम कर देता है, लेकिन यह डिस्कंटीन्यूअस जनरेटर्स पर निर्भर करता है।

3. द ब्रिज (को-एरिया आइडेंटिटी - Coarea Identity)

थ्योरम 17 ओवरलैपिंग और सेपरेटेड रिजीमों को जोड़ता है। यह स्थापित करता है कि ओवरलैपिंग रिजीम में रीडआउट बाउंड्री मास ( $A_W$ ) और सेपरेटेड इंटरफेस एनर्जी ( $J$ ) दोनों ही सोर्स-स्पेस इंटरफेस ज्योमेट्री के दो अलग-अलग संकुचन (contractions) हैं। यह एक एक्यूरेसी–डेप्थ–स्टिफनेस ट्रेडऑफ (accuracy–depth–stiffness tradeoff) की ओर ले जाता है: डिटरमिनिस्टिक-कंटीन्यूअस क्लास के भीतर, सुसंगत टेक्स्ट उत्पन्न करने की लागत अपरिहार्य (irreducible) है।

मुख्य योगदान और डायग्नोस्टिक्स (Key Contributions and Diagnostics)

1. DABI (डीकोडर एम्प्लीफिकेशन ऑफ बाउंड्री-अलाइन्ड इनपुट्स)

लेखक डिकोडर शार्पनेस को मापने के लिए DABI को एक मीट्रिक के रूप में पेश करते हैं। यह एक स्ट्रक्चर्ड, बाउंड्री-अलाइन्ड परटर्बेशन के कारण होने वाली क्रॉस-एन्ट्रॉपी (CE) वृद्धि और एक नॉर्म-मैच्ड आइसोट्रोपिक परटर्बेशन के बीच के अनुपात को मापता है।

निष्कर्ष:
- इमेज डिकोडर्स: DABI $\approx 1$ । स्मूथ इमेज डिकोडर पोस्टीरियर-मीन ब्लर को बिना टोकन एरर के सोख लेते हैं।
- टेक्स्ट डिकोडर्स: DABI $\gg 10^4$ (जैसे ELF: 508 $\times$ , LangFlow: $>10^4$ )। डिसीजन बाउंडरी के साथ संरेखित एक छोटा सा स्ट्रक्चर्ड रेसिड्यूल भी टोकन के एक बड़े हिस्से (47–77%) को बदल देता है, जबकि आइसोट्रोपिक नॉइज़ $\approx 0\%$ टोकन बदलता है।
- निहितार्थ: विफलता डिटरमिनिस्टिक ट्रांसपोर्ट एरर के परिमाण के कारण नहीं, बल्कि कैटेगोरिकल रीडआउट की शार्पनेस के कारण संचालित होती है।

2. CCI (कैटेगोरिकल कमिटमेंट इंडेक्स)

CCI उन पोजीशंस के अंश (fraction) को मापता है जहाँ एक अपरिवर्तनीय डिस्क्रीट सिलेक्शन किया गया है।

कंटीन्यूअस फ्लो (Continuous Flow): CCI = 0 (कोई डिस्क्रीट सिलेक्शन नहीं)।
ऑटोरेग्रेसिव (AR) / मास्कड डिफ्यूजन: CCI = 1 (प्रत्येक स्टेप पर हार्ड सिलेक्शन)।

3. DABI $\times$ CCI टैक्सोनॉमी

पेपर इन दो ऑर्थोगोनल एक्सिस के आधार पर सिस्टम को वर्गीकृत करता है:

लो DABI, CCI = 0 (इमेज VAEs): सफलता। स्मूथ डिकोडर ब्लर को सहन कर सकते हैं।
हाई DABI, CCI = 0 (ELF टेक्स्ट फ्लो): विफलता। शार्प रीडआउट छोटे स्ट्रक्चर्ड रेसिड्यूल्स को टोकन एरर्स में बदल देते हैं।
हाई DABI, हाई CCI (AR, मास्कड dLM): सफलता। कैटेगोरिकल कमिटमेंट जनरेटर को डिस्कंटीन्यूअस बनाता है, जिससे वह निरंतर निचली सीमाओं (continuous lower bounds) से बच निकलता है।

अनुभवजन्य परिणाम (Empirical Results)

1. ओरकल रोल-इन (Oracle Roll-In)

ELF-B ऑटोएनकोडर का उपयोग करते हुए, लेखक एक "ओरकल रोल-इन" करते हैं जहाँ वे एक क्लीन लेटेंट को नॉइज़ करते हैं और डिटरमिनिस्टिक ODE को $t=1$ तक इंटीग्रेट करते हैं।

परिणाम: टर्मिनल फ्लिप रेट ट्यूब लॉ ( $s(t)$ ) द्वारा अनुमानित एकल कर्व पर गिर जाता है।
एनिसोट्रॉपी (Anisotropy): स्ट्रक्चर्ड रेसिड्यूल आइसोट्रोपिक कंट्रोल की तुलना में 10–33 $\times$ अधिक टोकन को बदल देता है, जो पुष्टि करता है कि त्रुटि डिसीजन बाउंडरीज के साथ संरेखित है।
परिमाण: $K=4, 8, 16$ के लिए टर्मिनल फ्लिप रेट 12–41% तक पहुँच जाता है, जो $\approx 90\%$ संचयी त्रुटि (cumulative error) में बदल जाता है।

2. डिटरमिनिस्टिक ODE बनाम स्टोकेस्टिक SDE

ELF-B: उसी मॉडल पर, एक डिटरमिनिस्टिक ODE सैंपलर $K=4$ पर PPL = 294 देता है, जबकि एक स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) सैंपलर PPL = 50 देता है।
डिस्टिलेशन (Distillation): प्रोग्रेसिव डिस्टिलेशन के बावजूद, ODE-to-SDE गैप बना रहता है (ODE के लिए 15–38% उच्च PPL), जो दर्शाता है कि बाउंड से बचने के लिए स्टोकेस्टिक री-इंजेक्शन आवश्यक है।

3. कैटेगोरिकल कमिटमेंट एब्लेशन (Categorical Commitment Ablation)

लेखक AR और मास्कड डिफ्यूजन मॉडल्स (जैसे Llama-2, LLaDA, Dream) में "हार्ड कमिटमेंट" स्टेप को हटा देते हैं, जबकि रीडआउट को शार्प रखते हैं।

परिणाम: जनरेशन तुरंत ध्वस्त हो जाता है। विविधता गिर जाती है, और मॉडल दोहराव (repetition) की ओर गिर जाते हैं।
निष्कर्ष: कैटेगोरिकल कमिटमेंट ही वह क्रियात्मक तंत्र (operative mechanism) है जो मॉडल्स को सफल होने की अनुमति देता; यह रीडआउट की स्मूथनेस नहीं है।

4. डिकोडर इंटरवेंशन (Decoder Interventions)

पेपर यह परीक्षण करता है कि क्या डिकोडर (रीडआउट) को ठीक करने से समस्या हल हो सकती है:

लॉगिट स्मूथिंग / मैक्स-मार्जिन ट्रेनिंग: ये हस्तक्षेप फ्लिप हुए टोकन को वापस लाने में विफल रहते हैं। कुछ मामलों में, मार्जिन बढ़ाना (रीडआउट को "अधिक आत्मविश्वासी" बनाना) वास्तव में DABI और जनरेशन को खराब कर देता है क्योंकि डिसीजन क्लिफ (decision cliff) अधिक शार्प हो जाता है।
नॉनलीनर रीडआउट्स: 2-लेयर MLP के साथ रीडआउट को फिर से प्रशिक्षित करना भी फ्लिप हुए टोकन को वापस पाने में विफल रहता है, जो पुष्टि करता है कि एक बार जब पोस्टीरियर मीन कई शाखाओं के ऊपर औसत निकाल देता है, तो सही टोकन अब लेटेंट का फंक्शन नहीं रह जाता।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह निरंतर लेटेंट्स का उपयोग करके डिटरमिनिस्टिक फ्यू-स्टेप टेक्स्ट जनरेशन के लिए एक संरचनात्मक बाधा (structural barrier) की पहचान करता है।

ज्यामितीय कारण: विफलता प्रशिक्षण या स्केलिंग का मुद्दा नहीं है, बल्कि एक ज्यामितीय असंभवता है जहाँ स्मूथ मैप्स एक शार्प रीडआउट से पहले डिस्क्रीट चॉइस को हल नहीं कर सकते।
अपरिहार्य लागत (Irreducible Cost): डिटरमिनिस्टिक-कंटीन्यूअस जनरेटर्स के वर्ग के भीतर, लागत (स्टेप्स या स्टिफनेस के संदर्भ में) अपरिहार्य है।
दो मार्ग (Two Escapes): पेपर दो तंत्रों की पहचान करता है जो इस बाउंड से बचते हैं:
- कैटेगोरिकल कमिटमेंट: जनरेटर को डिस्कंटीन्यूअस बनाना (जैसा कि AR मॉडल्स में होता है)।
- स्टोकेस्टिक री-इंजेक्शन: प्रत्येक स्टेप में नया नॉइज़ इंजेक्ट करना (SDE), जो डिटरमिनिस्टिक क्लास को छोड़ देता है।
डायग्नोस्टिक उपयोगिता: DABI और CCI मीट्रिक्स एक ऐसी भविष्य कहने वाली टैक्सोनॉमी प्रदान करते हैं जो यह बताती है कि कौन से सिस्टम विफल होंगे और कौन से सफल होंगे, जिसे कई स्वतंत्र टेक्स्ट और इमेज कोडेक्स द्वारा सत्यापित किया गया है।

लेखक निष्कर्ष निकालते हैं कि कोई भी सिस्टम जो स्मूथ कंटीन्यूअस लेटेंट के साथ कुछ डिटरमिनिस्टिक स्टेप्स में सुसंगत ओपन-एंडेड टेक्स्ट उत्पन्न करता है, उसे प्राप्त किए गए निचली सीमाओं (अर्थात, वह स्टोकेस्टिक या कैटेगोरिकल होना चाहिए) का उल्लंघन करना ही होगा। यह पेपर वर्तमान प्रतिमान (paradigm) की सीमाओं को रेखांकित करता है, न कि डिटरमिनिस्टिक केस को "ठीक करने" के लिए कोई नया आर्किटेक्चर प्रस्तावित करता है।