🤖 AI

Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

यह शोध पत्र प्रदर्शित करता है कि डिफ्यूजन लैंग्वेज मॉडल्स (Diffusion Language Models), स्पष्ट टाइमस्टेप कंडीशनिंग के अभाव के बावजूद, अपने रेसिडुअल स्ट्रीम्स (residual streams) के भीतर डीनॉइजिंग प्रोग्रेस (denoising progress) का एक डिकोडेबल लेटेंट रिप्रेजेंटेशन (decodable latent representation) आंतरिक रूप से एनकोड करते हैं—विशेष रूप से एक्टिवेशन $h_{n,t}$ के भीतर, जहाँ $n$ लेयर इंडेक्स को और $t$ डीनॉइजिंग टाइमस्टेप को दर्शाता है—जिसे मॉडल कॉन्फिडेंस (confidence) और एंट्रॉपी (entropy) को व्यवस्थित रूप से नियंत्रित करने के लिए हेरफेर किया जा सकता है, जिसमें KL डाइवर्जेंस (KL divergence), अनुमानित और वास्तविक टाइमस्टेप्स के बीच की दूरी के साथ एक नॉन-लीनियर (non-linear) संबंध प्रदर्शित करता है।

मूल लेखक: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Str

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Strano (Sapienza University of Rome), Donato Crisostomi (Sapienza University of Rome), Giorgos Nikolaou (EPFL), Tommaso Mencattini (EPFL), Andrea Santilli (Independent researcher), Emanuele Rodolà (Sapienza University of Rome), Simone Scardapane (Sapienza University of Rome), Alessio Devoto (Independent researcher)

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक डिफ्यूजन लैंग्वेज मॉडल (DLM) की कल्पना एक अंधेरे कमरे में काम करने वाले एक मास्टर मूर्तिकार के रूप में करें। एक पारंपरिक लेखक के विपरीत जो बाएं से दाएं एक बार में एक शब्द बनाता है, यह मूर्तिकार मिट्टी से पूरी तरह ढके हुए पत्थर के एक ब्लॉक (जिसे [MASK] टोकन द्वारा दर्शाया गया है) से शुरुआत करता है। उनका काम उस मिट्टी को छीलकर हटाना है, जिससे छिपे हुए शब्दों को एक-एक परत करके प्रकट किया जा सके, जब तक कि अंतिम मूर्ति सामने न आ जाए।

बड़ा रहस्य जिसे यह शोध पत्र हल करता है वह यह है: क्या मूर्तिकार को पता है कि कितनी मिट्टी बची है?

पारंपरिक लेखन मॉडलों में, कंप्यूटर को ठीक-ठीक पता होता है कि उसने कितने शब्द लिखे हैं। लेकिन इन "मूर्तिकला" (sculpting) मॉडलों में, शोध पत्र पूछता है कि क्या मॉडल के पास एक आंतरिक "घड़ी" या प्रगति का बोध है, भले ही उसे स्पष्ट रूप से गिनती करना नहीं सिखाया गया हो।

यहाँ शोधकर्ताओं ने जो पाया है, उसे सरल भाषा में समझाया गया है:

1. "अवचेतन घड़ी" (The Subliminal Clock)

शोधकर्ताओं ने पाया कि भले ही मॉडल को यह नहीं बताया गया है कि "आप 50% पूरे हो चुके हैं," फिर भी वह गुप्त रूप से अपनी प्रगति का हिसाब रखता है। यह एक ऐसे मूर्तिकार की तरह है जिसके पास घड़ी तो नहीं है, लेकिन वह अपने हाथों में पत्थर का वजन महसूस कर सकता है और सहज रूप से जान सकता है कि, "मैं आधा रास्ता तय कर चुका हूँ।"

यह समझने के लिए कि यह कैसे काम करता है, हम मॉडल की आंतरिक सक्रिय अवस्था (internal activation state) को देखते हैं, जिसे $h$ द्वारा दर्शाया गया है। यह अवस्था दो प्रमुख सूचकांकों (indices) द्वारा परिभाषित है:

$n$ (स्थिति/Position): यह अनुक्रम (sequence) के भीतर एक टोकन के विशिष्ट स्थान को दर्शाता है (जैसे, वाक्य में 5वाँ शब्द)।
$t$ (समय चरण/Time Step): यह डिनोइजिंग (denoising) प्रक्रिया के वर्तमान चरण को दर्शाता है (जैसे, 100 चरणों में से चरण 20)।

शोधकर्ताओं ने पाया कि मॉडल के मस्तिष्क (विशेष रूप से इसके "रेसिड्यूअल स्ट्रीम्स" में, जो मॉडल के आंतरिक विचार पथों की तरह हैं) के भीतर एक छिपा हुआ संकेत है जो इन सक्रियताओं $h_{n,t}$ से जुड़ा है। यह संकेत एक लैटेंट क्लॉक (latent clock) के रूप में कार्य करता है। यह मॉडल को बताता है कि समय चरण $t$ पर कितना "मिट्टी" (मास्क्ड टोकन) हटाया जा चुका है और कितना बचा है, चाहे टोकन की स्थिति $n$ कुछ भी हो।

2. मन पढ़ना (Probing)

इस घड़ी के अस्तित्व को सिद्ध करने के लिए, शोधकर्ताओं ने एक सरल "डिकोडर" (प्रोब) बनाया। उन्होंने प्रक्रिया के विभिन्न चरणों में मॉडल के आंतरिक विचारों का अवलोकन किया।

परिणाम: डिकोडर मॉडल की आंतरिक घड़ी को सटीक रूप से पढ़ सका। वह मॉडल की सक्रियता को देखकर यह बता सका कि मॉडल बिल्कुल शुरुआत में था (बहुत सारी मिट्टी), बीच में था, या बिल्कुल अंत में था (लगभग कोई मिट्टी नहीं बची थी)।
उपमा: यह एक व्यक्ति की शारीरिक मुद्रा (posture) को देखकर तुरंत यह जानने जैसा है कि वह मैराथन की शुरुआत कर रहा है या फिनिश लाइन के करीब है, भले ही उसने एक शब्द भी न कहा हो।

3. घड़ी को नियंत्रित करना (Steering)

सबसे रोमांचक हिस्सा यह है कि शोधकर्ताओं ने केवल घड़ी को पढ़ा ही नहीं; उन्होंने इसे पुनर्गठित (rewired) भी किया। उन्होंने मॉडल के मस्तिष्क में एक विशिष्ट दिशा खोजी जो "समय" या "प्रगति" के अनुरूप है।

प्रयोग: उन्होंने कृत्रिम रूप से मॉडल की आंतरिक घड़ी को आगे या पीछे धकेला।
- आगे धकेलना: उन्होंने मॉडल को बताया, "आप लगभग समाप्त होने वाले हैं!" (भले ही वह नहीं था)। मॉडल तुरंत अधिक आत्मविश्वासी हो गया, उसकी हिचकिचाहट कम हो गई (लो एंट्रॉपी), और वह ऐसे व्यवहार करने लगा जैसे वह समाप्त करने के लिए तैयार हो।
- पीछे धकेलना: उन्होंने मॉडल को बताया, "आप अभी शुरुआत ही कर रहे हैं!" (भले ही वह अंत के करीब था)। मॉडल भ्रमित हो गया, कम आत्मविश्वासी हो गया, और अपने विकल्पों पर संदेह करने लगा।
निष्कर्ष: यह साबित करता है कि घड़ी केवल एक निष्क्रिय अवलोकन नहीं है; यह एक नियंत्रण तंत्र (control mechanism) है। यदि आप मॉडल के समय के बोध को बदलते हैं, तो आप उसके व्यवहार को बदल देते हैं। उल्लेखनीय रूप से, इस हेरफेर का प्रभाव एक साधारण, सीधी रेखा में होने वाली त्रुटि में वृद्धि नहीं है; मॉडल की वास्तविक अवस्था और उसकी हेरफेर की गई अवस्था के बीच का विचलन ( $\hat{t}-t$ ) के अंतर के साथ रैखिक (linear) रूप से स्केल नहीं होता है, जो यह सुझाव देता है कि मॉडल अस्थायी जानकारी को कैसे संसाधित करता है इसमें एक अधिक जटिल, गैर-रैखिक संबंध है।

4. समय का आकार (The Shape of Time)

शोधकर्ताओं ने इस "घड़ी" की ज्यामिति (geometry) को भी देखा। उन्होंने पाया कि मॉडल समय को एक अस्त-व्यस्त, अराजक बादल के रूप में नहीं दर्शाता है। इसके बजाय, वह समय को एक बहुत ही व्यवस्थित, चिकनी वक्र (जैसे परवलय/parabola) में व्यवस्थित करता है।

उपमा: कल्पना कीजिए कि मॉडल की समय की समझ एक रोलरकोस्टर ट्रैक की तरह है। जैसे-जैसे डिनोइजिंग प्रक्रिया आगे बढ़ती है, मॉडल की आंतरिक अवस्था इस एकल, निम्न-आयामी ट्रैक पर सुचारू रूप से चलती है। शोधकर्ताओं ने पाया कि "हम कितने आगे हैं" के बारे में लगभग सारी जानकारी इसी एक ट्रैक पर फिट बैठती है।

5. स्व-सुधार तंत्र (The Self-Correcting Mechanism)

एक सबसे दिलचस्प खोज यह है कि मॉडल गलतियों को सुधारने में सक्षम है।

यदि शोधकर्ताओं ने मॉडल के शुरुआती परतों (विचार प्रक्रिया की "शुरुआत") में घड़ी के साथ छेड़छाड़ की, तो मॉडल अक्सर गहरी परतों में जाने के बाद खुद को "सुधार" लेता था। वह समझ जाता था, "रुको, मुझे बताया गया है कि मैं फिनिश लाइन पर हूँ, लेकिन वास्तव में मैं अभी बीच में हूँ," और वह अपनी आंतरिक अवस्था को वापस सत्य की ओर समायोजित कर देता था।
हालाँकि, यदि उन्होंने अंतिम परतों में घड़ी के साथ छेड़छाड़ की, तो मॉडल उसे ठीक नहीं कर सका, और व्यवहार स्थायी रूप से बदल गया।

सारांश

यह शोध पत्र प्रकट करता है कि डिफ्यूजन लैंग्वेज मॉडल के पास एक छिपा हुआ, आंतरिक बोध होता है कि "कितना काम बाकी है।"

उनके पास एक घड़ी है: वे अपनी प्रगति को अपनी आंतरिक मस्तिष्क अवस्थाओं ( $h_{n,t}$ ) में संचित करते हैं, जो स्थिति ( $n$ ) और डिनोइजिंग चरण ( $t$ ) दोनों को ट्रैक करती है।
हम इसे पढ़ सकते हैं: हम इस प्रगति को सटीक रूप से माप सकते हैं।
हम इसे नियंत्रित कर सकते हैं: अपनी आंतरिक घड़ी में बदलाव करके, हम मॉडल को अधिक या कम आत्मविश्वासी बना सकते हैं।
यह संरचित है: यह "समय" मॉडल के मस्तिष्क के भीतर एक व्यवस्थित, अनुमानित ज्यामितीय आकार में व्यवस्थित है।

अनिवार्य रूप से, मॉडल एक सुरंग से गुजरने वाले व्यक्ति की तरह है जो जानता है कि वह रोशनी से कितनी दूर है, भले ही उसे दूरी के बारे में बताया न गया हो। शोधकर्ताओं ने उस हिस्से को खोज निकाला जहाँ वह ज्ञान मौजूद है और दिखाया कि वे उस व्यक्ति की भावना को बदलने के लिए डायल को घुमा सकते हैं।

तकनीकी सारांश: सब्लिमिनल क्लॉक्स: डिफ्यूजन लैंग्वेज मॉडल्स में लेटेंट टाइम मॉडलिंग

समस्या विवरण (Problem Statement)

डिफ्यूजन लैंग्वेज मॉडल्स (DLMs) ऑटोरेग्रेसिव मॉडल्स के एक आशाजनक विकल्प के रूप में उभरे हैं, जो टोकन को क्रमिक रूप से अनुमानित करने के बजाय मास्क किए गए टोकन को धीरे-धीरे डी-नॉइज़ (denoising) करके टेक्स्ट जनरेट करते हैं। स्पष्ट रूप से टाइमस्टेप वेरिएबल $t$ पर कंडिशन किए गए मानक डिफ्यूजन मॉडल्स के विपरीत, DLMs आमतौर पर इन्फरेंस के दौरान कोई स्पष्ट टाइमस्टेप इनपुट प्राप्त नहीं करते हैं। यह उनके आंतरिक तंत्र के संबंध में एक मौलिक प्रश्न खड़ा करता है: क्या DLMs आंतरिक रूप से डी-नॉइज़िंग प्रक्रिया की प्रगति का प्रतिनिधित्व करते हैं, और यदि हाँ, तो यह जानकारी कैसे एनकोड और उपयोग की जाती है?

जबकि अनमास्क्ड टोकन का अंश ( $\tau_t$ ) डी-नॉइज़िंग प्रगति के एक अवलोकन योग्य प्रॉक्सी के रूप में कार्य करता है, यह स्पष्ट नहीं है कि क्या मॉडल के आंतरिक प्रतिनिधित्व (रेसिड्यूअल स्ट्रीम्स) प्रगति के अनुरूप एक लेटेंट सिग्नल को एनकोड करते हैं, और क्या इस सिग्नल में हेरफेर करना पीढ़ी (generation) को कारणवश (causally) प्रभावित करता है।

कार्यप्रणाली (Methodology)

लेखक इस घटना की जांच करने के लिए दो बड़े पैमाने के मास्क किए गए डिफ्यूजन मॉडल्स: LLaDA-1.5 और Dream का उपयोग करते हैं। उनका दृष्टिकोण प्रोबिंग, कॉज़ल स्टीयरिंग और ज्यामितीय विश्लेषण के माध्यम से संबोधित तीन शोध प्रश्नों (RQs) के इर्द-गिर्द संरचित है।

1. लेटेंट टाइम के लिए प्रोबिंग (RQ1)

यह निर्धारित करने के लिए कि क्या डी-नॉइज़िंग प्रगति एनकोड की गई है, लेखक मॉडल के रेसिड्यूअल स्ट्रीम हिडन स्टेट्स पर MLP प्रोब्स को प्रशिक्षित करते हैं।

इनपुट: विशिष्ट लेयर्स $l$ और टोकन पोजीशन $j$ से हिडन स्टेट्स $h_{t,l,n}^j$ । यहाँ, $t$ जनरेशन प्रक्रिया में वर्तमान डी-नॉइज़िंग स्टेप को दर्शाता है, और $n$ प्रोब के प्रशिक्षण के लिए उपयोग किए गए बैच या डेटासेट के भीतर विशिष्ट सैंपल इंडेक्स को दर्शाता है।
लक्ष्य: एम्पिरिकल डी-नॉइज़िंग प्रोग्रेस $\tau_t$ , जिसे स्टेप $t$ पर अनमास्क्ड टोकन के अंश के रूप में परिभाषित किया गया है।
सेटअप: प्रोब्स को प्रत्येक लेयर के लिए और अलग-अलग टोकन सबसेट्स ([MASK], non-[MASK], और सभी टोकन) के लिए अलग से प्रशिक्षित किया जाता है ताकि सिग्नल के लोकलाइजेशन का परीक्षण किया जा सके।

2. कॉज़ल स्टीयरिंग (RQ2)

पहचाने गए सिग्नल की कॉज़ल महत्ता का परीक्षण करने के लिए, लेखक मीन एक्टिवेशन वेक्टर स्टीयरिंग का उपयोग करते हैं।

सिग्नल एक्सट्रैक्शन: वे प्रत्येक डी-नॉइज़िंग स्टेप $t$ और लेयर $l$ के लिए उदाहरणों में हिडन स्टेट्स को औसत करके मीन एक्टिवेशन वेक्टर्स $\mu_{t,l}$ की गणना करते हैं।
हस्तक्षेप (Intervention): इन्फरेंस के दौरान, वे वर्तमान लेयर के एक्टिवेशन को एक विचलित (perturbed) संस्करण से बदल देते हैं: $\tilde{h}_{t,l}^j = h_{t,l}^j - \mu_{t,l} + \mu_{\hat{t},l}$ , जहाँ $\hat{t}$ एक लक्षित डी-नॉइज़िंग स्टेप है। यह मॉडल के आंतरिक अवस्था को एक अलग प्रगति स्तर के प्रतिनिधित्व की ओर स्थानांतरित कर देता है।
नियंत्रण (Control): वे इन लक्षित विचलनों की तुलना समान नॉर्म्स के साथ एम्पिरिकल कोवेरिएंस मैट्रिक्स से लिए गए रैंडम परटर्बेशन्स से करते हैं।
मेट्रिक्स: वे एन्ट्रॉपी (entropy), कॉन्फिडेंस (मैक्स प्रोबेबिलिटी), और मूल एवं स्टीयर्ड टोकन डिस्ट्रीब्यूशन के बीच KL-डाइवर्जेंस पर डाउनस्ट्रीम प्रभावों को मापते हैं।

3. ज्यामितीय लक्षण वर्णन (RQ3)

लेखक रिकवर्ड सिग्नल की संरचना का विश्लेषण करते हैं:

आयामीता (Dimensionality): वे मीन वेक्टर्स पर प्रिंसिपल कंपोनेंट एनालिसिस (PCA) करते हैं ताकि $\tau$ प्रतिनिधित्व की प्रभावी आयामीता निर्धारित की जा सके।
क्रॉस-लेयर अलाइनमेंट: वे विभिन्न लेयर्स में एक ही डी-नॉइज़िंग स्टेप के मीन वेक्टर्स के बीच कोसाइन सिमिलैरिटी की गणना करते हैं ताकि यह आकलन किया जा सके कि क्या एक एकीकृत, मॉडल-स्तरीय प्रतिनिधित्व मौजूद है।
इंट्रा-लेयर कंपोनेंट्स: वे देखते हैं कि सिग्नल विशिष्ट लेयर कंपोनेंट्स (सेल्फ-अटेंशन, MLP गेट, MLP अप-प्रोजेक्शन, आदि) के भीतर कैसे प्रदर्शित होता है।

मुख्य परिणाम (Key Results)

1. लेटेंट डी-नॉइज़िंग सिग्नल का अस्तित्व

प्रोब सटीकता: MLP प्रोब्स अधिकांश लेयर्स में $R^2 > 0.5$ प्राप्त करते हुए, रेसिड्यूअल स्ट्रीम एक्टिवेशंस से $\tau_t$ की विश्वसनीय भविष्यवाणी कर सकते हैं। सिग्नल [MASK] और non-[MASK] दोनों टोकन में मौजूद है, हालांकि [MASK] टोकन में यह थोड़ा अधिक मजबूत है।
निष्कर्ष: DLMs बिना किसी स्पष्ट टाइमस्टेप कंडीशनिंग के भी, आंतरिक रूप से वर्तमान डी-नॉइज़िंग स्टेप से संबंधित एक सिग्नल को एनकोड करते हैं।

2. जनरेशन पर कॉज़ल प्रभाव

अनुमानित मॉड्यूलेशन: मॉडल को उच्च $\hat{t}$ (अधिक प्रगति) की ओर स्टीयर करने से मॉडल का कॉन्फिडेंस बढ़ता है और एन्ट्रॉपी कम होती है। इसके विपरीत, निम्न $\hat{t}$ की ओर स्टीयर करने से कॉन्फिडेंस कम होता है और एन्ट्रॉपी बढ़ती है।
KL-डाइवर्जेंस: क्लीन और स्टीयर्ड डिस्ट्रीब्यूशन के बीच का डाइवर्जेंस $|\hat{t} - t|$ की दूरी के साथ रैखिक रूप से स्केल नहीं करता है। इसके बजाय, संबंध गैर-रैखिक है, जो लेटेंट टाइम सिग्नल और टोकन डिस्ट्रीब्यूशन के बीच जटिल अंतःक्रिया को दर्शाता है।
विशिष्टता (Specificity): ये प्रभाव $\tau$ दिशा के लिए विशिष्ट हैं; समान परिमाण के रैंडम परटर्बेशन्स एन्ट्रॉपी या कॉन्फिडेंस में सुसंगत रुझान उत्पन्न नहीं करते हैं।
डेप्थ करेक्शन: जब शुरुआती लेयर्स में परटर्बेशन्स इंजेक्ट किए जाते हैं, तो मॉडल गहरी लेयर्स के माध्यम से गणना आगे बढ़ने के साथ उनके लिए मुआवजा (compensate) करता है, जिससे सिग्नल उसके क्लीन वैल्यू में वापस आ जाता है। हालांकि, अत्यधिक स्टीयरिंग (जैसे, $\hat{t}=100$ ) को ठीक करना कठिन होता है और इससे जनरेशन कोलैप्स (समयपूर्व EOS टोकन) हो सकता है।

3. संरचित लो-डायमेंशनल ज्योमेट्री

लो-डायमेंशनलिटी: मीन वेक्टर्स की वेरिएंस को बहुत कम संख्या में प्रिंसिपल कंपोनेंट्स द्वारा कैप्चर किया जाता है (अक्सर $<3$ ), जिसमें पहला कंपोनेंट 90% से अधिक वेरिएंस की व्याख्या करता है।
मैनिफोल्ड स्ट्रक्चर: डी-नॉइज़िंग स्टेप्स के माध्यम से मीन वेक्टर्स का प्रक्षेपवक्र (trajectory) एक पैराबोला के समान एक संरचित, लो-डायमेंशनल मैनिफोल्ड बनाता है। यह ज्योमेट्री LLaDA में विभिन्न लेयर्स में सुसंगत है और Dream में विशिष्ट ब्लॉक्स में व्यवस्थित है।
क्रॉस-लेयर कंसिस्टेंसी: LLaDA में, अधिकांश लेयर्स एक ही $\tau$ स्टेप के अत्यधिक सह-संबंधित (correlated) प्रतिनिधित्व को बनाए रखती हैं, जो एक साझा मॉडल-स्तरीय बेसिस का सुझाव देती है। Dream में, प्रतिनिधित्व अलग-अलग कम्प्यूटेशनल ब्लॉक्स में व्यवस्थित है।
कंपोनेंट एंटीकोरिलेशन: एक लेयर के भीतर, सेल्फ-अटेंशन आउटपुट और MLP आउटपुट (विशेष रूप से पोस्ट-MLP और पोस्ट-अटेंशन वेक्टर्स) मजबूत एंटीकोरिलेशन प्रदर्शित करते हैं। वे एक सामान्य दिशा साझा करते हैं लेकिन विपरीत दिशाओं में संकेत करते हैं, जो एक ऐसे तंत्र का सुझाव देता है जहाँ मॉडल प्रोसेसिंग के दौरान सिग्नल को "कैंसिल आउट" या रिफाइन कर सकता है।

महत्व और दावे (Significance and Claims)

यह पेपर यह दावा करने वाला पहला व्यवस्थित प्रमाण प्रदान करता है कि डिफ्यूजन लैंग्वेज मॉडल्स आंतरिक रूप से एक लेटेंट "क्लॉक" को मॉडल करते हैं जो डी-नॉइज़िंग प्रगति का प्रतिनिधित्व करती है, भले ही उनमें स्पष्ट टाइमस्टेप इनपुट की कमी हो।

मैकेनिस्टिक इनसाइट: यह कार्य प्रकट करता है कि अनमास्क्ड टोकन का अंश केवल एक बाहरी मीट्रिक नहीं है बल्कि इसे सक्रिय रूप से ट्रैक और रिप्रेजेंट किया जाता है।
कंट्रोलेबिलिटी: पहचाना गया सिग्नल कॉज़ली प्रासंगिक है; इसे स्टीयर करने से मॉडल कॉन्फिडेंस और एन्ट्रॉपी का अनुमानित मॉड्यूलेशन संभव होता है, जो यह दर्शाता है कि मॉडल की प्रगति की "समझ" एक मैनिपुलेबल सबस्पेस है।
स्ट्रक्चरल रेगुलैरिटी: एक लो-डायमेंशनल, पैराबोलिक मैनिफोल्ड की खोज जो विभिन्न लेयर्स में साझा है, यह बताती है कि DLMs डी-नॉइज़िंग टाइम को अत्यधिक संरचित, ज्यामितीय तरीके से प्रोसेस करते हैं, जो अन्य अवधारणाओं के लिए ऑटोरेग्रेसिव मॉडल्स में पाए जाने वाले लीनियर प्रतिनिधित्व से भिन्न है।
करेक्शन मैकेनिज्म: यह अवलोकन कि शुरुआती परटर्बेशन्स को गहरी लेयर्स द्वारा ठीक किया जाता है, डी-नॉइज़िंग प्रक्षेपवक्र की अखंडता को बनाए रखने के लिए एक मजबूत आंतरिक तंत्र का संकेत देता है।

लेखक निष्कर्ष निकालते हैं कि जबकि सिग्नल कार्यात्मक रूप से प्रासंगिक और संरचनात्मक रूप से व्यवस्थित है, वह विशिष्ट सर्किट्री जो इस प्रतिनिधित्व को कंप्यूट या अपडेट करती है, भविष्य के कार्य के लिए एक खुला प्रश्न बना हुआ है। वे चेतावनी देते हैं कि सिग्नल टोकन डिस्ट्रीब्यूशन (जैसे, EOS प्रोबेबिलिटी को प्रभावित करना) के साथ उलझा हुआ है, न कि एक शुद्ध कंटेंट-अग्नोस्टिक काउंटर है।