🔬 condensed matter

Stochastic Thermodynamics for Autoregressive Generative Models: A Non-Markovian Perspective

यह शोध पत्र ऑटोरेग्रेसिव जनरेटिव मॉडल्स के लिए एक सामान्य स्टोकेस्टिक थर्मोडायनामिक्स फ्रेमवर्क स्थापित करता है जो नॉन-मार्कोवियन प्रक्रियाओं में एंट्रॉपी प्रोडक्शन के कुशल अनुमान को सक्षम बनाता है, इसे कंप्रेशन लॉस और मॉडल मिसमैच जैसे व्याख्या योग्य सूचना-सैद्धांतिक घटकों में विभाजित करता है, और रैखिक गॉसियन सिस्टम तथा GPT-2 लैंग्वेज मॉडल दोनों पर इस दृष्टिकोण को मान्य करता है।

मूल लेखक: Takahiro Sagawa

प्रकाशित 2026-04-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Takahiro Sagawa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फिल्म देख रहे हैं। यदि आप इसे आगे की ओर चलाते हैं, तो कहानी समझ में आती है: एक नायक जागता है, काम पर जाता है, दिन को सफल बनाता है, और घर चला जाता है। यदि आप फिल्म को पीछे की ओर चलाते हैं, तो यह अजीब लगेगा: नायक सफलता को 'अन-सेव' करता है, पीछे की ओर चलते हुए ऑफिस में जाता है, और बिस्तर से बाहर गिर जाता है।

भौतिक विज्ञान (Physics) की दुनिया में, इस "अजीबोगरीब व्यवहार" को इरिवर्सिबिलिटी (Irreversibility - अपरिवर्तनीयता) कहा जाता है। यही वह कारण है जिससे आप अंडे को दोबारा न तोड़ सकते हैं या कॉफी में दूध को वापस अलग नहीं कर सकते। वैज्ञानिक इस "अजीबोगरीब व्यवहार" को मापने के लिए एक संख्या का उपयोग करते हैं जिसे एंट्रॉपी प्रोडक्शन (Entropy Production) कहा जाता है। यह संख्या जितनी अधिक होगी, प्रक्रिया समय के नियमों को उतनी ही अधिक चुनौती देगी।

लंबे समय तक, सरल और अनुमानित प्रणालियों (जैसे उछलती हुई गेंद) के लिए इस संख्या की गणना करना आसान था। लेकिन आधुनिक AI, जैसे कि विशाल लैंग्वेज मॉडल्स जो कविताएं और कोड लिखते हैं (ट्रांसफॉर्मर्स, GPT-2, आदि), अविश्वसनीय रूप से जटिल हैं। वे केवल पिछले शब्द को नहीं देखते; वे अगले शब्द का निर्णय लेने के लिए पूरे बातचीत के इतिहास को याद रखते हैं। यह उन्हें "नॉन-मार्कोवियन" (non-Markovian) बनाता है—एक फैंसी तरीका यह कहने का कि उनके पास एक गहरा, जटिल मेमोरी सिस्टम है जिसे पुराने भौतिकी के उपकरणों से विश्लेषण करना कठिन है।

यह शोध पत्र, "स्टोकेस्टिक थर्मोडायनामिक्स फॉर ऑटोरेग्रेसिव जेनेरेटिव मॉडल्स" (Stochastic Thermodynamics for Autoregressive Generative Models), टकाहीरो सागावा द्वारा लिखा गया है, भौतिकी और AI के बीच एक नया सेतु बनाता है। यहाँ इसका सरल विवरण दिया गया है:

1. समस्या: AI का "ब्लैक बॉक्स" मेमोरी

AI मॉडल को एक ऐसे शेफ की तरह समझें जो चरण-दर-चरण रेसिपी लिख रहा है।

आगे की ओर (Forward): शेफ सामग्रियों (पिछले शब्द) को पढ़ता है, अपनी मानसिक स्थिति (लेटेंट मेमोरी) को अपडेट करता है, और अगला कदम लिखता है (अगला शब्द)।
समस्या: यदि आप इस रेसिपी को उल्टा चलाने की कोशिश करते हैं, तो शेफ केवल शब्द को "अन-राइट" नहीं करता है। शेफ की मानसिक स्थिति पूरे इतिहास पर आधारित थी। यदि आप केवल शब्दों को उल्टा करते हैं, तो शेफ की मानसिक स्थिति उलटे शब्दों से मेल नहीं खाती। यह एक केक को वापस बनाने की कोशिश करने जैसा है जैसे ब्रेड के टुकड़ों को वापस कटोरे में डालना; कटोरे की "मानसिक स्थिति" गलत है।

इस कारण से, वैज्ञानिक आसानी से यह गणना नहीं कर पा रहे थे कि ये AI मॉडल कितने "इरिवर्सिबल" हैं। इसकी गणितीय गणना करने के लिए हर संभव इतिहास की जांच करनी पड़ती, जिसमें ब्रह्मांड की आयु से भी अधिक समय लग जाता।

2. समाधान: "टाइम-ट्रैवलिंग शेफ"

सागावा ने एक चतुर तरकीब विकसित की। AI की जटिल मेमोरी को उलटने के बजाय, उन्होंने एक "बैकवर्ड शेफ" (Backward Chef) बनाया जो 'फॉरवर्ड शेफ' के समान ही टूल्स का उपयोग करता है, लेकिन उल्टे क्रम में।

फॉरवर्ड शेफ: शब्दों 1 से 100 तक पढ़ता है।
बैकवर्ड शेफ: शब्दों 100 से 1 तक को पढ़ता है, और भविष्य की भविष्यवाणी करने के लिए उसी दिमाग (उसी न्यूरल नेटवर्क वेट्स) का उपयोग करता है जो अतीत की भविष्यवाणी करता है।

शोध पत्र एंट्रॉपी प्रोडक्शन को इस रूप में परिभाषित करता है कि फॉरवर्ड शेफ भविष्य की कितनी अच्छी तरह भविष्यवाणी करता है और बैकवर्ड शेफ अतीत की कितनी अच्छी तरह भविष्यवाणी करता है, उनके बीच का अंतर क्या है।

यदि बैकवर्ड शेफ अतीत का अनुमान लगाने में बहुत बुरा है (क्योंकि कहानी पीछे की ओर कोई अर्थ नहीं रखती), तो "एंट्रॉपी प्रोडक्शन" अधिक है।
यदि बैकवर्ड शेफ अच्छा है (कहानी प्रतिवर्ती/reversible है), तो एंट्रॉपी कम है।

जादू: क्योंकि AI की मेमोरी नियत (deterministic) है (यह नियमों का एक निश्चित सेट है, रैंडम अनुमान नहीं), हम हर संभव ब्रह्मांड की जांच किए बिना कुशलतापूर्वक इस अंतर की गणना कर सकते हैं। हम बस मॉडल को आगे चलाते हैं, फिर उसे पीछे चलाते हैं, और स्कोर की तुलना करते हैं।

3. प्रयोग: GPT-2 और "सेंटेंस शफल"

लेखक ने इसका परीक्षण GPT-2 पर किया, जो एक प्रसिद्ध लैंग्वेज मॉडल है।

टोकन-लेवल टेस्ट (शब्दों का हेरफेर):
उन्होंने "The cat sat on the mat" जैसा वाक्य लिया और शब्दों को उलट दिया: "mat the on sat cat The"।
परिणाम: एंट्रॉपी बहुत अधिक थी। मॉडल स्तब्ध रह गया। यह फिल्म को फ्रेम-दर-फ्रेम पीछे चलाने जैसा है; यह बकवास जैसा दिखता है। यह उच्च संख्या मुख्य रूप से यह दर्शाती है कि अंग्रेजी व्याकरण एकतरफा है।
ब्लॉक-लेवल टेस्ट (एपिसोड का हेरफेर):
उन्हें एहसास हुआ कि व्यक्तिगत शब्दों को उलटना बहुत स्पष्ट है। इसलिए, उन्होंने पूरे वाक्यों (ब्लॉक्स) को बदलने की कोशिश की।
आगे की ओर: "The glass slipped. It fell. It broke. She swept it up." (कारण $\to$ प्रभाव)।
पीछे की ओर: "She swept it up. It broke. It fell. The glass slipped." (प्रभाव $\to$ कारण)।
परिणाम: एंट्रॉपी शब्द हेरफेर की तुलना में कम थी, लेकिन फिर भी महत्वपूर्ण थी। मॉडल वाक्यों के भीतर शब्दों को संभाल सकता था, लेकिन वह जानता था कि "कहानी" गलत है।

बड़ी खोज:
जब उन्होंने कॉज़ल टेक्स्ट्स (Causal Texts) (ऐसी कहानियाँ जहाँ घटनाएँ तर्कसंगत कारण-और-प्रभाव के क्रम में होती हैं) बनाम नॉन-कॉज़ल टेक्स्ट्स (तथ्यों की सूचियाँ जैसे "A violin is played with a bow") का परीक्षण किया, तो उन्हें कुछ दिलचस्प मिला:

"बैकवर्ड शेफ" को कॉज़ल टेक्स्ट्स के साथ बहुत अधिक संघर्ष करना पड़ा।
एंट्रॉपी प्रोडक्शन उन कहानियों के लिए अधिक था जहाँ समय का महत्व होता है।
इससे पता चलता है कि एंट्रॉपी प्रोडक्शन वास्तव में यह माप सकता है कि कोई कहानी कितनी "समय-निर्भर" (time-dependent) है। यह मापने का एक तरीका है कि एक टेक्स्ट 'समय के तीर' (arrow of time) पर कितना निर्भर करता है।

4. गहरा विश्लेषण: कंप्रेशन और मिसमैच

शोध पत्र यह भी बताता है कि एंट्रॉपी अधिक क्यों है। यह "अजीबोगरीब व्यवहार" को दो भागों में विभाजित करता है:

कंप्रेशन लॉस (Compression Loss): AI की मेमोरी एक सारांश है। जब आप पीछे जाते हैं, तो सारांश भविष्य के बारे में जानकारी खो देता है। यह फिल्म के बीच की एक धुंधली फोटो के आधार पर उसके अंत का अनुमान लगाने जैसा है।
मॉडल मिसमैच (Model Mismatch): AI को भविष्य की भविष्यवाणी करने के लिए प्रशिक्षित किया गया था, अतीत की नहीं। अतीत का अनुमान लगाने के लिए "फ्यूचर-प्रिडिक्टर" का उपयोग करना एक खराब फिट है, जैसे बल्ब को कसने के लिए हथौड़े का उपयोग करना।

यह क्यों महत्वपूर्ण है?

यह दो अलग-अलग दुनियाओं के लिए एक "रोसेटा स्टोन" (Rosata Stone) है:

भौतिक वैज्ञानिकों के लिए: यह उन्हें AI जैसे जटिल, गैर-भौतिक सिस्टम में समय-प्रतिवर्तीता (time-reversibility) को मापने का एक तरीका देता है।
AI शोधकर्ताओं के लिए: यह उन्हें यह मापने के लिए एक नया उपकरण देता है कि उनके द्वारा बनाई गई कहानी कितनी "वास्तविक" या "तार्किक" है। यदि कोई AI कम एंट्रॉपी प्रोडक्शन वाला कंटेंट बनाता है (जिसे आसानी से उलटा जा सकता है), तो यह रैंडम तथ्यों की सूची हो सकती है। यदि इसमें उच्च एंट्रॉपी है (इसे उलटना कठिन है), तो यह एक वास्तविक, समय-बद्ध कथा (narrative) हो सकती है।

संक्षेप में:
यह शोध पत्र हमें कंप्यूटर के भीतर "समय के तीर" को मापने के तरीके सिखाता है। यह दिखाता है कि जब एक AI कहानी लिखता है, तो वह समय के माध्यम से एक ऐसा पथ बना रहा होता है जिस पर पीछे की ओर चलना बहुत कठिन होता है। पीछे की ओर चलने में कितनी कठिनाई होती है, इसे मापकर, हम AI के विचारों की संरचना, तर्क और "कारणता" (causality) को समझ सकते हैं।

यहाँ ताकाहिर सागावा के शोध पत्र "Stochastic Thermodynamics for Autoregressive Generative Models: A Non-Markovian Perspective" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ऑटोरेग्रेसिव जनरेटिव मॉडल (जिसमें ट्रांसफॉर्मर, RNN, कलमन फिल्टर, SSM और Mamba शामिल हैं) ऐसे अनुक्रम (sequences) उत्पन्न करते हैं जहाँ प्रत्येक आउटपुट पूरे पिछले इतिहास के एक निश्चित सारांश (deterministic summary) के आधार पर एक कंडीशनल डिस्ट्रीब्यूशन से सैंपल किया जाता है।

चुनौती: ये प्रक्रियाएं देखे गए चरों (टोकन/मापन) के संबंध में वास्तविक रूप से नॉन-मार्कोवियन (non-Markovian) हैं। लेटेंट स्टेट (latent state) पूरे इतिहास से सूचना संचित करता है और सामान्यतः इसे एक निश्चित-क्रम वाले रिकर्सिव अपडेट (जैसे RNN के विशिष्ट मामलों को छोड़कर) में संक्षिप्त नहीं किया जा सकता है।
अंतराल (Gap): मानक स्टोकेस्टिक थर्मोडायनामिक्स, जो एंट्रॉपी प्रोडक्शन के माध्यम से अपरिवर्तनीयता (irreversibility) को मापता है, मार्कोवियन प्रक्रियाओं के लिए अच्छी तरह से विकसित है। इन नॉन-मार्कोवियन प्रक्रियाओं तक विस्तार करने के लिए या तो पाथ प्रोबेबिलिटी (path probabilities) का अनुमान लगाने हेतु घातांकीय सैंपलिंग लागत की आवश्यकता होती है या यह माना जाता है कि वहां छिपे हुए भौतिक रिज़र्वोयर्स मौजूद हैं।
लक्ष्य: इस व्यापक श्रेणी के ऑटोरेग्रेसिव मॉडलों के लिए एंट्रॉपी प्रोडक्शन (अपरिवर्तनीयता का एक माप) को परिभाषित करने और कुशलतापूर्वक गणना करने के लिए एक एकीकृत सैद्धांतिक ढांचा विकसित करना, बिना किसी घातांकीय कम्प्यूटेशनल ओवरहेड के।

2. कार्यप्रणाली (Methodology)

A. एकीकृत ढांचा (Unified Framework)

लेखक ऑटोरेग्रेसिव मॉडलों के लिए एक सामान्य आर्किटेक्चर को परिभाषित करते हैं जिसमें निश्चित लेटेंट मेमोरी (deterministic latent memory) होती है:

लेटेंट स्टेट ( $h_t$ ): पूरे पिछले अवलोकन इतिहास ( $y_{1:t}$ ) का एक निश्चित फलन (deterministic function) $\Phi_t$ ।
एमिशन कर्नेल ( $p_t$ ): एक स्टोकेस्टिक डिस्ट्रीब्यूशन $p_t(y_{t+1} | h_t)$ जिससे अगला अवलोकन लिया जाता है।
फॉरवर्ड प्रोसेस: अपडेट-एमिशन नियम को दोहराकर $y_{1:T}$ उत्पन्न करता है।

B. बैकवर्ड प्रोसेस का निर्माण (Backward Process Construction)

अपरिवर्तनीयता को परिभाषित करने के लिए, उन्हीं आर्किटेक्चरल घटकों ( $\Phi_t$ और $p_t$ ) का पुन: उपयोग करते हुए एक बैकवर्ड प्रोसेस बनाया गया है, लेकिन विपरीत टेम्पोरल ऑर्डर में:

बैकवर्ड प्रोसेस एक अनुक्रम $\tilde{y}_{1:T}$ (जिसे $y_{T}, y_{T-1}, \dots, y_1$ के रूप में पहचाना जाता है) उत्पन्न करता है, जो मॉडल को "पीछे की ओर" चलाकर बनता है।
महत्वपूर्ण रूप से, बैकवर्ड लेटेंट स्टेट $\tilde{h}_s$ को रिवर्स इतिहास पर लागू किए गए समान निश्चित मानचित्रों (deterministic maps) का उपयोग करके कंप्यूट किया जाता है।
मुख्य अंतर्दृष्टि: क्योंकि लेटेंट स्टेट निश्चित है और एमिशन कर्नेल स्पष्ट हैं, इसलिए बैकवर्ड प्रोसेस की पाथ प्रोबेबिलिटी को बिना बैकवर्ड डिस्ट्रीब्यूशन से सैंपलिंग किए, सीधे एक सिंगल फॉरवर्ड ट्राजेक्टरी से आकलित किया जा सकता है।

C. एंट्रॉपी प्रोडक्शन की परिभाषा (Definition of Entropy Production)

एंट्रॉपी प्रोडक्शन ( $S_y$ ) को फॉरवर्ड पाथ मेजर $P_\rightarrow$ और बैकवर्ड पाथ मेजर $P_\leftarrow$ के बीच कुल्बैक-लीब्लर (KL) डाइवर्जेंस के रूप में परिभाषित किया गया है:
$S_y = D_{KL}(P_\rightarrow(y_{1:T}) \parallel P_\leftarrow(y_{T:1}))$
यह मात्रा गैर-ऋणात्मक है और इंटीग्रल फ्लक्चुएशन थ्योरम का पालन करती है।

D. कम्प्यूटेशनल सुलभता (Computational Tractability)

जेनेरिक नॉन-मार्कोवियन प्रक्रियाओं के विपरीत, जहाँ $P(y_{t+1}|y_{1:t})$ का अनुमान लगाने के लिए कॉम्बिनेटोरियल सैंपलिंग की आवश्यकता होती है, ऑटोरेग्रेसिव संरचना $S_y$ को मानक मोंटे कार्लो सैंपलिंग के माध्यम से कंप्यूट करने की अनुमति देती है:

लागत: आर्किटेक्चर (जैसे RNN बनाम ट्रांसफॉर्मर) के आधार पर $O(T)$ या $O(T^2)$ , जिसमें कोई घातांकीय ओवरहेड नहीं है।
प्रक्रिया: एक सैंपल की गई ट्राजेक्टरी के लिए, फॉरवर्ड सीक्वेंस के लॉग-लाइक्लीहुड और रिवर्स सीक्वेंस के लॉग-लाइक्लीहुड को उसी मॉडल का उपयोग करके कंप्यूट करें। अंतर ही स्टोकेस्टिक एंट्रॉपी प्रोडक्शन है।

E. टेम्पोरल कोर्स-ग्रेनिंग (Temporal Coarse-Graining)

इस समस्या को हल करने के लिए कि टोकन-लेवल रिवर्सल सिंटैक्टिक स्ट्रक्चर को नष्ट कर देता है (जिससे एंट्रॉपी प्रोडक्शन अर्थ के बजाय सिंटैक्स द्वारा हावी हो जाता है), पेपर ब्लॉक-लेवल रिवर्सल पेश करता है।

व्यक्तिगत टोकन को उलटने के बजाय, अनुक्रम को ब्लॉक्स (जैसे वाक्य) में विभाजित किया जाता है, और ब्लॉक्स के भीतर टोकन को फॉरдя (forward) रखते हुए ब्लॉक्स के क्रम को उल्टा किया जाता है।
यह इंट्रा-एपिसोड सिंटैक्टिक आर्टिफ़ैक्ट्स से इंटर-एपिसोड अपरिवर्तनीयता को अलग करता है।

3. मुख्य योगदान (Key Contributions)

एकीकृत थर्मोडायनामिक फ्रेमवर्क: ट्रांसफॉर्मर, RNN, कलमन फिल्टर और Mamba को एक ही औपचारिक रूप में स्थापित करता है, जो उन्हें निश्चित मेमोरी वाले नॉन-मार्कोवियन प्रोसेस के रूप में मानता है।
कुशल अनुमान एल्गोरिदम: यह सिद्ध करता है कि एंट्रॉपी प्रोडक्शन को सैंपल की गई ट्राजेक्टरीज से रैखिक (या द्विघात) कम्प्यूटेशनल लागत के साथ अनुमानित किया जा सकता है, जो नॉन-मार्कोवियन सिस्टमों की विशिष्ट "डायमेंशनलिटी का अभिशाप" (curse of dimensionality) को दरकिनार करता है।
सटीक अपघटन (Exact Decomposition): एंट्रॉपी प्रोडक्शन का गैर-ऋणात्मक प्रति-चरण योगदानों ( $D_t$ $D_{t}$ ) में सटीक अपघटन प्राप्त करता है, जो आगे दो भागों में विभाजित होते हैं:
- कंप्रेशन लॉस ( $L_t$ ): वह सूचना जो भविष्य को एक सीमित बैकवर्ड लेटेंट स्टेट में कंप्रेस करने पर खो जाती है।
- मॉडल मिसमैच ( $M_t$ ): फॉरवर्ड एमिशन कर्नेल को बैकवर्ड दिशा में पुन: उपयोग करने की लागत।
  यह अपघटन वेरिएशनल इन्फरेंस में ELBO के समान है, लेकिन यह टाइम-रिवर्शल थर्मोडायनामिक्स से उत्पन्न होता है।
परिष्कृत दूसरा नियम (Refined Second Law): फॉरवर्ड समरी (पास्ट) और बैकवर्ड समरी (फ्यूचर) के म्यूचुअल इंफॉर्मेशन के बीच के अंतर के आधार पर एंट्रॉपी प्रोडक्शन पर एक निचली सीमा (lower bound) स्थापित करता है।

4. परिणाम (Results)

A. प्रूफ-ऑफ-कांसेप्ट: GPT-2 प्रयोग

टोकन-लेवल रिवर्सल: GPT-2 (117M पैरामीटर्स) पर लागू किया गया। एंट्रॉपी प्रोडक्शन बहुत अधिक है, जो शब्द क्रम को उलटने (जैसे "book a is This" की संभावना लगभग शून्य है) के कारण "सिंटैक्टिक आर्टिफ़ैक्ट" से प्रभावित है।
ब्लॉक-लेवल रिवर्सल: जब शब्दों के बजाय वाक्यों (ब्लॉक्स) को उलटा जाता है, तो एंट्रॉसी प्रोडक्शन काफी कम हो जाता है लेकिन फिर भी सकारात्मक रहता है।
कॉज़ल बनाम नॉन-कॉज़ल टेक्स्ट:
- Claude Opus 4.6 (30 कॉज़ल नैरेटिव्स, 30 नॉन-कॉज़ल फैक्टुअल लिस्ट्स) द्वारा जनरेट किए गए टेक्स्ट पर परीक्षण किया गया।
- टोकन-लेवल: कॉज़ल और नॉन-कॉज़ल टेक्स्ट के बीच कोई महत्वपूर्ण अंतर नहीं दिखा।
- ब्लॉक-लेवल: कॉज़ल टेक्स्ट ने नॉन-कॉज़ल टेक्स्ट की तुलना में काफी अधिक एंट्रॉपी प्रोडक्शन दिखाया। यह सुझाव देता है कि ब्लॉक-लेवल रिवर्सल भाषा मॉडल में निहित कॉज़ल/टेम्पोरल डिपेंडेंसीज की अपरिवर्तनीयता को पकड़ता है, जबकि टोकन-लेवल रिवर्सल सिंटैक्स द्वारा हावी होता है।

B. एनालिटिकल केस: लीनियर गौसियन (कलमन फिल्टर)

फ्रेमवर्क को लीनियर गौसियन केस पर लागू किया गया, जो कलमन इनोवेशन रिप्रेजेंटेशन में बदल जाता है।
"इनोवेशन रिवर्सल मैट्रिक्स" $R$ का उपयोग करके एंट्रॉपी प्रोडक्शन के लिए एक एनालिटिकल एक्सप्रेशन निकाला गया।
संख्यात्मक सत्यापन: मोंटे कार्लो सैंपलिंग के परिणाम एनालिटिकल डेरिवेशन से पूरी तरह मेल खाते हैं।
- स्केलर मामलों में, एंट्रॉपी प्रोडक्शन संतृप्त (time-reversible) हो जाता है।
- मल्टीवेरिएट मामलों में, यह समय के साथ रैखिक रूप से बढ़ता है (time-irreversible)।

C. सैद्धांतिक अपघटन

पेपर ने सफलतापूर्वक प्रदर्शित किया कि कुल एंट्रॉपी प्रोडक्शन कंप्रेशन लॉस और मॉडल मिसमैच का योग है, जो अपरिवर्तनीयता की सूचना-सैद्धांतिक व्याख्या प्रदान करता है।

5. महत्व (Significance)

क्षेत्रों के बीच सेतु: स्टोकेस्टिक थर्मोडायनामिक्स (अपरिवर्तनीयता का भौतिकी) को आधुनिक जनरेटिव AI (LLMs, Transformers) से जोड़ता है।
अपरिवर्तनीयता को मापना: LLMs जैसे अत्यधिक नॉन-मार्कोवियन प्रोसेस में "समय के तीर" (arrow of time) को मापने के लिए पहला व्यावहारिक उपकरण प्रदान करता है, जिसके लिए अंतर्निहित भौतिक गतिकी या छिपी हुई अवस्थाओं को जानने की आवश्यकता नहीं है।
व्याख्यात्मकता (Interpretability): ब्लॉक-लेवल एंट्रॉपी प्रोडक्शन, भाषा मॉडल में एनकोडेड कॉज़ल स्ट्रक्चर और टेम्पोरल लॉजिक को जांचने के लिए एक नया मीट्रिक प्रदान करता है। ब्लॉक-रिवर्सल में उच्च एंट्रॉपी का अर्थ है कि मॉडल केवल सांख्यिकीय सह-उपस्थिति (statistical co-occurrence) पर ही नहीं, बल्कि कॉज़ल/टेम्पोरल व्यवस्था पर भी निर्भर करता है।
थर्मोडायनामिक लिमिट्स: अनुक्रम पीढ़ी में थर्मोडायनामिक अनिश्चितता संबंधों और स्पीड-एक्यूरेसी ट्रेड-ऑफ के अध्ययन का मार्ग खोलता है, जो संभावित रूप से सटीक अनुक्रम उत्पन्न करने की "लागत" को एंट्रॉपी प्रोडक्शन से जोड़ सकता है।
सामान्यीकरण क्षमता: यह फ्रेमवर्क केवल LLMs तक सीमित नहीं है, बल्कि किसी भी सिस्टम पर लागू होता है जिसमें निश्चित मेमोरी और स्टोकेस्टिक एमिशन हो, जिसमें कंट्रोल थ्योरी और सिग्नल प्रोसेसिंग मॉडल भी शामिल हैं।

संक्षेप में, यह पेपर एक कठोर और कम्प्यूटेशनल रूप से व्यवहार्य तरीका प्रदान करता है कि एक जनरेटिव मॉडल का आउटपुट कितना "अपरिवर्तनीय" है, यह प्रकट करता है कि जबकि टोकन-लेवल रिवर्सल सिंटैक्स के कारण स्वाभाविक रूप से अपरिवर्तनीय है, भाषा के गहरे अर्थपूर्ण (semantic) और कॉज़ल स्ट्रक्चर भी महत्वपूर्ण थर्मोडायनामिक अपरिवर्तनीयता प्रदर्शित करते हैं।