💬 NLP

What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model

यह शोधपत्र पुनरावृत्त स्व-पोषी (self-feeding) भाषा मॉडल प्रयोगों में प्रोब निर्माण के अंतर्निहित आर्टिफैक्ट्स (जैसे कि काइनेमैटिक डैमेज स्प्रेडिंग) और वास्तविक मॉडल गुणों (जैसे कि लियापुनोव एक्सपोनेंट्स) के बीच अंतर करने के लिए एक कठोर परीक्षण प्रस्तुत करता है, जो यह प्रकट करता है कि चरण संक्रमण (phase transitions) के पिछले दावे अक्सर मॉडलों के बजाय कार्यप्रणाली के कारण गलत तरीके से आरोपित किए गए थे।

मूल लेखक: Nicolás Vera Zúñiga

प्रकाशित 2026-08-12

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nicolás Vera Zúñiga

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

जासूस की दुविधा: जब उपकरण ही सुराग बन जाए

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि कार का एक विशिष्ट इंजन कैसे काम करता है। आप उसे खोलकर देख नहीं सकते, इसलिए इसके बजाय आप एक विशाल, स्वचालित परीक्षण ट्रैक बनाते हैं। आप कार के अपने ही धुएं को वापस उसके इनटेक में डालते हैं, बार-बार, और देखते हैं कि इंजन अपने ही धुएं के प्रति कैसी प्रतिक्रिया देता है। यह कुछ वैसा ही है जैसा वैज्ञानिक आधुनिक "लार्ज लैंग्वेज मॉडल्स" (AI) के साथ करते हैं। ये AI सिस्टम एक बहुत ही स्मार्ट इंजन की तरह हैं जो वाक्य में अगले शब्द की भविष्यवाणी करते हैं। शोधकर्ता अक्सर AI के अपने ही आउटपुट को वापस खुद में फीड करते हैं ताकि यह देख सकें कि क्या वह अपनी गलतियों को सुधार सकता है, गहराई से सोच सकता है, या कठिन समस्याओं को हल कर सकता है। इसे "सेल्फ-फीडिंग" (self-feeding) या "इटरेटेड प्रोबिंग" (iterated probing) कहा जाता है।

लेकिन यहाँ पेचीदा हिस्सा यह है: जब आप एक टेस्ट ट्रैक बनाते हैं, तो उस ट्रैक के अपने नियम होते हैं। हो सकता है कि ट्रैक बहुत ऊबड़-खाबड़ हो, या शायद हवा एक विशेष दिशा में बह रही हो जिससे कार डगमगाने लगे। यदि आप कार को डगमगाते हुए देखते हैं, तो क्या यह इसलिए है क्योंकि इंजन खराब है, या इसलिए कि ट्रैक ऊबड़-खाबड़ है? AI की दुनिया में, वैज्ञानिक "AI के विचार कितनी तेजी से बदलते हैं" या "उसके उत्तर कितने स्थिर हैं" जैसी चीजों को माप रहे हैं, यह मानते हुए कि ये नंबर उनके AI के मस्तिष्क के बारे में बताते हैं। यह पेपर एक सरल, डरावना सवाल पूछता है: क्या होगा अगर वे नंबर वास्तव में हमारे द्वारा बनाए गए टेस्ट ट्रैक के बारे में बता रहे हों, न कि AI के बारे में?

बड़ी गड़बड़ी: क्या यह AI है या प्रयोग?

इस पेपर में, शोधकर्ता निकोलस वेरा ज़ुनिगा (Nicolás Vera Zúñiga) यह पता लगाने के लिए एक बहुत ही विशिष्ट, थोड़ा अजीब प्रयोग सेट करते हैं। कल्पना कीजिए कि 4096 मोतियों से बना एक विशाल गोलाकार हार है, जहाँ प्रत्येक मोती AI की शब्दावली का एक शब्द (या "टोकन") है। AI एक विशिष्ट स्थान के आसपास मोतियों की एक छोटी खिड़की को देखता है, अनुमान लगाता है कि मोती क्या होना चाहिए, और फिर वर्तमान मोती को अपने नए अनुमान से बदल देता है। वह हर मोती के लिए, बार-बार, एक ही क्रम में ऐसा करता है। यह एक बंद लूप बनाता है जहाँ AI लगातार अपने पिछले अनुमानों के आधार पर अपनी ही कहानी को फिर से लिख रहा है।

इसका परीक्षण करने के लिए, शोधकर्ता दो समान हार बनाते हैं। दूसरे हार में, वह शुरुआत में केवल एक मोती को बदल देता है। फिर, वह दोनों हारों को बिल्कुल उसी सिमुलेशन के माध्यम से चलाता है, स्वैप (बदलने) का निर्णय लेने के लिए ठीक उन्हीं रैंडम नंबरों का उपयोग करता है। यदि AI का "मस्तिष्क" संवेदनशील है, तो वह एक अकेला बदला हुआ मोती एक लहर प्रभाव (ripple effect) पैदा करना चाहिए, जिससे दोनों हार समय के साथ एक-दूसरे से अधिक भिन्न दिखने लगें। इसे "डैमेज स्प्रेडिंग" (damage spreading) कहा जाता है। शोधकर्ता इस नुकसान के फैलने की गति (एक संख्या जिसे $\lambda_{ca}$ कहा जाता है) और इसके जीवित रहने की मात्रा को मापता है।

बड़ा आश्चर्य: वह "फेज ट्रांजिशन" जो था ही नहीं

शोधकर्ता ने कुछ चौंकाने वाला पाया। जब उन्होंने बहुत कम "तापमान" (जिसका अर्थ है कि AI को बहुत आत्मविश्वासी होने और केवल सबसे संभावित शब्दों को चुनने के लिए मजबूर किया जाता है) पर यह प्रयोग चलाया, तो सिस्टम अचानक ढह गया। हार बदलना बंद हो गया और एक ही दोहराए जाने वाले शब्द (जैसे कि एक टूटे हुए रिकॉर्ड की तरह जो "न्यूलाइन" पर अटक गया हो) पर जम गया। यह एक नाटकीय "फेज ट्रांजिशन" (phase transition) जैसा लग रहा था, ठीक वैसे ही जैसे पानी तुरंत बर्फ में बदल जाता है।

शोधकर्ता ने इस ट्रांजिशन को तीन दशमलव स्थानों तक अत्यधिक सटीकता के साथ मापा। यह AI मॉडल कैसे व्यवहार करते हैं, इसके बारे में एक वास्तविक खोज जैसा लग रहा था। हालाँकि, यह पेपर सिद्ध करता है कि यह ट्रांजिशन प्रयोग का हिस्सा था, AI का नहीं।

वे ऐसे कैसे जानते थे:

कंट्रोल टेस्ट: उन्होंने ठीक उसी प्रयोग को एक अलग प्रकार के AI मॉडल (एक "मास्क्ड लैंग्वेज मॉडल") पर आजमाया जो अलग तरह से बनाया गया है। यह दूसरा मॉडल, समान निम्न तापमान पर भी, कभी नहीं जमा।
तंत्र (Mechanism): उन्हें एहसास हुआ कि यह जमना पहले AI मॉडल के शब्द चुनने के तरीके में एक विशिष्ट गणितीय "जाल" के कारण हुआ था। यह एक गहरे गड्ढे में लुढ़कती हुई गेंद की तरह है; एक बार जब यह गिर जाता है, तो यह बाहर नहीं निकल सकता। यह गड्ढा इसलिए मौजूद है क्योंकि यह प्रयोग के नियमों (जिस विशिष्ट तरीके से AI को अपने मोतियों को अपडेट करने के लिए मजबूर किया जाता है) के कारण है, न कि इसलिए कि AI विशेष है।
फैसला: वह "फेज ट्रांजिशन" एक "निर्मित" (manufactured) घटना थी। यह टेस्ट ट्रैक का गुण था, कार का नहीं। शोधकर्ता स्वीकार करते हैं कि उन्होंने चार महीने यह सोचने में बिता दिए कि उन्होंने AI भौतिकी के एक नए नियम की खोज कर ली है, केवल यह महसूस करने के लिए कि उन्होंने वास्तव में अपने स्वयं के मापने वाले यंत्र की एक विचित्रता की खोज की थी।

यह प्रयोग वास्तव में क्या मापता है?

तो, यदि "फेज ट्रांसिशन" नकली था, तो क्या यह प्रयोग कुछ वास्तविक बताता है? हाँ, लेकिन आपको बहुत सावधान रहना होगा कि आप किसे देख रहे हैं। यह पेपर शोर (noise) को संकेत (signal) से अलग करने के लिए एक "डिस्क्रीमिनेटर टेस्ट" पेश करता है:

"कंस्ट्रक्शन" रीडिंग (शोर): कुछ नंबर, जैसे कि नुकसान के फैलने की गति ( $\lambda_{ca}$ ), प्रयोग की ज्यामिति द्वारा निर्धारित होते हैं। यदि आप विंडो का आकार या मोतियों का क्रम बदलते हैं, तो ये नंबर बदल जाते हैं। यदि आप AI मॉडल बदलते हैं, तो ये नंबर लगभग समान रहते हैं। ये रीडिंग प्रयोग के बारे में बताती हैं, AI के बारे में नहीं।
"मॉडल" रीडिंग (संकेत): अन्य नंबर, जैसे कि "अट्रैक्टर शेयर" (AI एक विशिष्ट शब्द पर कितना स्थिर होता है), वास्तव में AI मॉडल को बदलने पर बदलते हैं। यदि आप एक मॉडल को अधिक समय तक प्रशिक्षित करते हैं, तो यह नंबर बदलता है। यदि आप दूसरे AI आर्किटेक्चर पर स्विच करते हैं, तो यह नंबर बदलता है। यही एकमात्र हिस्सा है जो वास्तव में AI के मस्तिष्क के बारे में बताता है।

"गॉटचास" (Gotchas) और वापस लिए गए दावे

यह पेपर इस बारे में एक चेतावनी भी है कि खुद को सांख्यिकी (statistics) से कैसे मूर्ख बनाया जा सकता है। शोधकर्ता उन चार बारों को सूचीबद्ध करते हैं जब वे एक "खोज" प्रकाशित करने ही वाले थे जो गलत साबित हुई क्योंकि उन्होंने अपने गणित की ठीक से जाँच नहीं की थी:

उन्होंने एक बार एक सेटअप का उपयोग करके "क्रिटिकल पॉइंट" को मापा जो वैध होने के लिए बहुत छोटा था।
उन्होंने गलती से परीक्षण के विभिन्न हिस्सों के लिए एक ही रैंडम नंबरों का उपयोग किया, जिससे परिणाम उतने निश्चित दिखे जितने वे वास्तव में नहीं थे।
उन्होंने वास्तव में एक सपाट रेखा (शून्य विचरण/zero variance) वाले डेटा में पैटर्न खोजने की कोशिश की, जिससे एक सहसंबंध (correlation) वास्तविक लगने लगा जबकि वह केवल डेटा को सॉर्ट करने के तरीके का एक संयोग था।

हर बार, उन्होंनेв समीक्षा (peer review) द्वारा नहीं, बल्कि एक "ज्ञात उत्तर" वाले टेस्ट (जैसे कि एक सिमुलेशन जहाँ परिणाम पहले से ज्ञात है) को चलाकर और यह देखकर गलती पकड़ी कि उनके उपकरण ने गलत उत्तर दिया।

निष्कर्ष

यह पेपर हमें कोई नई सुपर-पावर नहीं देता है। इसके बजाय, यह हमें चश्मे की एक नई जोड़ी देता है। यह हमें सिखाता है कि जब हम एक AI को उसका अपना आउटपुट फीड करते हैं, तो हम दो चीजों को मिला रहे होते हैं: AI की वास्तविक बुद्धिमत्ता और हमारे प्रयोग के कृत्रिम नियम।

मुख्य बात यह है कि हम केवल एक नंबर को देखकर यह मान नहीं सकते कि वह AI के बारे में बताता है। हमें "नियंत्रण और परिवर्तनशील" (control and variable) का खेल खेलना होगा: यदि आप AI को बदलते हैं और नंबर वही रहता है, तो नंबर प्रयोग के बारे में है। यदि आप प्रयोग को बदलते हैं और नंबर वही रहता है, तो नंबर AI के बारे में है। यह पेपर सिद्ध करता है कि इस क्षेत्र की सबसे रोमांचक "खोजों" में से कुछ वास्तव में उस दर्पण का प्रतिबिंब हो सकती हैं जिसे हम पकड़े हुए हैं, न कि उस चेहरे का जिसे हम देख रहे हैं। यह वैज्ञानिकों के लिए विनम्र होने, अपने उपकरणों की जाँच करने और यह समझने के लिए एक आह्वान है कि कभी-कभी, सबसे दिलचस्प चीज़ जो आप पाते हैं, वह आपके अपने मापने वाले टेप की खामी होती है।

तकनीकी सारांश: भाषा मॉडलों के इटरेटेड सेल्फ-फीडिंग प्रोब्स क्या मापते हैं

समस्या विवरण

प्रोब्स (probes) की एक बढ़ती श्रेणी भाषा मॉडलों (LMs) को उनके अपने आउटपुट को वापस इनपुट में फीड करके जांचती है, जिससे डायनेमिकल सिस्टम्स (dynamical systems) जैसे कि सेल्फ-कंसिस्टेंसी (self-consistency), इटरेटेड रिफाइनमेंट (iterated refinement), और एजेंटिक लूप्स (agentic loops) बनते हैं। जबकि ये विधियाँ सामान्य हैं, एक मौलिक प्रश्न अनसुलझा रहा है: इन सेल्फ-फीडिंग प्रोब्स के डायनेमिक्स वास्तव में क्या मापते हैं?

यह शोध पत्र तर्क देता है कि ऐसे प्रोब्स से प्राप्त वर्तमान रीडिंग दो अलग-अलग सूचना स्रोतों को मिला देती है:

निर्माण-निर्धारित मात्राएँ (Construction-determined quantities): वे गुण जो केवल प्रोब की यांत्रिकी (mechanics) से उत्पन्न होते हैं (जैसे, लूप संरचना, रीसैंपलिंग नियम, और कपलिंग विधि)।
मॉडल-निर्धारित मात्राएँ (Model-determined quantities): मॉडल के भीतर निहित गुण।

इन दोनों के बीच अंतर करने की विधि के बिना, शोधकर्ताओं के लिए उपकरण के आर्टिफैक्ट्स (artifacts) को मॉडल के गुणों के रूप में गलत तरीके से आरोपित करने का जोखिम बना रहता है। लेखक एक विशिष्ट उदाहरण रिपोर्ट करते हैं जहाँ उन्होंने तीन दशमलव स्थानों तक एक "फेज ट्रांजिशन" (phase transition) को मापा, केवल यह पता लगाने के बाद कि यह पूरी तरह से प्रोब के निर्माण का हिस्सा था, न कि मॉडल का।

कार्यप्रणाली (Methodology)

निर्माण (The Construction)

लेखक प्रोब और मॉडल के बीच के भ्रम (confound) को अलग करने के लिए एक विशिष्ट निर्माण का उपयोग करते हैं:

अवस्था (State): आवधिक सीमाओं (periodic boundaries) के साथ $N$ टोकन सेल्स की एक रिंग।
डायनेमिक्स (Dynamics): इन-प्लेस रीसैंपलिंग (In-place resampling)। प्रत्येक चरण में, एक साइट $x_i$ को मॉडल के विंडो वाले कंडीशनल प्रोबेबिलिटी $p(x_i | x_{i \pm r})$ से तापमान $T$ पर रीसेंपल किया जाता है। केंद्र के टोकन को उसके स्वयं के विंडो से मास्क किया जाता है।
कपलिंग (Coupling): दो रिंग्स ( $x$ और $\tilde{x}$ ) को कॉमन रैंडम नंबर्स (CRN) का उपयोग करके आगे बढ़ाया जाता है। वे एक ही स्ट्रीम के यूनिफॉर्म वेरिएट्स और एक ही विज़िट ऑर्डर का उपयोग करते हैं और $t=0$ पर एक ही फ्लिप किए गए टोकन को छोड़कर समान हैं।
शून्य परिकल्पना (Null Hypothesis): CRN के तहत, यदि दो रिंग्स के विंडोज समान हैं, तो वे बिल्कुल एक ही टोकन खींचते हैं (साझा यूनिफॉर्म के विरुद्ध इनवर्स-CDF सैंपलिंग)। इस प्रकार, बिना क्षति वाले जुड़वां बिल्कुल शून्य विचलन (divergence) दिखाते हैं। कोई भी विचलन पूरी तरह से इंजेक्ट किए गए फ्लिप के कारण होता है।

मापी गई मात्राएँ (Measured Quantities)

$\lambda_{ca}$ (टोकन-स्पेस लियापुनोव एक्सपोनेंट - Lyapunov exponent): सैचुरेशन से पहले अलग होने वाली साइटों की संख्या ( $d_t$ ) की घातीय वृद्धि दर।
$D_{norm}$ : स्वतंत्र-शोर फ्लोर (independent-noise floor) द्वारा सामान्यीकृत, सैचुरेट होने वाला डैमेज लेवल।
अट्रैक्टर शेयर (Attractor Share): सेटल हुई रिंग में डोमिनेंट टोकन की उपस्थिति।

सत्यापन रणनीति (Validation Strategy)

उपकरण को ज्ञात उत्तरों वाले सिस्टम्स, विशेष रूप से डोमनी-किंज़ेल प्रोबेबिलिस्टिक सेलुलर ऑटोमेटा (Domany–Kinzel probabilistic cellular automaton) पर पुनरुत्पादन के माध्यम से कैलिब्रेट किया जाता है। लेखक सत्यापित करते हैं कि उनका कार्यान्वयन भाषा मॉडलों पर लागू करने से पहले इस ऑटोमेटा पर स्वतंत्र भविष्यवाणियों के साथ सटीक मिलान (bit-exact matches) प्रदान करता है।

मुख्य योगदान

1. एक सत्यापित उपकरण (A Validated Instrument)

लेखक एक कैलिब्रेटेड टूल प्रदान करते हैं जो प्रोब की ज्यामिति और मॉडल के व्यवहार के बीच अंतर करता है। इस उपकरण को डोमनी-किंज़ेल डैमेज फील्ड को सटीक रूप से पुनरुत्पादित करके और एलिमेंट्री सेलुलर ऑटोमेटा के लिए ज्ञात ट्रांजिशन मैट्रिसेस को रिकवर करके सत्यापित किया गया था।

2. एक "निर्मित" फेज ट्रांजिशन की पहचान

लेखक ने $T_c \in [0.4343, 0.4391]$ पर प्रोब के डायनेमिक्स में एक तीक्ष्ण एब्जॉर्बिंग-स्टेट ट्रांजिशन की खोज की।

प्रकृति: यह ट्रांजिशन प्रोब का एक गुण है, मॉडल का नहीं।
तंत्र (Mechanism): यह ऑटोरेग्रेसिव कंस्ट्रक्शन में argmax मैप के एक अट्रैक्टिंग फिक्स्ड पॉइंट से उत्पन्न होता है (विशेष रूप से Pythia-410m जैसे मॉडल्स के लिए), जिसके कारण कम तापमान पर लैटिस एक एकल टोकन (जैसे न्यूलाइन) पर ढह जाता है।
साक्ष्य: जब कंस्ट्रक्शन को बदला जाता है (जैसे, मास्कड-LM कंस्ट्रक्शन का उपयोग करना जिसमें ऐसा कोई फिक्स्ड पॉइंट नहीं है), तो यह ट्रांजिशन गायब हो जाता है, लेकिन यह 19 विभिन्न मॉडल्स और स्केल लैडर्स (70x variation) में बना रहता है।

3. डिस्क्रिमिनेटर टेस्ट (The Discriminator Test)

लेखक निर्माण-निर्धारित से मॉडल-निर्धारित रीडिंग को अलग करने के लिए एक कठोर परीक्षण पेश करते हैं:

परीक्षण: एक कारक (निर्माण या मॉडल) को स्थिर रखते हुए दूसरे को बदलें।
मानदंड: यदि निर्माण बदलने पर रीडिंग बदल जाती है लेकिन मॉडल बदलने पर स्थिर रहती है, तो यह निर्माण-निर्धारित है। यदि मॉडल बदलने पर रीडिंग बदल जाती है लेकिन निर्माण बदलने पर स्थिर रहती है, तो यह मॉडल-निर्धारित है।
अनुप्रयोग:
- निर्माण-निर्धारित: डैमेज लाइट कोन (kinematic) और $\lambda_{ca}$ का रेडियस स्केलिंग (मॉडल-इनवेरिएंट)।
- मॉडल-निर्धारित: अट्रैक्टर शेयर, जो विभिन्न कंस्ट्रक्शन के बीच मॉडल्स को लगातार रैंक करता है।
- डेवलपमेंटल (विकास संबंधी): $\lambda_{ca}$ एक एकल मॉडल के प्रशिक्षण प्रक्षेपवक्र (trajectory) को ट्रैक करता है (एक पुनरुत्पादक बिंदु पर शून्य को पार करता है) लेकिन विभिन्न मॉडल परिवारों के बीच अंतर करने में विफल रहता है।

4. एस्टिमेटर गेटिंग और रिट्रैक्टेड वर्डिक्ट्स (Estimator Gating and Retracted Verdicts)

लेखक चार रिट्रैक्टेड वर्डिक्ट्स रिपोर्ट करते हैं जहाँ एस्टिमेटर्स ने आत्मविश्वासी लेकिन गलत संख्याएँ दीं क्योंकि उन्हें उन मात्राओं पर लागू किया गया था जिनमें परिवर्तन की कोई गुंजाइश नहीं थी (जैसे, सैचुरेटेड प्रेडिक्टर्स, शून्य के रूप में माने गए अनिर्धारित मान, या सहसंबंधित रेप्लिका)। वे इन त्रुटियों को रोकने के लिए "गार्ड्स" (जैसे, डायनेमिक-रेंज चेक, नॉइज़ गेट्स, टाई-अवेयर रैंकिंग) का एक पैकेज जारी करते हैं।

परिणाम (Results)

प्रोब आर्टिफैक्ट्स: ऑटोरेग्रेसिव मॉडल्स में देखा गया "फेज ट्रांजिशन" प्रोब की ज्यामिति (विशेष रूप से argmax मैप के फिक्स्ड पॉइंट) का एक आर्टिफैक्ट है। यह पुनरुत्पादित योग्य है लेकिन मॉडल की क्षमताओं के बारे में कोई जानकारी नहीं रखता है।
मॉडल संवेदनशीलता (Model Sensitivity):
- $\lambda_{ca}$ : हालांकि यह एक डेवलपमेंटल ट्रांजिशन दिखाता है (प्रशिक्षण के दौरान शून्य को पार करता है), यह विभिन्न आर्किटेक्चर और स्केल्स के बीच मॉडल-इनवेरिएंट है। यह विभिन्न मॉडल्स की तुलना करने के लिए एक विश्वसनीय मीट्रिक के रूप में कार्य नहीं करता है।
- अट्रैक्टर शेयर: यह मीट्रिक मॉडल परिवारों (जैसे, RWKV बनाम अटेंशन मॉडल्स) के बीच सफलतापूर्वक अंतर करता है और प्रोब के निर्माण (त्रिज्या, तापमान) में बदलाव के प्रति मजबूत है।
एब्लेशन रिस्पॉन्स (Ablation Response): आंतरिक घटकों (जैसे, अटेंशन ब्लॉक्स) को हटाने से डायनेमिक्स बदल जाता है, जो पुष्टि करता है कि उपकरण मॉडल को पढ़ता है। हालाँकि, प्रतिक्रिया गैर-मोनोटोनिक (non-monotonic) है और संदर्भ की प्रारंभिक अवस्था पर निर्भर करती है, जो एक सरल कारण संबंध के बजाय एक जटिल सांख्यिकीय संबंध का संकेत देती है।
भविष्यवाणी शक्ति (Predictive Power): अट्रैक्टर शेयर इंस्ट्रक्शन-फॉलोइंग विफलताओं की भविष्यवाणी करता है, जबकि डेवलपमेंटल ट्रांजिशन ( $\lambda_{ca}$ ) नहीं करता है। इसके विपरीत, $\lambda_{ca}$ (विविधता के माध्यम से) ग्रीडी डीजनरेशन (greedy degeneration) की भविष्यवाणी करता है, जबकि अट्रैक्टर शेयर नहीं करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि इटरेटेड सेल्फ-फीडिंग प्रोब्स निर्माण और मॉडल के मिश्रण को मापते हैं, और इन दोनों घटकों को केवल निरीक्षण से अलग नहीं किया जा सकता है।

दावों की विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि यह इंटरप्रिटेबिलिटी का परिणाम नहीं है। वे यह दावा नहीं करते कि $\lambda_{ca}$ किसी विशिष्ट आंतरिक तंत्र को स्थानीयकृत (localize) करता है। इसके बजाय, योगदान मापन (measurement) है: ये प्रोब्स क्या पढ़ते हैं, वे क्या नहीं पढ़ते हैं, और दोनों के बीच अंतर कैसे किया जाए, इसे परिभाषित करना।
मुख्य अंतर्दृष्टि: एक उपकरण एक प्रकार की तुलना (जैसे, एक एकल मॉडल के प्रशिक्षण को ट्रैक करना) के लिए वैध हो सकता है, लेकिन दूसरी प्रकार की तुलना (जैसे, विभिन्न मॉडल परिवारों की तुलना करना) के लिए खाली (empty) हो सकता है।
मेथोडोलॉजिकल शिफ्ट: लेखक तर्क देते हैं कि भाषा मॉडल के गुणों के रूप में व्याख्या करने से पहले सेल्फ-फीडिंग लूप से प्राप्त मात्राओं को "डिस्क्रमिनेटर टेस्ट" (निर्माण बनाम मॉडल को बदलना) से गुजरना चाहिए।
पुनरुत्पादकता (Reproducibility): सभी कोड, डेटा और फिगर स्क्रिप्ट्स को सख्त ट्रैसेबिलिटी (SHA-256 हैशिंग के साथ) के साथ जारी किया गया है ताकि यह सुनिश्चित हो सके कि चित्र उस कोड से लंबे समय तक जीवित न रहें जिसने उन्हें बनाया है।

शोध पत्र निष्कर्ष निकालता है कि यह "सुंदर सारांश" कि उपकरण स्वयं को मापता है, गलत है; उपकरण मॉडल को पढ़ता है, लेकिन वह प्रोब को भी समान सटीकता के साथ पढ़ता है। उन्हें अलग करने में विफल रहने की लागत मॉडल को प्रोब आर्टिफैक्ट्स (जैसे, निर्मित फेज ट्रांजिशन) के गुणों के रूप में गलत तरीके से आरोपित करना है।