🤖 AI

Feature Identification via the Empirical NTK

यह लेख प्रदर्शित करता है कि एम्पेरिकल न्यूरल टेंगेंट कर्नेल (eNTK) का आइगन-एनालिसिस प्रशिक्षित न्यूरल नेटवर्क में ग्राउंड-ट्रुथ और व्याख्या योग्य विशेषताओं की प्रभावी ढंग से पहचान करता है, जो सिंथेटिक अंकगणितीय कार्यों के साथ-साथ एक प्री-ट्रेन्ड लैंग्वेज मॉडल पर PCA की तुलना में ज्ञात संरचनाओं के साथ बेहतर संरेखण प्रदर्शित करता है।

मूल लेखक: Jennifer Lin

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jennifer Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI में "छिपे हुए स्विच" खोजना

कल्पना कीजिए कि एक विशाल, जटिल मशीन (जैसे कि एक न्यूरल नेटवर्क) है जिसने कोई कार्य करना सीख लिया है, जैसे कि संख्याएँ जोड़ना या कहानियाँ लिखना। आप मशीन को काम करते हुए देख सकते हैं, लेकिन आप यह नहीं देख सकते कि वह कैसे सोचती है। यह एक ब्लैक बॉक्स को देखने जैसा है: आप एक नंबर डालते हैं, और दूसरा नंबर बाहर आता है, फिर भी उसके अंदर के गियर छिपे रहते हैं।

वैज्ञानिक उस बॉक्स को खोलना चाहते हैं और उन विशिष्ट "स्विचों" या "नॉब्स" (knobs) को खोजना चाहते हैं जो मशीन "व्याकरण" (grammar), "जोड़" (addition), या "भावना" (sentiment) जैसी अवधारणाओं को समझने के लिए उपयोग करती है। इसे मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) कहा जाता है।

समस्या यह है कि मशीन में लाखों नॉब्स हैं, जो आपस में उलझे हुए हैं। किसी एक को रैंडम तरीके से चुनना घास के ढेर में सुई खोजने जैसा है।

जेनिफर लिन का पेपर इन सुइयों को खोजने का एक नया, चतुर तरीका प्रस्तावित करता है। अनुमान लगाने के बजाय, लेखिका एक गणितीय उपकरण का उपयोग करती हैं जिसे एम्पीरिकल न्यूरल टेंगेंट कर्नेल (eNTK) कहा जाता है।

उपमा: "इको चैंबर" (गूँज कक्ष) परीक्षण

कल्पना कीजिए कि न्यूरल नेटवर्क एक विशाल इको चैंबर (गूँज कक्ष) है। यदि आप एक विशिष्ट शब्द चिल्लाते हैं (जैसे कोई फीचर जैसे "संज्ञा" या "5 जोड़ें"), तो ध्वनि कमरे में चारों ओर गूँजती है और दीवारों (मॉडल के पैरामीटर्स) से टकराती है, जिससे एक बहुत ही विशिष्ट पैटर्न बनता है।

eNTK एक अत्यधिक संवेदनशील माइक्रोफ़ोन की तरह है जो रिकॉर्ड करता है कि जब आप चिल्लाते हैं तो पूरा कमरा कैसे कंपन करता है।

यदि आप "संज्ञा" (noun) चिल्लाते हैं, तो कमरा एक विशिष्ट लय में कंपन करता है।
यदि आप "क्रिया" (verb) चिल्लाते हैं, तो कमरा एक अलग लय में कंपन करता है।

लेखिका की परिकल्पना है: यदि हम इस इको चैंबर में सबसे मजबूत कंपनों (principal eigen-directions) का विश्लेषण करें, तो हम सटीक रूप से पहचान सकते हैं कि कौन से शब्द चिल्लाए गए थे।

तकनीकी शब्दों में, पेपर का दावा है कि मॉडल के आंतरिक गियर कैसे चलते हैं, इसके "सबसे मजबूत पैटर्न" की जांच करके, हम उन विशिष्ट दिशाओं की पहचान कर सकते हैं जिनका उपयोग मॉडल फीचर्स का पता लगाने के लिए करता है।

तीन प्रयोग: सरल गणित से लेकर लार्ज लैंग्वेज मॉडल्स तक

लेखिका ने इस "इको चैंबर" विचार का परीक्षण तीन अलग-अलग प्रकार की मशीनों पर किया, जिनमें से प्रत्येक अधिक जटिल होती जा रही थी।

1. सरल गणित मशीन (MLP)

कार्य: एक सरल मशीन ने एक प्राइम नंबर (एक विशिष्ट गणितीय पहेली) के मोड्यूलो में संख्याएँ जोड़ना सीखा।
"सत्य": हम पहले से ही जानते थे कि मशीन जिस गुप्त रेसिपी का उपयोग करती है, वह क्या है: वह संख्याओं को तरंगों (फूरियर फीचर्स) में बदल देती है, उदाहरण के लिए, एक संख्या को साइन वेव (sine wave) में बदलकर।
परिणाम: लेखिका ने मशीन को "सुनने" के लिए eNTK का उपयोग किया। eNTK द्वारा पाए गए सबसे मजबूत कंपन उस "साइन वेव" रेसिपी से पूरी तरह मेल खाते थे।
"ग्रोकिंग" (Grokking) क्षण: एक घटना है जिसे "ग्रोकिंग" कहा जाता है, जहाँ एक मॉडल केवल याद रखने (memorization) के लंबे समय के बाद अचानक एक टेस्ट को पास करने से लेकर उसे पूरी तरह से हल करने की ओर बढ़ जाता है। पेपर ने पाया कि जिस क्षण मशीन ने "ग्रोक" किया (गणित को समझा), उस समय eNTK कंपनों और गणितीय फीचर्स के बीच का संरेखण (alignment) तेजी से बढ़ गया। यह ऐसा है जैसे, ठीक उसी क्षण जब मशीन ने अंततः इसे "समझ" लिया, इको चैंबर अचानक सही गाना गाने लगा।

2. थोड़ी स्मार्ट गणित मशीन (Transformer)

कार्य: एक थोड़ा अधिक जटिल मशीन (एक ट्रांसफॉर्मर) ने उसी गणितीय पहेली को सीखा।
अंतर: इस मशीन ने हर संभव वेव का उपयोग नहीं किया; इसने समस्या को हल करने के लिए कुछ रैंडम, विशिष्ट फ्रीक्वेंसी चुनीं।
परिणाम: भले ही मशीन ने रैंडम फ्रीक्वेंसी चुनीं, eNTK ने उन्हें फिर भी ढूंढ लिया। इसने सफलतापूर्वक उन विशिष्ट "नोट्स" की पहचान की जिनका उपयोग मशीन ने गणित के लिए किया था।

3. लार्ज लैंग्वेज मॉडल (Gemma-3-270M)

कार्य: यह एक वास्तविक, प्री-ट्रेन्ड लैंग्वेज मॉडल है (जैसे कि आपके साथ चैट करने वाला एक मिनी-AI) जो कहानियाँ पढ़ता है।
चुनौती: यहाँ, हमें "गुप्त रेसिपी" नहीं पता है। हम केवल यह देखना चाहते हैं कि क्या मशीन व्याकरण (जैसे संज्ञा, क्रिया, या भूतकाल) को पहचान सकती है।
परीक्षण: लेखिका ने कहानियों का एक छोटा सेट लिया और पूछा: "क्या eNTK कंपनों से हमें पता चल सकता है कि कौन से शब्द संज्ञा हैं?"
तुलना: उन्होंने eNTK पद्धति की तुलना PCA (एक मानक, पुराना तरीका जो केवल मशीन के सबसे सक्रिय हिस्सों को देखता है) से की।
परिणाम: eNTK पद्धति बेहतर थी। इसने पुराने तरीके की तुलना में "ग्रामर स्विच" को अधिक सटीकता से पाया। उदाहरण के लिए, यह पुराने तरीके की तुलना में "क्रियाओं" या "भूतकाल" को पहचानने में बेहतर था।

मुख्य निष्कर्ष

पेपर का दावा है कि मॉडल की सीखने की प्रक्रिया के "कंपनों" का विश्लेषण करना (eNTK के माध्यम से) एक शक्तिशाली नई टॉर्च है।

यह सरल गणितीय मॉडलों पर काम करता है जहाँ हम उत्तर जानते हैं।
यह जटिल भाषा मॉडलों पर भी काम करता है जहाँ हमें उत्तर नहीं पता है, और यह मौजूदा मानक उपकरणों की तुलना में व्याकरण संबंधी फीचर्स को बेहतर ढंग से पाता है।
यह ठीक उसी समय सबसे अधिक चमकता है जब कोई मॉडल अचानक किसी अवधारणा को समझ लेता है ("ग्रोकिंग" क्षण)।

पेपर क्या दावा नहीं करता है

यह महत्वपूर्ण है कि हम केवल वही कहें जो पेपर वास्तव में कहता है:

यह कोई रामबाण इलाज नहीं है: पेपर स्वीकार करता है कि ये "सहसंबंधी" (correlative) परिणाम हैं। केवल इसलिए कि eNTK एक ऐसी दिशा पाता है जो "व्याकरण" जैसी दिखती है, इसका मतलब यह साबित नहीं होता कि उस दिशा को बदलने से मॉडल को ठीक किया जा सकता है। यह एक खोज उपकरण (discovery tool) है, न कि अनिवार्य रूप से एक कंट्रोल पैनल।
यह भविष्य की AI सुरक्षा के बारे में नहीं है: पेपर में उल्लेख है कि यह भविष्य में सुरक्षा के लिए उपयोगी हो सकता है, लेकिन यह सुरक्षा अनुप्रयोगों या क्लिनिकल उपयोगों को प्रस्तुत नहीं करता है। यह पूरी तरह से यह समझने का एक तरीका है कि मॉडल अभी कैसे काम करते हैं।
यह पूर्ण (perfect) नहीं है: लैंग्वेज मॉडल वाले प्रयोग में अपेक्षाकृत छोटा डेटासेट और एक विशिष्ट मॉडल इस्तेमाल किया गया था। लेखिका ने सुझाव दिया है कि निश्चित होने के लिए बड़े मॉडलों और डेटासेट्स पर इसका परीक्षण किया जाना चाहिए।

एक वाक्य में सारांश

यह पेपर प्रस्तावित करता है कि न्यूरल नेटवर्क के सीखने के "प्रतिध्वनियों" (echoes) को सुनकर (eNTK नामक टूल का उपयोग करके), हम उन छिपे हुए "स्विचों" को सफलतापूर्वक पहचान सकते हैं जिनका उपयोग मॉडल गणित और व्याकरण को समझने के लिए करता है, और अक्सर इन्हें पिछले तरीकों की तुलना में अधिक स्पष्ट रूप से पाता है।

तकनीकी सारांश: एम्पिरिकल NTK के माध्यम से फीचर की पहचान

समस्या विवरण (Problem Statement)

मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic interpretability) का लक्ष्य यह पुनर्निर्माण करना है कि न्यूरल नेटवर्क सूचना को कैसे संसाधित करते हैं, जिसका विशिष्ट उद्देश्य यह निर्धारित करना है कि मॉडल सीखे गए फीचर्स (features) को कैसे दर्शाते हैं। जबकि शुरुआती दृष्टिकोण अक्सर यह मान लेते हैं कि व्यक्तिगत न्यूरॉन सक्रियण (activations) या उनके स्पार्स लीनियर कॉम्बिनेशन ही व्याख्या योग्य फीचर्स का प्रतिनिधित्व करते हैं, हाल के अध्ययन बताते हैं कि ये विधियाँ अपूर्ण या गैर-कैनोनिकल डिक्शनरी प्रदान कर सकती हैं। फलस्वरूप, प्रशिक्षित मॉडलों में फीचर दिशाओं की पहचान करने के लिए इन फीचर्स की विशिष्ट प्रकृति के बारे में पूर्व धारणाओं पर निर्भर रहने के बजाय, मौलिक रूप से भिन्न दृष्टिकोणों की आवश्यकता है।

यह कार्य इस बात की जांच करता है कि क्या एम्पिरिकल न्यूरल टैनजेंट कर्नेल (eNTK) के शीर्ष आइगेन-डायरेक्शन (eigen-directions) इन सीखे गए फीचर्स को उजागर करने के लिए एक तंत्र के रूप में कार्य कर सकते हैं। eNTK को पैरामीटर स्पेस दिशा में मॉडल के जैकोबियन मैट्रिक्स (Jacobian matrix) की दो प्रतियों को संकुचित करके बनाए गए कर्नेल के रूप में परिभाषित किया गया है:
$K_{ij}(x_1, x_2) = \sum_{\mu} \frac{df_i(x_1)}{dW_\mu} \frac{df_j(x_2)}{dW_\mu}$
जहाँ $f$ एक न्यूरल नेटवर्क है, $W_\mu$ वेट्स (weights) का प्रतिनिधित्व करता है, और $i, j$ आउटपुट क्लासेस को इंडेक्स करते हैं। लेखक परिकल्पना करते हैं कि इस कर्नेल के शीर्ष आइगेनस्पेस (eigenspaces), एक डेटासेट पर मूल्यांकित किए जाने पर, ग्राउंड-ट्रुथ या व्याख्या योग्य फीचर दिशाओं के साथ संरेखित होते हैं, भले ही मॉडल उस "लेजी" (lazy) ट्रेनिंग रिजीम के बाहर काम कर रहा हो जिसके लिए मानक NTK सिद्धांत सख्ती से लागू होता है।

कार्यप्रणाली (Methodology)

लेखक एक 1-लेयर MLP, एक 1-लेयर ट्रांसफार्मर, और एक प्री-ट्रेन्ड लार्ज लैंग्वेज मॉडल (Gemma-3-270M) में eNTK के शीर्ष आइगेन-डायरेक्शन को कंप्यूट और विश्लेषित करने के लिए एक एल्गोरिदम प्रस्तावित करते हैं।

1. कर्नेल निर्माण और न्यूनीकरण (Kernel Construction and Reduction)

एक आकार $N$ और $C$ आउटपुट क्लासेस वाले डेटासेट पर मूल्यांकित eNTK का आकार $(N, N, C, C)$ होता है। आइगेनडीकंपोजिशन (eigendecomposition) करने के लिए, लेखक दो न्यूनीकरण रणनीतियाँ लागू करते हैं:

क्लास-विशिष्ट eNTK (Class-specific eNTK): विशिष्ट क्लासेस के लिए कर्नेल $K_{cc}(x_1, x_2)$ का विश्लेषण।
फ्लैटनड eNTK (Flattened eNTK): क्लास-विशिष्ट ब्लॉक्स को एक एकल $NC \times NC$ मैट्रिक्स में स्टैक करना।
लेयर-वाइज eNTK (Layer-wise eNTK): विशिष्ट लेयर से संबंधित पैरामीटर्स पर जैकोबियन उत्पादों को जोड़ना ताकि फीचर्स को विशिष्ट नेटवर्क घटकों के साथ जोड़ा जा सके।

2. लैंकोस इटरेशन द्वारा स्केलेबिलिटी (Scalability via Lanczos Iteration)

बड़े मॉडलों के लिए जहाँ पूर्ण जैकोबियन मैट्रिक्स या eNTK बनाना असंभव है (जैसे बड़े वोकैबुलरी वाले लैंग्वेज मॉडल्स), लेखक लैंकोस इटरेशन (Lanczos Iteration) का उपयोग करते हैं। वे मैट्रिक्स-वेक्टर उत्पादों के $2k$ स्टेप्स करके शीर्ष $k$ आइगेन-डायरेक्शन का अनुमान लगाते हैं। महत्वपूर्ण रूप से, वे ऑटोमैटिक डिफरेंशिएशन के माध्यम से वेक्टर-जैकोबियन और जैकोबियन-वेक्टर उत्पादों का उपयोग करके $Kv = J(J^T v)$ की गणना करते हैं, जिससे पूर्ण जैकोबियन मैट्रिक्स या eNTK के स्पष्ट निर्माण से बचा जा सके।

3. लैंग्वेज मॉडल्स के लिए कुशल पुनर्निर्माण (Efficient Reconstruction for Language Models)

Gemma-3-270M प्रयोग के लिए, वोकैबुलरी साइज ( $d_{vocab}$ ) आउटपुट लेयर के फ्लैटनड eNTK को कम्प्यूटेशनल रूप से अव्यवहार्य बनाता है। लेखक अंतिम हिडन लेयर और अनएम्बेडिंग मैट्रिक्स ( $U$ ) के बीच आउटपुट लेयर के जैकोबियन मैट्रिक्स और उसके बीच के रैखिक संबंध का लाभ उठाते हैं। वे एक रूपांतरित ऑपरेटर $\tilde{K} = S^{1/2} K_r S^{1/2}$ (जहाँ $K_r$ रेसिडुअल स्ट्रीम पर eNTK है) व्युत्पन्न करते हैं, जिसमें पूर्ण आउटपुट eNTK के समान आइगेनवैल्यू होते हैं लेकिन यह छोटे $d_{model}$ स्पेस में संचालित होता है। यह बड़े, वोकैबुलरी-साइज्ड ऑब्जेक्ट्स को बनाए बिना शीर्ष eNTK आइगेन-डायरेक्शन के पुनर्निर्माण को सक्षम बनाता है।

4. मूल्यांकन मीट्रिक (Evaluation Metric)

परिकल्पना को मान्य करने के लिए, लेखक eNTK आइगेनस्पेस और स्वतंत्र रूप से निर्दिष्ट "ग्राउंड-ट्रुथ" फीचर वेक्टर्स के बीच संरेखण को मापते हैं।

एलाइनमेंट स्कोर (Alignment Score): शीर्ष $k$ eNTK आइगेनवेक्टर्स द्वारा स्पैन किए गए सबस्पेस और ग्राउंड-ट्रुथ फीचर्स द्वारा स्पैन किए गए सबस्पेस के बीच स्क्वेयर्ड फ्रोबेनियस नॉर्म (squared Frobenius norm) के रूप में गणना की जाती है।
बेसलाइन तुलना (Baseline Comparison): लैंग्वेज मॉडल सेटिंग में, eNTK दृष्टिकोण की तुलना मॉडल एक्टिवेशंस पर किए गए प्रिंसिपल कंपोनेंट एनालिसिस (PCA) बेसलाइन से की जाती है, जो समान कम्प्यूटेशनल बजट (शीर्ष 25 दिशाएं) का उपयोग करता है।

मुख्य परिणाम (Key Results)

1. मॉड्यूलर अरिथमेटिक पर MLP

एक 1-लेयर MLP जिसे मॉड्यूलर एडिशन ( $mod\ p$ ) पर प्रशिक्षित किया गया है और जो "ग्रोकिंग" (मेमोराइजेशन से जनरलाइजेशन की ओर एक फेज ट्रांजिशन) प्रदर्शित करता है:

स्पेक्ट्रल स्ट्रक्चर (Spectral Structure): eNTK स्पेक्ट्रम दो स्पष्ट "क्लिफ्स" (निरंतर उच्च आइगेनवैल्यू के ब्लॉक) दिखाता है।
फीचर एलाइनमेंट: पहला क्लिफ (आकार $4\lfloor p/2 \rfloor$ ) इनपुट वेरिएबल्स ( $a$ और $b$ ) के फूरियर फीचर्स के साथ पूरी तरह से संरेखित होता है। दूसरा क्लिफ "सम" (Sum) और "डिफरेंस" (Difference) ( $a+b$ और $a-b$ ) के फूरियर फीचर्स के साथ संरेखित होता है, जिनका उपयोग मॉडल का दूसरा लेयर ग्राउंड-ट्रुथ एल्गोरिदम को लागू करने के लिए करता है।
ट्रेनिंग डायनेमिक्स: इनपुट वेरिएबल्स के साथ दूसरे क्लिफ का ओवरलैप शुरुआत में कम होता है लेकिन सुचारू रूप से बढ़ता है, और ओवरलैप का प्रथम डेरिवेटिव ग्रोकिंग फेज ट्रांजिशन के आरंभ के पास अधिकतम तक पहुँचता है।

2. मॉड्यूलर अरिथमेटिक पर ट्रांसफार्मर

उसी कार्य के लिए प्रशिक्षित एक 1-लेयर ट्रांसफार्मर में:

स्पार्स फ्रीक्वेंसीज (Sparse Frequencies): MLP के विपरीत, ट्रांसफार्मर एक स्पार्स सेट ऑफ रैंडम, सीड-डिपेंडेंट फ्रीक्वेंसीज पर फूरियर मोड्स सीखता है।
लेयर-वाइज एलाइनमेंट: टॉप लेयर-वाइज eNTK आइगेन-डायरेक्शन इन विशिष्ट की-फ्रीक्वेंसीज पर फूरियर फीचर्स के साथ संरेखित होते हैं।
- अटेंशन ब्लॉक और MLP इनपुट वेट्स इनपुट फूरियर फीचर्स के योग ( $\cos(\omega_k a) + \cos(\omega_k b)$ ) के साथ संरेखित होते हैं।
- MLP आउटपुट और अनएम्बेडिंग वेट्स "सम" फूरियर फीचर्स ( $\cos(\omega_k(a+b))$ ) के साथ संरेखित होते हैं।
डायनेमिक्स: MLP की तरह, सम मोड्स के साथ एलाइनमेंट ट्रेनिंग के दौरान बढ़ता है और ग्रोकिंग ट्रांजिशन के पास अपने डेरिवेटिव में पीक करता है।

3. नेचुरल लैंग्वेज पर Gemma-3-270M

TinyStories कॉन्टेक्स्ट विंडोज़ के डेटासेट पर मूल्यांकित प्री-ट्रेन्ड Gemma-3-270M मॉडल में:

ग्रामर रिकंस्ट्रक्शन: शीर्ष eNTK आइगेन-डायरेक्शंस का परीक्षण ऑटोमैटिकली जेनरेटेड ग्रामैटिकल फीचर्स (पार्ट्स ऑफ स्पीच और मोर्फोलॉजिकल टैग जैसे टेंस और नंबर) के विरुद्ध किया गया।
प्रदर्शन: eNTK आइगेन-डायरेक्शंस ने सभी पार्ट्स-ऑफ-स्पीच फीचर्स और सभी लेकिन एक मोर्फोलॉजिकल फीचर के लिए मॉडल एक्टिवेशंस पर PCA बेसलाइन को बेहतर प्रदर्शन किया, जिसे AUROC द्वारा मापा गया।
इंटरप्रिटेबिलिटी: विशिष्ट आइगेन-डायरेक्शंस (जैसे "इन्फिनिटिव" या "पास्ट टेंस वर्ब") के लिए सबसे अधिक एक्टिवेट होने वाले उदाहरणों के गुणात्मक विश्लेषण ने लक्षित ग्रामैटिकल फीचर्स के अनुरूप सुसंगत सिमेंटिक व्याख्याओं को प्रकट किया।

महत्व और दावे (Significance and Claims)

यह कार्य दावा करता है कि eNTK आइगेन-एनालिसिस प्रशिक्षित मॉडलों में फीचर्स की पहचान करने के लिए एक नया, सैद्धांतिक रूप से प्रेरित और अनुभवजन्य रूप से मान्य दृष्टिकोण प्रदान करता है।

लेजी रिजीम से परे: यह कार्य प्रदर्शित करता है कि eNTK स्पेक्ट्रल स्ट्रक्चर उन मॉडलों में भी सूचनात्मक रहता है और ग्राउंड-ट्रुथ मैकेनिज्म के साथ संरेखित होता है जो "लेजी" ट्रेनिंग रिजीम (जहाँ पैरामीटर ड्रिफ्ट नगण्य है) में नहीं हैं, एक ऐसा रिजीम जिसके लिए मानक NTK सिद्धांत सख्ती से लागू नहीं होता है।
एक्टिवेशन PCA से श्रेष्ठता: लैंग्वेज मॉडल के संदर्भ में, eNTK दृष्टिकोण एक्टिवेशंस पर PCA की तुलना में ग्रामैटिकल फीचर्स को अधिक सफलतापूर्वक रिकवर करता है, जो यह सुझाव देता है कि कर्नेल स्ट्रक्चर में वह फीचर जानकारी होती है जिसे रॉ एक्टिवेशंस (भले ही उन्हें PCA के माध्यम से कम किया गया हो) अस्पष्ट कर सकते हैं।
डायनेमिक मॉनिटरिंग: यह अवलोकन कि eNTक सबस्पेस का फीचर्स के साथ एलाइनमेंट ट्रेनिंग के दौरान विकसित होता है—विशेष रूप से ग्रोकिंग के पास परिवर्तन की दर में पीक के साथ—यह सुझाव देता है कि eNTK आइगेन-एनालिसिस का उपयोग यह निगरानी करने के लिए एक डायग्नोस्टिक टूल के रूप में किया जा सकता है कि ट्रेनिंग के दौरान विशिष्ट फीचर्स कब प्राप्त किए जाते हैं।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि उनके परिणाम वर्तमान में सहसंबंधी (correlational) हैं। उन्होंने अभी तक यह प्रदर्शित नहीं किया है कि eNTK-प्रेरित हस्तक्षेप मॉडल के व्यवहार को काउज़ली (causally) बदल सकते हैं, और वे भाषा मॉडल प्रयोग के स्केलिंग (Gemma-3-270M अत्याधुनिक मॉडलों से छोटा है) और डेटासेट की सरलता (TinyStories) के संबंध में सीमाओं को स्वीकार करते हैं। फिर भी, सिंथेटिक एल्गोरिथमिक कार्यों और नेचुरल लैंग्वेज के बीच परिणामों की निरंतरता eNTK-आधारित मैकेनिस्टिक इंटरप्रिटेबिलिटी के लिए मजबूत क्षमता की ओर इशारा करती है।