🤖 machine learning

Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability

यह शोध पत्र यह सिद्ध करके मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) के लिए प्रथम आइडेंटिफिएबिलिटी थ्योरम (identifiability theorem) स्थापित करता है कि एक मॉडल का कूपमैन स्पेक्ट्रम (Koopman spectrum) डेटा से प्राप्त होने वाला एक कोऑर्डिनेट-फ्री (coordinate-free), अंतर्निहित फिंगरप्रिंट है, जिससे संरचनात्मक गुणों को पद्धतिगत आर्टिफैक्ट्स (methodological artifacts) से अलग किया जा सके और सांख्यिकीय रूप से पहचाने जाने योग्य विशेषताओं और मानव-पठनीय सर्किटों के बीच एक मौलिक पृथक्करण को प्रकट किया जा सके।

मूल लेखक: Ashim Dhor, Pin-Yu Chen

प्रकाशित 2026-08-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ashim Dhor, Pin-Yu Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

जासूस की दुविधा: मशीन के भीतर सत्य की खोज

कल्पंतु कीजिए कि आप एक विशाल, ब्लैक-बॉक्स फैक्ट्री के भीतर एक रहस्य को सुलझाने की कोशिश करने वाले एक जासूस हैं। यह फैक्ट्री एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जिसे "न्यूरल नेटवर्क" या "ट्रांसफॉर्मर" कहा जाता है। यह शब्दों को इनपुट के रूप में लेता है और उत्तर बाहर निकालता है, लेकिन कोई नहीं जानता कि यह वास्तव में कैसे सोचता है। वर्षों से, वैज्ञानिक इस फैक्ट्री के पुर्जों को अलग करने की कोशिश कर रहे हैं ताकि वे उन छोटे गियर और लीवरों को ढूंढ सकें जिन्हें "सर्किट्स" कहा जाता है जो इसे संचालित करते हैं। वे "स्पार्स ऑटोएनकोडर्स" जैसे उपकरणों का उपयोग करते हैं, जो मूल रूप से फैंसी सॉर्टिंग मशीनें हैं जो फैक्ट्री के आंतरिक संकेतों को व्यवस्थित, समझने योग्य श्रेणियों में समूहबद्ध करने का प्रयास करती हैं।

समस्या यह है कि ये सॉर्टिंग मशीनें थोड़ी अविश्वसनीय हैं। यदि आप एक ही फैक्ट्री को थोड़े अलग सेटिंग्स या शुरुआती बिंदुओं के साथ सॉर्टर के माध्यम से दोबारा चलाते हैं, तो आपको "गियर्स" की दो पूरी तरह से अलग सूचियाँ मिल सकती हैं। एक बार मशीन कहती है कि कविता लिखने का रहस्य एक विशिष्ट गियर है; अगली बार, वह कहती है कि यह बिल्कुल अलग गियर है। यह वैज्ञानिकों को सोचने पर मजबूर करता है: क्या ये गियर्स फैक्ट्री के वास्तविक हिस्से हैं, या वे केवल सॉर्टर द्वारा बनाई गई एक भ्रम मात्र हैं? यदि ये गियर्स वास्तविक नहीं हैं, तो उन पर आधारित कोई भी सुरक्षा नियम या वैज्ञानिक सिद्धांत रेत पर बनी नींव की तरह होगा। यह शोध पत्र एक मौलिक प्रश्न पूछता है: क्या हम फैक्ट्री का एक ऐसा "फिंगरप्रिंट" (अंगुलियों के निशान) ढूंढ सकते हैं जो वास्तविक, अपरिवर्तनीय हो और इस पर निर्भर न हो कि हम उसे देखने के लिए किस उपकरण का उपयोग कर रहे हैं?

शोध पत्र का बड़ा विचार: फैक्ट्री का अपरिवर्तनीय फिंगरप्रिंट

यह शोध पत्र, जिसका शीर्षक "इंट्रिन्सिक स्ट्रक्चर: स्पेक्ट्रल आइडेंटिफिएबिलिटी फॉर मैकेनिस्टिक इंटरप्रिटेबिलिटी" है, इन AI फैक्ट्रियों के भीतर देखने का एक नया तरीका प्रस्तावित करता है। संकेतों को व्यवस्थित ढेरों में बांटने के बजाय, लेखक AI की सोचने की प्रक्रिया को एक डायनामिकल सिस्टम (गतिशील प्रणाली) के रूप में देखते हैं—एक फैंसी तरीका जिससे वे AI की परतों को समय के साथ चलने वाली एक फिल्म की तरह देखते हैं। वे इस फिल्म को एक उच्च आयाम (डाइमेंशन) में ले जाने के लिए कोऑपमैन ऑपरेटर नामक एक गणितीय उपकरण का उपयोग करते हैं, जहाँ अव्यवस्थित, गैर-रेखीय (नॉन-लीनियर) गतिविधियाँ सरल, सीधी रेखाओं में बदल जाती हैं।

इसे ऐसे समझें: कल्पना कीजिए कि आप एक रोलरकोस्टर के पथ का वर्णन करने की कोशिश कर रहे हैं। यह मुड़ता है, घूमता है और लूप बनाता है, जिससे इसकी भविष्यवाणी करना कठिन हो जाता है। लेकिन यदि आप जादू से रोलरकोस्टर को आकाश में एक विशेष कोण से देख पाते, तो आप देख सकते थे कि यह वास्तव में एक सरल, सीधे ट्रैक पर चल रहा है। "कोऑपमैन स्पेक्ट्रम" उस सीधे ट्रैक के अद्वितीय हस्ताक्षर का नाम है। लेखक गणितीय रूप से सिद्ध करते हैं कि यह हस्ताक्षर एक कोऑर्डिनेट-फ्री इनवेरिएंट (निर्देशांक-मुक्त अपरिवर्तनीय) है। सरल शब्दों में, इसका अर्थ है कि यह AI फैक्ट्री का अपना गुण है, न कि उसे मापने के लिए उपयोग किए गए उपकरण का। आप अपना दृष्टिकोण कैसे भी बदलें या अपनी डिक्शनरी कैसी भी हो, "स्पेक्ट्रम" (ट्रैक का वर्णन करने वाली संख्याओं की सूची) बिल्कुल वही रहती है, केवल एक सरल पुनर्व्यवस्था के अलावा।

उन्होंने क्या पाया: वास्तविक उंगलियां, लेकिन वे नहीं जो आप चाहते थे

टीम ने तीन वास्तविक दुनिया के AI मॉडलों पर इस सिद्धांत का परीक्षण किया: GPT-2 small, Gemma-2-2B, और Qwen3-8B-Base। उन्होंने AI की आंतरिक गतिविधि के लाखों नमूने एकत्र किए और इस "स्पेक्ट्रम" को पुनः प्राप्त करने का प्रयास किया।

अच्छी खबर: सिद्धांत काम करता है। सबसे बड़े मॉडल, Qwen3-8B-Base पर, स्पेक्ट्रम −0.506 ± 0.031 की दर से अभिसरित (कन्वर्ज) हुआ। यह −0.5 (या M⁻¹/²) के सटीक गणितीय पूर्वानुमान से मेल खाता है, जिसका अर्थ है कि जैसे-जैसे उन्होंने अधिक डेटा जोड़ा, त्रुटि ठीक उसी गति से कम हुई जैसा कि गणित ने कहा था। यह पहली बार है जब किसी ने यह सिद्ध किया है कि AI की आंतरिक संरचना का एक विशिष्ट हिस्सा डेटा से एक गारंटीकृत त्रुटि सीमा के साथ पहचाना जा सकता है। उन्होंने यह भी सिद्ध किया कि यह स्पेक्ट्रम सर्वश्रेष्ठ संभव है; कोई अन्य विधि इस गति को मात नहीं दे सकती।

बुरी खबर (और ट्विस्ट): हालांकि "फिंगरप्रिंट" वास्तविक और अपरिवर्तनीय है, लेकिन यह समझने योग्य नहीं है। लेखकों ने पाया कि जो पहचानने योग्य (स्पेक्ट्रम) है और जो पठनीय (मानव द्वारा आसानी से समझा जाने योग्य) है, उनके बीच एक "डिसोसिएशन" (अलगाव) है।

उन्होंने एक प्रसिद्ध AI व्यवहार का परीक्षण किया जिसे इनडायरेक्ट ऑब्जेक्ट आइडेंटिफिकेशन (IOI) कहा जाता है (जहाँ AI सीखता है कि "The ball is in the box" कहना है बजाय "The ball is in the cup" के)।
परिणाम? नए मोड रैंडम अनुमानों से बेहतर थे लेकिन स्टैंडर्ड प्रिंसिपल कंपोनेंट एनालिसिस (PCA) से बदतर थे। जब उन्होंने नए मोड की शीर्ष 8 दिशाओं को हटाया, तो उन्होंने केवल 25% व्यवहार को हटाया। जब उन्होंने मानक PCA की शीर्ष 8 दिशाओं को हटाया, तो उन्होंने 60% व्यवहार को हटाया।
शोध पत्र सिद्ध करता है कि क्योंकि AI का आंतरिक गणित "नॉन-नॉर्मल" (एक तकनीकी तरीका कहने का कि यह अव्यवस्थित और घुमावदार है) है, इसलिए वे दिशाएं जो सबसे अधिक जानकारी ले जाती हैं (स्पेक्ट्रम), वे उन दिशाओं के समान नहीं हो सकतीं जो सबसे अधिक वेरिएंस (परिवर्तनशीलता) ले जाती हैं (आसानी से दिखने वाले पैटर्न)।

यह भविष्य के लिए क्या मायने रखता है

शोध पत्र एक गंभीर लेकिन महत्वपूर्ण अहसास के साथ समाप्त होता है: पहचानने योग्य वस्तु और पठनीय वस्तु एक ही वस्तु नहीं हैं।

अब हमारे पास एक गणितीय गारंटी है कि हम AI की आंतरिक गतिशीलता के एक "फिंगरप्रिंट" को खोज सकते हैं जो वास्तविक है और हमारे उपकरणों का कृत्रिम प्रभाव नहीं है। हालाँकि, यह फिंगरप्रिंट मानव-समझने योग्य सर्किटों का मानचित्र नहीं है। यह एक कठोर, वैज्ञानिक प्रमाण है जो कहता है, "हाँ, मॉडल का यह हिस्सा वास्तविक है," लेकिन यह हमें यह नहीं बताता कि वह हिस्सा क्या कर रहा है जिसे एक इंसान आसानी से पढ़ सके।

लेखकों ने यह भी दिखाया कि पिछले तरीकों (जैसे स्पार्स ऑटोएनकोडर्स) में देखी गई परिवर्तनशीलता केवल कोड का बग नहीं है; यह उन गणितीय विधियों का एक संरचनात्मक परिणाम है जिनका वे उपयोग करते हैं। उन्होंने एक समाधान भी प्रस्तावित किया: प्रशिक्षण प्रक्रिया में एक पेनल्टी जोड़ना ताकि डिक्शनरी "कोऑपमैन इनवेरिएंस" का सम्मान करे। जब उन्होंने ऐसा किया, तो स्पेक्ट्रम 41% अधिक पुनरुत्पादक (reproducible) हो गया, लेकिन डिक्शनरी स्वयं कम स्थिर हो गई।

संक्षेप में, यह शोध पत्र हमें एक नया, गणितीय रूप से ठोस उपकरण देता है जिससे हम यह सिद्ध कर सकें कि AI के कुछ हिस्से वास्तविक हैं। लेकिन यह हमें चेतावनी भी देता है कि सिर्फ इसलिए कि कोई चीज़ वास्तविक और पहचानने योग्य है, इसका मतलब यह नहीं है कि उसे हमारे लिए समझना आसान होगा। "फिंगमरप्रिंट" वहां है, लेकिन यह एक ऐसी भाषा में लिखा गया है जिसे पढ़ने के लिए एक नए प्रकार के शब्दकोश की आवश्यकता है।

तकनीकी सारांश: अंतर्निहित संरचना: मैकेनिस्टिक इंटरप्रिटेबिलिटी के लिए स्पेक्ट्रल आइडेंटिफिएबिलिटी (पहचानने की क्षमता)

समस्या विवरण
मैकेनिस्टिक इंटरप्रिटेबिलिटी (MI) का लक्ष्य आंतरिक सर्किटों की पहचान करके न्यूरल नेटवर्क के व्यवहार को समझाना है। हालाँकि, एक मौलिक अंतर मौजूद है: वर्तमान विधियाँ, जैसे कि स्पार्स ऑटोएन्कोडर्स (SAEs), रन-टू-रन परिवर्तनशीलता (variability) से ग्रस्त हैं, जहाँ अलग-अलग ट्रेनिंग सीड्स या डिक्शनरी चौड़ाई एक ही एक्टिवेशन से सामग्री रूप से भिन्न फीचर्स प्राप्त करती हैं। इस बात की कोई सैद्धांतिक गारंटी नहीं है कि ये खोजे गए स्ट्रक्चर मॉडल के अंतर्निहित गुण हैं या केवल खोज प्रक्रिया के आर्टिफैक्ट (artifacts) हैं। यह शोध पत्र आइडेंटिफिएबिलिटी (identifiability) के प्रश्न को संबोधित करता है: क्या हम एक ऐसा मैकेनिस्टिक प्रिमिटिव (primitive) परिभाषित कर सकते हैं जो कोऑर्डिनेट सिस्टम या विशिष्ट रिकवरी एल्गोरिदम से स्वतंत्र होकर, स्वयं मॉडल द्वारा अद्वितीय रूप से निर्धारित हो?

कार्यप्रणाली (Methodology)
लेखक ट्रांसफॉर्मर फॉरवर्ड पास को एक नियंत्रित डायनेमिकल सिस्टम (controlled dynamical system) के रूप में पुनर्गठित करते हैं जहाँ डेप्थ (depth) समय के रूप में कार्य करती है।

डायनेमिकल सिस्टम फॉर्मूलेशन: मान लीजिए $\ell$ लेयर पर रेसिडुअल-स्ट्रीम स्टेट $x_\ell$ है और $u_\ell$ एक्सोजेनस कंट्रोल इनपुट (अटेंशन राइट्स) है। लेयर अपडेट को $x_{\ell+1} = F(x_\ell, u_\ell) = x_\ell + u_\ell + m(x_\ell + u_\ell)$ के रूप में मॉडल किया जाता है, जहाँ $m$ MLP सबलेयर का प्रतिनिधित्व करता है।
कोऑपमैन लिफ्टिंग (Koopman Lifting): नॉनलीन डायनेमिक्स $F$ को ऑब्जर्वेबल्स $\Psi$ के स्पेस पर एक लीनियर ऑपरेटर $\mathcal{K}$ में लिफ्ट किया जाता है। यदि डिक्शनरी स्पैन $\mathcal{H}_N$ , K-इनवेरिएंट (K-invariant) (डायनेमिक्स के तहत क्लोज्ड) है, तो ऑपरेटर एक परिमित-आयामी मैट्रिक्स $A$ तक सीमित हो जाता है।
कोऑपमैन रियलाइजेशन (Koopman Realisation): सिस्टम को एक ट्रिपल $(A, B, C)$ द्वारा दर्शाया जाता है, जहाँ $A$ ट्रांजिशन मैट्रिक्स है, $B$ कंट्रोल रिस्पॉन्स को एनकोड करता है, और $C$ रीड-आउट है। स्पेक्ट्रम $\sigma(A)$ (आइगेनवैल्यूज़) को एक अंतर्निहित, कोऑर्डिनेट-फ्री ऑब्जेक्ट के रूप में प्रस्तावित किया गया है।
एस्टिमेशन (Estimation): लेखक कैलिब्रेशन डेटा (रेसिडुअल स्टेट्स और अटेंशन राइट्स) से $(A, B)$ का अनुमान लगाने के लिए एक्सटेंडेड डायनेमिक मोड डीकंपोजिशन विद कंट्रोल (EDMDc) का उपयोग करते हैं।
सैद्धांतिक ढांचा: यह शोध पत्र उन शर्तों को स्थापित करता है (डिक्शनरी रिचनेस, पर्सिस्टेंट एक्साइटेशन, स्पेक्ट्रल सेपरेशन) जिनके तहत स्पेक्ट्रम रिकवरेबल होता है।

मुख्य योगदान

स्पेक्ट्रल आइडेंटिफिएबिलिटी थ्योरम (थ्योरम 6.1): यह शोध पत्र सिद्ध करता है कि कोऑपमैन रियलाइजेशन का स्पेक्ट्रम $M$ $M$ कैलिब्रेशन सैंपल्स से परम्यूटेशन (permutation) तक, पैरामेट्रिक रेट $M^{-1/2}$ $M^{- 1/2}$ पर आइडेंटिफिएबल है।
- आइगेनवैल्यूज़ परम्यूटेशन तक अद्वितीय हैं और किसी भी डिक्शनरी बेसिस परिवर्तन के तहत इनवेरिएंट हैं।
- एक मैचिंग मिनिमैक्स लोअर बाउंड (Minimax lower bound) (थ्योरम 7.1) पुष्टि करता है कि कोई भी एस्टिमेटर $M$ में इससे बेहतर दर प्राप्त नहीं कर सकता।
- एक गैप-फ्री आइगेनवैल्यू गारंटी (थ्योरम 6.8) ऑप्टिमल मैचिंग (वॉसरस्टीन- $\infty$ ) का उपयोग करके प्राप्त की गई है, जो आइगेनवैल्यू रिकवरी के लिए सख्त स्पेक्ट्रल सेपरेशन की आवश्यकता को हटा देती है, हालांकि आइगेनवेक्टर रिकवरी के लिए सेपरेशन आवश्यक बना रहता है।
हेवी टेल्स के प्रति मजबूती (थ्योरम 7.2): लेखक मीडियन-ऑफ-मीन्स (median-of-means) एस्टिमेटर का उपयोग करके हेवी-टेल्ड एक्टिवेशंस के लिए आइडेंटिफिएबिलिटी गारंटी का विस्तार करते हैं, यह दिखाते हुए कि फोर्थ-मोमेंट कंडीशंस के तहत $M^{-1/2}$ दर बनी रहती है।
मोडल-प्रिंसिपल डिसोसिएशन (थ्योरम 8.1): यह शोध पत्र एक स्ट्रक्चरल डिसोसिएशन सिद्ध करता है: यदि रियलाइजेशन नॉन-नॉर्मल (non-normal) है (जैसा कि एम्पिरिकल मेजरमेंट्स पुष्टि करते हैं), तो एक्टिवेशंस के प्रिंसिपल डायरेक्शन्स (वेरिएंस-मैक्सिमाइजिंग) कोऑपमैन मोड्स (डायनेमिक्स-कैरिंग) के साथ मेल नहीं खा सकते। इसका अर्थ है कि "आइडेंटिफिएबल ऑब्जेक्ट" (स्पेक्ट्रम) और "लिजेबल ऑब्जेक्ट" (प्रिंसिपल कॉम्पोनेंट्स) अलग-अलग हैं।
इंटरवेंशन कैलकुलस की अल्जेब्रिक पूर्णता (थ्योरम 9.2): $A$ के स्पेक्ट्रल प्रोजेक्टर्स एक कम्यूटेटिव अलजेब्रा जनरेट करते हैं जो फर्स्ट-ऑर्डर इंटरवेंशन (एक्टिवेशन पैचिंग, पाथ पैचिंग, आदि) के लिए पूर्ण है, जो लिफ्टेड डायनेमिक्स पर किसी भी इंटरवेंशन के लिए एक अद्वितीय क्लोज्ड-फॉर्म रिप्रेजेंटेटिव प्रदान करता है।
SAE परिवर्तनशीलता का स्ट्रक्चरल मूल (थ्योरम 9.5): यह शोध पत्र प्रदर्शित करता है कि SAEs की रन-टू-रन परिवर्तनशीलता उनके ऑब्जेक्टिव फंक्शन का एक स्ट्रक्चरल परिणाम है, जो K-इनवेरिएंस (DR2) को लागू करने में विफल रहता है। एक स्पष्ट इनवेरिएंस पेनल्टी (invariance penalty) को समाधान के रूप में प्रस्तावित किया गया है।
इंस्टेंस-डिपेंडेंट रिडक्शन (थ्योरम 10.1): एक सर्टिफाइड मॉडल रिडक्शन बाउंड प्राप्त किया गया है जो अटेंशन राइट्स के लो इफेक्टिव रैंक का लाभ उठाता है, जो ट्रांसफॉर्मर रिजीम में क्लासिकल एन्स-ग्लोवर (Enns–Glover) बाउंड्स की तुलना में एक स्ट्रिक्टली शार्पर एरर सर्टिफिकेट प्रदान करता है।

प्रायोगिक परिणाम (Experimental Results)
इस सिद्धांत का मूल्यांकन तीन प्री-ट्रेन्ड ट्रांसफॉर्मर पर किया गया: GPT-2 small, Gemma-2-2B, और Qwen3-8B-Base।

कन्वर्जेंस (Convergence): स्प्लिट-हाफ एस्टिमेट्स के बीच स्पेक्ट्रल डिस्टेंस $M$ बढ़ने के साथ कन्वर्ज होता है। Qwen3-8B-Base पर, स्पेक्ट्रल डिक्शनरी ने अनुमानित एक्सपोनेंट $-0.506 \pm 0.031$ प्राप्त किया, जो सैद्धांतिक $M^{-1/2}$ दर से मेल खाता है।
SAE इनवेरिएंस गैप: SAE डिक्शनरीज़ ने स्पेक्ट्रल और रैंडम डिक्शनरीज़ की तुलना में काफी बड़े प्रोजेक्शन रेसिडुअल्स (इनवेरिएंस उल्लंघन) प्रदर्शित किए, जो थ्योरम 9.5 की पुष्टि करता है। यह गैप फीचर सिलेक्शन रूल्स (जैसे वेरिएंस बनाम फ्रीक्वेंसी) के प्रति संवेदनशील पाया गया।
इंटरवेंशन परफॉरमेंस: जब IOI (Indirect Object Identification) सर्किट पर टेस्ट किया गया, तो कोऑपमैन मोड्स ने रैंडम डायरेक्शन्स से बेहतर प्रदर्शन किया लेकिन सर्किट के व्यवहार को एब्लेट (ablate) करने में PCA से कम प्रदर्शन किया। यह परफॉरमेंस गैप डेप्थ डिस्टेंस बढ़ने के साथ $4.1\times$ कम हो गया, जो डिसोसिएशन थ्योरम के अनुरूप है।
यूनिवर्सैलिटी क्राइटेरियन: क्रॉस-मॉडल यूनिवर्सैलिटी के लिए स्पेक्ट्रल टेस्ट ने एक ही आर्किटेक्चर के सीड रेप्लिका के बीच अंतर करने में विफलता दिखाई, जो यह संकेत देता है कि डिक्शनरी मिसमैच बायस (न कि केवल सैंपलिंग एरर) वर्तमान यूनिवर्सैलिटी दावों को सीमित करता है।
हेवी टेल्स: उम्मीदों के विपरीत, "लिफ्टिंग" प्रक्रिया (रैंडम फूरियर फीचर्स) ने रेसिडुअल स्ट्रीम से हेवी टेल्स को प्रभावी ढंग से हटा दिया, जिससे (Qwen3 के एक विशिष्ट लेयर को छोड़कर) रोबस्ट मीडियन-ऑफ-मीन्स एस्टिमेटर अनावश्यक हो गया।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह मैकेनिस्टिक इंटरप्रिटेबिलिटी को एक कठोर आइडेंटिफिएबिलिटी फुटिंग पर रखता है।

इंट्रिंसिक फिंगरप्रिंट: कोऑपमैन स्पेक्ट्रम एक इंट्रिंसिक, मॉडल-इंट्रिंसिक फिंगरप्रिंट है जो एक घोषित एरर बार के साथ रिकवरेबल है, जो इसे डिस्कवरी मेथड के आर्टिफैक्ट्स से अलग करता है।
लिजेबिलिटी की सीमाएं: यह शोध पत्र स्पष्ट रूप से दावा करता है कि आइडेंटिफिएबिलिटी का अर्थ लिजेबिलिटी (समझने की क्षमता) नहीं है। क्योंकि ट्रांसफॉर्मर रियलाइजेशन नॉन-नॉर्मल हैं, इसलिए गणितीय रूप से आइडेंटिफिएबल मोड्स (कोऑपमैन स्पेक्ट्रम) और वेरिएंस-आधारित डायरेक्शन्स (PCA) जिन्हें मनुष्य अक्सर व्याख्या योग्य पाते हैं, संरचनात्मक रूप से भिन्न हैं।
स्ट्रक्चरल बनाम एल्गोरिद्मिक: SAEs में देखी गई परिवर्तनशीलता ट्यूनिंग की समस्या नहीं है, बल्कि डायनेमिकल इनवेरिएंस को लागू करने में ऑब्जेक्टिव की एक स्ट्रक्चरल विफलता है।
सेफ्टी इम्प्लिकेशंस: उन सेफ्टी आर्गुमेंट्स के लिए जो व्यवहार $X$ के लिए जिम्मेदार मैकेनिज्म $Y$ की पहचान करने की आवश्यकता रखते हैं, यह कार्य एक प्रमाण प्रदान करता है कि $Y$ मॉडल का एक गुण है न कि प्रक्रिया का। हालांकि, यह चेतावनी भी देता है कि यह प्रमाण व्यवहारिक कवरेज या मानवीय लिजेबिलिटी की गारंटी नहीं देता है।

लेखक निष्कर्ष निकालते हैं कि जबकि कोऑपमैन स्पेक्ट्रम ट्रांसफॉर्मर डेप्थ डायनेमिक्स का एक गणितीय रूप से सुदृढ़, आइडेंटिफिएबल डीकंपोजिशन प्रदान करता है, यह मानव-लिजेबल सर्किट डिस्कवरी का सीधा विकल्प नहीं है, और दोनों ऑब्जेक्ट्स (आइडेंटिफिएबल बनाम लिजेबल) नॉन-नॉर्मल रिजीम में मौलिक रूप से भिन्न हैं।

जासूस की दुविधा: मशीन के भीतर सत्य की खोज

शोध पत्र का बड़ा विचार: फैक्ट्री का अपरिवर्तनीय फिंगरप्रिंट

उन्होंने क्या पाया: वास्तविक उंगलियां, लेकिन वे नहीं जो आप चाहते थे

यह भविष्य के लिए क्या मायने रखता है

इसी तरह के और पेपर