🤖 machine learning

A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations: I. The Single-Block Theory and Synthetic Validation

यह शोध पत्र एक आदर्श सैद्धांतिक ढांचा स्थापित करता है जो यह सिद्ध करता है कि एक्टिवेशन पैचिंग (activation patching) और वेट-स्पेस एब्लेशन (weight-space ablation) मॉडल के घटकों के लिए भिन्न कारण संबंधी व्याख्याएं (causal interpretations) प्रदान करते हैं, उनकी सहमति और असहमति के सटीक मापदंडों को व्युत्पन्न करता है और सिंथेटिक प्रयोगों एवं वास्तविक दुनिया के ट्रांसफॉर्मर मॉडलों के माध्यम से इन भविष्यवाणियों को मान्य करता है।

मूल लेखक: Abdallah Khemais

प्रकाशित 2026-08-05

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdallah Khemais

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

जासूस की दुविधा: हम AI मस्तिष्क को समझने की कोशिश कैसे करते हैं

कल्पना कीजिए कि आपके पास एक विशाल, जटिल मशीन है जो कहानियाँ सुना सकती है, गणित की समस्याओं को हल कर सकती है, या कविताएँ लिख सकती है। आप जानना चाहते हैं कि यह कैसे काम करती है। क्या यह बीच के गियर्स (gears) हैं? या ऊपर की स्प्रिंग्स? इसे जानने के लिए वैज्ञानिक दो मुख्य तरकीबों का उपयोग करते हैं। पहली तरकीब एक्टिवेशन पैचिंग (Activation Patching) की तरह है: कल्पना कीजिए कि मशीन एक कहानी चला रही है, और आप उसे रोकते हैं, एक विशिष्ट गियर को किसी दूसरी कहानी के गियर से बदल देते हैं, और देखते हैं कि क्या कहानी का प्लॉट बदल जाता है। यदि कहानी बदल जाती है, तो वह गियर महत्वपूर्ण था। दूसरी तरकीब वेट-स्पेस एब्लेशन (Weight-Space Ablation) है: मशीन को रोकने के बजाय, आप एक पेचकस लेते हैं और उस विशिष्ट गियर को स्थायी रूप से हटा देते हैं या "जीरो आउट" कर देते हैं। फिर आप मशीन को दोबारा चलाते हैं। यदि कहानी टूट जाती है, तो वह गियर महत्वपूर्ण था।

लंबे समय तक, वैज्ञानिकों को उम्मीद थी कि ये दो तरकीबें एक ही कहानी बताएंगी। उन्होंने माना था कि यदि कोई गियर किसी विशिष्ट क्षण के लिए महत्वपूर्ण है (पैचिंग), तो वह मशीन के समग्र डिज़ाइन के लिए भी महत्वपूर्ण होगा (एब्लेशन)। लेकिन आर्टिफिशियल इंटेलिजेंस की दुनिया में, चीजें शायद ही कभी इतनी सरल होती हैं। कभी-कभी, एक मशीन इतने सारे बैकअप गियर्स से भरी होती है कि एक को हटाने से कुछ टूटता नहीं है, भले ही उसे कहानी के बीच में बदलने से तबाही मच जाए। यह पेपर एक महत्वपूर्ण प्रश्न पूछता है: ये दो जासूसी विधियाँ कब सहमत होती हैं, और कब वे हमसे झूठ बोलती हैं? लेखक केवल अनुमान नहीं लगाता; वे यह साबित करने के लिए एक गणितीय मॉडल बनाते है कि ये विधियाँ क्यों असहमत हो सकती हैं, और वे यह देखने के लिए कि क्या गणित वास्तविक दुनिया में काम करता है, छोटे, बनावटी AI मस्तिष्कों पर इसका परीक्षण करते हैं।

द पेपर: क्यों दो जासूसी विधियाँ असहमत हो सकती हैं

यह पेपर, जिसका शीर्षक A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations है, इस बात की गहराई में जाता है कि AI मॉडल निर्णय कैसे लेते हैं। लेखक, अब्दुल्ला खेमैस, AI को एक रहस्यमय ब्लैक बॉक्स के रूप में नहीं, बल्कि आपस में मिले हुए गणितीय अवयवों (ingredients) के एक सेट के रूप में देखते हैं। वे एक विशिष्ट प्रकार के AI व्यवहार पर ध्यान केंद्रित करते हैं जिसे "कंडीशनल कम्प्यूटेशन" कहा जाता है—जहाँ AI तय करता है कि यदि वह एक "लाल" टोकन देखता है तो एक काम करेगा और यदि वह एक "नीला" टोकन देखता है तो दूसरा काम करेगा।

तीन बड़ी खोजें

यह पेपर एक सरलीकृत गणितीय मॉडल का उपयोग करके तीन मुख्य बातें सिद्ध करता है, और फिर यह जाँचता है कि क्या वे चीजें वास्तवं में प्रशिक्षित AI मॉडलों में होती हैं।

1. "परफेक्ट कोलैप्स" (जब हिस्सों को हटाने से AI भूल जाता है)
कल्पना कीजिए कि AI दो रास्तों के बीच निर्णय ले रहा है: पथ A ("इनवर्टेड" मार्ग) और पथ B ("लिटरल" मार्ग)। लेखक सिद्ध करते हैं कि यदि आप विशिष्ट "कैरियर्स" (AI के वे हिस्से जो निर्णय को आगे ले जाते हैं) के एक सेट को हटा देते हैं, तो AI अचानक पथ A और पथ B के बीच के अंतर को भूल सकता है। यह एक एकल, बिना शर्त (unconditional) उत्तर में ढह (collapse) जाता है।

कैच: यह केवल तभी होता है जब हटाना पूरी तरह से संतुलित हो। यदि आप एक ऐसा हिस्सा हटाते हैं जो AI को पथ A की ओर धकेलता है, तो आपको पथ B की ओर धकेलने वाले हिस्से को भी ठीक उसी ताकत के साथ हटाना होगा। यदि संतुलन बिगड़ जाता है, तो AI ढहता नहीं है; वह बस भ्रमित हो जाता है।
वास्तविक दुनिया का परीक्षण: लेखक ने छोटे AI मॉडल को एक खेल पर प्रशिक्षित किया जहाँ उन्हें कुंजियों (keys) और मानों (values) को याद रखना था। उन्होंने पाया कि कभी-कभी, एक हिस्से को हटाने से AI गलत पथ चुन लेता था, लेकिन हिस्सों के एक अलग संयोजन को हटाने से वह विपरीत गलत पथ चुन लेता था। इस "पोलैरिटी रिवर्सल" ने सिद्ध किया कि AI केवल बेतरतीब ढंग से विफल नहीं हो रहा था; यह एक बहुत ही विशिष्ट, अनुमानित तरीके से ढह रहा था जैसा कि गणित ने भविष्यवाणी की थी।

2. "पैच बनाम एब्लेट" विसंगति (रिडंडेंसी ट्रैप)
यह पेपर की सबसे दिलचस्प और आश्चर्यजनक खोज है। लेखक दिखाते हैं कि एक्टिवेशन पैचिंग और वेट एब्लेशन दो पूरी तरह से अलग चीजें मापते हैं।

उपमा: कल्पना कीजिए कि पाँच लोगों की एक टीम एक भारी बक्सा उठा रही है। यदि आप पूछते हैं, "कौन अकेले बक्सा उठाने के लिए पर्याप्त मजबूत है?" और आप एक व्यक्ति को एक सुपर-स्ट्रॉन्ग दिग्गज के साथ बदल देते हैं (पैचिंग), तो बक्सा कमरे के पार उड़ जाता है। वह व्यक्ति "पर्याप्त" (sufficient) है। लेकिन यदि आप पूछते हैं, "कौन आवश्यक है?" और आप चुपचाप टीम से एक व्यक्ति को हटा देते हैं (एब्लेशन), तो बाकी चार लोग काम संभाल सकते हैं, और बक्सा नीचे नहीं गिरता।
निष्कर्ष: पेपर गणितीय रूप से सिद्ध करता है कि आप ऐसी स्थिति में हो सकते हैं जहाँ हर एक व्यक्ति अकेले बक्सा उठाने के लिए पर्याप्त मजबूत है (इसलिए किसी को भी बदलने से परिणाम बदल जाता है), लेकिन कोई भी अकेला व्यक्ति आवश्यक नहीं है (इसलिए किसी एक को हटाने से कुछ नहीं होता)।
परिणाम: अपने प्रयोगों में, उन्होंने AI घटकों को पाया कि जब उन्हें बदला गया, तो उन्होंने AI के निर्णय को पूरी तरह से पलट दिया (एक "रिकवरी रेश्यो" जो 1 से अधिक है, जिसका अर्थ है कि इसने लक्ष्य से अधिक प्रभाव डाला)। फिर भी, जब उन्होंने उन्हीं घटकों को हटाया, तो AI ठीक से काम करता रहा। यह समझाता है कि क्यों कुछ AI भाग एक परीक्षण में नायक दिखते हैं और दूसरे में बेकार सजावट।

3. "हिडन इंटरैक्शन" (जब हिस्से एक-दूसरे से बात करते हैं)
सरलीकृत गणितीय मॉडल यह मानता है कि AI का प्रत्येक हिस्सा स्वतंत्र रूप से काम करता है, जैसे सलाद के अलग-अलग अवयव। लेकिन वास्तविक AI मॉडल में, हिस्से अक्सर एक-दूसरे से बात करते हैं। विशेष रूप से, लेखक ने देखा कि एक "अटेंशन हेड" (एक हिस्सा जो अन्य शब्दों को देखता है) कैसे उसी लेयर में "MLP" (एक हिस्सा जो परिणाम को प्रोसेस करता है) के साथ इंटरैक्ट करता है।

गणित: उन्होंने एक सटीक फॉर्मूला निकाला जिससे पता चलता है कि यदि आप अटेंशन हेड को हटा देते हैं, तो यह MLP के इनपुट को बदल देता है, जिससे एक "रिपल इफेक्ट" (लहर जैसा प्रभाव) या "इंटरैक्शन टर्म" पैदा होता है जिसे सरल मॉडल अनदेखा कर देता है।
प्रमाण: उन्होंने दिखाया कि यदि आप केवल MLP को हटाते हैं, तो यह रिपल इफेक्ट गायब हो जाता है (गणित सटीक है)। लेकिन यदि आप अटेंशन हेड को हटाते हैं, तो रिपल इफेक्ट वास्तविक और मापने योग्य होता है।
प्रयोग: उन्होंने अपने AI मॉडलों में इस "इंटरैक्शन मैग्नीट्यूड" को मापा। उन्होंने एक मजबूत, नकारात्मक सहसंबंध (Spearman रैंक -0.83) पाया: जितना बड़ा हिडन इंटरैक्शन होगा, सरल मॉडल की भविष्यवाणियों की सटीकता उतनी ही कम होगी।

"ओप्स" मोमेंट: कोई जादुई थ्रेशोल्ड नहीं

यहाँ पेपर बहुत ईमानदार और वैज्ञानिक हो जाता है। शुरुआत में, लेखक को लगा कि वे शायद एक "जादुई नंबर" या एक स्पष्ट रेखा पा लेंगे जो यह तय करेगी कि सरल मॉडल कब काम करता है और कब विफल होता है। उन्होंने 14 विशिष्ट सेटअप देखे और एक साफ अंतर पाया: कुछ में शून्य इंटरैक्शन था, दूसरों में उच्च इंटरैक्शन था, और मॉडल शून्य वाले के लिए पूरी तरह से काम करता था।

लेकिन फिर, उन्होंने 25 और सेटअप (आउट-ऑफ-सैंपल) का परीक्षण किया। वह साफ अंतर गायब हो गया। जो सेटअप विफल होने चाहिए थे वे कभी-कभी काम करते थे, और इसके विपरीत भी।

निष्कर्ष: लेखक स्वीकार करते हैं कि हालांकि इंटरैक्शन का आकार एक अच्छा भविष्यवक्ता है कि सरल मॉडल कितना गलत होगा, लेकिन आपके पास कोई एक "कटऑफ नंबर" नहीं है जिसका उपयोग आप यह कहने के लिए कर सकें कि "यह सुरक्षित है, वह नहीं।" संबंध एक स्मूथ कर्व (smooth curve) है, स्विच नहीं। वे स्पष्ट रूप से कहते हैं कि जो "साफ अलगाव" उन्होंने पहले देखा था, वह संभवतः छोटे सैंपल साइज का परिणाम था, और वास्तविक दुनिया अधिक जटिल है।

यह क्यों मायने रखता है

यह पेपर केवल यह नहीं कहता कि "AI कठिन है।" यह हमें एक सटीक मानचित्र देता है कि हमारे उपकरण हमें गुमराह क्यों कर सकते हैं।

यह हमें बताता है कि यदि कोई AI भाग हटाने पर "अनावश्यक" दिखता है, तो यह केवल इसलिए हो सकता है क्योंकि AI रेडंडेंट (redundant) है, न कि इसलिए कि वह भाग महत्वपूर्ण नहीं है।
यह हमें बताता है कि यदि हम AI को समझना चाहते हैं, तो हम केवल एक विधि (जैसे पैचिंग या एब्लेशन) पर भरोसा नहीं कर सकते; हमें यह समझना होगा कि वे गणितीय रूप से कैसे भिन्न हैं।
सबसे महत्वपूर्ण बात यह है कि यह दिखाता है कि जबकि हम यह अनुमान लगा सकते हैं कि सरलीकरण करने पर मॉडल कितना विफल होगा, हम अभी भी यह सटीक रूप से अनुमान नहीं लगा सकते कि वह कब विफल होगा।

लेखक निष्कर्ष निकालते हैं कि "आदर्श मॉडल" (सरल गणित) एक शक्तिशाली उपकरण है, लेकिन इसमें एक ज्ञात त्रुटि (error term) है। उस त्रुटि को मापकर, हम यह अधिक स्पष्ट तस्वीर प्राप्त कर सकते हैं कि AI वास्तव में क्या कर रहा है, बजाय इसके कि उसके अपने डिज़ाइन की रेडंडेंसी से धोखा खा जाएँ। यह एक अनुस्मारक है कि AI को समझने की खोज में, सत्य अक्सर एक ग्रेडिएंट (gradient) होता है, न कि एक स्विच।

यह शोध पत्र उन स्थितियों की जांच करता है जिनमें मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) के दो प्रमुख परिवारों—एक्टिवेशन पैचिंग (activation patching) और वेट-स्पेस एब्लेशन (weight-space ablation)—के बीच सहमति या विसंगति होती है। जबकि दोनों विधियों का उपयोग यह तर्क देने के लिए किया जाता है कि एक विशिष्ट नेटवर्क घटक किसी व्यवहार के लिए कारणत्मक रूप से जिम्मेदार है, वे अलग-अलग वस्तुओं पर कार्य करती हैं: पैचिंग एक एकल वास्तविक गणना (एक्टिवेशन्स) को बदलती है, जबकि एब्लेशन उन मापदंडों (वेट्स) को बदलती है जो सभी गणनाओं को उत्पन्न करते हैं। यह पत्र प्रदर्शित करता है कि ये हस्तक्षेप मौलिक रूप से भिन्न मात्राओं को मापते हैं और एक घटक के महत्व के बारे में विरोधाभासी निष्कर्षों की ओर ले जा सकते हैं, यहाँ तक कि एक आदर्श गणितीय मॉडल के भीतर भी।

समस्या का निरूपण (Problem Formulation)

लेखक एक कंडीशनल कंप्यूटेशन (conditional computation) का अध्ययन करता है जिसे एक रेसिडुअल स्ट्रीम (residual stream) के माध्यम से योगात्मक रूप से (additively) चलाया जाता है, जिसे इस प्रकार मॉडल किया गया है:
$F(x) = F_0(x) + \sum_{i=1}^k \alpha_i(x) v_i$
जहाँ $F_0$ अनकंडीशनल भाग है, $v_i$ स्थिर फीचर दिशाएं (carriers) हैं, और $\alpha_i(x)$ स्केलर सेलेक्टर गुणांक (selector coefficients) हैं। नेटवर्क का निर्णय एक लीनियर रीडआउट (linear readout) द्वारा निर्धारित होता है: $s(x) = \psi(F(x)) + b$ । अध्ययन मैच्ड पेयर्स (matched pairs) $(x_A, x_B)$ पर केंद्रित है जिन्हें समान आउटपुट की आवश्यकता होती है लेकिन विपरीत कंडीशनल शाखाओं के माध्यम से प्रोसेस किया जाता है (अर्थात, $s(x_A) > 0 > s(x_B)$ )।

मुख्य प्रश्न यह है: कब वाहकों (carriers) के एक उपसमुच्चय (subset) को हटाने (एब्लेशन) से दोनों इनपुट एक ही अनकंडीशनल आउटपुट पर आ जाते हैं (कोलैप्स/collapse), और यह एक एकल वाहक को पैच करने के प्रभाव से कैसे संबंधित है?

कार्यप्रणाली (Methodology)

पत्र एक एब्स्ट्रैक्ट कंडीशनल मॉडल (Abstract Conditional Model) के सैद्धांतिक विश्लेषण के बाद छोटे ट्रांसफॉर्मर्स पर सिंथेटिक वैलिडेशन का उपयोग करता है।

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation): लेखक एब्लेशन और पैचिंग के प्रभावों के लिए सटीक पहचान (identities) व्युत्पन्न करता है। वे "कैरियर्स" को जोड़ों $(v_i, \alpha_i)$ के रूप में परिभाषित करते हैं और इन वाहकों के एक उपसमुच्चय को हटाने के बाद रेसिडुअल स्ट्रीम का विश्लेषण करते हैं।
आदर्श धारणाएं (Idealized Assumptions): सिद्धांत रेसिडुअल एडिटिविटी (residual additivity), कंडीशनल कंप्यूटेशन के लिए लो-रैंक सपोर्ट, स्थिर बेस कंप्यूटेशन और लीनियर रीडआउट को मानता है।
सिंथेटिक वैलिडेशन (Synthetic Validation): एक सिंथेटिक एसोसिएटिव रिकॉल कार्य वाले छोटे ट्रांसफॉर्मर्स (4-लेयर, विड्थ 64) को प्रशिक्षित किया गया है, जिसमें एक "मार्कर" टोकन होता है जो दो स्वरूपों (डायरेक्ट लुकअप बनाम परम्यूटेड लुकअप) के बीच स्विच करता है। लेखक "कैरियर्स" (अटेंशन हेड्स या MLPs) की पहचान करने के लिए ग्रिडी एक्टिवेशन पैचिंग करता है और फिर वेट मैट्रिसेस से डोनर-रिसीवर एक्टिवेशन डेल्टा को प्रोजेक्ट करके लो-रैंक वेट-स्पेस एब्लेशन करता है।
इंटरैक्शन विश्लेषण (Interaction Analysis): पत्र एक अटेंशन हेड और उसके लेयर के MLP के संयोजन से उत्पन्न होने वाले इंटरैक्शन टर्म के लिए एक फर्स्ट-ऑर्डर फॉर्मूला व्युत्पन्न करता है, जो यह दर्शाता है कि यह आदर्श एडिटिव मॉडल इस विशिष्ट आर्किटेक्चरल कॉन्फ़िगरेशन में कैसे विफल होता है।

मुख्य योगदान और परिणाम

1. कंडीशनल कोलैप्स (Conditional Collapse - प्रमेय 1)
पत्र सिद्ध करता है कि वाहकों का एक उपसमुच्चय $S$ को हटाना एक मैच पेयर को एकल अनकंडीशनल आउटपुट पर तभी कोलैप्स करता है जब दो सटीक शर्तें पूरी होती हैं:

सिमेट्री (Symmetry): हटाया गया द्रव्यमान (mass) जोड़े पर सममित है ( $\bar{q}_S = 0$ )।
कोई शेष कंट्रास्ट नहीं (No Surviving Contrast): हटाए गए उपसमुच्चय के बाहर कोई कंट्रास्ट शेष नहीं रहता ( $\Psi_S = 0$ )।
जब ये स्थितियां बनी रहती हैं, तो परिणामी त्रुटि नियत (deterministic) होती है, और कोलैप्स की पोलरिटी (polarity) जोड़े के औसत मार्जिन के चिह्न द्वारा निर्धारित होती है। लेखक एक सटीक एरर आइडेंटिटी (प्रपोजिशन 1) प्रदान करता है, जो दिखाता है कि यदि ये स्थितियां केवल लगभग (approximately) पूरी होती हैं, तो त्रुटि इन समानताओं से विचलन द्वारा सीमित होती है, जिससे यह सिद्धांत वास्तविक नेटवर्क पर भी लागू होता है जहाँ सटीक समानता असंभव है।

2. पैचिंग-एब्लेशन डिसोसिएशन (Patching–Ablation Dissociation - प्रमेय 2)
लेखक सिद्ध करता है कि पैचिंग और एब्लेशन अलग-अलग मात्राओं को मापते हैं:

पैचिंग (Patching) रीडआउट को वाहक के कंट्रास्ट ( $\beta_i \delta_i$ , जहाँ $\delta_i$ डोनर और रिसीवर के बीच एक्टिवेशन का अंतर है) से बदलता है।
एब्लेशन (Ablation) रीडआउट को रिसीवर पर वाहक के एब्सोल्यूट लेवल ( $-\beta_i \alpha_i(x_B)$ ) से बदलता है।
लेखक ऐसे मैच पेयर्स का निर्माण करता है जहाँ प्रत्येक सिंगल-कैरियर पैच निर्णय को उलट देता है (पर्याप्तता/sufficiency), जबकि कोई भी सिंगल-कैरियर एब्लेशन ऐसा नहीं करता है (आवश्यकता का अभाव/lack of necessity)। यह "रिडंडेंसी रिजीम" (redundancy regime) समझाता है कि क्यों पैचिंग महत्व को बढ़ा-चढ़ाकर दिखा सकता है (डिसीजन बाउंड्री को ओवरशूट करना) जबकि एब्लेशन इसे कम करके दिखा सकता है (घटकों का डिस्पेंसेबल दिखना)।

3. नॉनलीनियर इंटरैक्शन (Nonlinear Interaction - प्रमेय 3)
आदर्श मॉडल मानता है कि वाहक स्वतंत्र हैं। लेखक उस इंटरैक्शन टर्म $\Delta(x)$ के लिए एक सटीक फॉर्मूला व्युत्पन्न करता है जो तब उत्पन्न होता है जब एक अटेंशन हेड को एब्लेट किया जाता है लेकिन उसके लेयर के MLP को नहीं।

इंटरैक्शन, विक्षोभ (perturbation) के आकार में सेकंड-ऑर्डर का होता है।
यह शून्य हो जाता है यदि केवल MLP को एब्लेट किया जाए ( $\eta(x) \equiv 0$ )।
यदि हेड को एब्लेट किया जाता है, तो यह जेनेरिक रूप से गैर-शून्य होता है, जिसका अर्थ है कि हेड का एब्लेशन MLP के आउटपुट को विक्षोभित करता है भले ही MLP को न छुआ गया हो।
यह इंटरैक्शन टर्म समझाता है कि क्यों वास्तविक नेटवर्क में हेड्स शामिल होने पर आदर्श कोलैप्स भविष्यवाणियाँ विफल हो सकती हैं।

4. सिंथेटिक वैलिडेशन (Synthetic Validation)
पाँच प्रशिक्षित ट्रांसफॉर्मर इंस्टेंस पर प्रयोग सैद्धांतिक भविष्यवाणियों की पुष्टि करते हैं:

कोलैप्स: नेस्टेड एब्लेशन सबसेट्स नेटवर्क को विपरीत अनकंडीशनल ब्रांचों पर कोलैप्स कर सकते हैं (उदाहरण के लिए, एक सबसेट "इनवर्टेड" रीडिंग को मजबूर करता है, एक बड़ा सबसेट "लिटरल" रीडिंग को मजबूर करता है), एक ऐसी घटना जो आदर्श मॉडल में असंभव है लेकिन इंटरैक्शन टर्म द्वारा समझाई जा सकती है।
डिसोसिएशन: एक सिंगल-साइट पैच ने रिकवरी रेशियो $\kappa > 1$ (ओवरशूट) दिखाया, जबकि संबंधित वेट एब्लेशन ने अधिकांश इनपुट को सही रखा, जो पर्याप्तता-बिना-आवश्यकता (sufficiency-without-necessity) रिजीम की पुष्टि करता है।
इंटरैक्शन बनाम फिडेलिटी: 39 एब्लेशन कॉन्फ़िगरेशन में, इंटरैक्शन टर्म का परिमाण (आदर्श मॉडल और वास्तविक एडिटेड नेटवर्क के बीच का अंतर) मॉडल की भविष्यवाणी सटीकता के साथ मजबूत रूप से मोनोटोनिक रूप से सह-संबंधित (Spearman $\rho \approx -0.83$ ) है।
नेगेटिव रिजल्ट: 14 कॉन्फ़िगरेशन के एक उपसमुच्चय में देखा गया "क्लीन सेपरेशन" (एक थ्रेशोल्ड जो आदर्श से गैर-आदर्श कॉन्फ़िगरेशन को पूरी तरह से अलग करता है) 25 अतिरिक्त कॉन्फ़िगरेशन पर परीक्षण करने पर बना नहीं रहा। लेखक निष्कर्ष निकालता है कि हालांकि इंटरैक्शन का परिमाण ट्रैक करने के लिए सही मात्रा है, लेकिन इन प्रयोगों द्वारा निर्णय लेने के लिए एक सार्वभौमिक संख्यात्मक थ्रेशोल्ड स्थापित नहीं किया गया है।

महत्व और दावे (Significance and Claims)

यह पत्र दावा करता है कि एक्टिवेशन पैचिंग और वेट-स्पेस एब्लेशन एक ही कारणत्मक मात्रा के दो माप नहीं हैं। इसके बजाय, वे अलग-अलग वस्तुओं पर कार्य करने वाले ऑपरेटर हैं जो अलग-अलग गणितीय गुणों (कंट्रास्ट बनाम एब्सोल्यूट लेवल) की जांच करते हैं।

इंटरप्रटेबिलिटी निहितार्थ: एक नेगेटिव एब्लेशन परिणाम यह सिद्ध नहीं करता कि एक घटक महत्वहीन है, न ही एक पॉजिटिव पैचिंग परिणाम यह सिद्ध करता कि वह आवश्यक है। ये विसंगतियां रेडंडेंट, सुपरपोज्ड कोड्स के संरचनात्मक लक्षण हैं, न कि केवल मेजरमेंट नॉइज़।
सैद्धांतिक सटीकता: यह पत्र हेड-MLP कंपोजिशन के लिए इंटरैक्शन टर्म को सीमित करते हुए, आदर्श एडिटिव मॉडल द्वारा पेश की गई त्रुटियों के लिए सटीक पहचान प्रदान करता है। यह दिखाता है कि आदर्श मॉडल की विफलता यादृच्छिक शोर नहीं है, बल्कि एक अनुमानित, सेकंड-ऑर्डर प्रभाव है।
थ्रेशोल्ड पर विनम्रता: लेखक स्पष्ट रूप से बताता है कि हालांकि सिद्धांत मॉडल के व्यवहार की भविष्यवाणी करने के लिए सही मात्रा (इंटरैक्शन मैग्नीट्यूड) की पहचान करता है, लेकिन यह अभी तक नेटवर्क या कॉन्फ़िगरेशन के बीच स्थानांतरित होने वाला एक कैलिब्रेटेड थ्रेशोल्ड प्रदान नहीं करता है। इसका महत्व द्विआधारी निर्णय नियम के बजाय इस बात की गुणात्मक समझ में है कि विचलनों के कब और क्यों होते हैं।

इस कार्य को सिंथेटिक वैलिडेशन के साथ एक "सिंगल-ब्लॉक थ्योरी" के रूप में फ्रेम किया गया है, जिसमें मल्टी-लेयर इंटरैक्शन और वास्तविक प्री-ट्रेन्ड मॉडल्स के विस्तार को साथी विश्लेषण के लिए सुरक्षित रखा गया है।