💬 NLP

Shared Semantics, Divergent Mechanisms: Unsupervised Feature Discovery by Aligning Semantics and Mechanisms

यह शोध पत्र एक वितरण-स्तरीय अनसुपरवाइज्ड फीचर डिस्कवरी विधि प्रस्तुत करता है जो सिमेंटिक कोहेरेंस और मैकेनिस्टिक एट्रिब्यूशन सिग्नेचर को संयुक्त रूप से अनुकूलित करके एलएलएम (LLM) निरंतरता (continuations) को क्लस्टर करती है, जिससे विविध निरंतरता मोड और क्रियाशील आंतरिक तंत्र प्रकट होते हैं जिन्हें सिंगल-व्यू, टारगेट-कंडीशन्ड विश्लेषण अक्सर चूक जाते हैं।

मूल लेखक: Hyunjin Cho, Youngji Roh, Jaehyung Kim

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hyunjin Cho, Youngji Roh, Jaehyung Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Shared Semantics, Divergent Mechanisms" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "एक-जवाब" का जाल (The "One-Answer" Trap)

कल्पना कीजिए कि आप एक जासूस हैं जो यह समझने की कोशिश कर रहे हैं कि एक जादुई बॉक्स (एक लार्ज लैंग्वेज मॉडल) कैसे काम करता है। आमतौर पर, जब आप बॉक्स से कोई सवाल पूछते हैं, तो वह आपको एक जवाब देता है। उस बॉक्स के काम करने के तरीके को समझने के लिए, आप केवल उस विशिष्ट जवाब के लिए अंदर के गियर और स्प्रिंग्स को देख सकते हैं।

पेपर का तर्क है कि यह एक जाल है। यदि आप केवल एक जवाब देखते हैं, तो आप इस तथ्य को मिस कर सकते हैं कि बॉक्स के पास सोचने के कई अलग-अलग "मोड्स" (modes) हैं। कभी-कभी, दो जवाब सुनने में बहुत समान लग सकते हैं (समान अर्थ), लेकिन उन्हें पूरी तरह से अलग आंतरिक गियर्स का उपयोग करके बनाया गया हो सकता है। दूसरी ओर, दो जवाब सुनने में बिल्कुल अलग हो सकते हैं, लेकिन उन्हें बिल्कुल एक ही गियर्स का उपयोग करके बनाया गया हो सकता है।

लेखक इसे "सिमेंटिक और मैकेनिस्टिक स्पेस के बीच मिसअलाइनमेंट" (Misalignment between semantic and mechanistic spaces) कहते हैं। यह दो घरों की तरह है जो बाहर से बिल्कुल एक जैसे दिखते हैं (एक जैसा पेंट, एक जैसी खिड़कियाँ) लेकिन अंदर से उनके प्लंबिंग सिस्टम पूरी तरह से अलग हैं। या, दो घर जो दिखने में बिल्कुल अलग हैं (एक महल है और एक झोपड़ी) लेकिन उनका प्लंबिंग सिस्टम बिल्कुल एक ही है।

समाधान: जवाबों को समूहबद्ध करने का एक नया तरीका

किसी एक विशिष्ट उत्तर का अध्ययन करने के बजाय, लेखक एक नया तरीका प्रस्तावित करते हैं जिससे एक ही प्रश्न के सभी संभावित उत्तरों को एक साथ देखा जा सके। वे इसे "डिस्ट्रीब्यूशन-लेवल अनसुपरवाइज्ड फीचर डिस्कवरी" (Distribution-Level Unsupervised Feature Discovery) कहते हैं।

यहाँ बताया गया है कि उनका तरीका कैसे काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:

1. "भीड़ का नमूना लेने" वाला चरण (The "Sample the Crowd" Step)

बॉक्स से एक जवाब मांगने के बजाय, वे बॉक्स से एक ही सवाल के सैकड़ों अलग-अलग जवाब मांगते हैं।

उपमा: कल्पना कीजिए कि आप एक शेफ से पूछते हैं, "आप सूप कैसे बनाते हैं?" एक रेसिपी मिलने के बजाय, आपको 500 अलग-अलग किस्में मिलती हैं। कुछ तीखी हैं, कुछ क्रीमी हैं, कुछ चिकन वाली हैं, कुछ टोफू वाली हैं।

2. "दोहरा दृष्टिकोण" वाला चरण (The "Double-View" Step)

हर एक सूप रेसिपी के लिए, टीम दो अलग-अलग "आईडी कार्ड" बनाती है:

सिमेंटिक कार्ड (यह क्या कहता है): यह सूप के अर्थ का वर्णन करता है। क्या यह तीखा है? क्या यह टमाटर का सूप है?
मैकेनिस्टिक कार्ड (यह कैसे बनता है): यह उन आंतरिक गियर्स का वर्णन करता है जिनका उपयोग मॉडल ने इसे बनाने के लिए किया था। कौन से विशिष्ट न्यूरॉन्स सक्रिय हुए? कौन से आंतरिक "स्विच" चालू हुए?
उपमा: हर सूप के लिए, आप उसका फ्लेवर प्रोफाइल (सिमेंटिक) और उपयोग किए गए किचन उपकरणों की सूची (मैकेनिस्टिक) लिखते हैं। आप महसूस करते हैं कि दो सूपों का स्वाद एक जैसा हो सकता है (सिमेंटिक मैच) लेकिन एक ब्लेंडर से बनाया गया था और दूसरा मूसल-तवले (mortar and pestle) से (मैकेनिस्टिक मिसमैच)।

3. "स्मार्ट सॉर्टिंग" वाला चरण (The "Smart Sorting" Step)

अब, उनके पास सूप की रेसिपीओं का एक बड़ा ढेर है, जिनमें से प्रत्येक के पास दो आईडी कार्ड हैं। वे इन रेसिपीओं को समूहबद्ध करने के लिए एक विशेष गणितीय सॉर्टिंग मशीन (Rate-Distortion Clustering) का उपयोग करते हैं।

लक्ष्य: वे ऐसे समूह खोजना चाहते हैं जहाँ सूप स्वाद और उपकरण दोनों में समान हों।
ट्रेड-ऑफ (Trade-off): मशीन के पास एक "नॉब" (जिसे $\beta$ $β$ कहा जाता है) है जो सॉर्टिंग की सख्ती को नियंत्रित करता है।
- ढीली सेटिंग (Loose setting): यह उन सूपों को समूहबद्ध करता है जो केवल सामान्य रूप से "सूप जैसे" हैं।
  la सख्त सेटिंग (Strict setting): यह उन्हें "ब्लेंडर से बना तीखा टमाटर सूप" बनाम "मूसल-तवले से बना तीखा टमाटर सूप" जैसे छोटे समूहों में अलग करता है।
परिणाम: वे सोचने के उन छिपे हुए "मोड्स" को पाते हैं जिन्हें एक इंसान सिर्फ एक जवाब को देखकर कभी नहीं देख पाता।

यह क्यों मायने रखता है: "स्टीयरिंग" टेस्ट (The "Steering" Test)

पेपर केवल यह नहीं कहता, "देखो, हमें समूह मिल गए।" वे एक "स्टीयरिंग" टेस्ट करके साबित करते हैं कि ये समूह वास्तविक हैं।

टेस्ट: वे उन सूपों के एक समूह को लेते हैं जिन्हें मशीन ने "ब्लेंडर से बना तीखा टमाटर सूप" के रूप में पहचाना है। फिर वे जादुई बॉक्स को अधिक ऐसे ही सूप बनाने के लिए मजबूर करने की कोशिश करते हैं—मशीन के अंदर "ब्लेंडर" वाले स्विच को बढ़ाकर।
परिणाम: जब वे स्विच को बढ़ाते हैं, तो बॉक्स वास्तव में अधिक "तीखा टमाटर" सूप बनाना शुरू कर देता है।
तुलना: जब उन्होंने केवल "स्वाद" (सिमेंटिक) का उपयोग करके या केवल एक रैंडम सूप चुनकर ऐसा करने की कोशिश की, तो स्टीयरिंग उतनी अच्छी तरह काम नहीं कर पाई।
उपमा: यह समझने जैसा है कि आपको एक विशिष्ट प्रकार का केक पाने के लिए केवल यह कहने की आवश्यकता नहीं है कि "मुझे केक चाहिए"; आपको यह भी जानना होगा कि किस मिक्सर और ओवन सेटिंग से वह विशिष्ट बनावट (texture) प्राप्त होती है। लेखकों ने पाया कि अलग-अलग प्रकार की सोच के लिए "मिक्सर सेटिंग्स" क्या हैं।

मुख्य निष्कर्ष (The Main Takeaway)

यह पेपर एक ऐसा टूल पेश करता है जो हमें AI मॉडल्स का ऑडिट करने में मदद करता है—केवल एक उत्तर को देखने के बजाय, संभावित उत्तरों के पूरे परिदृश्य (landscape) को देखकर।

पुराना तरीका: एक उत्तर चुनें, उन गियर्स को खोजें जिन्होंने उसे बनाया। (जैसे सभी कारों के काम करने के तरीके को समझने के लिए एक कार का अध्ययन करना)।
नया तरीका: वे सभी कारें देखें जो फैक्ट्री बना सकती है, उन्हें इस आधार पर समूहबद्ध करें कि वे कैसे बनाई गई हैं और वे कैसी दिखती हैं, और छिपे हुए पैटर्न खोजें।

यह समझने में मदद करता है कि एक AI मॉडल केवल तर्क का एक एकल पथ (path) नहीं है; यह कई अलग-अलग "पथों" (मैकेनिज्म) वाला एक जटिल परिदृश्य है जो समान या भिन्न परिणामों की ओर ले जा सकते हैं। इन पथों को मैप करके, हम बेहतर ढंग से समझ सकते हैं, ऑडिट कर सकते हैं और नियंत्रित कर सकते हैं कि ये मॉडल कैसे सोचते हैं।

तकनीकी सारांश: अर्थ और तंत्र (Semantics and Mechanisms) के संरेखण द्वारा अनसुपरवाइज्ड फीचर डिस्कवरी

समस्या विवरण (Problem Statement)

जैसे-जैसे बड़े भाषा मॉडल (LLMs) उच्च-जोखिम वाले क्षेत्रों में तैनात किए जा रहे हैं, न केवल मॉडल के आउटपुट, बल्कि उन्हें उत्पन्न करने वाली आंतरिक गणनाओं के ऑडिट की आवश्यकता भी बढ़ती जा रही है। जबकि मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) विशिष्ट व्यवहारों को समझाने के लिए उपकरण प्रदान करती है, प्रमुख दृष्टिकोण, सर्किट विश्लेषण (circuit analysis), आमतौर पर टारगेट-कंडीशन्ड (target-conditioned) होता है। इसका अर्थ यह है कि विश्लेषकों को एक विशिष्ट प्रॉम्प्ट और एक चुने हुए लक्षित पूर्णता (target completion) को निर्दिष्ट करना पड़ता है ताकि कारण संबंधी सर्किट (causal circuit) की पहचान की जा सके।

यह टारगेट-कंडीशन्ड सेटअप दो महत्वपूर्ण सीमाएं प्रस्तुत करता है:

सामान्यीकरण (Generalizability): यह स्पष्ट नहीं है कि एक विशिष्ट पूर्णता के लिए पहचाना गया तंत्र, अर्थपूर्ण रूप से समान पैराफ्रेस (paraphrase) के लिए सामान्यीकृत होता है या यह एक विशिष्ट सतही रूप (surface form) पर निर्भर एक भंगुर (brittle) निर्भरता को दर्शाता है।
छिपी हुई विषमता (Hidden Heterogeneity): एक निश्चित लक्ष्य के लिए भी, सिंगल-टारगेट विश्लेषण आंतरिक गणना में विषमता को छिपा सकता है। अर्थपूर्ण रूप से समान आउटपुट अलग-अलग आंतरिक सक्रियण पैटर्न (activation patterns) पर निर्भर हो सकते हैं जिन्हें सिंगल-टारगेट विश्लेषण पकड़ने में विफल रहता है।

मौजूदा व्यवहार संबंधी मूल्यांकन इनपुट-आउटपुट सहसंबंधों तक सीमित हैं, जबकि मौजूदा मैकेनिस्टिक विधियों के लिए अक्सर लक्ष्यों का मैन्युअल विनिर्देश आवश्यक होता है, जिससे एक ही प्रॉम्प्ट के लिए मॉडल द्वारा उत्पन्न विविध "कंटिन्यूएशन मोड्स" (continuation modes) छूट सकते हैं।

कार्यप्रणाली (Methodology)

लेखक डिस्ट्रीब्यूशन-लेवल अनसुपरवाइज्ड फीचर डिस्कवरी के लिए एक ढांचा प्रस्तावित करते हैं। एक एकल लक्ष्य का विश्लेषण करने के बजाय, यह विधि सिमेंटिक कंटेंट (semantic content) और सीक्वेंस-लेवल मैकेनिस्टिक एट्रिब्यूशन (sequence-level mechanistic attributions) को संयुक्त रूप से संरेखित करके मॉडल के सैंपल्ड कंटिन्यूशन डिस्ट्रीब्यूशन को क्लस्टर करती है।

यह ढांचा तीन चरणों में संचालित होता है:

1. कंटिन्यूशन सैंपलिंग (Continuation Sampling)

एक इनपुट प्रीफिक्स $x$ के लिए, मॉडल न्यूक्लियस सैंपलिंग का उपयोग करके $N$ अलग-अलग कंटिन्यूशंस $y^{(n)}$ को सैंपल करता है। प्रत्येक कंटिन्यूशन को एक लेंथ-नॉर्मलाइज्ड प्रोबेबिलिटी $P_n$ दी जाती है, जो मॉडल के डिस्ट्रीब्यूशन के तहत उसकी संभावना का प्रतिनिधित्व करती है। इन प्रोबेबिलिटीज का उपयोग क्लस्टरिंग के दौरान प्रत्येक कंटिन्यूशन के योगदान को वेट (weight) देने के लिए किया जाता है।

2. डुअल रिप्रेजेंटेशन (Dual Representation)

प्रत्येक सैंपल्ड कंटिन्यूशन को दो पूरक दृश्यों (views) द्वारा दर्शाया जाता है:

सिमेंटिक एम्बेडिंग ( $e_n$ ): संदर्भ में कंटिन्यूशन के भाषाई अर्थ को कैप्चर करता है, जो आमतौर पर एक प्री-ट्रेन्ड एम्बेडिंग मॉडल (जैसे, EmbeddingGemma) से प्राप्त होता है।
मैकेनिस्टिक एम्बेडिंग ( $a_n$ ): यह कैप्चर करता है कि प्रीफिक्स फीचर्स कंटिन्यूशन के लॉजिट्स (logits) को कैसे प्रभावित करते हैं। इसकी गणना ट्रांसकोडर्स (transcoders) (MLP लेयर्स को अनुमानित करने के लिए प्रशिक्षित स्पार्स ऑटोएनकोडर) का उपयोग करके की जाती है ताकि MLP गणनाओं को व्याख्या योग्य स्पार्स फीचर्स में विघटित किया जा सके। एट्रिब्यूशन वेक्टर $a_n$ पूरे कंटिन्यूशन स्पैन के दौरान डीमीन (demeaned) लॉजिट्स पर प्रीफिक्स फीचर्स के प्रत्यक्ष लीनियर एट्रिब्यूशन को एकत्रित करता है।

3. रेट-डिस्टॉर्शन के माध्यम से संयुक्त क्लस्टरिंग (Joint Clustering via Rate-Distortion)

मुख्य नवाचार लेटेंट डिस्कवरी को एक रेट-डिस्टॉर्शन ऑप्टिमाइजेशन समस्या के रूप में तैयार करना है। लक्ष्य एक ऐसा क्लस्टरिंग खोजना है जो सिमेंटिक और मैकेनिस्टिक दोनों दृश्यों में डिस्टॉर्शन (रिकंस्ट्रक्शन एरर) को कम करते हुए और रेट (क्लस्टर असाइनमेंट की एंट्रॉपी) को न्यूनतम करते हुए काम करे।

ऑब्जेक्टिव फंक्शन है:
$L_{RD} = H(C) + \beta_e D(e) + \beta_a D(a)$
जहाँ:

$H(C)$ क्लस्टर प्रायर की एंट्रॉपी (Rate) है।
$D(e)$ और $D(a)$ क्रमशः सिमेंटिक (L2) और एट्रिब्यूशन (L1) स्पेस में प्रोबेबिलिटी-वेटेड डिस्टॉर्शन हैं।
$\beta$ कंप्रेशन (कम क्लस्टर) और फिडेलिटी (कम डिस्टॉर्शन) के बीच ट्रेड-ऑफ को नियंत्रित करता है।
$\gamma$ सिमेंटिक और मैकेनिस्टिक दृश्यों के बीच वेट को संतुलित करता है ( $\beta_e = \gamma\beta, \beta_a = (1-\gamma)\beta$ )।

एडेप्टिव ऑपरेशन्स (Adaptive Operations): K-means के विपरीत, जो $K$ को पूर्व निर्धारित करता है, यह ढांचा क्लस्टर्स की संख्या को अनुकूल रूप से समायोजित करने के लिए Split और Junk ऑपरेशन्स का उपयोग करता है:

Split: यदि डिस्टॉर्शन में कमी बढ़ी हुई एंट्रॉपी (rate) की लागत से अधिक है, तो यह एक विषम (heterogeneous) क्लस्टर को विभाजित करता है।
Junk: उन स्प्यूरियस (spurious) क्लस्टर्स को हटा देता है जो सुसंगत मोड्स के बजाय शोर (noise) को कैप्चर करते हैं, यदि उनके सदस्यों को पुन: असाइन करने से कुल ऑब्जेक्टिव कम होता है।

मुख्य योगदान (Key Contributions)

डिस्ट्रीब्यूशन-लेवल एनालिसिस: यह पेपर सिमेंटिक स्ट्रक्चर और सीक्वेंस-लेवल मैकेनिस्टिक एट्रिब्यूशन दोनों का उपयोग करके मॉडल के कंटिन्यूशन डिस्ट्रीब्यूशन को क्लस्टर करने वाला पहला फ्रेमवर्क पेश करता है, जो सिंगल-टारगेट विश्लेषण से आगे जाता है।
संयुक्त अनुकूलन (Joint Optimization): यह प्रदर्शित करता है कि सिमेंटिक सुसंगतता और मैकेनिस्टिक निरंतरता के लिए संयुक्त रूप से अनुकूलित करना उन कंटिन्यूशन मोड्स को प्रकट करता है जिन्हें सिंगल-व्यू बेसलाइन्स (सिर्फ सिमेंटिक या सिर्फ एट्रिब्यूशन वाला K-means) मिस कर देते हैं।
स्टीयरिंग के माध्यम से कॉज़ल वैलिडेशन: लेखक क्लस्टर-व्युत्पन्न दिशाओं (medoids का उपयोग करके) के साथ स्टीयरिंग करके साक्ष्य प्रदान करते हैं कि खोजे गए क्लस्टर सिग्नेचर क्रियाशील मैकेनिस्टिक कारकों के अनुरूप हैं। वे दिखाते हैं कि इससे मॉडल की उस क्लस्टर के भीतर के कंटिन्यूशंस के प्रति प्राथमिकता में निरंतर और दिशात्मक बदलाव आता है।
ग्रैनुलैरिटी कंट्रोल (Granularity Control): यह ढांचा उपयोगकर्ताओं को $\beta$ पैरामीटर को एनिल (anneal) करके खोजे गए मोड्स की ग्रैनुलैरिटी को नियंत्रित करने की अनुमति देता है, जिससे पदानुक्रमित संरचनाएं (hierarchical structures) सामने आती हैं जहाँ सूक्ष्म क्लस्टर्स मोटे क्लस्टर्स से मैकेनिस्टिक सिग्नेचर विरासत में लेते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन AmbigQA (Qwen3-8B का उपयोग करके) और MMLU पर किया गया, साथ ही Gemma3 और रीजनिंग कार्यों (GSM8K, MATH500) पर अतिरिक्त प्रयोग किए गए।

क्लस्टरिंग प्रदर्शन: रेट-मैच्ड तुलनाओं में, प्रस्तावित रेट-डिस्टॉर्शन (RD) क्लस्टरिंग ने K-means बेसलाइन्स (KM-S केवल सिमेंटिक के लिए, KM-A केवल एट्रिब्यूशन के लिए) की तुलना में 94% सेटिंग्स में सबसे कम मिश्रित डिस्टॉर्शन ( $D_\gamma$ ) प्राप्त किया। KM-S ने सिमेंटिक सुसंगतता को बनाए रखा लेकिन मैकेनिस्टिक निरंतरता में विफल रहा, जबकि KM-A ने इसके विपरीत विफलता मोड दिखाया।
ग्रैनुलैरिटी विश्लेषण: $\beta$ को बदलने से एक पदानुक्रमित संरचना का पता चला। उदाहरण के लिए, "फॉर्मेटिंग स्टाइल" (जैसे, सोलो आर्टिस्ट बनाम बैंड) द्वारा परिभाषित एक मोटे क्लस्टर ने $\beta$ बढ़ने पर विशिष्ट कंटेंट विवरणों (जैसे, बैंड मेंबर्स की लिस्टिंग बनाम जॉनर विवरण) के आधार पर सूक्ष्म क्लस्टर्स में विभाजन दिखाया।
स्टीयरिंग वैलिडेशन: स्टीयरिंग प्रयोगों ने कॉज़ल संबंधों की पुष्टि की। RD-व्युत्पन्न मेडोइड दिशाओं ने स्टीयरिंग स्ट्रेंथ ( $\epsilon$ ) और टारगेट-क्लस्टर लॉजिट्स में परिवर्तन के बीच मजबूत, मोनोटोनिक सहसंबंध (monotonic correlation) उत्पन्न किया। इसके विपरीत, सिमेंटिक-ओनली बेसलाइन्स (KM-Sem) ने लगभग शून्य सहसंबंध दिखाया, और सिंगल-कंटिन्यूशन बेसलाइन्स कमजोर और कम सुसंगत थे।
रीजनिंग टास्क: रीजनिंग बेंचमार्क में, पद्धति ने सफलतापूर्वक पहचाना कि विशिष्ट पूर्व रीजनिंग स्टेप्स विशेष टारगेट-स्टेप क्लस्टर्स को कॉज़ल रूप से प्रभावित करते हैं, जिसमें शुरुआती सोर्स स्टेप्स और बाद के टारगेट्स के बीच सबसे मजबूत प्रभाव देखा गया।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह दृष्टिकोण मॉडल के कंटिन्यूशन डिस्ट्रीब्यूशन के पीछे के तंत्रों के स्केलेबल ऑडिट प्रदान करके पारंपरिक सर्किट विश्लेषण और व्यवहार संबंधी मूल्यांकन का पूरक (complements) बनता है।

पूरकता: यह हाथ से चुने गए लक्ष्यों पर निर्भरता को कम करता है, क्लस्टर-लेवल स्टीयरिंग द्वारा समर्थित मैकेनिस्टिक हाइपोथीसिस को सामने लाता है। उपयोगकर्ता पहले क्लस्टर्स की खोज कर सकते हैं और फिर चयनित क्लस्टर से जुड़े विशिष्ट सर्किट्स को ट्रैक कर सकते हैं।
क्रियाशील तंत्र (Actionable Mechanisms): खोजे गए मोड्स केवल वर्णनात्मक नहीं हैं; वे क्रियाशील मैकेनिस्टिक कारकों के अनुरूप हैं जिन्हें मॉडल के व्यवहार को अनुमानित तरीकों से बदलने के लिए हेरफेर (manipulate) किया जा सकता है।
सीमाएं: लेखक कम्प्यूटेशनल ओवरहेड (एट्रिब्यूशन के लिए बैकवर्ड पास की आवश्यकता के कारण) और क्लस्टर्स को मानव-व्याख्या योग्य लेबल देने के लिए एक सिद्धांतगत ढांचे की कमी के संबंध में सीमाओं को स्वीकार करते हैं। वे नोट करते हैं कि हस्तक्षेप (intervention) के तहत सत्यापन से पहचाने गए फीचर्स की विशिष्टता की गारंटी नहीं मिलती है, जिसके लिए आगे के काउंटरफैक्टुअल निरीक्षण की आवश्यकता है।

संक्षेप में, यह कार्य आइसोलेटेड इनपुट-आउटपुट पेयर्स के विश्लेषण से हटकर कंटिन्यूशन के डिस्ट्रीब्यूशन के विश्लेषण की ओर एक बदलाव का प्रस्ताव करता है, जो बड़े भाषा मॉडलों के विषम आंतरिक गणनाओं को समझने के लिए एक अधिक मजबूत लेंस प्रदान करता है।