💬 NLP

Recovering Lesion Parameters from Aphasic Picture Naming Error Profiles in Large Language Models

यह शोध पत्र यह प्रदर्शित करता है कि जबकि कार्यात्मक अतिरेक (functional redundancy) के कारण एफैसिक पिक्चर-नेमिंग त्रुटि प्रोफाइल्स से विशिष्ट ट्रांसफार्मर लेयर इंडेक्स को अद्वितीय रूप से पुनर्प्राप्त नहीं किया जा सकता है, फिर भी व्यवधान तीव्रता (perturbation intensity) और शोर मापदंडों (noise parameters) को लक्षित व्यवहारों को पुनरुत्पादित करने वाले और नैदानिक सिंड्रोमों के बीच अंतर करने वाले प्रति-तथ्यात्मक मॉडल उत्पन्न करने के लिए सफलतापूर्वक व्युत्क्रमित किया जा सकता है, जो कारण संबंधी (causal) एलएलएम व्याख्यात्मकता के लिए एक सुदृढ़ ढांचा प्रदान करता है।

मूल लेखक: Yong Yang, Roger Newman-Norlund, Xiang Guan, Saeed Ahmadi, Regan Willis, Nadra Salman, Kalil Warren, Sophie Arheix-Parras, Srihari Nelakuditi, Leonardo Bonilha, Christopher Rorden, Rutvik H. Desai, Ju

प्रकाशित 2026-08-10

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yong Yang, Roger Newman-Norlund, Xiang Guan, Saeed Ahmadi, Regan Willis, Nadra Salman, Kalil Warren, Sophie Arheix-Parras, Srihari Nelakuditi, Leonardo Bonilha, Christopher Rorden, Rutvik H. Desai, Julius Fridriksson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, जादुई पुस्तकालय कैसे काम करता है। आप अंदर की किताबों या पुस्तकालयाध्यक्षों को देख नहीं सकते, लेकिन आप देख सकते हैं कि जब आप इमारत को एक रहस्य फुसफुसाते हैं तो क्या होता है। कभी-कभी पुस्तकालय एक सटीक उत्तर के साथ वापस फुसफुसाता है; अन्य समय में, वह हकलाता है, शब्दों को मिला देता है, या कुछ पूरी तरह से निरर्थक बोलता है। वैज्ञानिक इसे "लार्ज लैंग्वेज मॉडल्स" (LLMs) कहते हैं, जो आज हमारे द्वारा उपयोग किए जाने वाले कई स्मार्ट टूल्स के पीछे के डिजिटल मस्तिष्क हैं। लेकिन पेचीदा बात यह है कि हमें वास्तव में पता नहीं है कि बोलने वाला मस्तिष्क का कौन सा हिस्सा है। यह एक घड़ी के भीतर किसी विशिष्ट गियर का अनुमान लगाने जैसा है जिसने घड़ी की सुइयों को घुमाया, केवल घड़ी के चेहरे को देखकर।

इसे समझने के लिए, वैज्ञानिक अक्सर "लेजनिंग" (lesioning) नामक विधि का उपयोग करते हैं। कल्पना कीजिए कि आप एक घड़ी के एक विशिष्ट गियर को लेने के लिए एक छोटा, सटीक हथौड़ा लेते हैं और उस पर प्रहार करते हैं ताकि यह देख सकें कि क्या वह समय बताने की प्रक्रिया को बाधित करता है। यदि घड़ी धीमी चलने लगती है, तो आप जान जाते हैं कि वह गियर महत्वपूर्ण था। AI की दुनिया में, शोधकर्ता उस डिजिटल मस्तिष्क के हिस्सों को "तोड़" सकते हैं (डिजिटल नुकसान पहुँचा सकते हैं) जैसे कि उसमें थोड़ा सा डिजिटल शोर जोड़कर, ठीक वैसे ही जैसे एक स्ट्रोक मानव मस्तिष्क के कुछ हिस्सों को नुकसान पहुँचा सकता है और बोलने की समस्याओं का कारण बन सकता है। यह शोध एक दिलचस्प "विपरीत" प्रश्न पूछता है: यदि हम घड़ी को धीमा चलते देखते हैं, तो क्या हम समय को देखकर बिल्कुल सटीक रूप से यह पता लगा सकते हैं कि हमने किस गियर पर प्रहार किया था? और यदि हम उस गियर का अनुमान लगाते हैं, तो क्या हम एक नए, ब्रांड न्यू क्लॉक पर उसी गियर को मारकर उसे ठीक उसी तरह धीमा चला सकते हैं? यह केवल घड़ियों को ठीक करने के बारे में नहीं है; यह साबित करने के बारे में है कि हम वास्तव में समझते हैं कि ये डिजिटल मस्तिष्क कैसे सोचते हैं, न कि केवल उनके कार्यों का अनुमान लगाते हैं।

द ग्रेट AI डिटेक्टिव गेम

इस अध्ययन में, शोधकर्ताओं की एक टीम ने LLaVA-Vicuna 13B नामक एक डिजिटल मस्तिष्क के साथ एक उच्च-दांव वाला जासूसी खेल खेलने का निर्णय लिया। इस AI को एक सुपर-स्मार्ट रोबोट के रूप में सोचें जो एक तस्वीर देख सकता है और बता सकता है कि वह क्या है। शोधकर्ता यह देखना चाहते थे कि क्या वे केवल गलतियों को देखकर यह पता लगा सकते हैं कि उन्होंने रोबोट को कैसे "तोड़ा"।

सबसे पहले, उन्होंने एक विशाल प्रयोग तैयार किया। उन्होंने रोबोट को लिया और उस पर 4,840 अलग-अलग तरीकों से सूक्ष्म "लेजन" (डिजिटल क्षति) लागू की। उन्होंने प्रत्येक प्रयास के लिए तीन चीजें बदलीं:

कहाँ उन्होंने उसे मारा (रोबोट के 40 "सोचने वाले" परतों में से जिस परत को उन्होंने छुआ)।
कितना उन्होंने उस परत को क्षतिग्रस्त किया (0% से 100% तक)।
शोर कितना तेज़ था (क्षति कितनी अराजक थी)।

रोबोट को इन 4,840 तरीकों में से प्रत्येक में तोड़ने के बाद, उन्होंने उसे रोज़मर्रा की वस्तुओं की 175 तस्वीरें दिखाईं और उसे उनका नाम बताने के लिए कहा। उन्होंने रोबोट द्वारा की गई हर गलती को रिकॉर्ड किया—चाहे उसने "डॉग" को "कैट" कहा हो (एक सिमेंटिक त्रुटि), कोई निरर्थक शब्द बनाया हो (एक नियोलोजिज्म), या बस चुप रहा हो। गलतियों के इस संग्रह को "एरर प्रोफाइल" (error profile) कहा जाता है।

द रिवर्स इंजीनियरिंग चैलेंज

अब कठिन हिस्सा आया। शोधकर्ताओं ने एक नया, विशेष कंप्यूटर प्रोग्राम (एक "इनवर्स मॉडल") बनाया जो एक जासूस के रूप में कार्य करता है। उन्होंने इस जासूस को एरर प्रोफाइल्स (गलतियों की सूची) दी और पूछा: "इन गलतियों के आधार पर, हमने वास्तव में क्या तोड़ा है?"

जासूस को तीन चीजों का अनुमान लगाना था:

किस परत (layer) को मारा गया?
उस परत को कितना क्षतिग्रस्त किया गया?
शोर कितना अधिक था?

बड़ी खोज: तीव्रता बनाम स्थान (Intensity vs. Location)
परिणाम आश्चर्यजनक थे और उन्होंने एक रहस्य प्रकट किया कि ये AI मस्तिष्क कैसे बनाए जाते हैं।

"कितना" ढूंढना आसान था: जासूस कितना नुकसान हुआ, इसका अनुमान लगाने में बहुत अच्छा था। चाहे रोबोट थोड़ा भ्रमित हो या पूरी तरह से अस्त-व्यस्त, जासूस उच्च सटीकता के साथ अंतर बता सकता था। यह एक कार के इंजन के "थोड़ा खराब" होने और "पूरी तरह से मृत" होने के बीच अंतर करने जैसा है, केवल उसके स्पटर (झटकों) को सुनकर।
"कहाँ" संदिग्ध था: जासूस सटीक परत का अनुमान लगाने में बहुत अच्छा नहीं था। वह सही परत का अनुमान केवल 14.8% बार ही लगा सका (जो कि रैंडम गेसिंग से बहुत बेहतर है, लेकिन फिर भी पूर्णता से दूर है)। हालांकि, वह आमतौर पर परतों के सही "पड़ोस" (5 परतों के भीतर) का अनुमान लगभग 77.6% बार लगा सकता था।

"मैजिक ट्रिक" टेस्ट (काउंटरफैक्चुअल वैलिडेशन)
यहीं पर यह पेपर बहुत दिलचस्प हो जाता है। केवल इसलिए कि जासूस ने "कितना" और "कहाँ" का अनुमान लगाया, इसका मतलब यह नहीं है कि वह सही था। इसे साबित करने के लिए, शोधकर्ताओं ने एक "जादुई ट्रिक" की। उन्होंने जासूस के अनुमान को लिया, एक नए, बिना टूटे हुए रोबोट के पास गए, और उस पर वही सटीक अनुमान लागू किया।

परिणाम: 81.4% मामलों में, नए रोबोट ने मूल टूटे हुए रोबोट की तरह ही ठीक वही गलतियाँ करना शुरू कर दिया!
ट्विस्ट: भले ही जासूस ने गलत परत का अनुमान लगाया हो, यदि उसने नुकसान की सही मात्रा का अनुमान लगाया, तो नए रोबोट ने अभी भी वैसी ही गलतियाँ कीं।

यह साबित करता है कि इन AI मस्तिष्क के लिए, आपने उन्हें कितना तोड़ा है, यह इस बात से कहीं अधिक महत्वपूर्ण है कि आपने कहाँ तोड़ा है। यह सुझाव देता है कि रोबोट के मस्तिष्क के मध्य भाग "रिडंडेंट" (अतिरिक्त/बैकअप वाले) हैं—वे सभी समान कार्य करते हैं। यदि आप उनके मध्य के एक भाग को नुकसान पहुँचाते हैं, तो दूसरा मध्य भाग उसकी जगह ले सकता है, इसलिए रोबोट का व्यवहार चोट की विशिष्ट स्थिति के बजाय चोट की गंभीरता के आधार पर बदलता है।

वास्तविक लोगों से जुड़ाव

यह सुनिश्चित करने के लिए कि यह केवल रोबोट के साथ खेला गया खेल नहीं था, शोधकर्ताओं ने अपने जासूस का परीक्षण 278 वास्तविक लोगों पर किया जिन्होंने स्ट्रोक का सामना किया था और जिन्हें चित्रों के नाम बताने में कठिनाई हो रही थी (एक स्थिति जिसे एफ़ेज़िया कहा जाता है)। शोधकर्ताओं ने जासूस को मानव मस्तिष्क के बारे में कुछ भी नहीं सिखाया था; वह केवल टूटे हुए रोबरों के बारे में जानता था।

जब उन्होंने मानव रोगियों के एरर प्रोफाइल को जासूस में डाला, तो कुछ अद्भुत हुआ:

जासूस के "डैमेज इंटेंसिटी" (कितना टूटा है) के बारे में अनुमान, रोगियों की स्थितियों की गंभीरता के साथ पूरी तरह मेल खाते थे। गंभीर भाषण समस्याओं वाले रोगियों के लिए "उच्च क्षति" की भविष्यवाणी की गई, जबकि हल्के स्तर की समस्याओं वाले रोगियों के लिए "कम क्षति" की।
जासूस ने रोगियों को उनके विशिष्ट प्रकार के एफ़ेज़िया (जैसे ब्रोंका या वेर्निक) के आधार पर भी वर्गीकृत किया, भले ही उसने पहले कभी मानव को नहीं देखा था।

इसका क्या अर्थ है

यह पेपर यह दावा नहीं करता है कि इसने मानव मस्तिष्क के रहस्य को सुलझा लिया है या सभी AI समस्याओं को ठीक कर दिया है। इसके बजाय, यह यह परीक्षण करने का एक नया तरीका प्रदान करता है कि क्या हम वास्तव में AI को समझते हैं।

यह क्या खारिज करता है: यह दिखाता है कि केवल यह देखना कि एक AI किस परत का उपयोग करता है, उसे समझने के लिए पर्याप्त नहीं है। आप केवल यह नहीं कह सकते कि, "लेयर 10 संज्ञाओं (nouns) के लिए है," क्योंकि लेयर 10 को नुकसान पहुँचाना लेयर 15 को नुकसान पहुँचाने जैसा लग सकता है यदि क्षति का आकार समान है।
यह क्या सुझाव देता है: इन AI मस्तिष्क का "मध्य" हिस्सा बैकअप सिस्टम से भरा हुआ है। वे लचीले और रिडंडेंट हैं।
विश्वास: शोधकर्ता "तीव्रता" (intensity) की खोज के बारे में बहुत आश्वस्त हैं क्योंकि उन्होंने एक नए रोबोट पर परीक्षण किया और यह 81.4% बार काम कर गया। वे आश्वस्त हैं कि "स्थान" (location) को पकड़ना कठिन है क्योंकि रोबोट उसी तरह व्यवहार करता है भले ही आप गलत परत का अनुमान लगाएं।

संक्षेप में, यह अध्ययन हमें सिखाता है कि इन विशाल डिजिटल मस्तिष्कों को समझने के लिए, हमें केवल एक "टूटे हुए गियर" को खोजने के बजाय यह देखना शुरू करना चाहिए कि पूरी मशीन को कितनी जोर से हिलाया जा रहा है। और सबसे अच्छी बात? उन्होंने जो विधि ईजाद की है—क्षति का अनुमान लगाना, फिर उसे एक नए मशीन पर टेस्ट करना—इसका उपयोग भविष्य में यह जांचने के लिए किया जा सकता है कि क्या हम वास्तव में AI के सोचने के किसी भी हिस्से को समझते हैं।

तकनीकी सारांश: एफैसिक पिक्चर नेमिंग एरर प्रोफाइल्स से लीजन पैरामीटर्स की रिकवरी

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान व्याख्यात्मकता विधियाँ (interpretability methods)—जिनमें प्रोबिंग क्लासिफायर, अटेंशन विज़ुअलाइज़ेशन, कॉज़ल ट्रेसिंग और एक्टिवेशन पैचिंग शामिल हैं—मुख्य रूप से आंतरिक मॉडल अवस्थाओं और उनके व्यवहार के साथ सहसंबंधों का वर्णन करती हैं। हालाँकि, ये विधियाँ सीधे तौर पर यह परीक्षण नहीं करती हैं कि क्या एक अनुमानित आंतरिक अवस्था, देखे गए व्यवहार को उत्पन्न करने के लिए कारणतः पर्याप्त (causally sufficient) है। वे केवल यह पहचानती हैं कि व्यवहार के साथ क्या सहसंबंधित है, न कि यह कि यदि हस्तक्षेप किया जाए, तो क्या व्यवहार उत्पन्न करेगा। यह शोध इस अंतराल को संबोधित करने के लिए एक विपरीत प्रश्न प्रस्तुत करता है: दिए गए विशिष्ट व्यवहारिक आउटपुट (एक एफैसिक पिक्चर नेमिंग एरर प्रोफाइल) को देखते हुए, क्या उन विशिष्ट लीजन पैरामीटर्स (लेयर इंडेक्स, मॉडिफिकेशन पर्सेंटेज, और नॉइज़ मैग्नीट्यूड) को रिकवर किया जा सकता है जिन्होंने उसे उत्पन्न किया था? इसके अतिरिक्त, क्या इस विपरीत समस्या की संरचना ट्रांसफॉर्मर कंप्यूटेशन के मौलिक गुणों को प्रकट करती है?

कार्यप्रणाली
यह अध्ययन मल्टीमॉडल मॉडल LLaVA-Vicuna 1.6 13B (एक CLIP विज़न एनकोडर और 40-लेयर विकुना लैंग्वेज डिकोडर का संयोजन) का उपयोग करता है। कार्यप्रणाली में एक फॉरवर्ड परटर्बेशन चरण के बाद एक इनवर्स मैपिंग चरण शामिल है।

फॉरवर्ड परटर्बेशन (डेटा जनरेशन):
- पैरामीटर स्पेस: लेखकों ने 4,840 कॉन्फ़िगरेशन का एक ग्रिड परिभाषित किया जो तीन पैरामीटर्स में भिन्न होते हैं:
  - लेयर इंडेक्स ( $L$ ): 0–39 (केवल लैंग्वेज डिकोडर लेयर्स)।
  - मॉडिफिकेशन पर्सेंटेज ( $M$ ): 0–100% (प्रभावित हिडन यूनिट्स का अंश)।
  - नॉइज़ सिग्मा ( $\sigma$ ): 1.0–2.0 (गॉसियन नॉइज़ की तीव्रता)।
- लीजन मैकेनिज्म: एक दिए गए कॉन्फ़िगरेशन $(L, M, \sigma)$ के लिए, $M$ अंश वाली लेयर $L$ के वेट्स को $(1 + \varepsilon)$ से गुणा करके संशोधित किया गया, जहाँ $\varepsilon \sim N(0, \sigma^2)$ ।
- व्यवहारिक आउटपुट: प्रत्येक परटर्बड मॉडल का 175-आइटम फिलाडेल्फिया नेमिंग टेस्ट (PNT) पर मूल्यांकन किया गया। प्रतिक्रियाओं को सात त्रुटि प्रकारों के नैदानिक वर्गीकरण में वर्गीकृत किया गया: करेक्ट (सही), सिमेंटिक (अर्थ संबंधी), अनरिलेटेड (असंबंधित), फॉर्मल (औपचारिक), मिक्सड (मिश्रित), नियोलोजिज्म (नवशब्द), और नो-रिस्पॉन्स (कोई प्रतिक्रिया नहीं)।
- फीचर एक्सट्रैक्शन: इनवर्स मॉडल का इनपुट एक 166-डायमेंशनल वेक्टर है जिसमें शामिल हैं:
  - टियर 1: 7 BERT-वर्गीकृत एरर रेट्स।
  - टियर 2: 5 व्युत्पन्न सांख्यिकी (जैसे, टोटल एरर रेट, एंट्रॉपी)।
  - टियर 3: 12 टेक्स्ट-लेवल सांख्यिकी (लंबाई, कैरेक्टर क्लासेस)।
  - टियर 4: 10 प्रोबेबिलिटी मोमेंट्स (अनिश्चितता मेट्रिक्स)।
  - टियर 5: 8 लेक्सिकल डायवर्सिटी फीचर्स।
  - टियर 6: 116 सेंटेंस-ट्रांसफॉर्मर एम्बेडिंग स्टैटिस्टिक्स।
- डेटासेट्स: 4,840 कॉन्फ़िगरेशन को 70/15/15 के अनुपात में ट्रेनिंग, वैलिडेशन और टेस्टिंग के लिए विभाजित किया गया। डेटा लीकेज को रोकने के लिए एक स्वतंत्र वैलिडेशन सेट को एक अलग रैंडम सीड का उपयोग करके बनाया गया था। इसके अतिरिक्त, 278 स्ट्रोक सर्वाइवर्स (CSTAR डेटासेट) के व्यवहारिक डेटा का उपयोग आउट-ऑफ-डिस्ट्रीब्यूशन टेस्टिंग के लिए किया गया।
इनवर्स मॉडल आर्किटेक्चर:
- एक मल्टी-टास्क न्यूरल नेटवर्क को तीन परटर्बेशन पैरामीटर्स को वापस व्यवहारिक प्रोफाइल से मैप करने के लिए प्रशिक्षित किया गया था।
- एनकोडर: तीन फुली कनेक्टेड ब्लॉक्स (256 $\to$ 128 $\to$ 64 यूनिट्स) बैच नॉर्मलाइजेशन, ReLU और ड्रॉपआउट के साथ।
- हेड्स:
  - लेयर हेड: 40-वे क्लासिफिकेशन (क्रॉस-एन्ट्रॉपी लॉस) के लिए एक लीनियर लेयर।
  - इंटेंसिटी हेड्स: मॉडिफिकेशन पर्सेंटेज और नॉइज़ सिग्मा के लिए दो समानांतर रिग्रेशन हेड्स, जो मीन और वेरिएंस प्रेडिक्ट करने के लिए हेटेरोसेडास्टिक गॉसियन नेगेटिव लॉग-लाइक्लीहुड लॉस का उपयोग करते हैं।
- ट्रेनिंग: इसे 500 इपोक में AdamW के माध्यम से ऑप्टिमाइज़ किया गया। कुल लॉस तीन टास्क लॉस के वेटेड सम (भारित योग) पर आधारित था।
वैलिडेशन फ्रेमवर्क:
- काउंटरफैक्चुअल वैलिडेशन: यह सत्यापित करने के लिए कि क्या कॉज़ल सफिशिएंसी (कारणतः पर्याप्तता) मौजूद है, इनवर्स मॉडल द्वारा प्रेडिक्ट किए गए पैरामीटर्स को LLaVA-Vicuna मॉडल के एक फ्रेश, अनपरटर्बड इंस्टेंस पर लागू किया गया। मूल टारगेट प्रोफाइल के साथ तुलना करने के लिए कोसाइन सिमिलरिटी और पियर्सन कोरिलेशन का उपयोग किया गया। हाई फिडेलिटी को सिमिलरिटी > 0.85 और कोरिलेशन > 0.90 के रूप में परिभाषित किया गया।
- क्लिनिकल एप्लीकेशन: प्रशिक्षित इनवर्स मॉडल (बिना रिट्रेनिंग के) को 278 स्ट्रोक सर्वाइवर्स पर लागू किया गया ताकि यह परीक्षण किया जा सके कि क्या रिकवर्ड पैरामीटर्स क्लिनिकल एफैसिया सिंड्रोम्स (जैसे, ब्रोका, एनोमिक, ग्लोबल) के बीच अंतर कर सकते हैं।

मुख्य परिणाम

पैरामीटर्स की आंशिक रिकवरी:
- इंटेंसिटी रिकोवरेबल है: मॉडल ने परटर्बेशन इंटेंसिटी को सफलतापूर्वक रिकवर किया। मॉडिफिकेशन पर्सेंटेज प्रेडिक्शन ने $R^2 = 0.570$ और पियर्सन $r = 0.771$ प्राप्त किया। नॉइज़ सिग्मा प्रेडिक्शन ने $R^2 = 0.315$ और $r = 0.581$ प्राप्त किया।
- लोकेशन अस्पष्ट है: लेयर इंडेक्स प्रेडिक्शन काफी कम सटीक था। टॉप-1 एक्यूरेसी 14.8% थी (चांस 2.5% है), हालांकि विदिन-5 एक्यूरेसी 77.6% थी (चांस 27.5% है)। यह सुझाव देता है कि मॉडल लीजन के नेबरहुड (पड़ोस) को पहचान सकता है लेकिन सटीक लेयर को नहीं।
काउंटरफैक्चुअल फिडेलिटी:
- सटीक लेयर को पहचानने में कठिनाई के बावजूद, रिकवर्ड पैरामीटर्स लक्षित व्यवहार को पुनरुत्पादित करने के लिए कारणतः पर्याप्त थे। स्वतंत्र फुल-ग्रिड वैलिडेशन सेट (4,840 कॉन्फ़िगरेशन) पर, 81.4% मामलों ने हाई-फिडेलिटी रिप्रोडक्शन हासिल किया।
- महत्वपूर्ण रूप से, गलत लेयर इंडेक्स लेकिन सही इंटेंसिटी वाले प्रेडिक्शंस भी हाई-फिडेलिटी रिकंस्ट्रक्शन देने में सक्षम थे। इसके विपरीत, गलत इंटेंसिटी होने पर, भले ही लेयर सही हो, फिडेलिटी कम रही। यह इंगित करता है कि परटर्बेशन इंटेंसिटी व्यवहारिक फिडेलिटी का प्राथमिक निर्धारक है, जबकि लोकेशन द्वितीयक है।
फंक्शनल रेडंडेंसी (कार्यात्मक अतिरेक):
- लो लेयर-रिकवरी एक्यूरेसी और हाई काउंटरफैक्चुअल फिडेलिटी के बीच का अंतर ट्रांसफॉर्मर लेयर्स में फंक्शनल रेडंडेंसी का सुझाव देता है। कई मिड-स्टैक लेयर्स, समान इंटेंसिटी पर परटर्ब होने पर कार्यात्मक रूप से समकक्ष व्यवहारिक फुटप्रिंट उत्पन्न करती हैं।
- प्रति-लेयर विश्लेषण ने एक एसिमेट्रिक U-आकार का पैटर्न दिखाया: एम्बेडिंग इंटरफेस (0–2) और आउटपुट इंटरफेस (36–39) की लेयर्स मिड-स्टैक (3–35) की तुलना में अधिक रिकोवरेबल थीं, जो नेटवर्क बाउंड्रीज पर सूचना स्थानीयकरण (information localization) के अनुरूप है।
क्लिनिकल जनरलाइजेशन (आउट-ऑफ-डिस्ट्रीब्यूशन):
- जब 278 स्ट्रोक सर्वाइवर्स पर लागू किया गया, तो इनवर्स मॉडल के रिकवर्ड पैरामीटर्स सिंड्रोम-डिस्क्रिमिनेटिव थे।
- मॉडिफिकेशन पर्सेंटेज: सबसे मजबूत भेदभाव दिखाया ( $\eta^2 = 0.288$ ), जिसके गंभीरता ग्रेडिएंट्स क्लिनिकल सिंड्रोम्स (जैसे, ग्लोबल और ब्रोका एफैसिया, एनोमिक या कंट्रोल की तुलना में उच्च मॉडिफिकेशन पर्सेंटेज के साथ मैप किए गए) के साथ संरेखित थे।
- लेयर इंडेक्स: मध्यम भेदभाव दिखाया ( $\eta^2 = 0.130$ ), जिसमें गंभीर नॉन-फ्लुएंट सिंड्रोम्स शुरुआती लेयर्स के साथ मैप किए गए।
- नॉइज़ सिग्मा: सिंड्रोम्स के बीच महत्वपूर्ण अंतर नहीं दिखा सका।
- पांच अलग-अलग ग्रुपिंग स्कीम्स पर सेंसिटिविटी विश्लेषण ने पुष्टि की कि ये निष्कर्ष मजबूत थे और केवल कंट्रोल ग्रुप कंट्रास्ट या छोटे सैंपल साइज के कारण नहीं थे।

महत्व और दावे

यह पेपर दावा करता है कि यह LLM इंटरप्रिटेबिलिटी के लिए एक सामान्य पद्धतिगत ढांचा स्थापित करता है जो काउंटरफैक्चुअल वैलिडेशन पर आधारित है। इसके प्राथमिक योगदान हैं:

कॉज़ल सफिशिएंसी टेस्ट: यह सहसंबंधी (correlational) व्याख्यात्मकता से आगे बढ़कर यह प्रदर्शित करता है कि अनुमानित आंतरिक अवस्थाओं (लीजन पैरामीटर्स) को रिकवर किया जा सकता है और विशिष्ट व्यवहारों को पुनरुत्पादित करने के लिए पुनः लागू किया जा सकता है।
आर्किटेक्चरल इनसाइट: परिणाम ट्रांसफॉर्मर आर्किटेक्चर के एक ऐसे गुण को प्रकट करते हैं जिसे मानक व्याख्यात्मकता विधियों द्वारा कैप्चर नहीं किया जाता है: फंक्शनल रेडंडेंसी। यह निष्कर्ष कि व्यवहार इस बात से निर्धारित होता है कि किस लेयर को कितना बाधित किया गया है, बजाय इसके कि कौन सी लेयर बाधित की गई है, इस धारणा को चुनौती देता है कि विशिष्ट व्यवहार अद्वितीय रूप से विशिष्ट लेयर्स से मैप होते हैं।
सिंथेटिक और क्लिनिकल डेटा को जोड़ना: यह अध्ययन प्रदर्शित करता है कि पूरी तरह से सिंथेटिक LLM परटर्बेशन पर प्रशिक्षित इनवर्स मॉडल क्लिनिकल एफैसिया डेटा पर सामान्यीकरण कर सकता है, जिससे ऐसे पैरामीटर्स रिकवर होते हैं जो स्थापित क्लिनिकल सिंड्रोम्स के साथ संरेखित होते हैं। यह सुझाव देता है कि सीखा गया व्यवहार-टू-परटर्बेशन मैपिंग भाषा प्रसंस्करण के संरचनात्मक गुणों को कैप्चर करता है जो विशिष्ट प्रशिक्षण वितरण से परे हैं।

लेखक विनम्रतापूर्वक नोट करते हैं कि ये निष्कर्ष एक विशिष्ट मल्टीमॉडल मॉडल (LLaVA-Vicuna 13B) के लिए एक "एग्ज़िस्टेंस प्रूफ" (अस्तित्व का प्रमाण) हैं और रिकोवरेबिलिटी की डिग्री विभिन्न ट्रांसफॉर्मर आर्किटेक्चर में भिन्न हो सकती है। वे यह दावा नहीं करते हैं कि उन्होंने विशिष्ट ट्रांसफॉर्मर लेयर्स को विशिष्ट मस्तिष्क क्षेत्रों से मैप किया है, बल्कि यह कि इनवर्स समस्या की संरचना मॉडल के स्वयं के कम्प्यूटेशनल गुणों को प्रकट करती है।

द ग्रेट AI डिटेक्टिव गेम

द रिवर्स इंजीनियरिंग चैलेंज

वास्तविक लोगों से जुड़ाव

इसका क्या अर्थ है

इसी तरह के और पेपर