💬 NLP

Automated Attribution Graph Interpretation via Probe Prompting

यह शोध पत्र "प्रोब प्रॉम्प्टिंग" (probe prompting) को प्रस्तुत करता है, जो एक पारदर्शी नियम-आधारित पाइपलाइन है जो क्रॉस-प्रॉम्ट एक्टिवेशन सिग्नेचर का उपयोग करके एट्रिब्यूशन ग्राफ में विशेषताओं को अवधारणा-संरेखित सुपरनोड्स (concept-aligned supernodes) में समूहित करती है, और न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ विभिन्न तथ्यात्मक डोमेन में उनके कारण संबंधी स्टीयरिंग व्यवहार (causal steering behavior) को सफलतापूर्वक मान्य करती है।

मूल लेखक: Giuseppe Birardi, Gonçalo Paulo

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Giuseppe Birardi, Gonçalo Paulo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, हलचल भरे शहर के रूप में करें जहाँ लाखों कर्मचारी (न्यूरॉन्स) किसी प्रश्न का उत्तर देने के लिए एक-दूसरे को नोट्स (संदेश) भेज रहे हैं। हम जानते हैं कि वे नोट्स कैसे भेजे जाते हैं (गणित), लेकिन शहर इतना बड़ा है और नोट्स इतने जटिल हैं कि एक इंसान के लिए नक्शे को देखकर यह कहना असंभव है, "आह, कर्मचारियों का यह विशिष्ट समूह इस बात के लिए जिम्मेदार है कि टेक्सास की राजधानी ऑस्टिन है।"

यह शोध पत्र उस शहर का मानचित्र बनाने का एक नया तरीका पेश करता है, जिसे प्रोब प्रॉम्प्टिंग (Probe Prompting) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: एक शहर जिसे पढ़ना बहुत कठिन है

पहले, शोधकर्ता "एट्रिब्यूशन ग्राफ्स" (attribution graphs) को देखकर मॉडल को समझने की कोशिश करते थे। इन्हें ब्लूप्रिंट की तरह समझें जो दिखाते हैं कि किन कर्मचारियों ने अंतिम उत्तर को प्रभावित किया।

समस्या: "टेक्सास की राजधानी क्या है?" जैसे सरल प्रश्न के लिए भी, ब्लूप्रिंट में हजारों रेखाएं और नोड्स होते हैं। यह हर एक अक्षर को व्यक्तिगत रूप से देखकर एक उपन्यास पढ़ने जैसा है। केवल एक पथ (path) को ट्रेस करने में घंटों लग जाते हैं, और हजारों प्रश्नों के लिए ऐसा करना असंभव है।
पुराना तरीका: कुछ शोधकर्ताओं ने एआई को इन कर्मचारियों को लेबल करने के लिए कहा (जैसे, "यह 'टेक्सास' के बारे में है")। लेकिन अक्सर, एआई केवल इस आधार पर अनुमान लगा रहा था कि वह कर्मचारी आमतौर पर क्या करता है, न कि उस विशिष्ट क्षण में उसने वास्तव में क्या किया था।

2. समाधान: "प्रोब" जासूस (The "Probe" Detective)

लेखकों ने एक पारदर्शी, नियम-आधारित प्रणाली बनाई जिसे प्रोब प्रॉम्प्टिंग कहा जाता है। अनुमान लगाने के बजाय, वे मॉडल के साथ एक जासूसी खेल की तरह व्यवहार करते हैं।

तैयारी: वे एक विशिष्ट प्रश्न लेते हैं (जैसे, "टेक्सास की राजधानी है...") और "प्रोब" प्रश्नों का एक छोटा सेट तैयार करते हैं जो लगभग समान होते हैं लेकिन उनमें विवरण बदल दिए जाते हैं (जैसे, "फ्लोरिडा की राजधानी है...", "न्यूयॉर्क की राजधानी है...")।
परीक्षण: वे देखते हैं कि विशिष्ट कर्मचारी (फीचर्स) इन प्रोब्स के प्रति कैसे प्रतिक्रिया करते हैं।
- उपमा: कल्पना कीजिए कि आपके पास एक इमारत में एक सुरक्षा गार्ड है। यह देखने के लिए कि वह क्या करता है, आप उसे केवल एक बार नहीं देखते। आप उससे पूछते हैं, "'जॉन' नाम का व्यक्ति आने पर आप क्या करते हैं?" फिर, "'मेरी' के बारे में क्या?" फिर, "'बॉब' के बारे में क्या?"
- यदि गार्ड केवल "जॉन" के आने पर प्रतिक्रिया देता है, तो वह एक जॉन-डिटेक्टर (John-Detector) है।
- यदि वह किसी भी नाम पर प्रतिक्रिया देता है, तो वह एक नाम-डिटेक्टर (Name-Detector) है।
- यदि वह "है" या "द" (the) कहने पर प्रतिक्रिया देता है, तो वह एक ग्रामर-हेल्पर (Grammar-Helper) है।

3. कर्मचारियों का समूहीकरण: "सुपरनोड्स" (Supernodes)

इन प्रतिक्रियाओं के आधार पर, प्रणाली हजारों व्यक्तिगत कर्मचारियों को सुपरनोड्स में समूहित करती है।

जादू: 5,000 व्यक्तिगत कर्मचारियों को देखने के बजाय, प्रणाली कहती है, "ठीक है, ये 50 कर्मचारी सभी 'टेक्सास डिटेक्टर' की तरह कार्य करते हैं, तो चलिए इन्हें एक बड़ी टीम मान लेते हैं: टीम टेक्सास।"
परिणाम: विशाल, भ्रमित करने वाला शहर का नक्शा अब केवल कुछ नामित टीमों (जैसे, टीम टेक् "टेक्सास", टीम "ऑस्टिन", टीम "कैपिटल") वाले एक सरल, पठनीय आरेख में बदल जाता है।

4. प्रमाण: "स्वैप" प्रयोग (The "Swap" Experiment)

हमें कैसे पता कि ये लेबल वास्तविक हैं या केवल एक भाग्यशाली अनुमान? लेखक एक कॉज़ल स्वैप (Causal Swap) करते हैं।

प्रयोग: वे डलास (जहाँ उत्तर ऑस्टिन होना चाहिए) के बारे में एक प्रश्न लेते हैं और मॉडल को मिनेसोटा (जहाँ उत्तर सेंट पॉल है) का उत्तर देने के लिए मजबूर करने की कोशिश करते हैं।
विधि: वे टीम डलास लेबल वाले कर्मचारियों का "वॉल्यूम कम" कर देते हैं और टीम मिनेसोटा लेबल वाले कर्मचारियों का "वॉल्यूम बढ़ा" देते हैं।
परिणाम:
- जब उन्होंने अपने प्रोब प्रॉम्प्टिंग लेबल का उपयोग किया, तो मॉडल ने लगभग 73% बार सफलतापूर्वक अपना उत्तर डलास से मिनेसोटा में बदल दिया।
- जब उन्होंने एक रैंडम कंट्रोल (लेबल को अनदेखा करते हुए रैंडम कर्मचारियों को बदलने) का उपयोग किया, तो मॉडल ने अपना उत्तर सही ढंग से कभी नहीं बदला।
- जब उन्होंने एक इन्फ्लुएंस कंट्रोल (क्या करते हैं इसकी परवाह किए बिना सबसे "मुखर" कर्मचारियों को चुनने) का उपयोग किया, तो वे भी उत्तर बदलने में विफल रहे।

5. सरल अंग्रेजी में मुख्य निष्कर्ष

यह काम करता है: सिस्टम ने सफलतापूर्वक पहचान लिया कि कौन से कर्मचारी वास्तव में विशिष्ट तथ्यों को नियंत्रित करते हैं। उन्हें समूहित करके, उन्होंने मॉडल के "मस्तिष्क" को पठनीय बना दिया।
कम ही अधिक है (Less is More): कभी-कभी, वाक्य के हर हिस्से (शहर का नाम, राज्य का नाम और राजधानी) को नियंत्रित करने की कोशिश करने से मॉडल भ्रमित हो जाता है। यह बेहतर काम करता है यदि आप केवल उत्तर से संबंधित विशिष्ट हिस्सों को बदलते हैं।
यह पारदर्शी है: कुछ एआई विधियों के विपरीत जो "ब्लैक बॉक्स" होती हैं, यह प्रणाली स्पष्ट, मानव-पठनीय नियमों का उपयोग करती है। यदि कोई शोधकर्ता काम की जाँच करना चाहता है, तो वह देख सकता है कि एक कर्मचारी को एक टीम के साथ क्यों जोड़ा गया था।

सारांश

यह शोध पत्र एक उपकरण प्रस्तुत करता है जो एक भाषा मॉडल के मस्तिष्क के अराजक, अपठनीय मानचित्र को एक साफ, लेबल वाले आरेख में बदल देता है। यह ऐसा इसलिए करता है क्योंकि यह परीक्षण करता है कि मॉडल के हिस्से थोड़े अलग प्रश्नों के प्रति कैसे प्रतिक्रिया करते हैं, समान हिस्सों को एक साथ समूहित करता है, और यह सिद्ध करता है कि ये समूह वास्तव में मॉडल के व्यवहार को नियंत्रित करते हैं।

यह शोध पत्र क्या दावा नहीं करता है:

यह दावा नहीं करता है कि यह हर प्रकार के एआई कार्य (जैसे कोड लिखना या बातचीत करना) के लिए काम करता है; इसे विशेष रूप से तथ्यात्मक प्रश्नों (जैसे राजधानियाँ, पुस्तकों के लेखक और कंपनियों के संस्थापक) के लिए परीक्षण किया गया था।
यह दावा नहीं करता है कि यह मॉडल को ठीक करता है या इसे स्मार्ट बनाता है; यह केवल यह समझने में मदद करता है कि यह कैसे काम करता है।
यह दावा नहीं करता है कि यह अभी सभी भाषाओं या सभी मॉडल आकारों पर काम करता है; परीक्षण एक विशिष्ट अंग्रेजी मॉडल (Gemma-2-2B) पर किया गया था।

तकनीकी सारांश: प्रोब प्रॉम्प्टिंग के माध्यम से एट्रिब्यूशन ग्राफ्स की स्वचालित व्याख्या

समस्या विवरण
यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) में इनपुट से आउटपुट तक के कम्प्यूटेशनल मार्ग सैद्धांतिक रूप से ज्ञात हैं, लेकिन इन गणनाओं का घनत्व इतना अधिक है कि मानव व्याख्या के लिए ये अपारदर्शी हो जाते हैं। मेकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) की मौजूदा विधियाँ, जैसे कि स्पार्स ऑटोएनकोडर्स (SAEs) और क्रॉस-लेयर ट्रांसकोडर्स (CLTs), सघन मॉडल एक्टिवेशन को स्पार्स फीचर्स में सफलतापूर्वक विघटित करती हैं। हालाँकि, परिणामी एट्रिब्यूशन ग्राफ्स मैन्युअल विश्लेषण के लिए बहुत बड़े रहते हैं; एक एकल लघु तथ्यात्मक प्रॉम्प्ट भी 600-5,000 नोड्स वाले ग्राफ उत्पन्न कर सकता है। वर्तमान स्वचालित व्याख्या तकनीकें, जो अक्सर कॉर्पस एक्टिवेशन के LLM स्कोरिंग पर निर्भर करती हैं, कारण संबंधी सत्यापन (causal validation) या सर्किट-स्तरीय अंतःक्रिया संबंधी अंतर्दृष्टि प्रदान करने में विफल रहती हैं। एक ऐसे स्वचालित, व्यवहार-बद्ध ग्रुपिंग पद्धति की महत्वपूर्ण आवश्यकता है जो मैन्युअल ट्रेसिंग की आवश्यकता के बिना, व्यक्तिगत केस स्टडीज से लेकर सर्किट्स के बड़े कैटलॉग तक स्केल कर सके।

कार्यप्रणाली: प्रोब प्रॉम्प्टिंग (Probe Prompting)
यह शोध पत्र प्रोब प्रॉम्प्टिंग को पेश करता है, जो एक पारदर्शी, नियम-आधारित पाइपलाइन है जिसे जटिल एट्रिब्यूशन ग्राफ्स को संक्षिप्त, कॉन्सेप्ट-एलाइन्ड "सुपरनोड्स" (supernodes) के सेट में बदलने के लिए डिज़ाइन किया गया है। यह कार्यप्रणाली चार विशिष्ट चरणों के माध्यम से आगे बढ़ती है:

एट्रिब्यूशन ग्राफ जनरेशन: न्यूरोपीडिया (Neuronpedia) और CLT डिक्शनरी का उपयोग करके, सिस्टम सीड प्रॉम्प्ट्स (जैसे, "The capital of the state containing Dallas is") के लिए एट्रिब्यूशन ग्राफ बनाता है।
प्रोब प्रॉम्प्ट जनरेशन: प्रत्येक सीड के लिए, एक LLM कॉन्सेप्ट-लक्षित प्रोब प्रॉम्प्ट्स का एक छोटा सेट उत्पन्न करता है। ये प्रोब्स सीड की सिंटैक्टिक संरचना (prepositions, उत्तर की स्थिति) को बनाए रखते हैं लेकिन कंटेंट एंटिटीज (content entities) को बदलते हैं।
क्रॉस-प्रॉम्प्ट एक्टिवेशन सिग्नेचर (CPAS): सिस्टम प्रोब सेट के माध्यम से फीचर एक्टिवेशन को मापता है। एक एकल प्रॉम्प्ट पीक (जो संदिग्ध है) पर निर्भर रहने के बजाय, यह पीक कंसिस्टेंसी (peak consistency), स्पर्सिटी (sparsity), और सीड के सापेक्ष कोसाइन सिमिलरिटी (cosine similarity) जैसे मेट्रिक्स को एकत्रित करता है। यह एकत्रीकरण प्रत्येक फीचर के लिए एक CPAS बनाता है।
रूल-बेस्ड सुपरनोड फॉर्मेशन: एक नियत निर्णय वृक्ष (deterministic decision tree) CPAS मेट्रिक्स को चार कार्यात्मक भूमिकाओं में से एक में मैप करता है:
- सेमेंटिक-डिक्शनरी (SEM-DICT): फीचर्स जो लगातार एक एकल सेमेंटिक टोकन (जैसे, "Texas") पर पीक करते हैं।
- सेमेंटिक-कॉन्सेप्ट (SEM-CONC): फीचर्स जो संबंधित टोकन्स के परिवार (जैसे, कलाकारों के नाम) पर पीक करते हैं।
- रिलेशनशिप (REL): वे फीचर्स जिनका एक्टिवेशन पैटर्न डिफ्यूज (diffuse) होता है और जो एंटिटीज के बजाय संबंधों को एनकोड करते हैं।
- से (SAY-X): फीचर्स जो प्रेडिक्टेबल तरीके से सेमेंटिक टारगेट के सापेक्ष कार्यात्मक टोकन्स (जैसे, "is", "the") पर पीक करते हैं, जो प्रभावी रूप से आउटपुट को बढ़ावा देते हैं।
  एक ही भूमिका और नाम साझा करने वाले फीचर्स को एक सुपरनोड में मिला दिया जाता है।

कॉज़ल वैलिडेशन प्रोटोकॉल (Causal Validation Protocol)
सुपरनोड्स की उपयोगिता को मान्य करने के लिए, लेखक एंटिटी-स्वैप प्रयोगों (entity-swap experiments) से जुड़े एक कॉज़ल इंटरवेंशन प्रोटोकॉल का उपयोग करते हैं। एक सोर्स-टारगेट जोड़े (जैसे, Dallas $\to$ Austin) के लिए, सिस्टम सोर्स से जुड़े फीचर्स को एब्लेट (ablate) करता है और टारगेट से जुड़े फीचर्स को एम्प्लीफाई (amplify) करता है। सफलता इस बात से मापी जाती है कि क्या मॉडल का प्रेडिक्शन सफलतापूर्वक टारगेट एंटिटी की ओर निर्देशित होता है।

महत्वपूर्ण रूप से, यह शोध पत्र यह सुनिश्चित करने के लिए कि परिणाम फीचर काउंट या ग्राफ इन्फ्लुएंस के आर्टिफैक्ट नहीं हैं, दो कठोर बेसलाइन पेश करता है:

मैच्ड-रैंडम कंट्रोल (Matched-Random Control): फीचर्स का एक रैंडम सेट जिसमें लेबल किए गए सेट के समान संख्या और लेयर डिस्ट्रीब्यूशन है, जिसे कॉन्सेप्ट-एलाइन्ड सुपरनोड्स के बाहर से लिया गया है।
इन्फ्लुएंस-मैच्ड टॉप-K कंट्रोल (Influence-Matched Top-K Control): एक बेसलाइन जो लेबल किए गए इंटरवेंशन के संचयी प्रभाव बजट से मेल खाने के लिए ग्राफ इन्फ्लुएंस द्वारा शीर्ष- $K$ फीचर्स का चयन करती है।

प्रमुख परिणाम
इस पद्धति का मूल्यांकन Gemma-2-2B मॉडल और एक सार्वजनिक CLT डिक्शनरी का उपयोग करके चार तथ्यात्मक डोमेन (USA राज्य की राजधानियाँ, पुस्तकें पात्र, कंपनी संस्थापक, और पेंटिंग कलाकार) में किया गया, जिसमें कुल 44,596 इंटरवेंशन रन शामिल थे।

बेसलाइन्स पर श्रेष्ठता: लेबल किए गए सुपरनोड्स ने दोनों रैंडम और इन्फ्लुएंस-मैच्ड बेसलाइन्स को काफी पीछे छोड़ दिया। USA डोमेन में, लेबल किए गए दृष्टिकोण ने 72.8% हिट% (सफल रीडायरेक्शन) प्राप्त किया, जबकि मैच्ड-रैंडम के लिए यह 0.7% और इन्फ्लुएंस-मैच्ड टॉप-K बेसलाइन के लिए 4.2% था।
मानव एनोटेशन बनाम दक्षता: डलास/ऑस्टिन प्रॉम्प्ट के लिए एक केस स्टडी में, ऑटोमेटेड पाइपलाइन और मानव-क्यूरेटेड ग्राफ की तुलना करने पर, ऑटोमेटेड विधि ने तुलनीय सफलता दर (49 में से 40 स्रोत बनाम मानव के लिए 49 में से 38) प्राप्त की, लेकिन इसके लिए बड़े फीचर सेट (प्रति कॉल 4 फीचर्स के मुकाबले 96.5 फीचर्स) की आवश्यकता थी। हालांकि, ऑटोमेटेड विधि ने उन रेडायरेक्शन पाथ्स को सफलतापूर्वक पहचाना जिन्हें मानव क्यूरेशन ने विशिष्ट सोर्स स्टेट्स के लिए मिस कर दिया था, जो गैर-अतिरेक (non-redundancy) को दर्शाता है।
फील्ड एडिटिविटी (Field Additivity): अध्ययन में पाया गया कि "कम ही अधिक है।" इंटरमीडिएट और आंसर फील्ड्स (जैसे, राज्य और राजधानी) पर केंद्रित इंटरवेंशन, इनपुट फील्ड (जैसे, शहर) को शामिल करने की तुलना में काफी अधिक प्रभावी थे, जो अक्सर वह नहीं एनकोड करता जो मॉडल को पढ़ना चाहिए बल्कि वह एनकोड करता है जो उसे उत्पन्न करना चाहिए।
स्टीयरिंग स्ट्रेंथ (Steering Strength): पाया गया कि इष्टतम एम्प्लीफिकेशन मल्टीप्लायर ( $M$ ) बाइमोडल (द्वि-शिखर) है (जो $M \approx 2.4$ और $M \approx 6.9$ के आसपास पीक करता है), जो सिंगल-फीचर स्टीयरिंग में उपयोग किए जाने वाले मानक $M=20$ डिफॉल्ट को चुनौती देता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि प्रोब प्रॉम्प्टिंग यह प्रदर्शित करता है कि सर्किट-लेवल इंटरप्रिटेबिलिटी को एक पारदर्शी, नियम-आधारित पाइपलाइन के माध्यम से आंशिक रूप से स्वचालित किया जा सकता है। इसके प्राथमिक योगदान हैं:

सर्किट ग्रुपिंग का स्वचालन: यह मैन्युअल हस्तक्षेप के बिना हजारों फीचर्स को कॉन्सेप्ट-एलाइन्ड सुपरनोड्स में समूहित करने के लिए एक स्केलेबल तरीका प्रदान करता है।
कॉज़ल वैलिडेशन फ्रेमवर्क: यह मैच्ड-रैंडम और इन्फ्लुएंस-मैच्ड कंट्रोल्स के माध्यम से ग्रुपिंग गुणवत्ता का मूल्यांकन करने के लिए एक मजबूत, मेथड-अग्नोस्टिक हार्नेस स्थापित करता है, जो इस आलोचना को संबोधित करता है कि इंटरप्रिटेबिलिटी स्कोर रैंडमली इनिशियलाइज्ड मॉडल्स द्वारा भी प्राप्त किए जा सकते हैं।
परिचालन उपयोगिता (Operational Utility): परिणामी लेबल केवल वर्णनात्मक नहीं हैं; वे एंटिटी स्वैप करने के लिए ऑपरेशनल रूप से उपयोगी हैं, जो इस बात के त्वरित परीक्षण के रूप में कार्य करते हैं कि क्या फीचर्स को उनके वास्तविक व्यवहार के आधार पर सही ढंग से क्लस्टर किया गया है।

लेखक विनम्रतापूर्वक नोट करते हैं कि उनके दावे वर्तमान में कॉज़ल एब्स्ट्रैक्शन के स्तर 1 और 2 (फीचर्स और उनकी कार्यात्मक भूमिकाओं की पहचान) को कवर करते हैं, लेकिन अभी तक स्तर 3 (लेटेंट वेरिएबल्स की पूर्ण मेकेनिस्टिक पहचान) का दावा नहीं करते हैं। वे सीमाओं को भी स्वीकार करते हैं, जिसमें दो-हॉप तथ्यात्मक रिकॉल तक वर्तमान प्रतिबंध, ग्राफ जनरेशन के दौरान अटेंशन का फ्रीज होना (हालांकि इंटरवेंशन के दौरान नहीं), और इंग्लिश फंक्शनल टोकन वोकैबुलरी पर निर्भरता शामिल है। इस कार्य को भविष्य के ग्रुपिंग मेथड्स को कॉज़ल इंटरवेंशन के विरुद्ध कैलिब्रेट करने के लिए एक पुन: प्रयोज्य हार्नेस के रूप में प्रस्तुत किया गया है।