🤖 AI

Finding Interpretable Prompt-Specific Circuits in Language Models

यह शोध पत्र ACC++ प्रस्तुत करता है, जो एक उन्नत सर्किट-ट्रेसिंग विधि है जो एकल फॉरवर्ड पास से व्याख्या योग्य, प्रॉम्प्ट-विशिष्ट अटेंशन सर्किट निकालता है, जिससे यह पता चलता है कि भाषा मॉडल विभिन्न भाषाई संदर्भों में अप्रत्यक्ष ऑब्जेक्ट पहचान जैसे कार्यों को हल करने के लिए विशिष्ट, भाषा-निर्भर संकेतों का उपयोग कैसे करते हैं।

मूल लेखक: Gabriel Franco, Lucas M. Tassis, Azalea Rohr, Mark Crovella

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gabriel Franco, Lucas M. Tassis, Azalea Rohr, Mark Crovella

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, हलचल भरे शहर के रूप में करें जहाँ लाखों नन्हे कर्मचारी (न्यूरॉन्स) किसी प्रश्न का उत्तर देने के लिए एक-दूसरे को नोट्स (संदेश) पास करते हैं। लंबे समय तक, हम केवल यह देख सकते थे कि शहर क्या उत्पादित कर रहा है (उत्तर), लेकिन हमें यह पता नहीं था कि कर्मचारियों ने उन नोट्स को भेजने का निर्णय कैसे लिया। यह एक जादू के खेल को बिना उसके पीछे के ट्रिक्स जाने देखने जैसा था।

यह पेपर ACC++ नामक एक नया टूल पेश करता है जो इन मॉडल्स के लिए एक हाई-टेक "एक्स-रे विजन" की तरह काम करता है। यह केवल अनुमान नहीं लगाता; यह एक विशिष्ट समस्या को हल करने के लिए मॉडल के माध्यम से सूचना के प्रवाह के सटीक पथ का पता लगाता है।

यहाँ इस पेपर द्वारा किए गए कार्यों और खोजों का एक सरल विवरण दिया गया है:

1. समस्या: "ब्लैक बॉक्स" शहर

जब कोई मॉडल किसी प्रॉम्प्ट का उत्तर देता है (जैसे, "जब मैरी और जॉन स्टोर पर गए, तो जॉन ने बोतल... को दी"), तो उसे यह समझने के लिए कि उत्तर "मैरी" है, काफी गणना करनी पड़ती है।

पुराना तरीका: शोधकर्ता यह पता लगाने की कोशिश करते थे कि कौन से कर्मचारी शामिल थे, इसके लिए वे एक-एक करके कर्मचारियों को चालू या बंद करते थे (जैसे किसी घर में यह देखने के लिए फ्यूज निकालना कि कौन सी लाइट बुझ जाती है)। यह धीमा, अव्यवस्थित और अक्सर एक धुंधली तस्वीर देता था जिसमें बहुत अधिक "फॉल्स अलार्म" (गलत संकेत) होते थे।
नया टूल (ACC++): फ्यूज निकालने के बजाय, ACC++ कर्मचारियों के बीच होने वाली "फुसफुसाहट" को सुनता है। यह उन विशिष्ट, कम वॉल्यूम वाले चैनलों (जिन्हें सिग्नल कहा जाता है) की पहचान करता है जो निर्णय लेने के लिए आवश्यक महत्वपूर्ण जानकारी ले जाते हैं।

2. ACC++ कैसे काम करता है: "सिग्नल डिटेक्टिव"

मॉडल के अटेंशन मैकेनिज्म (जहाँ वह तय करता है कि उसे किस पर ध्यान केंद्रित करना है) को एक रेडियो स्टेशन के रूप में समझें।

पुराना तरीका: यह उस पूरे रेडियो टावर को खोजने की कोशिश करता था जो ब्रॉडकास्ट कर रहा था।
ACC++: यह ज़ूम इन करके उस सटीक फ्रीक्वेंसी (एक विशिष्ट सिग्नल) और सटीक माइक्रोफोन (कर्मचारी) को खोज लेता है जो उस फ्रीक्वेंसी पर बोल रहा है।
जादू: यह इसे एक ही बार में (single pass), तुरंत करता है। यह शोर को हटा देता है और आपको एक साफ, सरल मानचित्र देता है जो दिखाता है कि किन कर्मचारियों ने किससे बात की, और उन्होंने क्या कहा।

3. बड़ी खोज: "प्रॉम्प्ट-विशिष्ट" ब्लूप्रिंट

सबसे रोमांचक खोज यह है कि मॉडल हर सवाल के लिए एक ही ब्लूप्रिंट का उपयोग नहीं करता है। आप सवाल कैसे पूछते हैं, इसके आधार पर वह अपनी रणनीति बदल देता है।

"नेम गेम" सादृश्य (IOI टास्क):
शोधकर्ताओं ने एक खेल के साथ मॉडल का परीक्षण किया: "जब [नाम A] और [नाम B] स्टोर पर गए, तो [नाम B] ने [नाम A] को एक उपहार दिया।" मॉडल को नाम A को चुनना है।

परिदृश्य A: "जब मैरी और जॉन गए..." (मैरी पहले है)।
परिदृश्य B: "जब जॉन और मैरी गए..." (जॉन पहले है)।

पेपर ने पाया कि मॉडल इन दोनों परिदृश्यों के लिए पूरी तरह से अलग आंतरिक सर्किट का उपयोग करता है, भले ही कार्य एक ही हो।

एक मामले में, मॉडल एक "सेकंड आइटम" (दूसरा आइटम) डिटेक्टर का उपयोग करता है।
दूसरे मामले में, यह एक "स्ट्रक्चरल पैटर्न" (संरचनात्मक पैटर्न) डिटेक्टर का उपयोग करता है।
निष्कर्ष: मॉडल लचीला है। उसके पास विभिन्न रणनीतियों का एक टूलबॉक्स है और वह आपके प्रॉम्प्ट की सटीक शब्दावली के आधार पर सही रणनीति चुनता है।

4. बहुभाषी रहस्य: वही कर्मचारी, अलग भाषाएँ

शोधकर्ताओं ने विभिन्न भाषाओं (अंग्रेजी, स्पेनिश, फ्रेंच, पुर्तगाली) के साथ भी मॉडल का परीक्षण किया।

निष्कर्ष: मॉडल इस समस्या को हल करने के लिए उसी समूह के कर्मचारियों (समान आंतरिक घटकों) का उपयोग करता है।
ट्विस्ट: हालाँकि, वे संदेश (सिग्नल) जो वे कर्मचारी एक-दूसरे को पास करते हैं, वे भाषा-विशिष्ट होते हैं।
सादृश्य: एक निर्माण दल (construction crew) की कल्पना करें जो घर बना रहा है। वे न्यूयॉर्क या पेरिस, दोनों जगह एक ही निर्माण दल (कर्मचारियों) का उपयोग करते हैं। लेकिन न्यूयॉर्क में, वे अंग्रेजी बोलते हैं और अंग्रेजी में ब्लूप्रिंट पास करते हैं; पेरिस में, वे फ्रेंच बोलते हैं और फ्रेंच में ब्लूप्रिंट पास करते हैं। काम की संरचना समान है, लेकिन संचार की भाषा बदल जाती है।
बोनस खोज: पेपर ने पाया कि विभिन्न भाषाओं के लिए सर्किट के बीच की "दूरी" इस बात से मेल खाती है कि भाषाएँ आपस में कितनी समान हैं। स्पेनिश और पुर्तगाली के सर्किट अंग्रेजी और फ्रेंच की तुलना में अधिक समान दिखते हैं, ठीक वैसे ही जैसे वे भाषाएँ स्वयं हैं।

5. यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

स्पष्टता: यह कनेक्शनों के एक अव्यवस्थित, भ्रमित करने वाले जाल को एक साफ, पठनीय मानचित्र में बदल देता है।
व्याख्यात्मकता (Interpretability): यह टूल इन आंतरिक "फुसफुसाहटों" को सरल अंग्रेजी में अनुवादित भी कर सकता है। उदाहरण के लिए, यह आपको बता सकता है, "यह कर्मचारी एक सूची में दूसरे आइटम को खोज रहा है," या "यह कर्मचारी एक उचित नाम (proper name) को पहचान रहा है।"
दक्षता: यह पिछले तरीकों की तुलना में बहुत तेज़ी से और कम "शोर" के साथ इन उत्तरों को खोज लेता है।

सारांश

यह पेपर हमें एक नया चश्मा देता है जो हमें यह देखने की अनुमति देता है कि AI शब्द दर शब्द कैसे सोचता है। यह प्रकट करता है कि AI केवल एक स्थिर मशीन नहीं है; यह एक गतिशील समस्या-समाधानकर्ता है जो अपने आंतरिक दल को पुनर्गठित करता है और अपनी संचार शैली को बदल देता है, यह इस पर निर्भर करता है कि आप उससे कैसे सवाल पूछते हैं और आप किस भाषा का उपयोग करते हैं। यह साबित करता है कि हम इन मॉडल्स को तोड़े बिना उनके "मैकेनिक्स" को समझ सकते हैं।

तकनीकी सारांश: भाषा मॉडलों में व्याख्या योग्य प्रॉम्प्ट-विशिष्ट सर्किट खोजना

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) की आंतरिक गणनात्मक प्रक्रियाओं को समझना मेकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) में एक केंद्रीय चुनौती बनी हुई है। जबकि पूर्व के कार्यों ने यह स्थापित किया है कि मॉडल "सर्किट्स" (circuits) के माध्यम से कार्य करते हैं—जो घटकों के कारण पथ (causal pathways) हैं जो रेसिडुअल स्ट्रीम से सूचना लिखते और पढ़ते हैं—इन सर्किट्स का पता लगाने वाली मौजूदा विधियों को महत्वपूर्ण सीमाओं का सामना करना पड़ता है। पारंपरिक दृष्टिकोण अक्सर एक्टिवेशन पैचिंग (activation patching), काउंटरफैक्चुअल इनपुट, या रिप्लेसमेंट मॉडल्स पर निर्भर करते हैं, जो कम्प्यूटेशनल रूप से महंगे हैं, जिनमें कई फॉरवर्ड पासेज की आवश्यकता होती है, और जो शोर (noise) या आर्टिफैक्ट्स उत्पन्न कर सकते हैं। इसके अलावा, पिछले सर्किट-ट्रेसिंग तरीकों से अक्सर बड़े, शोर वाले ग्राफ बनते हैं जो विशिष्ट निम्न-आयामी संकेतों (low-dimensional signals) को अस्पष्ट कर देते हैं जिनका उपयोग संचार के लिए किया जाता है, जिससे प्रति-प्रॉम्प्ट (per-prompt) आधार पर मॉडल व्यवहार के लिए मानव-समझने योग्य स्पष्टीकरण प्राप्त करना कठिन हो जाता है।

कार्यप्रणाली: ACC++

यह शोध पत्र ACC++ (Attention-Causal Communication++) प्रस्तुत करता है, जो एक उन्नत सर्किट-ट्रेसिंग विधि है और अटेंशन-कॉज़ल कम्युनिकेशन (ACC) के सिद्धांत पर आधारित है। ACC++ को उन विशिष्ट संकेतों (निम्न-आयामी सबस्पेस की सामग्री) की पहचान करने के लिए डिज़ाइन किया गया है जो किसी विशेष अटेंशन हेड को एक विशिष्ट टोकन जोड़ी (token pair) की ओर आकर्षित करते हैं।

मुख्य तंत्र

ACC++ एक एकल फॉरवर्ड पास पर कार्य करता है जिसके लिए रिप्लेसमेंट मॉडल्स, पैचिंग, या काउंटरफैक्चुअल इनपुट की आवश्यकता नहीं होती है। यह विधि एक दिए गए अटेंशन हेड $(\ell, a)$ के लिए, जो डेस्टिनेशन-सोर्स टोकन जोड़ी $(d, s)$ पर ध्यान केंद्रित करता है, चार चरणों में आगे बढ़ती है:

डिकम्पोजिशन (Decomposition): डेस्टिनेशन रेसिडुअल स्ट्रीम $x_d$ को अपस्ट्रीम घटकों (एम्बेडिंग्स, पिछले अटेंशन हेड्स, MLPs) के आउटपुट्स के योग में विभाजित किया जाता है।
कैंडिडेट सिग्नल कंस्ट्रक्शन (Candidate Signal Construction): हेड के क्वेरी-की (Query-Key) मैट्रिक्स $\Omega = W_Q W_K^\top$ $Ω = W_{Q} W_{K}^{⊤}$ के सिंगुलर वैल्यू डिकम्पोजिशन (SVD) का उपयोग करके, विधि अपस्ट्रीम घटक आउटपुट्स को सिंगुलर वेक्टर दिशाओं पर प्रोजेक्ट करती है। यह कैंडिडेट सिग्नल्स का एक सेट बनाता है, जहाँ प्रत्येक सिग्नल एक विशिष्ट अपस्ट्रीम घटक और एक विशिष्ट सिंगुलर दिशा के क्रॉस-प्रोडक्ट को दर्शाता है (एक रैंक-1 कैंडिडेट)।
- तकनीकी प्रगति: मॉडल विषमता (जैसे बायस टर्म्स और रोटरी पोजीशनल एम्बेडिंग्स/RoPE) को संभालने के लिए, ACC++ अटेंशन कंप्यूटेशन को एक एकल बाइलिनियर फॉर्म $\tilde{x}_d^\top \Omega \tilde{x}_s$ में एकीकृत करता है, जिसमें बायस और RoPE रोटेशन को टोकन रिप्रेजेंटेशन में समाहित किया जाता है। यह विभिन्न आर्किटेक्चर (जैसे GPT-2, Pythia, Gemma) के लिए प्रति हेड एक एकल SVD विश्लेषण की अनुमति देता है।
एट्रिब्यूशन और स्कोरिंग (Attribution and Scoring): पोस्ट-सॉफ्टमैक्स अटेंशन वेट $A_{ds}$ में प्रत्येक कैंडिडेट सिग्नल के योगदान को इंटीग्रेटेड ग्रेडिएंट्स (IG) का उपयोग करके स्कोर किया जाता है। पूर्व के कार्यों के विपरीत, जो प्री-सॉफ्टमैक्स स्कोर के लिए लीनियर सरोगेट्स का उपयोग करते थे, ACC++ स्पष्ट रूप से पूर्ण सॉफ्टमैक्स वितरण पर सिग्नल हटाने के नॉनलीनियर प्रभाव का मूल्यांकन करता है।
ग्रीडी काउंटरफैक्चुअल सर्च (Greedy Counterfactual Search): पूर्ण कैंडिडेट सेट के साथ शुरू करते हुए, एल्गोरिदम उच्चतम-स्कोरिंग सिग्नल्स को तब तक हटाता रहता है जब तक कि अटेंशन वेट $A_{ds}$ एक थ्रेशोल्ड $\tau$ से नीचे न गिर जाए। हटाया गया सेट उस विशिष्ट अटेंशन निर्णय के लिए कॉज़ल सर्किट (causal circuit) बनता है।

सर्किट निर्माण

एक प्रॉम्प्ट के लिए पूर्ण सर्किट को पुनरावर्ती रूप से ACC++ लागू करके बनाया जाता है: लक्षित लॉजिट (target logit) पर सीधा प्रभाव डालने वाले घटकों से शुरू करते हुए, विधि प्रत्येक अटेंशन फायरिंग के लिए कॉज़ल सिग्नल्स की पहचान करती है, जब तक कि कोई और अपस्ट्रीम घटक शेष न रह जाए।

मुख्य योगदान

1. वैचारिक और तकनीकी प्रगति

सटीक सिग्नल पहचान: ACC++ संकेतों को अपस्ट्रीम घटकों और सिंगुलर वेक्टर दिशाओं के क्रॉस-प्रोडक्ट के रूप में पहचानता है, न कि घटकों और चैनलों को स्वतंत्र रूप से। यह अधिक सटीक, निम्न-आयामी सिग्नल प्रदान करता है।
नॉनलीनियर अटेंशन अकाउंटिंग: पोस्ट-सॉफ्टमैक्स अटेंशन वेट पर सीधे काउंटरफैक्चुअल ऑब्जेक्टिव को परिभाषित करके, ACC++ स्प्यूरियस (spurious) घटकों से बचता है और छोटे, अधिक सटीक सर्किटों की पहचान करता है।
एकीकृत QK विश्लेषण: विधि टोकन्स को ट्रांसफॉर्म करके बायस और RoPE को संभालती है, जिससे विभिन्न मॉडल आर्किटेक्चर (जैसे GPT-2, Pythia, Gemma) में सुसंगत SVD-आधारित विश्लेषण संभव होता है।

2. स्वचालित व्याख्यात्मकता (Automatic Interpretability)

लेखक प्रदर्शित करते हैं कि ACC++ सिग्नल्स का एक बड़ा हिस्सा व्याख्या योग्य है। वे एक स्वचालित पाइपलाइन का उपयोग करते हैं जो:

प्रत्येक सिग्नल के लिए एक डेटासेट (The Pile) से उच्च-एक्टिवेशन संदर्भ (contexts) प्राप्त करता है।
सिग्नल के लिए एक संक्षिप्त प्राकृतिक-भाषा विवरण उत्पन्न करने के लिए LLM का उपयोग करता है।
सिग्नल और शोर के बीच अंतर करने के लिए 'LLM-as-a-judge' प्रोटोकॉल का उपयोग करके विवरण को सत्यापित करता है।
परिणाम दिखाते हैं कि कई सिग्नल संक्षिप्त, सुसंगत प्राकृतिक-भाषा विवरण (जैसे, "एक समानांतर जोड़ी में दूसरा आइटम," "प्रोपर नाउन," "स्ट्रक्चरल डेलीमिटर") स्वीकार करते हैं।

3. प्रॉम्प्ट-विशिष्ट सर्किट विश्लेषण

ACC++ प्रति-प्रॉम्प्ट आधार पर सर्किट्स के विश्लेषण को सक्षम बनाता है, जिससे यह पता चलता है कि मॉडल का व्यवहार स्थिर नहीं है बल्कि प्रॉम्प्ट संरचना और भाषा के साथ काफी भिन्न होता है।

परिणाम और अंतर्दृष्टि

1. सर्किट कॉम्पैक्टनेस और गुणवत्ता

तीन मॉडलों (GPT-2 Small, Pythia-160M, Gemma-2 2B) और तीन कार्यों (Indirect Object Identification, Greater-Than, Gender Pronoun) में, ACC++ सर्किट मूल ACC पद्धति द्वारा बनाए गए सर्किट्स की तुलना में 2x से 10x छोटे हैं।

डायमेंशनलिटी: अधिकांश ACC++ सिग्नल रैंक-1 (एकल सिंगुलर दिशा का उपयोग करते हुए) हैं, जबकि पूर्व के कार्यों में उच्च-आयामी सिग्नल देखे गए थे।
कॉज़ल वैधता: एब्लेशन अध्ययन पुष्टि करते हैं कि ACC++ सिग्नल्स को हटाने से लक्षित कार्य पर मॉडल के प्रदर्शन पर महत्वपूर्ण प्रभाव पड़ता है, जबकि रेसिडुअल स्ट्रीम को न्यूनतम रूप से बाधित करता है (कोसाइन सिमिलैरिटी $\approx 0.99$ ), जो उनकी कॉज़ल भूमिका की पुष्टि करता है।

2. प्रॉम्प्ट संरचना के प्रति संवेदनशीलता (IOI कार्य)

इनडायरेक्ट ऑब्जेक्ट आइडेंटिफिकेशन (IOI) कार्य में, शोध पत्र पाता है कि सर्किट प्रॉम्प्ट टेम्पलेट्स के प्रति अत्यधिक संवेदनशील हैं:

GPT-2: सर्किट उच्च-स्तरीय टेम्पलेट संरचना (नामों का ABBA बनाम BABA क्रम) द्वारा सख्ती से क्लस्टर होते हैं। एक ही "नेम-मूवर" हेड (9,9) टेम्पलेट के आधार पर मौलिक रूप से भिन्न इनकमिंग सिग्नल्स का उपयोग करता है (जैसे, "एक जोड़ी में दूसरा आइटम" बनाम जेनेरिक स्ट्रक्चरल क्यूज़)।
Pythia: सर्किट निम्न-स्तरीय शब्दों के बदलावों (जैसे, "While" बनाम "Then") द्वारा क्लस्टर होते हैं, जो केवल स्ट्रक्चरल ऑर्डर के बजाय सतही वाक्यांशों के प्रति संवेदनशीलता दर्शाते हैं।
Gemma-2: अधिक जटिल, कम टेम्पलेट-निर्भर क्लस्टरिंग दिखाता है, जो सूक्ष्म-स्तरीय प्रॉम्प्ट विवरणों पर निर्भरता का सुझाव देता है।

3. बहुभाषी तंत्र (mIOI कार्य)

एक बहुभाषी IOI सेटिंग (अंग्रेजी, स्पेनिश, फ्रेंच, पुर्तगाली) में:

घटक पुन: उपयोग (Component Reuse): मॉडल भाषाओं के बीच समान अटेंशन हेड्स और MLPs का पुन: उपयोग करते हैं।
भाषा-विशिष्ट सिग्नल: जबकि घटक साझा किए जाते हैं, उनके माध्यम से बहने वाले सिग्नल अक्सर भाषा-विशिष्ट होते हैं।
भाषाई सहसंबंध: विभिन्न भाषाओं के सर्किट्स के बीच की दूरी भाषाओं के टाइपोलॉजिकल (typological) अंतर के साथ मजबूती से सहसंबंधित है (सिंटैक्टिक और जेनेटिक दूरियां)। उदाहरण के लिए, स्पेनिश और पुर्तगाली के सर्किट अंग्रेजी या फ्रेंच की तुलना में एक-दूसरे के अधिक समान हैं।

महत्व और दावे

शोध पत्र का दावा है कि ACC++ एक व्यावहारिक, स्केलेबल टूल प्रदान करता है जो महंगे काउंटरफैक्चुअल हस्तक्षेपों पर निर्भर नहीं है। इसका प्राथमिक महत्व है:

स्केलेबिलिटी: केवल एक फॉरवर्ड पास की आवश्यकता के साथ प्रति-प्रॉम्प्ट सर्किट विश्लेषण को बड़े पैमाने पर व्यवहार्य बनाना।
व्याख्यात्मकता: निम्न-आयामी संचार चैनलों और मानव-पठनीय प्राकृतिक भाषा विवरणों के बीच एक सीधा संबंध प्रदान करना, जो गणितीय तंत्र और अर्थ संबंधी समझ के बीच के अंतर को पाटता है।
सूक्ष्म समझ: यह प्रकट करना कि मॉडल "सर्किट" अखंड (monolithic) नहीं हैं, बल्कि घटकों और सिग्नल्स के गतिशील संयोजन हैं जो प्रॉम्प्ट संरचना और भाषा के अनुकूल होते हैं। यह एक कार्य के लिए एकल सार्वभौमिक सर्किट के दृष्टिकोण को चुनौती देता है, और इसके बजाय प्रॉम्प्ट-विशिष्ट तंत्रों के स्पेक्ट्रम को दर्शाता है।

लेखक इसकी सीमाओं को भी नोट करते हैं, जिसमें थ्रेशोल्ड $\tau$ की ह्यूरिस्टिक प्रकृति, FFN-प्रेरित सिग्नल्स के लिए ट्रेसिंग का अभाव, और यह तथ्य शामिल है कि स्वचालित व्याख्याएं सुधारात्मक (suggestive) हैं न कि निर्णायक। वे इस बात पर जोर देते हैं कि बहुभाषी निष्कर्ष कुछ चुनिकी भाषा युग्मों पर आधारित हैं और इन्हें व्यापक प्रवृत्ति के निश्चित प्रमाण के बजाय केवल संकेत के रूप में देखा जाना चाहिए।