🤖 machine learning

From Mechanistic to Compositional Interpretability

यह शोध पत्र "कंपोजिशनल इंटरप्रिटेबिलिटी" (compositional interpretability) को प्रस्तुत करता है, जो एक श्रेणी-सैद्धांतिक (category-theoretic) ढांचा है जो अधिक संक्षिप्त, मानव-अनुरूप व्याख्याओं की ओर वस्तुनिष्ठ सत्यापन, अनुकूलन और व्यवस्थित मॉडल परिशोधन को सक्षम करने के लिए यंत्रवत स्पष्टीकरणों को कम करने वाले सिंटैक्टिक (syntactic) और सिमेंटिक (semantic) मैपिंग के रूप में औपचारिक रूप देता है।

मूल लेखक: Ward Gauderis, Thomas Dooms, Steven T. Holmer, Kola Ayonrinde, Geraint A. Wiggins

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ward Gauderis, Thomas Dooms, Steven T. Holmer, Kola Ayonrinde, Geraint A. Wiggins

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अविश्वसनीय रूप से जटिल, ब्लैक-बॉक्स मशीन है जो अद्भुत चीजें कर सकती है, जैसे जानवरों को पहचानना या भाषाओं का अनुवाद करना। आप जानते हैं कि यह क्या करती है, लेकिन आपको पता नहीं है कि यह कैसे करती है। इसके भीतर, गियर, तार और लीवर्स का एक ऐसा उलझा हुआ जाल है जिसे कोई भी इंसान आसानी से समझ नहीं सकता। यह कई उन्नत AI मॉडल्स की वर्तमान स्थिति है।

आपके द्वारा प्रदान किया गया पेपर इस उलझन को सुलझाने का एक नया तरीका प्रस्तावित करता है। यह केवल यह "अनुमान" लगाने से आगे बढ़कर कि मशीन कैसे काम करती है, इसे समझाने के लिए एक सख्त, गणितीय नियम पुस्तिका बनाने की ओर बढ़ता है। यहाँ मुख्य विचार दिया गया है, जिसे सरल उपमाओं के साथ विभाजित किया गया है।

1. समस्या: "बस-ऐसा-ही" वाली कहानी (The "Just-So" Story)

वर्तमान में, जब वैज्ञानिक इन AI मॉडल्स को समझाने की कोशिश करते हैं, तो वे अक्सर इनपुट और आउटपुट को देखते हैं (जैसे, "इसने बिल्ली देखी, इसलिए इसने 'म्याऊँ' कहा")। वे एक विशिष्ट तार की ओर इशारा कर सकते हैं और कह सकते हैं, "जब यह फर (fur) देखता है, तो यह तार चमकता है।"

पेपर का तर्क है कि यह जोखिम भरा है। यह एक कार के इंजन को देखने और यह कहने जैसा है कि, "जब कार तेज चलती है, तो यह पिस्टन हिलता है।" यह सच हो सकता है, लेकिन यह उस तंत्र (mechanism) की व्याख्या नहीं करता है कि कैसे ईंधन गति में बदल जाता है। यदि आप केवल सतह को देखते हैं, तो आप ऐसी कहानी सुना सकते हैं जो सही तो लगती है लेकिन वास्तव में गलत है कि मशीन वास्तव में कैसे काम करती है। इसे "बस-ऐसा-ही" (just-so) कहानी कहा जाता है—एक ऐसी कहानी जो तथ्यों पर तो फिट बैठती है लेकिन जिसमें वास्तविक आंतरिक तर्क का अभाव होता है।

2. समाधान: "कम्यूटेटिव" मानचित्र (The "Commutative" Map)

लेखक एक अवधारणा पेश करते हैं जिसे कंपोजिशनल इंटरप्रिटेबिलिटी (Compositional Interpretability) कहा जाता है। इसे एक जटिल मशीन के लिए अनुवाद परियोजना की तरह समझें।

मशीन को ठीक से समझाने के लिए, आपको दो मानचित्रों की आवश्यकता है जो एक-दूसरे से पूरी तरह मेल खाते हों:

मानचित्र A (ब्लूप्रिंट): यह मशीन की आंतरिक संरचना दिखाता है—तार, गियर, "सिंटैक्स" (syntax)।
मानचित्र B (व्यवहार): यह दिखाता है कि जब आप एक बटन दबाते हैं तो मशीन वास्तव में क्या करती है—"सेमेंटिक्स" (semantics)।

पेपर कहता है कि एक अच्छा स्पष्टीकरण तभी मान्य है जब ये दोनों मानचित्र कम्यूटेटिव (commutative) हों। सरल शब्दों में, इसका अर्थ है:

यदि आप ब्लूप्रिंट में एक विशिष्ट गियर के पथ का अनुसरण करते हैं, तो यह व्यवहार मानचित्र में उस गियर को चलते हुए देखने के समान परिणाम देना चाहिए।
यदि मानचित्र मेल नहीं खाते, तो आपका स्पष्टीकरण टूटा हुआ है। आप किसी गियर को "स्पीड कंट्रोलर" का लेबल तब तक नहीं दे सकते जब तक कि वह वास्तव में कुछ और न कर रहा हो।

यह सुनिश्चित करता है कि आपका स्पष्टीकरण केवल एक अनुमान नहीं है; यह मशीन के आंतरिक अंगों और उसके कार्यों के बीच एक सत्यापित लिंक है।

3. लक्ष्य: "सबसे छोटी कहानी" (Occam's Razor)

एक बार जब आपके पास एक वैध मानचित्र हो जाता है, तो आप कैसे जानेंगे कि कौन सा स्पष्टीकरण सबसे अच्छा है? पेपर एक सिद्धांत का उपयोग करता है जिसे मिनिमम डिस्क्रिप्शन लेंथ (Minimum Description Length) कहा जाता है।

कल्पना कीजिए कि आपको अपने मित्र को एक जटिल जादू का खेल समझाना है।

स्पष्टीकरण 1: "जादूगर ने छड़ी घुमाई, एक जादुв शब्द बोला, और खरगोश प्रकट हो गया।" (सरल, लेकिन शायद छिपे हुए ट्रैपडोर को मिस कर देता है)।
स्पष्टीकरण 2: "जादूगर ने एक छिपे हुए ट्रैपडोर, एक स्प्रिंग तंत्र और प्रकाश के एक विशिष्ट कोण का उपयोग किया ताकि खरगोश प्रकट हो सके।" (अधिक जटिल, लेकिन सटीक)।
स्पष्टीकरण 3: "जादूगर ने एक छिपे हुए ट्रैपडोर, एक स्प्रिंग, एक प्रकाश कोण, एक विशिष्ट हवा का झोंका और एक गुप्त कोड का उपयोग किया।" (बहुत अधिक जटिल, जरूरत से ज्यादा विस्तार)।

पेपर का तर्क है कि सबसे अच्छा स्पष्टीकरण वह सबसे छोटा है जो अभी भी पूरी तरह से सटीक है। यह वह 'स्वीट स्पॉट' है जहाँ आप महत्वपूर्ण विवरणों को छोड़ते नहीं हैं (faithfulness) लेकिन आप अनावश्यक फालतू चीजों को भी नहीं जोड़ते (complexity)।

4. विधि: "कंप्रेसिव रिफाइनमेंट" (Compressive Refinement)

हम इस पूर्ण, छोटे स्पष्टीकरण को कैसे खोजते हैं? लेखक कंप्रेसिव रिफाइनमेंट नामक एक प्रक्रिया का सुझाव देते हैं।

Lego ब्रिक्स के एक बिखरे हुए ढेर के रूप में AI मॉडल की कल्पना करें।

वर्तमान स्थिति: ब्रिक्स अजीब, उलझे हुए गुच्छों में आपस में चिपके हुए हैं। यह देखना कठिन है कि प्रत्येक टुकड़ा क्या करता है।
प्रक्रिया: आप उन गुच्छों को सावधानी से अलग करते हैं और उन्हें साफ, अलग-अलग संरचनाओं में फिर से व्यवस्थित करते हैं। आप संरचना को स्पष्ट बनाने के लिए कुछ और "कनेक्टर्स" (वायरिंग) जोड़ सकते हैं, लेकिन आप व्यक्तिगत टुकड़ों को सरल बनाते हैं ताकि वे समझने में आसान हों।
परिणाम: आप एक ऐसा मॉडल प्राप्त करते हैं जहाँ "कंप्यूटेशन के परमाणु" (सबसे उपयोगी छोटे हिस्से) सरल और स्पष्ट हैं, और जिस तरह से वे जुड़ते हैं वह तार्किक है।

पेपर यह सिद्ध करता है कि यदि आप इस "पुनः संयोजन" को सही ढंग से करते हैं, तो आप गारंटी के साथ एक सरल, मानव-अनुकूल स्पष्टीकरण प्राप्त करेंगे बिना यह बदले कि मशीन वास्तव में क्या करती है।

5. यह क्यों काम करता है: "आशावाद" का अनुमान (The "Optimism" Assumption)

पेपर इस कार्य को करने के लिए एक आशावादी अनुमान (conjecture) लगाता है: समस्याओं को हल करने के लिए AI जो पैटर्न उपयोग करता है, वे संभवतः वही पैटर्न हैं जिनका उपयोग मनुष्य उन समस्याओं को समझने के लिए करते हैं।

यदि AI बिल्लियों को पहचानने में अच्छा है, तो संभावना है कि वह सरल, तार्किक विशेषताओं (कान, मूंछें) का उपयोग कर रहा है, न कि किसी एलियन या समझ से परे गणित का। इस मॉडल को कंप्रेस करके सरल पैटर्न ढूंढकर, हम अनिवार्य रूप से शोर को "फिल्टर" कर रहे हैं और इसके भीतर छिपे मानव-पठनीय तर्क को खोज रहे हैं।

सारांश

संक्षेप में, यह पेपर कहता है:

अनुमान लगाना बंद करें: केवल यह न देखें कि AI क्या करता है; इसके आंतरिक भागों को इसके कार्यों के साथ मैप करें और सुनिश्चित करें कि वे पूरी तरह मेल खाते हों।
इसे सरल रखें: सबसे अच्छा स्पष्टीकरण वह सबसे छोटा है जो अभी भी 100% सटीक है।
मशीन को पुनर्गठित करें: AI की आंतरिक वायरिंग को व्यवस्थित रूप से पुनर्गठित करें ताकि इसे सरल और स्पष्ट बनाया जा सके, जो स्वाभाविक रूप से ऐसे स्पष्टीकरण की ओर ले जाता है जिसे मनुष्य वास्तव में समझ सकते हैं।

यह AI के ब्लैक बॉक्स को एक पारदर्शी, समझने योग्य मशीन में बदलने के लिए एक गणितीय "नियम पुस्तिका" प्रदान करता है।

तकनीकी सारांश: यांत्रिक से संरचनात्मक व्याख्यात्मकता तक (From Mechanistic to Compositional Interpretability)

समस्या विवरण (Problem Statement)
मैकेनिस्टिक इंटरप्रिटेबिलिटी (यांत्रिक व्याख्यात्मकता) का लक्ष्य न्यूरल मॉडल्स को मानव-समझने योग्य घटकों में रिवर्स-इंजीनियर करना है। हालाँकि, वर्तमान दृष्टिकोणों में एक औपचारिक ढांचे (formal framework) का अभाव है, जिससे स्पष्टीकरणों को वस्तुनिष्ठ रूप से सत्यापित करना, तुलना करना या संयोजित करना कठिन हो जाता है। मौजूदा विधियाँ अक्सर संरचनात्मक रूप से निष्ठा (faithfulness) लागू करने के बजाय केवल उसके अनुमान पर आधारित होती हैं। इसके अलावा, व्याख्या की गुणवत्ता की एक मापने योग्य परिभाषा के बिना, स्पष्टीकरण केवल सतही व्यवहार के साथ सहसंबंध रखने वाली "बस-ऐसी-कहानियां" (just-so stories) बनने का जोखिम उठाते हैं, जो आंतरिक तंत्र को पकड़ने में विफल रहती हैं। मुख्य चुनौती व्याख्यात्मकता को इस तरह परिभाषित करना है कि वह संरचनात्मक (कंपोजिशनल) हो (हिस्से पूरे का योग हों), निष्ठावान हो (आंतरिक गणना से मेल खाती हो), और संक्षिप्त (मानव के लिए कम विवरण लंबाई वाली) हो।

कार्यप्रणाली (Methodology)
लेखक कंपोजिशनल इंटरप्रिटेबिलिटी (संरचनात्मक व्याख्यात्मकता) प्रस्तुत करते हैं, जो कैटेगरी थ्योरी (श्रेणी सिद्धांत) और मिनिमम डिस्क्रिप्शन लेंथ (MDL) सिद्धांत पर आधारित है।

कैटेगरी थ्योरी के माध्यम से औपचारिक परिभाषाएँ:
- कंपोजिशनल मॉडल: इसे एक टुपल $(D, S, C, [[\cdot]])$ के रूप में परिभाषित किया गया है, जहाँ $D$ मॉडल के सिंटैक्स (संरचना) का एक स्ट्रिंग डायग्राम है, $S$ सिंटैक्टिक कैटेगरी है, $C$ सिमेंटिक कैटेगरी (ठोस कार्यान्वयन) है, और $[[\cdot]]$ सिंटैक्स को सिमेंटिक्स में मैप करने वाला एक फन्क्टर (functor) है।
- कंपोजिशनल इंटरप्रिटेशन: इसे दो मैपिंग के एक जोड़े के रूप में परिभाषित किया गया है: एक सिंटैक्स-आधारित व्याख्या $I_S: S \to H$ (संरचनात्मक घटकों को स्पष्टीकरण सौंपना) और एक सिमेंटिक्स-आधारित व्याख्या $I_C: C \to H$ (व्यवहारों को स्पष्टीकरण सौंपना)।
- कम्यूटेटिविटी (Commutativity): एक वैध व्याख्या के लिए आवश्यक है कि आरेख कम्यूट (commute) करे ( $I_S = I_C \circ [[\cdot]]$ )। यह निरंतरता को लागू करता है, यह सुनिश्चित करता है कि मॉडल की संरचना से प्राप्त स्पष्टीकरण, उसके देखे गए व्यवहार से प्राप्त स्पष्टीकरणों के साथ संरेखित हों।
MDL के माध्यम से अनुकूलन (Optimization):
- व्याख्यात्मकता को एक प्रतिबन्धित अनुकूलन समस्या के रूप में फ्रेम किया गया है: सबसे संक्षिप्त स्पष्टीकरण खोजना जो मॉडल के सिमेंटिक्स के प्रति निष्ठावान रहे।
- निष्ठा (Faithfulness): इसे उस सूचना लागत (information cost) द्वारा मापा जाता है जो एक स्पष्टीकरण को मॉडल के वास्तविक सिmentics के अनुरूप बनाने के लिए सुधार हेतु आवश्यक है। लेखक कंपोजिशनल फेथफुलनेस को परिभाषित करते हैं, जिसके लिए यह आवश्यक है कि स्पष्टीकरण व्यक्तिगत घटक सिमेंटिक्स के पुनर्निर्माण की अनुमति दे, न कि केवल वैश्विक इनपुट-आउटपुट व्यवहार की।
- जटिलता (Complexity): इसे कंपोजिशनल डिस्क्रिप्शन लेंथ ( $L(M, I_S)$ $L (M, I_{S})$ ) द्वारा मापा जाता है, जो दो भागों में विभाजित है:
  - रिप्रेजेंटेशन कॉम्प्लेक्सिटी ( $L_{rep}$ ): सिंटैक्स और परमाणु घटकों की सिमेंटिक जटिलता का वर्णन करने की लागत।
  - इंटरप्रिटेशन कॉम्प्लेक्सिटी ( $L_{int}$ ): इन घटकों को मानवीय अवधारणाओं के साथ संरेखित करने की व्यक्तिपरक लागत।
- कुल विवरण लंबाई (total description length) स्वयं स्पष्टीकरण की न्यूनतम विवरण लंबाई के ऊपरी स्तर (upper bound) के रूप में कार्य करती है।
कंप्रेसिव रिफाइनमेंट (Compressive Refinement):
- व्याख्यात्मकता को अनुकूलित करने के लिए, पेपर सिंटैक्टिक रिफाइनमेंट का प्रस्ताव करता है: एक फन्क्टर $R: S \to S'$ जो मॉडल के सिंटैक्स को पुनर्गठित करता है जबकि सिमेंटिक्स को सुरक्षित रखता है ( $[[\cdot]] = [[\cdot]]' \circ R$ )।
- कंप्रेसिव रिफाइनमेंट तब होता है जब यह पुनर्गठन रिप्रेजेंटेशन कॉम्प्लेक्सिटी को कम करता है ( $L_{rep}(M') \leq L_{rep}(M)$ )।
- पार्सिमनी क्राइटेरियन (Parsimony Criterion - मितव्ययिता मानदंड): एक रिफाइनमेंट बेहतर स्पष्टीकरण तभी देता है जब रिप्रेजेंटेशन कॉम्प्लेक्सिटी में कमी, इंटरप्रिटेशन कॉम्प्लेक्सिटी में होने वाली किसी भी वृद्धि से अधिक हो।

प्रमुख योगदान (Key Contributions)

औपचारिक ढांचा: पेपर इंटरप्रिटेबिलिटी के लिए एक कैटेगरी-थ्योरिटिक आधार स्थापित करता है, जो सिंटैक्स (संरचना) और सिमेंटिक्स (व्यवहार) के बीच अंतर करता है और कम्यूटेटिव डायग्राम के माध्यम से उनके संरेखण की मांग करता है।
मापने योग्य उद्देश्य: यह MDL का उपयोग करके व्याख्यात्मकता को एक प्रतिबन्धित अनुकूलन समस्या के रूप में प्रस्तुत करता है, जो निष्ठा (distortion) और जटिलता (description length) को अलग करता है।
कंप्रेसिव रिफाइनमेंट: यह मॉडल को कार्य को बदले बिना सरल भागों में पुनर्गठित करने के एक व्यवस्थित तरीके को पेश करता है, जो मौजूदा मैकेनिस्टिक विधियों (जैसे स्पैरसिटी-आधारित अपघटन) को रिफाइनमेंट के उप-वर्गों के रूप में सामान्यीकृत करता है।
पार्सिमनी क्राइटेरियन और सैद्धांतिक गारंटी:
- लेखक सिद्ध करते हैं कि कंप्रेसिव रिफाइनमेंट अधिक संक्षिप्त स्पष्टीकरणों की गारंटी देता है यदि कोडिंग वितरण, इंटरप्रिटेशन वितरण के साथ कोमोनोटोनिक (comonotonic) है (संरचनात्मक सरलता को मानवीय समझ के साथ जोड़ना)।
- वे कंपोजिशनल स्पैरसिटी (प्रमेय 4.5) का उपयोग यह तर्क देने के लिए करते हैं कि पॉलीनोमियल आकार के डीप नेटवर्क्स उन कार्यों का अनुमान लगाते हैं जिनमें स्पार्स अपघटन संभव है, जिससे यह सुनिश्चित होता है कि "गणना के परमाणुओं" (atoms of computation) की खोज व्यवहार्य है और इससे अनियंत्रित डायग्राम साइज नहीं बनता है।
- वे वीक प्रिंसिपल ऑफ एक्सप्लेनेटरी ऑप्टिमिज्म (व्याख्यात्मक आशावाद का कमजोर सिद्धांत) को औपचारिक रूप देते हैं, जो यह सुझाव देता है कि यदि कोई मॉडल अच्छा प्रदर्शन करता है, तो उसके मूल तंत्र संभवतः मानव-समझने योग्य होते हैं, जो इन तंत्रों के लिए फिल्टर के रूप में संपीड़न (compression) के उपयोग को न्यायसंगत बनाता है।

परिणाम और दावे (Results and Claims)
पेपर नए अनुभवजन्य प्रयोग (empirical experiments) प्रस्तुत नहीं करता है बल्कि एक सैद्धांतिक एकीकरण और प्रूफ ऑफ कॉन्सेप्ट प्रदान करता है:

यह प्रदर्शित करता है कि प्रमुख मैकेनिस्टिक विधियाँ (जैसे कि स्पैरसिटी ह्यूरिस्टिक्स का उपयोग करने वाली) सिंटैक्टिक रिफाइनमेंट के विशिष्ट उदाहरणों के रूप में देखी जा सकती हैं।
यह सिद्ध करता है कि पार्सिमनी क्राइटेरियन के तहत, रिप्रेजेंटेशन कॉम्प्लेक्सिटी को कम करना सैद्धांतिक रूप से अधिक संक्षिप्त, मानव-संरेखित स्पष्टीकरणों की गारंटी देता है, बशर्ते कि "एक्सप्लेनेटरी ऑप्टिमिज्म" प्रायर (prior) मान्य हो।
यह स्पष्ट करता है कि संपीड़न ह्यूरिस्टिक्स अक्सर मानवीय व्याख्यात्मकता के साथ क्यों संरेखित होते हैं: वे मूल तंत्रों को अलग करने के लिए अनावश्यकता (redundancy) को हटा देते हैं जो मानवीय अवधारणाओं के अनुरूप होते हैं।

महत्व (Significance)
पेपर का दावा है कि यह मैकेनिस्टिक स्पष्टीकरणों की खोज और मूल्यांकन को स्वचालित करने के लिए एक मापने योग्य और अनुकूलन योग्य आधार प्रदान करता है। एड-हॉक रिवर्स-इंजीनियरिंग से एक औपचारिक संरचनात्मक ढांचे की ओर बढ़कर, यह वर्तमान व्याख्यात्मकता अनुसंधान में वस्तुनिष्ठ सत्यापन की कमी को संबोधित करता है। यह कार्य व्याख्यात्मकता को एक बाइनरी आर्किटेक्चरल बाधा के बजाय एक निरंतर अनुकूलन उद्देश्य के रूप में स्थापित करता है, जो अंतर्निहित (intrinsic) व्याख्यात्मकता और पोस्ट-हॉक स्पष्टीकरण के बीच के अंतर को पाटता है। लेखक सुझाव देते हैं कि भविष्य का कार्य इस ढांचे का लाभ उठाकर कंप्रेसिव रिफाइनमेंट को कॉज़ल इन्फरेंस (कारण अनुमान) के साथ एकीकृत कर सकता है और स्केलेबल ऑप्टिमाइज़ेशन के लिए टेंसर नेटवर्क जैसे उपकरणों का उपयोग कर सकता है।