Position: Mechanistic Interpretability Must Disclose Identification Assumptions for Causal Claims
यह शोध पत्र तर्क देता है कि मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) अनुसंधान अक्सर आवश्यक धारणाओं को स्पष्ट रूप से व्यक्त करने में विफल रहकर सत्यापन मेट्रिक्स (validation metrics) को कारण संबंधी पहचान (causal identification) के साथ भ्रमित करता है, और यह एक नए प्रकटीकरण मानदंड का प्रस्ताव करता है जो लेखकों के लिए अपनी पहचान रणनीतियों और अपने कारण दावों की मजबूती को स्पष्ट रूप से व्यक्त करना अनिवार्य बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि एक जटिल मशीन (एक AI) जो करती है, वह क्यों करती है। आपको संदेह है कि एक विशिष्ट गियर (एक "सर्किट" या "फीचर") किसी विशेष क्रिया का कारण है। आप उस गियर को बाहर निकालते हैं, और मशीन काम करना बंद कर देती है। आप घोषणा करते हैं, "आहा! वह गियर ही कारण था!"
यह शोध पत्र तर्क देता है कि 'मैकेनिस्टिक इंटरप्रिटेबिलिटी' (mechanistic interpretability) के क्षेत्र में, शोधकर्ता सबूतों के नियमों का पालन किए बिना बहुत बार ऐसी घोषणाएं कर रहे हैं। वे दावा कर रहे हैं कि उन्होंने कारण खोज लिया है, लेकिन उन्होंने यह स्पष्ट नहीं किया है कि उनका प्रयोग यह कैसे सिद्ध करता है कि यह कारण है न कि केवल एक संयोग।
यहाँ सरल उपमाओं का उपयोग करके इस शोध पत्र के तर्क का विवरण दिया गया है:
1. मुख्य समस्या: "वैलिडेशन" (Validation) "आइडेंटिफिकेशन" (Identification) नहीं है
यह पत्र दो चीजों के बीच एक महत्वपूर्ण अंतर बनाता है:
- वैलिडेशन (क्या हुआ): "मैंने गियर निकाला, और मशीन रुक गई।" यह एक तथ्य है। यह एक सफल परीक्षण है।
- आइडेंटिफिकेशन (क्यों हुआ): "मैं निश्चित रूप से जानता हूँ कि केवल उसी गियर ने मशीन को रोकने का कारण दिया, न कि किसी छिपे हुए बैकअप गियर या मेरे द्वारा गियर निकालने के दुष्प्रभाव ने।"
उपमा:
कल्पना कीजिए कि आप एक डॉक्टर हैं। आप एक मरीज को गोली (pill) देते हैं, और उसका बुखार कम हो जाता है।
- वैलिडेशन: "गोली देने के बाद बुखार कम हो गया।" (यह सच है)।
- आइडेंटिफिकेशन: "गोली के कारण बुखार कम हुआ।" (इसके लिए धारणाओं की आवश्यकता होती है)।
हो सकता है कि बुखार इसलिए कम हुआ क्योंकि यह वह समय था जब बुखार स्वाभाविक रूप से उतर जाता है। हो सकता है कि मरीज ने उसी समय पानी पिया हो। हो सकता है कि गोली ने काम नहीं किया, लेकिन बुखार वैसे भी जा रहा था।
AI अनुसंधान में, शोध पत्र अक्सर कहते हैं, "हमने AI के इस हिस्से को बदला, और व्यवहार बदल गया, इसलिए यह हिस्सा कारण है।" यह पत्र तर्क देता है कि वे यह सिद्ध करने के चरण को छोड़ रहे हैं कि कोई अन्य स्पष्टीकरण इस परिवर्तन का कारण क्यों नहीं हो सकता। वे "बुखार कम होने" (वैलिडेशन) को "गोली के काम करने" (आइडेंटिफिकेशन) के प्रमाण के रूप में मान रहे हैं, बिना यह जांचे कि क्या मरीज का प्राकृतिक बुखार चक्र चल रहा था।
2. "छिपी हुई धारणाओं" का जाल (The "Hidden Assumptions" Trap)
हर बार जब एक शोधकर्ता दावा करता है कि उसने एक कारण खोज लिया है, तो वह निहित धारणाओं के एक सेट पर खड़ा होता है। यह पत्र कहता है कि ये धारणाएं वर्तमान में छिपी हुई हैं।
उपमा:
कल्पना कीजिए कि एक जादूगर दावा करता है, "मैंने अपनी छड़ी लहराकर खरगोश को गायब कर दिया।"
- छिपी हुई धारणा: "खरगोक पीछे के दरवाजे से बाहर नहीं निकला।"
- छिपी हुई धारणा: "छड़ी लहराने से पहले ही खरगोक गायब नहीं था।"
AI शोध पत्रों में, "जादू के करतब" ऐसी चीजें हैं जैसे:
- एक्टिवेशन पैचिंग (Activation Patching): "हमने AI के इस हिस्से को बदल दिया। व्यवहार बदल गया।"
- छिपी हुई धारणा: "हमने गलती से उस सुप्त बैकअप सिस्टम को नहीं जगा दिया जो यह काम भी करता है।"
- स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders - SAEs): "हमें AI में एक विशिष्ट 'फीचर' मिला जो 'ईमानदारी' की अवधारणा का प्रतिनिधित्व करता है।"
- छिपी हुई धारणा: "यह फीचर एक अद्वितीय, स्वतंत्र निर्माण खंड (building block) है, न कि अन्य चीजों का एक अस्त-व्यस्त मिश्रण जो संयोग से 'ईमानदारी' जैसा दिखता है।"
यह पत्र 10 प्रमुख शोध पत्रों का ऑडिट करता है (और 30 अन्य की जांच करता है) और पाता है कि शून्य पत्रों में एक समर्पित अनुभाग है जहाँ वे इन छिपी हुई धारणाओं को सूचीबद्ध करते हैं। वे बस जादू का करतब (परिणाम) दिखाते हैं और कहते हैं "देखो, यह काम करता है!" बिना यह स्वीकार किए कि वे ब्रह्मांड के किन नियमों का पालन करने की धारणा रखते हैं।
3. "प्रतिस्थापन" की त्रुटि (The "Substitution" Error)
यह पत्र वर्तमान आदत को "वैलिडेशन मेट्रिक सब्स्टीट्यूशन" (Validation Metric Substitution) कहता है।
उपमा:
कल्पना कीजिए कि एक कार मैकेनिक कहता है, "मैंने आपका इंजन ठीक कर दिया क्योंकि कार शुरू हो गई।"
- त्रुटि: मैकेनिक परिणाम (कार शुरू हुई) को प्रमाण (मुझे पता है कि मैंने वास्तव में कौन सा हिस्सा ठीक किया और कोई और चीज़ कार को शुरू नहीं कर सकती थी) के स्थान पर प्रतिस्थापित कर रहा है।
- वास्तविकता: कार इसलिए भी शुरू हो सकती है क्योंकि बैटरी खुद रिचार्ज हो गई, या मैकेनिक ने चाबी को टकरा दिया, या इंजन पहले से ही ठीक था।
AI पत्रों में, शोधकर्ता "फेथफुलनेस" (क्या स्पष्टीकरण मॉडल से मेल खाता है?) या "कम्प्लीटनेस" (क्या हमने सभी हिस्सों को खोज लिया है?) जैसे मेट्रिक्स रिपोर्ट करते हैं। यह पत्र तर्क देता है कि ये केवल "कार शुरू हुई" वाले क्षण हैं। ये अच्छे हैं, लेकिन ये कारण का प्रमाण नहीं हैं जब तक कि आप यह न बताएं कि आपकी धारणाएं क्या हैं जो इन्हें प्रमाण बनाती हैं।
4. प्रस्तावित समाधान: "डिस्क्लोजर प्रोटोकॉल" (The "Disclosure Protocol")
लेखक सुझाव देता है कि क्षेत्र को इकोनोमेट्रिक्स (अर्थशास्त्र के डेटा का अध्ययन) से एक नियम उधार लेना चाहिए। अर्थशास्त्र में, यदि आप दावा करते हैं कि "X के कारण Y होता है," तो आपको स्पष्ट रूप से कहना चाहिए:
- आप क्या दावा कर रहे हैं: "हम दावा करते हैं कि X के कारण Y होता है।"
- रणनीति: "हम इसे साबित करने के लिए विधि Z का उपयोग कर रहे हैं।"
- धारणाएं: "हम मानते हैं कि [स्थिति A] और [स्थिति B] सत्य हैं।"
- तनाव परीक्षण (Stress Test): "यदि [स्थिति A] गलत है, तो हमारा निष्कर्ष ढह जाएगा। यहाँ बताया गया है कि यह परीक्षण करने के लिए कि क्या यह सच है, हमने क्या किया।"
उपमा:
केवल यह कहने के बजाय कि "गोली ने काम किया," डॉक्टर को एक रिपोर्ट लिखनी चाहिए:
- "हमारा दावा है कि गोली ने बुखार कम किया।"
- "हम मानते हैं कि मरीज ने अन्य दवाएं नहीं लीं।"
- "हम मानते हैं कि बुखार स्वाभाविक रूप से खत्म नहीं हो रहा था।"
- "यदि मरीज ने अन्य दवाएं ली थीं, तो हमारा निष्कर्ष गलत है। यहाँ डेटा है जो दिखाता है कि उन्होंने ऐसा नहीं किया।"
5. ऑडिट में क्या पाया गया
लेखक ने इस क्षेत्र के 10 प्रमुख शोध पत्रों (विभिन्न विधियों जैसे सर्किट डिस्कवरी और ऑटोएनकोडर्स को कवर करते हुए) को देखा और फिर 30 अन्य की जांच की।
- परिणाम: 30 में से 0 पत्रों में उनकी पहचान संबंधी धारणाओं (identification assumptions) को सूचीबद्ध करने वाला एक समर्पित अनुभाग था।
- परिणाम: अधिकांश पत्रों (30 में से लगभग 19 से 26, यदि आप सख्त हैं) ने "वैलिडेशन मेट्रिक्स" (जैसे "AI ने अपेक्षित व्यवहार किया") का उपयोग यह सिद्ध करने के लिए किया कि उनकी धारणाएं सच थीं।
- परिणाम: सबसे सावधानीपूर्वक शोध पत्रों ने भी, जिन्होंने दूसरों के काम में त्रुटियां पाई थीं, उन त्रुटियों को खोजने के लिए उपयोग की जाने वाली अपनी धारणाओं को स्पष्ट रूप से सूचीबद्ध नहीं किया।
सारांश
यह पत्र ईमानदारी और स्पष्टता के लिए एक आह्वान है। यह यह नहीं कहता कि AI अनुसंधान गलत है; यह कहता है कि AI अनुसंधान अधूरा है।
अभी, शोधकर्ता कह रहे हैं, "देखो, हमने कारण खोज लिया है!"
पत्र कहता है, "कृपया रुकें और हमें बताएं कि आप किन नियमों को मान रहे हैं ताकि आप यह दावा कर सकें। यदि आप हमें नियम नहीं बताते हैं, तो हमें नहीं पता कि आपका 'कारण' वास्तविक है या केवल एक भाग्यशाली अनुमान।"
यह क्षेत्र से "देखो हमारा जादू का करतब कितना शानदार है" से बदलकर "यहाँ बताया गया है कि यह करतब वास्तव में कैसे काम करता है, और यहाँ बताया गया है कि हमें क्यों पता है कि यह कोई करतब नहीं है" की ओर बढ़ने के लिए कह रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।