What Does Development Add? Multiple-State Evidence Improves Causal Recovery in Constructed Transformer-Circuit Dossiers
यह अध्ययन प्रदर्शित करता है कि एक भाषा मॉडल विश्लेषक को केवल उसकी अंतिम अवस्था के बजाय, एक निर्मित ट्रांसफॉर्मर सर्किट की कई क्रमिक अवस्थाएँ प्रदान करने से, कार्य-कारण किनारे की रिकवरी (causal edge recovery) और हस्तक्षेप-पश्चात भविष्यवाणियों की सटीकता में महत्वपूर्ण सुधार होता है, भले ही अन्य सभी प्रयोगात्मक स्थितियाँ समान बनी रहें।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जासूसी की दुविधा: फिल्म देखने से अपराध सुलझाने में मदद क्यों मिलती है
कल्पना कीजिए कि आप एक जासूस हैं जो यह समझने की कोशिश कर रहे हैं कि एक जटिल मशीन कैसे काम करती है। आमतौर पर, आपको उस मशीन को केवल उसके जीवन के बिल्कुल अंत में देखने को मिलता है, जब वह पूरी तरह से बनकर तैयार हो चुकी होती है और चल रही होती है। आप उसे कुरेदते हैं, लीवर खींचते हैं, और देखते हैं कि क्या होता है। वर्तमान में वैज्ञानिक इसी तरह आर्टिफिशियल इंटेलिजेंस (AI) का अध्ययन करते हैं। वे एक तैयार AI मॉडल को देखते हैं, उसका परीक्षण करते हैं, और अनुमान लगाने की कोशिश करते हैं कि उसके दिमाग के कौन से हिस्से उसकी स्मार्ट व्यवहार के लिए जिम्मेदार हैं। इसे मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) कहा जाता है। यह एक जादू के खेल को केवल अंतिम प्रदर्शन देखकर समझने की कोशिश करने जैसा है, बिना यह देखे कि जादूगर ने मंच कैसे तैयार किया था।
लेकिन यहाँ एक समस्या है: कभी-कभी, दो अलग-अलग सेटअप अंत में बिल्कुल एक जैसे दिख सकते हैं। हो सकता है कि मशीन का एक हिस्सा किसी विशिष्ट कार्य के लिए बनाया गया हो, या शायद वह बस संयोग से वहाँ मौजूद था और अब मदद करने का ढोंग कर रहा है। यदि आप केवल अंतिम क्षण को देखते हैं, तो आप अंतर नहीं बता सकते। यहीं पर विकास (development) का विचार आता है। ठीक वैसे ही जैसे एक बच्चे को बड़ा होते देखना आपको एक वयस्क के रूप में मिलने की तुलना में उसके व्यक्तित्व के बारे में अधिक बताता है, एक AI को चरण-दर-चरण "सीखते" हुए देखना यह प्रकट कर सकता है कि वह वास्तव में कैसे सोचता है। बड़ा सवाल यह है: क्या "प्रशिक्षण डायरी" (AI कैसे समय के साथ बदला, इसका इतिहास) होना वास्तव में एक जासूस को केवल अंतिम परिणाम देखने की तुलना में रहस्य सुलझाने में बेहतर मदद करता है?
प्रयोग: एक समय-यात्रा करने वाला जासूस
इस अध्ययन में, ज़ुओ युचेन नामक एक शोधकर्ता ने इस विचार का परीक्षण करने के लिए एक विशाल, नियंत्रित रहस्य की रचना की। एक वास्तविक, अव्यवस्थित AI का उपयोग करने के बजाय जो इंटरनेट से सीखता है, उन्होंने 24 "निर्मित डोजियर" (constructed dossiers) बनाए। इन्हें लेगो ब्लॉक्स (Lego blocks) से बनी 24 अलग-अलग, नकली मशीनों के रूप में समझें। शोधकर्ता को ठीक से पता था कि हर एक टुकड़ा कैसे जुड़ना चाहिए और उसे क्या करना चाहिए। उन्होंने एक सटीक "ग्राउंड ट्रुथ" (ground truth) बनाया ताकि वे जासूस के काम को 100% सटीकता के साथ ग्रेड दे सकें।
इस कहानी में "जासूस" एक सुपर-स्मार्ट AI भाषा मॉडल (जिसे GPT-5.6-Terra कहा गया) था। शोधकर्ता ने इस जासूस को एक काम दिया: यह पता लगाना कि नकली मशीन कैसे काम करती है और यह भविष्यवाणी करना कि यदि किसी विशिष्ट हिस्से को तोड़ दिया जाए तो क्या होगा।
जासूस को दो टीमों में बांटा गया था, लेकिन उन्हें अलग-अलग सुराग दिए गए थे:
- "केवल-अंतिम" टीम (The "Final-Only" Team): इस टीम को मशीन की पांच अलग-अलग तस्वीरें दी गईं, जो उसके जीवन के बिल्कुल अंत में ली गई थीं। वे सभी थोड़े अलग कोणों से थीं, लेकिन मशीन हर बार बिल्कुल उसी तैयार अवस्था में थी।
- "बहु-अवस्था" टीम (The "Multiple-State" Team): उन्हें भी पांच तस्वीरें दी गईं, लेकिन ये तस्वीरें मशीन के निर्माण के दौरान अलग-अलग समय पर ली गई थीं। उन्होंने मशीन को एक बच्चे, एक किशोर और एक वयस्क के रूप में देखा, और टुकड़ों को एक-एक करके जुड़ते हुए देखा।
महत्वपूर्ण बात यह है कि बिल्कुल आखिरी फोटो (अंतिम अवस्था) दोनों टीमों के लिए समान थी। एकमात्र अंतर यह था कि एक टीम को मशीन के बनने का इतिहास देखने को मिला, जबकि दूसरी टीम बस तैयार उत्पाद को बार-बार घूरती रही।
उन्होंने क्या पाया: इतिहास मायने रखता है
परिणाम स्पष्ट और आश्चर्यजनक रूप से विशिष्ट थे। जिस टीम को बहु-अवस्था (इतिहास) देखने को मिली, उसने रहस्य सुलझाने में बहुत बेहतर काम किया।
- कनेक्शन का मानचित्रण (Mapping the Connections): जब मशीन के हिस्सों के आपस में जुड़ने के मानचित्र को बनाने के लिए कहा गया, तो "इतिहास" वाली टीम 97.1% बार सही थी। "केवल-अंतिम" टीम 88.8% बार सही थी। यह अंतर बहुत बड़ा नहीं लग सकता है, लेकिन जटिल पहेलियों की दुनिया में, यह एक विशाल सुधार है। इतिहास वाली टीम वास्तविक कनेक्शनों को पहचानने और उन नकली कनेक्शनों को अनदेखा करने में बेहतर थी जो अंत में संदिग्ध रूप से समान दिख रहे थे।
- भविष्यवाणी करना (Predicting the Future): जासूस को यह भी अनुमान लगाना था कि यदि किसी तार को तोड़ दिया जाए या किसी हिस्से को क्ैंप कर दिया जाए तो क्या होगा। "इतिहास" वाली टीम ने 95.4% बार सही भविष्यवाणी की, जबकि "केवल-अंतिम" टीम केवल 89.1% तक पहुँच पाई।
- सीलिंग इफेक्ट (The Ceiling Effect): दिलचस्प बात यह है कि जब कार्य केवल यह बताना था कि प्रत्येक भाग को क्या कहा जाता है (जैसे "सेलेक्टर" या "मैपर"), तो दोनों टीमों का स्कोर 100% रहा। यह सुझाव देता है कि हिस्सों के नाम बताना आसान है, लेकिन जटिल संबंधों के जाल को समझना वह जगह है जहाँ इतिहास वास्तव में चमकता है।
इसका क्या अर्थ है (और क्या नहीं है)
यह अध्ययन सुझाव देता है कि इस विशिष्ट प्रकार की पहेली के लिए, विकास देखना मदद करता है। यह एक पहेली को असेंबल होते हुए देखने जैसा है; आप देख सकते हैं कि कौन से टुकड़े पहले रखे गए थे और कौन से बाद में गलती को सुधारने के लिए जोड़े गए थे। "केवल-अंतिम" टीम इसलिए भ्रमित थी क्योंकि कुछ नकली कनेक्शन अंत में बहुत मजबूत दिख रहे थे, लेकिन "इतिहास" वाली टीम देख सकती थी कि वे कनेक्शन खेल के अंत में आए थे, जिसका अर्थ था कि वे मूल योजना का हिस्सा नहीं थे।
हालाँकि, पेपर बहुत सावधानी से यह स्पष्ट करता है कि इसे बहुत बढ़ा-चढ़ाकर न बताया जाए।
- यह एक सिमुलेशन है, वास्तविकता नहीं: इस अध्ययन में "मशीनें" एक कंप्यूटर प्रोग्राम द्वारा सावधानीपूर्वक बनाई गई थीं, न कि स्वाभाविक रूप से एक AI द्वारा महीनों के प्रशिक्षण के दौरान सीखी गई थीं। शोधकर्ता स्वीकार करते हैं कि यह एक "प्रूफ ऑफ कॉन्सेप्ट" है। यह साबित करता है कि यह विचार एक नियंत्रित लैब में काम करता है, लेकिन यह गारंटी नहीं देता कि यह हर वास्तविक दुनिया के AI मॉडल पर काम करेगा।
- "समय" बनाम "विविधता" का प्रश्न: शोधकर्ता ने यह भी सोचा: क्या जासूस ने बेहतर प्रदर्शन इसलिए किया क्योंकि उन्होंने घटनाओं का क्रम (समय) देखा, या केवल इसलिए क्योंकि उन्होंने मशीन के विभिन्न संस्करण (विविधता) देखे? इसे परखने के लिए, उन्होंने एक छोटा अतिरिक्त चेक चलाया जहाँ उन्होंने फोटो के क्रम को उलट दिया लेकिन सामग्री को समान रखा। जासूस ने फिर भी अच्छा प्रदर्शन किया। यह सुझाव देता है कि विभिन्न अवस्थाओं को देखना ही मुख्य बात है, न कि अनिवार्य रूप से टाइमलाइन स्वयं, हालाँकि अध्ययन इतना बड़ा नहीं था कि यह निश्चित रूप से कह सके।
- कोई जादुई समाधान नहीं (No Magic Bullet): अध्ययन ने यह नहीं पाया कि "केवल-अंतिम" टीम बेकार थी; वे अभी भी काफी अच्छे थे। इतिहास ने बस उन्हें एक महत्वपूर्ण बढ़त दी।
निष्कर्ष
यह पेपर एक चंचल लेकिन गंभीर प्रयोग है जो कहता है: "हे, यदि आप समझना चाहते हैं कि एक जटिल प्रणाली कैसे काम करती है, तो केवल तैयार उत्पाद को न देखें। यदि संभव हो, तो देखें कि वह कैसे विकसित हुई।"
AI शोधकर्ताओं के लिए, यह प्रशिक्षण इतिहासों की खुदाई शुरू करने के लिए एक ग्रीन लाइट है। हम सभी के लिए, यह एक याद दिलाता है कि संदर्भ ही सब कुछ है। ठीक वैसे ही जैसे किसी व्यक्ति के बचपन को जानना आपको उनके वयस्क निर्णयों को समझने में मदद करता है, AI के "बचपन" (उसके प्रशिक्षण चरणों) को जानना उसके वास्तविक मन को खोलने की कुंजी हो सकता है। लेकिन याद रखें, यह खिलौना मशीनों के साथ किया गया एक परीक्षण था; वास्तविक दुनिया बहुत अधिक अव्यवस्थित है, और अगला कदम यह देखना है कि क्या यह ट्रिक उन वास्तविक, बड़े AI पर काम करती है जिनका हम रोज़ाना उपयोग करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।