Can Interpretation Predict Behavior on Unseen Data?
यह शोध पत्र यह प्रदर्शित करता है कि इन-डिस्ट्रीब्यूशन प्रशिक्षण के दौरान देखे गए अटेंशन पैटर्न एक ट्रांसफॉर्मर मॉडल के आउट-ऑफ-डिस्ट्रीब्यूशन व्यवहार की सफलतापूर्वक भविष्यवाणी कर सकते हैं, जो एक नए व्याख्यात्मकता उद्देश्य (interpretability objective) को स्थापित करता है जहाँ प्रेक्षण संबंधी विश्लेषण वितरण बदलाव (distribution shift) के तहत विश्वसनीयता का पूर्वानुमान लगा सकता है, भले ही कारण संबंधी यांत्रिक लिंक (causal mechanistic links) अनुपस्थित हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक रहस्यमय, अत्यंत बुद्धिमान रोबोट कैसे सोचता है। लंबे समय तक, वैज्ञानिकों का मानना था कि रोबोट को वास्तव में "जानने" के लिए, आपको उसे छेड़ना होगा, उसके तारों को मरोड़ना होगा, या उसके विशिष्ट हिस्सों को बंद करके देखना होगा कि क्या टूट जाता है। यह एक मैकेनिक द्वारा कार के इंजन को अलग करने जैसा है ताकि यह पता लगाया जा सके कि वह कैसे काम करता है: यदि आप स्पार्क प्लग हटा देते हैं और कार रुक जाती है, तो आप जान जाते हैं कि स्पार्क प्लग आवश्यक था। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "कॉज़ल इंटरप्रिटेशन" (कारण संबंधी व्याख्या) कहा जाता है। लेकिन एक पेंच है: ये रोबोट इतने जटिल हैं कि उन्हें छेड़ने से भ्रमित करने वाले उत्तर मिल सकते हैं, या रोबोट शायद किसी ऐसे बैकअप प्लान का उपयोग कर सकता हो जिसके बारे में आप नहीं जानते थे। इसलिए, एक नया प्रश्न उभरा है: क्या हम एक रोबोट को सामान्य रूप से काम करते हुए देखकर समझ सकते हैं, बिना उसे अलग किए? विशेष रूप से, क्या हम यह देख सकते हैं कि वह एक पुराने, परिचित कार्य को कैसे संभालता है और इससे अनुमान लगा सकते हैं कि वह एक नए, अजीब कार्य पर कैसा व्यवहार करेगा जिसे उसने पहले कभी नहीं देखा? यही वह बड़ा पहेली है जिसे यह शोध पत्र हल करता है, जो "चीजों को तोड़कर सीखने" से "पैटर्न देखकर भविष्यवाणी करने" की ओर बढ़ता है।
इस अध्ययन के पीछे के शोधकर्ताओं ने सैकड़ों छोटे AI रोबोटों (जिन्हें ट्रांसफॉर्मर कहा जाता है) के साथ एक खेल खेलकर यह देखने का निर्णय लिया कि क्या वे रोबोट के "विचारों" को देखते हुए एक सरल, परिचित कार्य करते समय उनके भविष्य के व्यवहार की भविष्यवाणी कर सकते हैं। उन्होंने इन रोबोटों को कोष्ठकों (parentheses) से जुड़ा एक खेल सिखाया, जैसे कि (( )) या ()()। पेचीदा बात यह थी कि प्रशिक्षण वाला खेल अस्पष्ट था: रोबोट केवल खुले और बंद कोष्ठकों की कुल संख्या गिनकर (एक सरल, सपाट नियम) जीत सकता था, या यह जांचकर कि कोष्ठक एक पेड़ की तरह एक-दूसरे के भीतर पूरी तरह से व्यवस्थित (एक जटिल, पदानुक्रमित नियम) हैं या नहीं। दोनों ही नियम प्रशिक्षण डेटा पर पूरी तरह से काम करते थे।
फिर, शोधकर्ताओं ने उन्हें एक मोड़ दिया। उन्होंने रोबोटों को कोष्ठकों का एक नया सेट दिया जिसमें कोष्ठकों की कुल संख्या तो सही थी, लेकिन वे इस तरह से उलझे हुए थे कि "पेड़" वाला नियम टूट गया था। यह "अनदेखा डेटा" था। कुछ रोबमाट साधारण गिनती वाले नियम पर टिके रहे और नए परीक्षण में विफल रहे। अन्य रोबोटों ने पेड़ वाले नियम को समझ लिया और सफल रहे। बड़ा सवाल यह था: क्या शोधकर्ता यह देख सकते थे कि रोबोट आसान खेल खेलते समय अपनी आंतरिक "अटेंशन" (ध्यान) का उपयोग कैसे कर रहा था, और इससे यह अनुमान लगा सकते थे कि वह नए, कठिन खेल पर कैसा व्यवहार करेगा?
इसका उत्तर एक आश्चर्यजनक "हाँ" है। टीम ने पाया कि केवल प्रशिक्षण के दौरान कोष्ठकों पर रोबोट के ध्यान केंद्रित करने के तरीके को देखकर, वे उच्च सटीकता के साथ भविष्यवाणी कर सकते थे कि रोबोट नए, कठिन डेटा पर सफल होगा या विफल होगा। यह एक छात्र द्वारा गणित के वर्कशीट को हल करने जैसा है; यदि आप देखते हैं कि वह आसान समस्याओं पर एक विशिष्ट, चतुर शॉर्टकट का उपयोग कर रहा है, तो आप अनुमान लगा सकते हैं कि वह कठिन टेस्ट पर भी उसी चतुर तर्क का उपयोग करेगा, भले ही आपने अभी तक टेस्ट नहीं देखा हो।
हालाँकि, इस शोध पत्र ने कुछ ऐसा भी खोजा जो मशीन को "समझने" के बारे में हमारी सामान्य सोच को चुनौती देता है। आमतौर पर, यदि हम देखते हैं कि एक रोबोट समस्या को हल करने के लिए अपने मस्तिष्क के एक विशिष्ट हिस्से का उपयोग कर रहा है, तो हम मानते हैं कि वह हिस्सा समाधान का कारण (cause) है। लेकिन यहाँ, शोधकर्ताओं ने पाया कि कभी-कभी, जो "सुराग" उन्होंने देखा (एक विशिष्ट अटेंशन पैटर्न) वह वास्तव में सफलता को चलाने वाला इंजन नहीं था। कुछ मामलों में, रोबोट एक ऐसे पैटर्न का उपयोग कर रहा था जो वास्तव में उसके प्रदर्शन को नुकसान पहुँचा रहा था, लेकिन क्योंकि वह पैटर्न स्मार्ट रोबोटों के साथ सह-संबंधित (correlated) था, शोधकर्ताओं ने फिर भी इसका उपयोग सही भविष्यवाणी करने के लिए किया। यह एक जीतने वाले घोड़े पर लगे 'लकी चार्म' (भाग्यशाली ताबीज) को देखने जैसा है; उस ताबीज ने घोड़े को तेज़ नहीं दौड़ाया, लेकिन यदि आप ताबीज को देखते, तो आप फिर भी सही अनुमान लगा सकते थे कि घोड़ा जीतेगा।
लेखक स्पष्ट रूप से इस विचार के विरुद्ध तर्क देते हैं कि आपको मशीन को तोड़ना ही होना चाहिए (कॉज़ल इंटरवेंशन)। वे दिखाते हैं कि जबकि मशीन को तोड़ना सीखने का एक तरीका है, यह एकमात्र तरीका नहीं है, और कभी-कभी यह भ्रामक भी हो सकता है। अपने सिमुलेशन में, उन्होंने पाया कि "लकी चार्म" वाले पैटर्न को हटाने से कभी-कभी रोबोट का प्रदर्शन बेहतर हो गया, जिससे यह साबित हुआ कि वह पैटर्न सफलता का कारण नहीं था, भले ही वह एक सटीक भविष्यवक्ता (predictor) था।
तो, निष्कर्ष क्या है? यह शोध पत्र AI को परखने के एक नए तरीके का सुझाव देता है: केवल यह पूछने के बजाय कि "क्या हमने सटीक कारण खोज लिया है?", हमें यह पूछना चाहिए कि "आगे क्या होगा, इसकी भविष्यवाणी क्या की जा सकती है?" यदि हम परिचित डेटा पर एक AI के आंतरिक पैटर्न को देखकर यह सटीक अनुमान लगा सकते हैं कि वह अज्ञात स्थिति को कैसे संभालेगा, तो यह समझ का एक शक्तिशाली रूप है, भले ही हम उसके पीछे के यांत्रिक "क्यों" को पूरी तरह से न समझते हों। शोधकर्ताओं ने 270 अलग-अलग मॉडलों पर ये प्रयोग चलाए और पाया कि यह भविष्य बताने वाला दृष्टिकोण लगातार काम करता है, जो वास्तविक दुनिया में AI के विफल होने की संभावना को तैनात करने से पहले ही पहचानने के लिए एक नया उपकरण प्रदान करता है। वे यह दावा नहीं करते कि उन्होंने AI की चेतना के रहस्य को सुलझा लिया है या प्रत्येक तंत्रिका संबंध का एक पूर्ण मानचित्र बना लिया है, लेकिन उन्होंने यह सिद्ध कर दिया है कि डेटा के "नृत्य" को देखना हमें डांसर के अगले कदम के बारे में बहुत कुछ बता सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।