Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
यह शोध पत्र CHIVE को प्रस्तुत करता है, जो एक एजेंटिक पाइपलाइन है जो यह मूल्यांकन करने और LLM स्पष्टीकरण विधियों में सुधार करने के लिए काउंटरफैक्चुअल प्रयोगों का उपयोग करती है कि क्या स्पष्टीकरण संबंधित इनपुट पर मॉडल व्यवहार की सटीक भविष्यवाणी कर सकते हैं, जिससे यह पता चलता है कि वर्तमान व्याख्यात्मक तकनीकें कोई भविष्य कहने वाला लाभ प्रदान नहीं करती हैं, जबकि यह भी प्रदर्शित करती है कि CHIVE-जनित डेटा पर प्रशिक्षण सामान्यीकरण को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इस शोध के बारे में समझने के लिए, कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि कोई व्यक्ति कोई विशिष्ट चुनाव क्यों करता है। यदि आप उनसे पूछते हैं, तो वे आपको एक कारण दे सकते हैं, लेकिन वह कारण एक अनुमान, एक तर्कसंगत स्पष्टीकरण, या केवल गलत हो सकता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता बड़े भाषा मॉडलों (large language models) के साथ एक समान चुनौती का सामना करते हैं। ये सिस्टम शक्तिशाली उपकरण हैं जो कोड लिख सकते हैं, कहानियाँ सुना सकते हैं और समस्याओं को हल कर सकते हैं, लेकिन वे "ब्लैक बॉक्स" भी हैं। हम देख सकते हैं कि वे क्या कहते हैं, लेकिन हम उन आंतरिक गियरों को आसानी से नहीं देख सकते जो उन शब्दों को उत्पन्न करने के लिए घूमते हैं। वैज्ञानिक लंबे समय से इन गियरों के भीतर झाँकने के लिए उपकरण बनाने की कोशिश कर रहे हैं, इस उम्मीद में कि मॉडल के व्यवहार का वास्तविक कारण मिल सके। लक्ष्य यह जानना है कि क्या एक मॉडल अपने स्वयं के तर्क के बारे में ईमानदार है या वह किसी अलग उद्देश्य को छिपा रहा है। प्रश्न यह है: हमें कैसे पता चलेगा कि कोई स्पष्टीकरण वास्तव में अच्छा है? यदि एक शोधकर्ता कहता है, "मॉडल ने गलती की क्योंकि वह एक विशिष्ट शब्द से भ्रमित था," तो हम यह परीक्षण कैसे कर सकते हैं कि क्या वह सच है?
एंथ्रोपिक (Anthropic) के शोधकर्ताओं की एक टीम ने साधारण अनुमानों से आगे बढ़कर "क्या होगा यदि" के क्षेत्र में जाकर इसे परखने का निर्णय लिया। मॉडल से खुद को समझाने के लिए पूछने के बजाय, उन्होंने एक ऐसा सिस्टम बनाया जो मॉडल के वातावरण को सक्रिय रूप से बदलता है ताकि यह देखा जा सके कि क्या वह स्पष्टीकरण कायम रहता है। वे इस प्रक्रिया को "काउंटरफैक्चुअल इन्वेस्टिगेशन" (counterfactual investigation) कहते हैं। यह इस तरह काम करता है: यदि आप मानते हैं कि मॉडल ने एक विशिष्ट शब्द के कारण गलती की, तो आप उस शब्द को बदलते हैं और देखते हैं कि क्या वह गलती गायब हो जाती है। यदि शब्द बदलने पर त्रुटि समाप्त हो जाती है, तो आपका स्पष्टीकरण संभवतः सही था। यदि त्रुटि वैसी ही रहती है, तो आपका स्पष्टीकरण गलत था। यह पद्धति एक अस्पष्ट सिद्धांत को एक परीक्षण योग्य तथ्य में बदल देती है। शोधकर्ता यह देखना चाहते थे कि क्या वर्तमान उपकरण जिनका उपयोग वैज्ञानिक एआई मॉडलों के भीतर झाँकने के लिए करते हैं, वास्तव में इन परिवर्तनों की भविष्यवाणी करने में मदद कर सकते हैं, और क्या वे मॉडलों को उनके अपने व्यवहार को बेहतर ढंग से समझने के लिए सिखा सकते हैं।
ऐसा करने के लिए, शोधकर्ताओं ने CHIVE नामक एक नया स्वचालित पाइपलाइन बनाया। यह सिस्टम एक अथक अन्वेषक की तरह कार्य करता है। यह वास्तविक दुनिया की बातचीत से हजारों प्रश्न पूछकर शुरू होता है, जहाँ मॉडल कुछ अप्रत्याशित या अजीब करता है। एक बार जब उसे कोई अजीब व्यवहार मिल जाता है, तो सिस्टम वहीं नहीं रुकता। यह मूल प्रश्न को लेता है और उसमें छोटे, विशिष्ट बदलाव करता है—जैसे कि कोई नाम बदलना, एक वाक्य हटाना, या एक शब्द को बदलना—और फिर मॉडल से नया प्रश्न पूछता है। यह दर्जनों बार ऐसा करता है ताकि यह देखा जा सके कि मूल प्रश्न के साथ अजीब व्यवहार कितनी बार होता है बनाम संपादित प्रश्न के साथ। यदि किसी विशिष्ट शब्द को बदलने से अजीब व्यवहार गायब हो जाता है, तो सिस्टम इसे इस प्रमाण के रूप में रिकॉर्ड करता है कि वह शब्द ही कारण था। यह प्रक्रिया हजारों उच्च-गुणवत्ता वाले उदाहरण उत्पन्न करती है जहाँ व्यवहार का कारण ज्ञात है और स्वयं प्रयोग द्वारा सत्यापित है।
शोधकर्ताओं ने इन सत्यापित उदाहरणों के इस विशाल संग्रह का उपयोग दो प्रमुख विचारों का परीक्षण करने के लिए किया। पहला, वे यह देखना चाहते थे कि एआई मॉडलों की व्याख्या करने के लिए वैज्ञानिक जो मौजूदा उपकरणों का उपयोग करते हैं, वे वास्तव में सहायक हैं या नहीं। ये उपकरण मॉडल की आंतरिक गतिविधि को पढ़ने के लिए डिज़ाइन किए गए हैं, ठीक वैसे ही जैसे एक डॉक्टर मस्तिष्क स्कैन पढ़ सकता है, ताकि उत्तर के पीछे के "विचारों" को खोजा जा सके। शोधकर्ताओं ने इन उपकरणों को एक स्मार्ट कंप्यूटर एजेंट को दिया और उससे पूछा कि क्या प्रॉम्प्ट में एक विशिष्ट परिवर्तन मॉडल के व्यवहार को बदल देगा। उन्हें उम्मीद थी कि ये उपकरण एजेंट को एक महत्वपूर्ण लाभ देंगे, जिससे वह उन छिपे हुए कारणों को देख पाएगा जिन्हें बातचीत के साधारण पठन से मिस किया जा सकता है। आश्चर्यजनक रूप से, इन उपकरणों ने कोई मदद नहीं की। एजेंट का प्रदर्शन केवल बातचीत के टेक्स्ट के साथ उतना ही अच्छा था, या कभी-कभी उससे भी खराब था, जितना कि जब उसके पास इन आंतरिक पठन उपकरणों तक पहुंच थी। उपकरण संवाद और परिणामी व्यवहार के बीच के संबंध को प्रकट करने में विफल रहे, जिससे एजेंट पहले की तरह ही अंधेरे में रह गया।
दूसरा, शोधकर्ताओं ने पूछा कि क्या वे मॉडलों को उनके द्वारा एकत्र किए गए डेटा का उपयोग करके अपने व्यवहार की भविष्यवाणी करना सिखा सकते हैं। उन्होंने लक्षित मॉडलों को उन हजारों प्रयोगों पर प्रशिक्षित किया जो उन्होंने चलाए थे। प्रशिक्षण कार्य सरल था: मॉडल को एक बातचीत और एक प्रस्तावित परिवर्तन दिखाएं, और उससे अनुमान लगाने के लिए कहें कि क्या वह परिवर्तन अजीब व्यवहार को रोकने में सफल होगा। यहाँ के परिणाम बहुत अधिक आशाजनक थे। जिन मॉडलों को यह प्रशिक्षण मिला, वे इन परिवर्तनों के परिणाम की भविष्यवाणी करने में काफी बेहतर हो गए। उन्होंने अपने स्वयं के व्यवहार में उन पैटर्न को पहचानना सीख लिया जिन्हें उन्होंने पहले नोटिस नहीं किया था। यह सुधार तब भी बना रहा जब शोधकर्ताओं ने मॉडलों का परीक्षण उन पूरी तरह से नए प्रकार के प्रश्नों और परिदृश्यों पर किया जिन्हें उन्होंने प्रशिक्षण के दौरान कभी नहीं देखा था। मॉडलों ने यह सामान्य कौशल सीख लिया था कि उनके अपने कार्यों कैसे उनके इनपुट से प्रभावित होते हैं।
अध्ययन ने यह भी पता लगाया कि क्या मॉडल केवल उत्तरों को याद कर रहे थे या उन्होंने अपने बारेв गहरा, आंतरिक समझ प्राप्त की थी। इसका परीक्षण करने के लिए, शोधकर्ताओं ने एक मॉडल को अपने स्वयं के व्यवहार के डेटा पर और दूसरे मॉडल को दूसरे मॉडल के व्यवहार के डेटा पर प्रशिक्षित किया। यदि पहले मॉडल के पास अपनी आंतरिक स्थिति तक विशेष, निजी पहुंच होती, तो उसे दूसरे मॉडल की तुलना में बेहतर प्रदर्शन करना चाहिए था। हालाँकि, दोनों मॉडल समान रूप से अच्छा प्रदर्शन करते थे। यह सुझाव देता है कि मॉडल अपने बारे में किसी छिपे हुए, विशेषाधिकार प्राप्त ज्ञान तक नहीं पहुँच रहे थे। इसके बजाय, वे उन्हें दिखाए गए डेटा से कारण और प्रभाव के पैटर्न को पहचानना सीख रहे थे, ठीक वैसे ही जैसे एक छात्र उदाहरणों का अध्ययन करके एक विषय सीखता है।
निष्कर्ष एक स्पष्ट तस्वीर पेश करते हैं कि यह क्षेत्र कहाँ खड़ा है। एआई मॉडलों के भीतर झाँकने के मौजूदा उपकरण, जिन्होंने सरल, नियंत्रित परीक्षणों में आशाजनक प्रदर्शन दिखाया है, वास्तविक दुनिया की बातचीत में होने वाले जटिल व्यवहारों पर लागू होने पर विफल होते दिखते हैं। वे उस "अहा!" क्षण को प्रदान करने में विफल रहते हैं जो यह समझा सके कि मॉडल ने जो किया वह क्यों किया। दूसरी ओर, अध्ययन दिखाता है कि मॉडलों को उनके अपने वातावरण में परिवर्तनों के प्रति अपनी प्रतिक्रियाओं की भविष्यवाणी करने में बहुत बेहतर बनने के लिए प्रशिक्षित किया जा सकता है। यह सुझाव देता है कि एआई व्यवहार को समझने का मार्ग मशीन के भीतर देखने के लिए बेहतर सूक्ष्मदर्शी बनाने के माध्यम से नहीं, बल्कि मशीन को उसके अपने कार्यों के पैटर्न को पहचानने के लिए प्रशिक्षित करने के माध्यम से हो सकता है। शोधकर्ताओं ने अपना सारा डेटा और कोड जारी कर दिया है, जो दूसरों के लिए इस कार्य को जारी रखने के लिए एक नया आधार प्रदान करता है, यह सुनिश्चित करते हुए कि एआई व्यवहार की भविष्य की व्याख्याएँ इस बात पर आधारित हों कि जब दुनिया बदलती है तो वास्तव में क्या होता है, न कि केवल इस पर कि हम क्या सोचते हैं कि क्या हो रहा होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।