Estimand-Relative Validity and Context-Driven Instability of Shapley Explanations for Tabular Foundation Models
यह शोध पत्र यह प्रदर्शित करता है कि टैबुलर फाउंडेशन मॉडल्स के लिए शापली (Shapley) स्पष्टीकरणों की वैधता और स्थिरता, इच्छित एस्टिमैंड (estimand) के सापेक्ष रिमूवल ऑपरेटर (removal operator) के चयन पर महत्वपूर्ण रूप से निर्भर करती है और इन-कॉन्टेक्स्ट उदाहरणों से काफी प्रभावित होती है, जिसके लिए विश्वसनीय व्याख्या हेतु इन कारकों के स्पष्ट विनिर्देशन की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, मॉडलों का एक बढ़ता हुआ वर्ग है जिन्हें निश्चित नियमों को याद करने के बजाय उदाहरणों से सीखने के लिए डिज़ाइन किया गया है। कल्पना कीजिए कि एक छात्र जो वर्षों तक पाठ्यपुस्तक पढ़ने के बजाय, उसे नोट्स का एक एकल पृष्ठ और एक नया प्रश्न दिया जाता है, और फिर उसे केवल उसी पृष्ठ का उपयोग करके तुरंत उसे हल करने के लिए कहा जाता है। टेबुलर डेटा (tabular data) के लिए आधुनिक "फाउंडेशन मॉडल्स" इसी तरह काम करते हैं। वे लेबल किए गए उदाहरणों का एक छोटा समूह, जिसे 'कॉन्टेक्स्ट' (context) कहा जाता है, और एक नया प्रश्न लेते हैं, और अपने आंतरिक कोड को बदले बिना ही एक भविष्यवाणी करते हैं। क्योंकि ये सिस्टम इतने लचीले होते हैं, शोधकर्ता लंबे समय से यह समझने की कोशिश कर रहे हैं कि वे जो चुनाव करते हैं, उसके पीछे का कारण क्या है। वे 'शापली वैल्यूज़' (Shapley values) नामक एक विधि का उपयोग करते हैं, जो श्रेय के निष्पक्ष विभाजन की तरह कार्य करती है। यदि कोई भविष्यवाणी एक टीम का प्रयास है, तो यह विधि गणना करती है कि सूचना के प्रत्येक हिस्से ने अंतिम परिणाम में कितना योगदान दिया। हालाँकि, यह पता लगाने के लिए कि सूचना का एक विशिष्ट हिस्सा कितना महत्वपूर्ण है, इस विधि को पहले यह कल्पना करनी पड़ती है कि क्या होता यदि वह हिस्सा गायब होता। यह एक पहेली खड़ी करता है: जब आप डेटा के एक हिस्से को हटाते हैं, तो आप खाली स्थान को कैसे भरते हैं? क्या आप इसे एक औसत (average) से बदलते हैं, एक रिक्त स्थान से, या एक नए उदाहरण से जो पैटर्न में फिट बैठता हो? इस प्रश्न का उत्तर बदल देता है कि मॉडल कैसे सोचता है।
एस्किशेहिर टेक्निकल यूनिवर्सिटी के एमिन तालिप डेमकिरन द्वारा किया गया एक हालिया अध्ययन इस पहेली को सीधे तौर पर संबोधित करता है, जो इस प्रकार के दो सबसे उन्नत मॉडलों पर ध्यान केंद्रित करता है, जिन्हें TabPFN और TabICL के रूप में जाना जाता है। शोधकर्ता यह जानना चाहते थे कि लापता डेटा को भरने का तरीका मॉडल के निर्णय की व्याख्या को बदलता है या नहीं, और क्या वे व्याख्याएँ स्थिर रहती हैं जब आसपास के विवरण थोड़े बदल जाते हैं। यह पता लगाने के लिए, टीम ने सिंथेटिक डेटा (जहाँ सही उत्तर डिज़ाइन के अनुसार ज्ञात थे) और वास्तविक दुनिया के डेटासेट दोनों का उपयोग करके परीक्षणों की एक विशाल, सावधानीपूर्वक नियोजित श्रृंखला चलाई। उन्होंने लापता जानकारी को संभालने के पांच अलग-अलग तरीकों का परीक्षण किया, जिसमें साधारण औसत से लेकर अधिक जटिल तरीके शामिल थे जो मॉडल को उस हिस्से को हटाने के बाद स्थिति का पुनर्मूल्यांकन करने के लिए कहते हैं। परिणामों ने एक चौंकाने वाला सच उजागर किया: इन मॉडलों को समझाने का कोई एक "सर्वश्रेष्ठ" तरीका नहीं है। वह तरीका जो एक प्रकार के प्रश्न के लिए सबसे सटीक व्याख्या प्रदान करता है, वह अक्सर दूसरे के लिए सबसे खराब होता है।
अध्ययन में पाया गया कि विधि का चुनाव पूरी तरह से इस बात पर निर्भर करता है कि आप किस प्रश्न का उत्तर देने की कोशिश कर रहे हैं। यदि आप यह जानना चाहते हैं कि यदि आप हस्तक्षेप करते और एक विशिष्ट मान को बदलते तो मॉडल कैसा व्यवहार करता, तो सबसे सटीक व्याख्याएँ उन विधियों से आती थीं जो लापता डेटा को सीधे औसत या मानक प्लेसहोल्डर्स से बदल देती थीं। हालाँकि, यदि आप यह जानना चाहते हैं कि मॉडल डेटा के भीतर विशिष्ट संबंधों के आधार पर कैसे तर्क देता है, तो सबसे अच्छी व्याख्याएँ उन विधियों से आती थीं जो मॉडल को उस हिस्से को हटाने के बाद स्वयं को पुन: संदर्भित (re-contextualize) करने के लिए कहती थीं। वास्तव में, शोधकर्ताओं ने देखा कि जो विधि एक लक्ष्य के लिए सर्वश्रेष्ठ प्रदर्शन करती थी, वह अक्सर दूसरे के लिए सबसे खराब प्रदर्शन करती थी। इसका अर्थ है कि एक व्याख्या मॉडल का एक निश्चित गुण नहीं है; यह पूछे जा रहे विशिष्ट प्रश्न के सापेक्ष है। यह निर्दिष्ट किए बिना कि लापता डेटा को ठीक से कैसे संभाला गया था और किस प्रकार के उत्तर की आवश्यकता है, एक व्याख्या पर भरोसा नहीं किया जा सकता।
इस प्रश्न के अलावा कि किस विधि का उपयोग किया जाए, अध्ययन ने यह भी जांचा कि वातावरण बदलने पर ये व्याख्याएँ कितनी स्थिर रहती हैं। इन मॉडलों में, भविष्यवाणी संदर्भ बनाने के लिए चुने गए विशिष्ट उदाहरणों पर बहुत अधिक निर्भर करती है। शोधकर्ताओं ने परीक्षण किया कि क्या कॉलम का क्रम बदलना, लेबल को कोड करने का तरीका, या मॉडल को शुरू करने के लिए उपयोग किए जाने वाले रैंडम सीड (random seed) से व्याख्या बदल जाएगी। उन्होंने पाया कि इन कारकों का लगभग कोई प्रभाव नहीं पड़ा। इसके बजाय, व्याख्या अत्यधिक रूप से उन विशिष्ट उदाहरणों द्वारा संचालित थी जो कॉन्टेक्स्ट में खींचे गए थे। दूसरे शब्दों में, व्याख्या उस विशिष्ट सेट के प्रति अत्यधिक संवेदनशील है जिसे मॉडल देख रहा है, लेकिन अन्य तकनीकी विविधताओं के प्रति उल्लेखनीय रूप से स्थिर है। यह सुझाव देता है कि एक व्याख्या की विश्वसनीयता केवल मॉडल पर नहीं, बल्कि प्रदान किए गए विशिष्ट संदर्भ पर टिकी होती है।
शोधकर्ताओं ने डेटा में एक ऐसी विशेषता जोड़कर एक सुरक्षा जांच का भी परीक्षण किया जिसमें बिल्कुल भी उपयोगी जानकारी नहीं थी, जो अनिवार्य रूप से एक "डमी" (dummy) वेरिएबल था। उन्हें उम्मीद थी कि मॉडल इस फीचर को अनदेखा कर देगा और इसे शून्य महत्व देगा। इसके बजाय, दोनों मॉडलों ने इस बेकार फीचर के जवाब में अपनी भविष्यवाणियों को बार-बार बदला, और इसे महत्वपूर्ण भार (weight) दिया। यह इंगित करता है कि ये शक्तिशाली मॉडल शोर (noise) से आसानी से विचलित हो सकते हैं, और उनकी व्याख्याएं इस संवेदनशीलता को दर्शा सकती हैं। अध्ययन निष्कर्ष निकालता है कि इस प्रकार के एआई सिस्टम के लिए, एक व्याख्या एक स्वतंत्र तथ्य नहीं है। यह एक नाजुक संरचना है जो इस बात पर निर्भर करती है कि लापता जानकारी को संभालने के लिए किस विशिष्ट विधि का उपयोग किया गया है, किस प्रकार का प्रश्न पूछा जा रहा है, और मॉडल वर्तमान में किन विशिष्ट उदाहरणों पर विचार कर रहा है। इन मॉडलों को समझने के लिए, हमें एक एकल, सार्वभौमिक व्याख्या खोजने के बजाय, यह पूछना शुरू करना होगा कि हमें किस प्रकार की व्याख्या चाहिए और किन परिस्थितियों में यह सत्य है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।