GoT-CD: Graph-of-Thoughts Causal Discovery and the Fragility of Post-hoc Path-Specific Fairness Audits
यह शोध पत्र GoT-CD को प्रस्तुत करता है, जो एक ग्राफ-ऑफ-थॉट्स (Graph-of-Thoughts) फ्रेमवर्क है जो संरचनात्मक रूप से प्रतिस्पर्धी कारण ग्राफ (causal graphs) उत्पन्न करता है और यह प्रदर्शित करता है कि कैसे उच्च-सटीकता वाले खोज विधियाँ भी सटीक पोस्ट-हॉक पथ-विशिष्ट निष्पक्षता ऑडिट (post-hoc path-specific fairness audits) के लिए आवश्यक विशिष्ट मार्गों को पुनः प्राप्त करने में विफल हो सकती हैं, जिससे डाउनस्ट्रीम निष्पक्षता आवश्यकताओं के दृष्टिकोण से कारण खोज (causal discovery) का मूल्यांकन करने की महत्वपूर्ण आवश्यकता पर प्रकाश पड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो केवल एक धुंधली, ब्लैक-एंड-व्हाइट फोटो के जरिए अपराध स्थल की गुत्थी सुलझाने की कोशिश कर रहे हैं। आप संदिग्धों को स्पष्ट रूप से नहीं देख सकते, लेकिन आपको यह पता लगाना है कि किसने, क्या किया और किसके साथ। डेटा साइंस की दुनिया में, इसे कॉज़ल डिस्कवरी (causal discovery) कहा जाता है। नियंत्रित प्रयोग (controlled experiment) चलाकर हर हरकत को देखने के बजाय, वैज्ञानिक "अवलोकन संबंधी डेटा" (observational data) का उपयोग करते हैं—जैसे मेडिकल रिकॉर्ड या ट्रैफिक लॉग का ढेर—और फिर एक ऐसा नक्शा बनाने की कोशिश करते हैं जो दिखाता है कि कौन से कारक दूसरों को कैसे प्रभावित करते हैं। उदाहरण के लिए, क्या बहुत अधिक चीनी खाने से सिरदर्द होता है, या ये दोनों चीजें बस एक ही समय पर हो रही हैं?
एक बार जब आपके पास ऐसा नक्शा हो जाता है, तो आप यह जांचना चाहेंगे कि क्या वह निष्पक्ष है। यहीं पर पाथ-स्पेसिफिक फेयरनेस (path-specific fairness) काम आती है। कल्पना कीजिए कि एक भर्ती एल्गोरिदम (hiring algorithm) उम्मीदवारों को खारिज कर रहा है। आप जानना चाहते हैं कि क्या उसने उन्हें उनके कौशल (एक वैध कारण) की वजह से खारिज किया, या उनके लिंग या जाति (एक अनुचित कारण) की वजह से? इस उत्तर तक पहुँचने के लिए, आपको अपने नक्शे पर व्यक्ति की पहचान से अंतिम निर्णय तक के विशिष्ट "पथ" (path) का पता लगाना होगा। यदि नक्शा गलत है, तो आपका निष्पक्षता परीक्षण (fairness check) बेकार है। आप सोच सकते हैं कि एल्गोरिदम निष्पक्ष है जबकि वह वास्तव में पक्षपाती है, या इसके विपरीत। यह वह पेचीदा कोना है जिसे यह शोध पत्र तलाशता है: हम सबसे अच्छा नक्शा कैसे बना सकते हैं, और हम यह कैसे सुनिश्चित कर सकते हैं कि वह नक्शा हमें धोखा न दे जब हम निष्पक्षता की जांच करने की कोशिश करें?
शोध पत्र: GoT-CD और "फेक क्लीन" (Fake Clean) का जाल
इस शोध पत्र के लेखक, नितिश नागेश और उनकी टीम, एक ऐसी समस्या का समाधान कर रहे हैं जो सुनने में सरल लगती है लेकिन वास्तव में एक जाल है। उन्होंने गौर किया कि जब वैज्ञानिक इन कॉज़ल मैप्स (causal maps) को बनाने के लिए आर्टिफिशियल इंटेलिजेंस (विशेष रूप से लार्ज लैंग्वेज मॉडल्स, या LLMs) का उपयोग करते हैं, तो वे आमतौर पर केवल यह देखते हैं कि क्या नक्शा "संरचनात्मक रूप से सही" (structurally correct) दिखता है। यह एक छात्र द्वारा बनाए गए घर के चित्र को यह गिनकर ग्रेड देने जैसा है कि उसमें कितनी खिड़कियाँ और दरवाजे सही जगह पर हैं। लेकिन क्या होगा अगर छात्र ने एक बेहतरीन घर बनाया, लेकिन सामने का दरवाजा बनाना भूल गया? यदि आप यह जांचने की कोशिश कर रहे हैं कि क्या घर व्हीलचेयर उपयोगकर्ता के लिए सुलभ है, तो वह छूटा हुआ दरवाजा एक आपदा है, भले ही बाकी का चित्र एकदम सही क्यों न हो।
यह शोध पत्र एक नई विधि पेश करता है जिसे GoT-CD (Graph-of-Thoughts Causal Discovery) कहा जाता है। इसे समझने के लिए, कल्पना कीजिए कि तीन जासूसों की एक टीम एक ही केस पर काम कर रही है, लेकिन आपस में बहस करने के बजाय, वे प्रत्येक अपनी थ्योरी (सिद्धांत) एक कागज पर एक ही समय में लिख देते हैं।
- पुराना तरीका (Pairwise या Traversal): पिछले AI तरीके उन जासूसों की तरह थे जो एक समय में केवल दो सुराग देखते थे ("क्या A के कारण B होता है?") या जो कहानी को एक-एक कदम करके बनाते थे, और हर अनुमान पर तुरंत टिक जाते थे। यदि उन्होंने शुरुआत में कोई गलती की, तो पूरी कहानी बर्बाद हो जाती थी, और वे पीछे नहीं मुड़ सकते थे।
- GoT-CD का तरीका: यह विधि एक साथ कई पूर्ण नक्शे तैयार करती है। फिर, एक सख्त "रेफरी" (एक नियत स्कोरिंग फंक्शन) उनकी जांच करता है। सबसे अच्छे नक्शों के सबसे अच्छे हिस्सों को मिला दिया जाता है, लेकिन एक बहुत महत्वपूर्ण नियम के साथ: आप एक नया संबंध नहीं बना सकते जिसे किसी भी जासूस ने प्रस्तावित नहीं किया है। यह AI को केवल इसलिए फर्जी संबंध बनाने से रोकता है क्योंकि वे सुनने में तर्कसंगली लगते हैं। अंत में, टीम यह सुनिश्चित करती है कि नक्शे में कोई लूप (loops) न हों (ऐसा नहीं हो सकता कि A के कारण B हो, जिससे C हो, और फिर C के कारण वापस A हो), जिससे यह एक साफ, एकतरफा सड़क मानचित्र बन जाता है जिसे DAG (Directed Acyclic Graph) कहा जाता है।
टीम ने पांच अलग-अलग डेटासेट्स (जिसमें अल्जाइमर रोग का एक डेटासेट भी शामिल है) का उपयोग करके पुराने क्लासिक गणितीय एल्गोरिदम और अन्य AI तरीकों के मुकाबले इस नई विधि का परीक्षण किया। उन्होंने स्तर को समान रखने के लिए डेटा की एक निश्चित मात्रा (100 ऑब्जर्वेशन) और एक विशिष्ट AI मॉडल (gpt-4o-mini) का उपयोग किया।
बड़ी खोज: "फॉल्स क्लीन" (False Clean) सर्टिफिकेट
सबसे आश्चर्यजनक खोज यह नहीं है कि GoT-CD बेहतर नक्शे बनाता है; बल्कि यह है कि जब आप उन नक्शों का उपयोग निष्पक्षता की जांच करने के लिए करते हैं तो क्या होता है। शोधकर्ताओं ने अल्जाइमर के एक डेटासेट पर ध्यान केंद्रित किया जहाँ वे जानते थे कि वहां एक अनुचित पथ मौजूद है: लिंग (Sex) → मस्तिष्क का आयतन (Brain Volume) → MOCA स्कोर (एक संज्ञानात्मक परीक्षण)। वे जानते थे कि लिंग मस्तिष्क के आयतन को प्रभावित करता है, जो बदले में टेस्ट स्कोर को प्रभावित करता है।
यहाँ मोड़ आता है:
- एक पुराने AI तरीके (LLM-BFS) ने एक ऐसा नक्शा बनाया जो कुल मिलाकर काफी अच्छा दिख रहा था। इसका स्ट्रक्चरल स्कोर (Fola F1) 0.649 था, जो ठीक-ठाक है।
- हालाँकि, जब उन्होंने उस नक्शे में अनुचित पथ की जांच की, तो वह पूरी तरह से गायब था। नक्शा लिंग और टेस्ट स्कोर के बीच कोई संबंध नहीं दिखा रहा था।
- क्योंकि वह पथ गायब था, निष्पक्षता ऑडिट ने परिणाम 0 रिपोर्ट किया। इसने एक "क्लीन" सर्टिफिकेट की तरह काम किया, जो कह रहा था, "कोई अनुचितता नहीं मिली!"
- लेकिन यह एक झूठ था। वास्तविक अनुचितता बहुत बड़ी थी (मान 0.572)। AI ने उस पक्षपात को नहीं पाया क्योंकि वह उस सड़क को बनाना भूल गया था जहाँ पक्षपात मौजूद था। समस्या यह नहीं थी कि सिस्टम निष्पक्ष था; समस्या यह थी कि नक्शा टूटा हुआ था।
इसके विपरीत, GoT-CD ने एक ऐसा नक्शा बनाया जिसमें न केवल सबसे अच्छा स्ट्रक्चरल स्कोर (0.757) था, बल्कि उसने सफलतापूर्वक उस विशिष्ट अनुचित पथ को भी खोज लिया। इसने प्रभाव की सही दिशा रिपोर्ट की, जिससे पता चला कि पक्षपात वास्तव में मौजूद था।
एक अन्य विधि, GES, ने वह पथ तो ढूंढ लिया लेकिन इसमें इतने अतिरिक्त फर्जी पथ जोड़ दिए कि इसने पक्षपात को वास्तविक मात्रा से सात गुना अधिक बड़ा दिखा दिया (मान 4.034 के बजाय 0.572)।
यह आपके लिए क्या मायने रखता है
शोध पत्र सुझाव देता है कि हम केवल एक नक्शे के "अच्छे स्कोर" पर भरोसा नहीं कर सकते यह बताने के लिए कि कोई सिस्टम निष्पक्ष है। यदि नक्शा उस विशिष्ट सड़क को खोजने में विफल रहता है जो एक पक्षपाती परिणाम की ओर ले जाती है, तो निष्पक्षता जांच आत्मविश्वास के साथ कहेगी कि सब कुछ ठीक है, भले ही वह नहीं हो। इसे लेखक "फॉल्स-क्लीन सर्टिफिकेट" कहते हैं।
उनका तर्क है कि यदि आप चिकित्सा निर्णयों या भर्ती जैसे कार्यों के लिए इन नक्शों को बनाने के लिए AI का उपयोग कर रहे हैं, तो आपको केवल समग्र सटीकता (overall accuracy) को नहीं देखना चाहिए। आपको विशेष रूप से जांच करनी चाहिए: "क्या नक्शे ने उस पथ को खोजा जिसकी हमें परवाह है?"
अध्ययन बताता है कि GoT-CD एक मजबूत दावेदार है क्योंकि यह नक्शा बनाने के लिए "विचारकों की टीम" के दृष्टिकोण का उपयोग करता है, जिससे यह सुनिश्चित होता है कि यह महत्वपूर्ण संबंधों को न छोड़े या फर्जी संबंध न बनाए। हालाँकि परिणाम सिमुलेशन और विशिष्ट डेटासेट्स (जैसे अल्जाइमर का उदाहरण) पर आधारित हैं, सबक स्पष्ट है: निष्पक्ष AI बनाने की दौड़ में, केवल एक सुंदर नक्शा पर्याप्त नहीं है; आपको उस पर सही सड़कें भी चाहिए, अन्यथा आप अनजाने में एक पक्षपाती सिस्टम को निष्पक्ष घोषित कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।