Actions Have Consequences: Detecting Outcome Performativity using Intervention Testing
यह शोध पत्र आउटकम परफॉर्मेटिविटी ए/बी डिटेक्शन (OPAB) प्रस्तुत करता है, जो एक औपचारिक ढांचा है जो हस्तक्षेप परीक्षण (intervention testing) का उपयोग यह पता लगाने के लिए करता है कि कब भविष्यवाणियां अपने स्वयं के परिणामों को कारणवश प्रभावित करती हैं, जबकि उन सेटिंग्स की पहचान करने के लिए सैंपल कॉम्प्लेक्सिटी बाउंड्स को व्युत्पन्न और मान्य करता है जहाँ डेटा बाधाओं के कारण ऐसा पता लगाना संभव या असंभव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं। आमतौर पर, आप बस बादलों को देखते हैं और कहते हैं, "बारिश होने वाली है।" आपकी भविष्यवाणी मौसम को नहीं बदलती; आकाश अपनी मर्जी से जो करता है वही होता है। लेकिन क्या होगा अगर आपकी भविष्यवाणी मौसम को बदल सके? क्या होगा अगर जैसे ही आप भीड़ में चिल्लाते "बारिश!" तो बादल वास्तव में इकट्ठा हो जाते क्योंकि लोगों ने छाते खोलना शुरू कर दिया और हवा की दिशा बदल गई? आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, यह अजीब घटना वास्तविक है। इसे आउटकम परफॉर्मेटिविटी (Outcome Performativity) कहा जाता है। यह तब होता है जब कंप्यूटर का भविष्य के बारे में अनुमान वास्तव में उस भविष्य को बनाने में मदद करता है। एक बैंक के AI के बारे में सोचिए जो यह भविष्यवाणी करता है कि कौन ऋण (लोन) चुकाने में चूक जाएगा। यदि AI कहता है, "यह व्यक्ति जोखिम भरा है," और बैंक उन्हें ऋण देने से मना कर देता है, तो वह व्यक्ति वास्तव में दिवालिया हो सकता है क्योंकि उन्हें पैसे देने से मना किया गया था। भविष्यवाणी ने ही उस परिणाम को जन्म दिया।
यह वैज्ञानिकों के लिए एक पेचीदा समस्या है क्योंकि यह एक फीडबैक लूप बनाता है। यदि कोई AI उस डेटा से सीखता है जहाँ उसकी अपनी भविष्यवाणियों ने परिणामों को बदल दिया है, तो वह भ्रमित हो सकता है, यह सोचकर कि वह एक जीनियस है जबकि वास्तव में वह केवल एक 'स्व-सिद्ध भविष्यवक्ता' (self-fulfilling prophet) है। बड़ा सवाल यह है: हम इस व्यवहार को पकड़ने के लिए इसे वास्तविक दुनिया में छोड़ने से पहले कैसे रोक सकते हैं? हमें एक तरीका चाहिए जिससे हम देख सकें कि क्या हमारी भविष्यवाणियां गुप्त रूप से धागे खींच रही हैं। यहीं पर एक नई विधि आती है जिसे OPAB (आउटकम परफॉर्मेटिविटी A/B डिटेक्शन) कहा जाता है, जो एक वैज्ञानिक जासूस की तरह काम करती है यह देखने के लिए कि क्या AI गुप्त रूप से खेल को नियंत्रित कर रहा है।
जासूस का टूलकिट: OPAB
यह शोध पत्र OPAB नामक एक विधि पेश करता है, जो अनिवार्य रूप से AI भविष्यवाणियों के लिए एक "क्या होगा अगर" (what-if) प्रयोग है। इसे समझने के लिए, कल्पना करें कि आप एक स्कूल कैफेटेरिया चला रहे हैं। आप जानना चाहते हैं कि छात्रों को यह बताना कि "पिज्जा खराब है" वास्तव में उन्हें कम पिज्जा खाने पर मजबूर करता है या नहीं।
एक सामान्य प्रयोग में, आप शायद छात्रों से पूछेंगे कि वे पिज्जा के बारे में क्या सोचते हैं और देखेंगे कि वे कितना खाते हैं। लेकिन यह त्रुटिपूर्ण है क्योंकि जो छात्र सोचते हैं कि पिज्जा खराब है, वे पहले से ही नखरे करने वाले खाने वाले हो सकते हैं। भविष्यवाणी (उनकी राय) और परिणाम (खाना) आपस में उलझे हुए हैं।
OPAB एक तकनीक का उपयोग करके इस उलझन को सुलझाता है जिसे इंटरवेंशन टेस्टिंग (Intervention Testing) कहा जाता है। छात्रों को यह तय करने देने के बजाय कि वे क्या सोचते हैं, कैफेटेरिया मैनेजर हर छात्र के लिए एक सिक्का उछालता है। 'हेड्स' आने पर, आप उन्हें बताते हैं, "पिज्जा बहुत शानदार है!" 'टेल्स' आने पर, आप उन्हें बताते हैं, "पिज्जा बहुत बेकार है!" आप भविष्यवाणी को जबरदस्ती लागू करते हैं, पूरी तरह से इस बात को नजरअंदाज करते हुए कि छात्र वास्तव में क्या सोचते हैं या वे कौन हैं। फिर, आप देखते हैं कि क्या होता है। यदि "पिज्जा शानदार है" सुनने वाले समूह ने "पिज्जा बेकार है" सुनने वाले समूह की तुलना में काफी अधिक पिज्जा खाया, तो आपने AI (या कैफेटेरिया मैनेजर) को आउटकम परफॉर्मेटिविटी के काम में रंगे हाथों पकड़ लिया है। भविष्यवाणी ने व्यवहार में बदलाव लाया।
खेल के नियम: हम इसे कब पकड़ सकते हैं?
लेखकों ने केवल एक डिटेक्टर नहीं बनाया; उन्होंने यह भी पता लगाया कि यह सुनिश्चित करने के लिए कि आप केवल एक इत्तेफाक नहीं देख रहे हैं, आपको कितने छात्रों (या डेटा पॉइंट्स) के साथ यह प्रयोग चलाना होगा। वे इसे सैंपल कॉम्प्लेक्सिटी (Sample Complexity) कहते हैं।
इसे ऐसे समझें जैसे शोर भरे कमरे में फुसफुसाहट सुनने की कोशिश करना। यदि फुसफुसाहट बहुत तेज है (एक मजबूत प्रभाव), तो आपको सुनने के लिए केवल कुछ ही लोगों की आवश्यकता होती है। लेकिन यदि फुसफुसाहट मुश्किल से सुनाई देने वाली है (एक सूक्ष्म प्रभाव), तो आपको यह सुनिश्चित करने के लिए कि आपने वास्तव में सुना है और केवल कल्पना नहीं की है, एक पूरे स्टेडियम के लोगों की आवश्यकता हो सकती है।
शोध पत्र तीन अलग-अलग "परिदृश्यों" या नियमों का अन्वेषण करता है कि कैसे AI दुनिया को प्रभावित कर रहा है:
- सरल नियम (The Simple Rule): भविष्यवाणी सीधे परिणाम को बदल देती है, जैसे एक जादुई स्विच।
- मॉडल नियम (The Model Rule): भविष्यवाणी व्यक्ति के विशिष्ट विवरणों (जैसे उनकी आयु या स्थान) के आधार पर परिणाम को बदल देती है।
- गलती का नियम (The Mistake Rule): भविष्यवाणी केवल तभी परिणाम को बदलती है जब AI गलती करता है (जैसे एक स्वस्थ व्यक्ति को यह बताना कि वह बीमार है)।
इनमें से प्रत्येक के लिए, लेखकों ने यह गणना करने के लिए गणितीय सूत्र निकाले कि प्रयोगों (interventions) के लिए न्यूनतम कितने "सिक्के उछालने" की आवश्यकता है। उन्होंने पाया कि यदि प्रभाव बहुत छोटा है, तो आपको जितने लोगों की आवश्यकता होगी, वह संख्या अनंत की ओर बढ़ती जाती है। यह वह स्थिति पैदा करता है जिसे वे रीजन्स ऑफ इंडिस्टिंग्विशेबिलिटी (Regions of Indistinguishability) कहते हैं। ये ऐसी सेटिंग्स हैं जहाँ प्रभाव इतना सूक्ष्म है, या परीक्षण की लागत इतनी अधिक है, कि यह पता लगाना व्यावहारिक रूप से असंभव है कि AI परफॉर्म कर रहा है या नहीं। यह तूफान में पिन गिरने की आवाज सुनने की कोशिश करने जैसा है; आप कितने भी लोगों से पूछ लें, आप निश्चित नहीं हो सकते।
वास्तविक दुनिया का परीक्षण: फैशन स्टोर
यह देखने के लिए कि क्या उनका सिद्धांत कायम रहता है, लेखकों ने ZOZOTOWN नामक एक फैशन वेबसाइट के वास्तविक डेटासेट पर OPAB का परीक्षण किया। इस डेटासेट ने ट्रैक किया कि उपयोगकर्ताओं को कौन सी कपड़े की वस्तुएं दिखाई गईं और उन्होंने उन पर क्लिक किया या नहीं। महत्वपूर्ण रूप से, कुछ उपयोगकर्ताओं के लिए, वस्तु की स्थिति (बाएं, केंद्र या दाएं) बेतरतीब ढंग से चुनी गई थी, ठीक हमारे कैफेटेरिया कहानी के सिक्के उछालने की तरह।
उन्होंने डेटा को पुरुषों और महिलाओं में विभाजित किया। जब उन्होंने पुरुषों के डेटा पर OPAB लागू किया, तो डिटेक्टर बज उठा: वस्तु की स्थिति ने लोगों के क्लिक करने के तरीके को बदल दिया (आउटकम परफॉर्मेटिविटी)। लेकिन जब उन्होंने महिलाओं के डेटा का परीक्षण किया, तो डिटेक्टर शांत रहा। यह सुझाव देता है कि महिलाओं के लिए वस्तुओं का क्रम मायने नहीं रखता था, लेकिन पुरुषों के लिए, यह मायने रखता था। यह साबित करता है कि OPAB वास्तविक दुनिया में इन छिपे हुए प्रभावों को पकड़ सकता है।
सीमाएं और भविष्य
शोध पत्र सावधानीपूर्वक यह स्पष्ट करता है कि यह सब कुछ हल करने वाला कोई जादुई समाधान नहीं है। यह विधि तब सबसे अच्छा काम करती है जब आपके पास पर्याप्त डेटा हो। यदि प्रभाव बहुत छोटा है, या यदि डेटा बहुत असंतुलित है (जैसे एक आइटम पर बहुत अधिक क्लिक होना बनाम दूसरे पर), तो डिटेक्टर इसे मिस कर सकता है। लेखक यह भी नोट करते हैं कि यह एक ऑफलाइन (offline) उपकरण है, जिसका अर्थ है कि इसका उपयोग सर्वोत्तम रूप से एक नया AI सिस्टम लॉन्च करने से पहले, परीक्षण चरण के दौरान किया जाना चाहिए, न कि इसे चलाने के बाद ठीक करने के लिए।
उन्होंने अपनी विधि की तुलना एक पुराने, ऑनलाइन तरीके से की जो AI के चलने का इंतजार करता है और फिर देखता है कि क्या परिणाम बदले हैं। उन्होंने पाया कि उनका "सिक्का उछालने" वाला तरीका (OPAB) बहुत अधिक कुशल और विश्वसनीय था, जिसने बहुत कम डेटा पॉइंट्स के साथ समस्या को पकड़ा।
अंत में, यह शोध पत्र हमें पर्दे के पीछे झांकने का एक नया तरीका देता है। यह हमें बताता है कि हालांकि हम हमेशा AI के हर सूक्ष्म प्रभाव को नहीं पकड़ सकते, लेकिन हमारे पास एक गणितीय मानचित्र है जो हमें ठीक से बताता है कि खतरे के क्षेत्र कहाँ हैं और सुरक्षित रहने के लिए हमें कितने डेटा की आवश्यकता है। यह सुनिश्चित करने की दिशा में एक महत्वपूर्ण कदम है कि हमारे AI उपकरण हमें मदद करने के बजाय अनजाने में हमें उन्हीं समस्याओं को बनाने के लिए मजबूर न करें जिन्हें वे हल करने के लिए बनाए गए थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।