Prediction certification cannot replace explanation certification: a competence envelope for trustworthy AI under compound stress

आर्टिफिशियल इंटेलिजेंस विज्ञान कथाओं के क्षेत्र से निकलकर आधुनिक जीवन की शांत और महत्वपूर्ण मशीनरी बन गया है। हम इन प्रणालियों पर निर्भर हैं कि वे यह तय करें कि कौन से मरीज की स्थिति बिगड़ रही है, आपदा के बाद कौन सी इमारतें प्रवेश के लिए सुरक्षित हैं, और क्या कोई छवि वास्तविक है या एक बनावट। वर्षों से, इन मशीनों पर भरोसा करने का मानक तरीका यह रहा है कि हम देखते थे कि वे क्या कहती हैं। यदि कोई प्रणाली पर्याप्त बार सही भविष्यवाणी करती है, यदि उसका आत्मविश्वास उसकी सफलता दर से मेल खाता है, और यदि वह उत्तरों की सही सीमा को कवर करती है, तो हमने इसे सुरक्षित माना है। यह दृष्टिकोण मशीन के साथ एक 'ब्लैक बॉक्स' की तरह व्यवहार करता है: हमें यह जानने की आवश्यकता नहीं है कि वह कैसे सोचती है, केवल यह कि उसके उत्तर सांख्यिकीय रूप से विश्वसनीय हैं। लेकिन यह विधि मान लेती है कि जिस दुनिया में मशीन काम करती है, वह बिल्कुल वैसी ही होगी जैसी वह प्रशिक्षित की गई थी, और किसी ने इसके इनपुट के साथ छेड़छाड़ नहीं की है। उन उच्च-जोखिम वाले क्षणों में जहाँ जीवन और संसाधन दांव पर होते हैं, ये धारणाएं अक्सर एक साथ टूट जाती हैं। जब एक नैदानिक उपकरण (diagnostic tool) एक नए प्रकार के रोगी का सामना करता है, या एक क्षति-मूल्यांकन प्रणाली उस आपदा का सामना करती है जिसे उसने पहले कभी नहीं देखा, तो मशीन आत्मविश्वासपूर्ण और अच्छी तरह से स्पष्ट किए गए उत्तर दे सकती है जो पूरी तरह से गलत होते हैं। खतरा यह नहीं है कि मशीन विफल हो जाती है, बल्कि यह है कि वह चुपचाप विफल होती है, एक ऐसी गलती के लिए ठोस कारण पेश करती है जिस पर कोई संदेह नहीं करता जब तक कि बहुत देर न हो जाए।

एक नया अध्ययन इस लंबे समय से चली आ रही धारणा को चुनौती देता है कि मॉडल के उत्तरों की जाँच करना उसकी सुरक्षा सुनिश्चित करने के लिए पर्याप्त है। शोधकर्ताओं ने सिद्ध किया है कि एक मशीन परिणामों की भविष्यवाणी करने में पूर्ण हो सकती है, जबकि वह गुप्त रूप से सोचने के एक टूटे हुए या हेरफेर किए गए तरीके पर निर्भर हो सकती है। उन्होंने एक मॉडल के दो संस्करण बनाने में सफलता प्राप्त की: एक जो भरोसेमंद है और दूसरा जिसे समझौतापूर्ण (compromised) बनाया गया है। उनके उत्तरों पर परीक्षण किए जाने पर, ये दोनों मॉडल समान दिखते हैं। उनकी सटीकता, उनके आत्मविश्वास का स्तर और उनका सांख्यिकीय कवरेज समान है। फिर भी, समझौतापूर्ण मॉडल को गुप्त रूप से एक ऐसे छिपे हुए, बेकार सुराग पर निर्भर रहने के लिए बदला गया है जो केवल विशिष्ट, तनावपूर्ण स्थितियों में दिखाई देता है। क्योंकि मानक जाँच केवल अंतिम उत्तरों को देखती है, वे अंतर नहीं देख पातीं। समझौतापूर्ण मॉडल हर परीक्षण में पास हो जाता है, फिर भी वास्तविक दुनिया में वह छिपे हुए सुराग के प्रकट होते ही विनाशकारी रूप से विफल हो जाएगा। शोधकर्ताओं ने दिखाया कि इस प्रकार की विफलता को पकड़ने के लिए, आप केवल यह नहीं सुन सकते कि मशीन क्या कहती है; आपको यह देखना होगा कि वह कैसे निर्णय लेती है। आपको उसके आंतरिक तर्क, उन विशिष्ट विशेषताओं की जांच करनी चाहिए जिन पर वह निर्भर करती है, और उन कारणों की जांच करनी चाहिए जो वह अपने विकल्पों के लिए देती है।

इसे हल करने के लिए, टीम ने "कॉम्पिटेंस एनवेलप" (competence envelope) नामक एक नया ढांचा पेश किया। एक मानचित्र की कल्पना करें जो यह परिभाषित करता है कि मशीन का उपयोग कहाँ सुरक्षित है। यह मानचित्र केवल इस बात को देखकर नहीं बनाया जाता कि मशीन कितनी बार सही उत्तर देती है। इसके बजाय, इसे दो चीजों को एक साथ जाँचकर बनाया जाता है: भविष्यवाणी की विश्वसनीयता और स्पष्टीकरण की सत्यनिष्ठा (faithfulness)। शोधकर्ताओं ने पाया कि ये दोनों जाँच अलग-अलग तरीकों से विफल होती हैं। जब डेटा समय के साथ बदलता है, जैसे कि जब किसी समाचार फीड का लहजा बदल जाता है, तो भविष्यवाणी की जाँच पहले विफल होती है। जब डेटा कम हो जाता है या मॉडल को सीमित कंप्यूटिंग शक्ति पर चलने के लिए मजबूर किया जाता है, तो स्पष्टीकरण की जाँच पहले विफल होती है। एक मशीन सही उत्तर दे रही हो सकती है भले ही उसका आंतरिक तर्क अस्थिर हो गया हो, या वह ऐसे उत्तरों के लिए स्थिर कारण दे सकती है जो अब विश्वसनीय नहीं रहे। दोनों जाँचों के पास होने की आवश्यकता को अनिवार्य बनाकर, कॉम्पिटेंस एनवेलप एक सुरक्षित क्षेत्र बनाता है। यदि मशीन इस क्षेत्र से बाहर कदम रखती है, तो सिस्टम को पता चल जाता है कि रुकना है और कहना है, "मुझे नहीं पता," बजाय इसके कि वह एक आत्मविश्वासी लेकिन खतरनाक अनुमान पेश करे।

शोधकर्ताओं ने सरल टेक्स्ट क्लासिफायर से लेकर जटिल भाषा मॉडल तक, विभिन्न प्रकार के डेटा और मॉडलों पर इस विचार का परीक्षण किया। एक प्रयोग में, उन्होंने एक परिदृश्य का अनुकरण किया जहाँ एक हमलावर ने प्रशिक्षण डेटा में एक दुर्लभ, छिपे हुए वाक्यांश को रोपा था। मशीन ने सही उत्तर का अनुमान लगाने के लिए इस वाक्यांश को एक शॉर्टकट के रूप में उपयोग करना सीख लिया। जब मशीन का परीक्षण स्वच्छ डेटा पर किया गया, तो वह पूर्ण दिखी। उसकी सटीकता उच्च थी, और उसके स्पष्टीकरण तर्कसंगमित लग रहे थे। लेकिन जब शोधकर्ताओं ने वास्तविक दुनिया के उपयोग के दौरान छिपे हुए वाक्यांश को पेश किया, तो मशीन का व्यवहार पूरी तरह से बदल गया। वह ऐसी त्रुटियाँ करने लगी जो मानक जाँचों में अदृश्य थीं। हालाँकि, नई स्पष्टीकरण जाँच ने इसे तुरंत पकड़ लिया। इसने देखा कि मशीन का आंतरिक ध्यान उस छिपे हुए वाक्यांश की ओर स्थानांतरित हो गया था, जो इस बात का संकेत था कि निर्णय लेने की प्रक्रिया को हाईजैक कर लिया गया था। यह तब हुआ जब मशीन के उत्तर सांख्यिकिक रूप से सामान्य दिख रहे थे। अध्ययन ने पुष्टि की कि केवल भविष्यवाणी की जाँच पर निर्भर रहना यह देखने जैसा है कि एक पुल की जाँच केवल इस आधार पर की जा रही है कि कितने वाहन सुरक्षित रूप से पार करते हैं, जबकि इस बात को नजरअंदाज किया जा रहा है कि स्टील की बीम में जंग लगा है या नहीं।

इस दृष्टिकोण की शक्ति नुकसान पहुँचाने से पहले "साइलेंट फेलियर्स" (silent failures) का पता लगाने की इसकी क्षमता में निहित है। युद्ध क्षेत्रों और जलवायु चर्चाओं से संबंधित वास्तविक दुनिया के डेटा वाले एक परीक्षण में, नए सिस्टम ने उस समय की भविष्यवाणी की जब मॉडल गलतियाँ करना शुरू कर देगा, वास्तविक त्रुटियाँ प्रकट होने से महीनों पहले। इसने मशीन के तर्क की स्थिरता की निगरानी करके ऐसा किया। जब डेटा कम हो गया या वातावरण बदल गया, तो मशीन का आंतरिक तर्क डगमगाने लगा, भले ही उसके उत्तर कुछ समय के लिए सही बने रहे। सिस्टम ने इस प्रारंभिक चेतावनी का उपयोग मशीन को ऐसे निर्णय लेने से रोकने के लिए किया जिनका वह समर्थन नहीं कर सकती थी। मल्टीमॉडल सिस्टम में, जहाँ मशीन टेक्स्ट और इमेज दोनों का उपयोग करती है, इस पद्धति ने सिस्टम को एक विफल सेंसर को अनदेखा करने और उस पर भरोसा करने की अनुमति दी जो अभी भी काम कर रहा था। इसने मशीन को एक एकल खराब इनपुट द्वारा मूर्ख बनने से रोका, जो जटिल वातावरण में एक सामान्य विफलता मोड है।

इस कार्य के निहितार्थ अकादमिक सिद्धांत से कहीं आगे तक विस्तृत हैं। शोधकर्ताओं ने अपने ढांचे को यूक्रेन में क्षतिग्रस्त पुलों के मूल्यांकन से जुड़े एक वास्तविक दुनिया के परिदृश्य पर लागू किया। इस उच्च-जोखिम वाले वातावरण में, एक पुल सुरक्षित है या उसे मरम्मत की आवश्यकता है, इस बारे में प्रत्येक निर्णय भारी लागत वहन करता है। मानक विधियाँ एक एकल सेंसर रीडिंग के आधार पर पुल को क्षतिग्रस्त घोषित कर सकती हैं, भले ही वह रीडिंग किसी समझौतापूर्ण या अविश्वसनीय स्रोत से आई हो। नया कॉम्पिटेंस एनवेलप दृष्टिकोण एक द्वारपाल (gatekeeper) के रूप में कार्य करता है। यह न केवल क्षति के संकेत की जाँच करता है, बल्कि डेटा की विश्वसनीयता और निर्णय के पीछे के तर्क की स्थिरता की भी जाँच करता है। सत्रह पुलों के अपने विश्लेषण में, सिस्टम ने उन मामलों की सही पहचान की जहाँ डेटा निर्णय लेने के लिए बहुत अविश्वसनीय था, और गलत निर्णय का जोखिम उठाने के बजाय निर्णय को मानव इंजीनियरों को सौंप दिया। अनिश्चित परिस्थितियों में "मुझे नहीं पता" कहने की यह क्षमता एक वास्तव में लचीली प्रणाली की पहचान है।

अंततः, यह शोध स्थापित करता है कि आर्टिफिशियल इंटेलिजेंस में विश्वास केवल उत्तरों पर नहीं बनाया जा सकता। एक मशीन गलत कारणों से भी सही हो सकती है, और वे गलत कारण चुपचाप, विनाशकारी विफलताओं की ओर ले जा सकते हैं। अध्ययन सिद्ध करता है कि सुरक्षा सुनिश्चित करने के लिए, हमें मशीन द्वारा दिए गए कारणों को प्रमाणित करना होगा, न कि केवल उसके द्वारा उत्पन्न परिणामों को। मॉडल क्या भविष्यवाणी करता है इसकी जाँच को, मॉडल कैसे सोचता है इसकी जाँच के साथ जोड़कर, हम सक्षमता की एक स्पष्ट सीमा को परिभाषित कर सकते हैं। इस सीमा के भीतर, सिस्टम का उपयोग करना सुरक्षित है। इसके बाहर, सिस्टम को पीछे हटने का पता होता है। अंधे विश्वास से सत्यापित समझ की ओर यह बदलाव हमारे विश्व के सबसे महत्वपूर्ण कोनों में आर्टिफिशियल इंटेलिजेंस को तैनात करने के लिए एक मार्ग प्रदान करता है, यह सुनिश्चित करता है कि जब दांव सबसे ऊँचे हों, तो जिन मशीनों पर हम भरोसा करते हैं वे न केवल आत्मविश्वासी हों, बल्कि वास्तव में सक्षम भी हों।