Auditable machine learning for high-stakes decisions

आधुनिक दुनिया में, एल्गोरिदम ऐसे निर्णय लेते हैं जो जीवन को आकार देते हैं। वे तय करते हैं कि किसे ऋण मिलेगा, किसे जमानत दी जाएगी, किसे नौकरी के लिए चुना जाएगा और किन रोगियों को तत्काल चिकित्सा देखभाल मिलेगी। वर्षों से, इन निर्णयों को समझने का मानक तरीका यह रहा है कि कौन से कारक संभावना को ऊपर या नीचे धकेलते हैं। यदि किसी व्यक्ति को ऋण देने से मना कर दिया गया, तो स्पष्टीकरण यह हो सकता है कि उसकी आय बहुत कम थी या उसका कर्ज बहुत अधिक था। लेकिन यह दृष्टिकोण प्रत्येक कारक को एक स्लाइडिंग स्केल (फिसलते पैमाने) पर एक बिंदु के रूप में मानता है, जहाँ एक क्षेत्र में उच्च स्कोर दूसरे क्षेत्र के निम्न स्कोर की भरपाई कर सकता है। यह "पूर्ण क्षतिपूर्ति" (full compensation) तर्क विज्ञापनों की रैंकिंग के लिए तो अच्छा काम करता है, लेकिन जब कानून और नियम शामिल होते हैं, तो यह विफल हो जाता है। शासन की वास्तविक दुनिया में, कुछ स्थितियाँ पूर्ण द्वार (absolute gates) होती हैं। एक लापता दस्तावेज़, एक आपराधिक रिकॉर्ड, या एक विशिष्ट चिकित्सीय निषेध (medical contraindication) पूरे निर्णय को वीटो कर सकता है, चाहे अन्य साक्ष्य कितने भी मजबूत क्यों न हों। इसके विपरीत, तथ्यों का एक विशिष्ट संयोजन अनुमोदन की गारंटी देने के लिए पर्याप्त हो सकता है, चाहे अन्य कमजोरियाँ कितनी भी हों। अब तक, मशीन लर्निंग मॉडल इस 'अनिवार्य आवश्यकताओं' और 'पर्याप्त ट्रिगर्स' की भाषा बोलने में संघर्ष करते रहे हैं, जो अक्सर केवल एक परिणाम को प्रभावित करने वाली अस्पष्ट कहानियाँ पेश करते हैं बजाय इसके कि वे परिणाम को प्रमाणित कर सकें।

एक नया अध्ययन एक ऐसी प्रणाली पेश करता है जिसे विशेष रूप से इन उच्च-जोखिम वाले, ऑडिट योग्य निर्णयों को संभालने के लिए डिज़ाइन किया गया है। शोधकर्ताओं ने एक 'बाइपोलर लॉजिक नेटवर्क' (bipolar logic network) नामक मॉडल विकसित किया है, जो एक सरल लेकिन शक्तिशाली विचार पर काम करता है: कि कई वास्तविक दुनिया के निर्णय दो अलग-अलग प्रकार के नियमों के मिलकर काम करने से बने होते हैं। पहला प्रकार यह पहचानता है कि किसी परिणाम को ट्रिगर करने के लिए क्या पर्याप्त है, जैसे कि शर्तों का एक सेट जो, यदि पूरा हो जाए, तो सकारात्मक परिणाम की गारंटी देता है। दूसरा प्रकार यह पहचानता है कि क्या आवश्यक है, जो उन द्वारों के रूप में कार्य करता है जिन्हें किसी भी सकारात्मक परिणाम के लिए पार करना ही होगा। यदि एक आवश्यक शर्त गायब है, तो निर्णय को तुरंत वीटो कर दिया जाता है, ठीक वैसे ही जैसे एक बड़ी जेब (wallet) एक खोई हुई चाबी की जगह नहीं ले सकती। यह प्रणाली डेटा से इन दोनों प्रकार के नियमों को एक साथ सीखती है, और उन्हें एक एकल भविष्यवाणी में संयोजित करती है। अन्य मॉडलों के विपरीत जो घटना के बाद एक 'ब्लैक-बॉक्स' निर्णय को समझाने की कोशिश करते हैं, यह प्रणाली निर्णय और उसके स्पष्टीकरण को एक ही वस्तु के रूप में निर्मित करती है। भविष्यवाणी ही नियम है, और नियम ही भविष्यवाणी है।

शोधकर्ताओं ने क्रेडिट स्कोरिंग और आपराधिक न्याय से लेकर चिकित्सा निदान और कर्मचारी प्रतिधारण (employee retention) तक, तीस अलग-अलग वास्तविक दुनिया के डेटासेट्स पर इस दृष्टिकोण का परीक्षण किया। उन्होंने अपने नए सिस्टम की तुलना दस अन्य लोकप्रिय मशीन लर्निंग विधियों से की, जिनमें जटिल "ब्लैक-बॉक्स" मॉडल शामिल हैं जो उच्च सटीकता के लिए जाने जाते हैं लेकिन पारदर्शिता में कम हैं, और सरल "व्हाइट-बॉक्स" मॉडल जो पारदर्शी हैं लेकिन अक्सर कम सटीक होते हैं। परिणामों ने दिखाया कि नए सिस्टम ने उन विशिष्ट कार्यों में उच्चतम सटीकता वाले ब्लैक-बॉक्स मॉडल के साथ सांख्यिकीय रूप से बराबरी की सटीकता प्राप्त की जहाँ ऑडिट योग्य नियम महत्वपूर्ण होते हैं। इसने पारंपरिक डिसीजन ट्री और अन्य नियम-आधारित प्रणालियों से बेहतर प्रदर्शन किया, और हालांकि यह एक विशिष्ट पारदर्शी मॉडल जिसे 'एडिटिव मॉडल' कहा जाता है, उससे थोड़ा कम सटीक था, लेकिन इसने वह चीज़ प्रदान की जो वह मॉडल नहीं दे सका: एक स्पष्ट, बूलियन (Boolean) संरचना जो स्पष्ट रूप से बताती है कि क्या आवश्यक है और क्या पर्याप्त है। ऑडिट-निर्णय कार्यों के विशिष्ट डोमेन में, इस प्रणाली ने उद्योग के मानक XGBoost मॉडल के प्रदर्शन का मुकाबला किया, जबकि एक स्पष्ट, जांच योग्य तर्क पथ (logic path) भी प्रदान किया।

कच्ची सटीकता से परे, अध्ययन इस बात पर केंद्रित था कि क्या यह प्रणाली वास्तव में उन कठिन सवालों के जवाब दे सकती है जो नियामक और ऑडिटर पूछते हैं। क्या हम यह सिद्ध कर सकते हैं कि एक विशिष्ट स्थिति आवश्यक थी? क्या हम अनुमोदन का एक ऐसा मार्ग पा सकते हैं जो किसी नियम को बायपास करता हो? प्रणाली ने उच्च सटीकता के साथ आवश्यक स्थितियों को पुनः प्राप्त करने की क्षमता प्रदर्शित की, जिसने इस विशिष्ट उद्देश्य के लिए सामाजिक विज्ञान और महामारी विज्ञान में उपयोग की जाने वाली मौजूदा विधियों को पीछे छोड़ दिया। सिंथेटिक नीति परिदृश्यों में परीक्षणों के दौरान, सिस्टम ने उन मामलों को वीटो करने में बहुत कम गलतियाँ कीं जिन्हें अनुमति दी जानी चाहिए थी, जिससे गलत अस्वीकृतियाँ आधे प्रतिशत से भी कम रहीं। जब वास्तविक डेटा, जैसे कि कर्मचारी टर्नओवर के रिकॉर्ड पर लागू किया गया, तो सिस्टम ने "हाइजीन" कारकों (hygiene factors) की सफलतापूर्वक पहचान की—ऐसी स्थितियाँ जैसे आय या नौकरी की भूमिका, जो यदि गायब हों, तो वीटो के रूप में कार्य करती हैं—उन्हें "मोटिवेटर" कारकों से अलग किया जो एक सकारात्मक परिणाम को ट्रिगर कर सकते हैं। यह अंतर संगठनात्मक मनोविज्ञान के लंबे समय से चले आ रहे सिद्धांतों को दर्शाता है, जहाँ बुनियादी जरूरतों की अनुपस्थिति असंतोष का कारण बनती है, लेकिन उनकी उपस्थिति अनिवार्य रूप से संतुष्टि का कारण नहीं बनती है। मॉडल ने यह संरचना बिना बताए स्वयं सीखी।

शोधकर्ताओं ने यह सुनिश्चित करने के लिए कि सिस्टम केवल डेटा को याद नहीं कर रहा है या विरोधाभास पैदा नहीं कर रहा है, इसे कठोर जाँचों के अधीन किया। उन्होंने सत्यापित किया कि इसके द्वारा बनाए गए नियम एक-दूसरे का विरोध नहीं करते हैं और सिस्टम लगातार "हाँ" या "ना" का उत्तर दे सकता है कि क्या तथ्यों का एक विशिष्ट सेट निर्णय को ट्रिगर करने के लिए पर्याप्त था या क्या एक तथ्य की कमी इसे रोक देगी। जैविक डेटा से जुड़े एक परीक्षण में, जहाँ कारण-और-प्रभाव के वास्तविक संबंध ज्ञात थे, सिस्टम ने परीक्षण किए गए मामलों में से सत्तासी प्रतिशत मामलों में प्रभाव की दिशा को सही ढंग से पहचाना। यह सुझाव देता है कि मॉडल केवल पैटर्न नहीं खोज रहा है बल्कि इस बात को पकड़ रहा है कि इन प्रणालियों के काम करने का अंतर्निहित तर्क क्या है। अध्ययन ने सावधानीपूर्वक यह भी नोट किया कि सिस्टम कहाँ उतना अच्छा काम नहीं करता है। जब डेटा निरंतर संकेतों (continuous signals) से संबंधित होता है, जैसे कि ध्वनि या छवि को पहचानना, जहाँ एक कारक दूसरे की पूरी तरह से भरपाई कर सकता है, तो सिस्टम का प्रदर्शन उन कार्यों के लिए डिज़ाइन किए गए मॉडलों की तुलना में गिर जाता है। यह कोई दोष नहीं बल्कि इसके डिज़ाइन की एक विशेषता है; सिस्टम स्वीकार करता है कि दुनिया सख्त द्वारों और ट्रिगर्स पर काम नहीं करती है, और यह उन परिदृश्यों में खराब प्रदर्शन करता है, जो कि एक अनुमानित और ईमानदार परिणाम है।

इस कार्य का महत्व उच्च सटीकता और पूर्ण पारदर्शिता की आवश्यकता के बीच के अंतर को पाटने की इसकी क्षमता में निहित है। वित्त, न्याय और स्वास्थ्य सेवा जैसे क्षेत्रों में, एक निर्णय तब तक नहीं लिया जा सकता जब तक कि उसे ऑडिट न किया जा सके। वर्तमान उपकरण अक्सर एक उच्च सटीक मॉडल जो अपने तर्क को नहीं समझा सकता, और एक सरल मॉडल जो समझाने में आसान है लेकिन अक्सर गलतियाँ करता है, के बीच चयन करने के लिए मजबूर करते हैं। यह नया दृष्टिकोण एक मध्यम मार्ग प्रदान करता है जहाँ मॉडल उपयोगी होने के लिए पर्याप्त सटीक और प्रमाणित होने के लिए पर्याप्त संरचित है। यह न केवल यह पूछने का एक तरीका प्रदान करता है कि "इस व्यक्ति को क्यों अस्वीकार किया गया?" बल्कि यह भी कि "इस व्यक्ति को स्वीकृत करने के लिए वास्तव में क्या आवश्यक था, और क्या वह आवश्यकता पूरी हुई थी?" पर्याप्त ट्रिगर्स और आवश्यक द्वारों की दोहरी संरचना को सीखकर, यह प्रणाली एक ऐसी भाषा प्रदान करती है जो उन कानूनों और नीतियों के तर्क से मेल खाती है जिन्हें लागू करने के लिए इसे बनाया गया है। यह दावा नहीं करता कि यह हर संभव समस्या के लिए सबसे सटीक मॉडल है, लेकिन उच्च-जोखिम वाले निर्णयों के विशिष्ट, महत्वपूर्ण डोमेन के लिए, यह ऑडिट योग्य मशीन के अर्थ के लिए एक नया मानक प्रदान करता है।