dashi: A Python library for Dataset Shift Characterization to Support Trustworthy AI Development and Deployment
यह शोध पत्र **dashi** को प्रस्तुत करता है, जो एक ओपन-सोर्स पायथन लाइब्रेरी है जो विश्वसनीय एआई (AI) में सुलभ डेटासेट शिफ्ट विश्लेषण की महत्वपूर्ण आवश्यकता को संबोधित करती है, और टेम्पोरल (temporal) एवं मल्टी-सोर्स डोमेन में वितरण परिवर्तनों को चित्रित करने के लिए अनसुपरवाइज्ड (unsupervised) और सुपरवाइज्ड (supervised) दोनों विधियों को प्रदान करती है, जिससे स्वास्थ्य सेवा अनुप्रयोगों में मशीन लर्निंग पाइपलाइनों की मजबूती और सुरक्षा को बढ़ाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जिसने वैलेंसिया में अपने किचन में एक प्रसिद्ध सूप रेसिपी को सिद्ध किया है। आप जानते हैं कि सामग्री का स्वाद कैसा होता है, उन्हें कितनी देर तक पकाना है, और अंतिम व्यंजन कैसा दिखना चाहिए। आप इतने आश्वस्त हैं कि आप रेस्टोरेंट्स की एक श्रृंखला खोलने का निर्णय लेते हैं, और अपनी रेसिपी को मैक्सिको, स्पेन के अन्य हिस्सों और यहाँ तक कि अलग-अलग मौसमों में भेजते हैं।
समस्या: "मौन" आपदा
यह पेपर तर्क देता है कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, विशेष रूप से स्वास्थ्य सेवा (healthcare) में, हम अक्सर वही गलती करते हैं। हम एक कंप्यूटर मॉडल (हमारा "शेफ") को पुराने डेटा (हमारी "पुरानी रसोई") पर प्रशिक्षित करते हैं और मान लेते हैं कि यह हमेशा पूरी तरह से काम करेगा। लेकिन वास्तविक दुनिया अव्यवस्थित है।
- सामग्री बदल जाती है: हो सकता है कि अस्पताल एक नए प्रकार का थर्मामीटर इस्तेमाल करने लगे, या जनसंख्या वृद्ध हो जाए, या कोई महामारी लोगों द्वारा लक्षणों को वर्णित करने के तरीके को बदल दे।
- रेसिपी टूट जाती है: कंप्यूटर को पता नहीं चलता कि ये चीजें बदल गई हैं। वह सूप को उसी तरह पकाता रहता है, लेकिन अब परिणाम का स्वाद बहुत खराब हो जाता है।
- मौन विफलता (The Silent Failure): सबसे बुरा हिस्सा यह है कि कंप्यूटर चिल्लाकर "बचाओ!" या "मैं गलत हूँ!" नहीं कहता। वह बस चुपचाप एक खराब भोजन परोस देता है। स्वास्थ्य सेवा में, इसका अर्थ है कि एक डॉक्टर जीवन-मरण के निर्णय लेने के लिए एक टूटे हुए AI पर भरोसा कर सकता है, बिना यह जाने कि AI अपना रास्ता भटक चुका है।
इस घटना को डेटासेट शिफ्ट (Dataset Shift) कहा जाता है। यह तब होता है जब वह डेटा जिससे AI ने सीखा था, उस डेटा से अलग होता है जो वह वास्तविक जीवन में देख रहा है।
समाधान: "dashi" लाइब्रेरी
लेखकों ने dashi नामक एक मुफ्त टूल बनाया है (जिसका अर्थ है Dataset Shift Characterization)। dashi को AI डेटा के लिए एक हाई-टेक "स्वाद-परीक्षक" (taste-tester) और "मानचित्र-निर्माता" (map-maker) के रूप में समझें। यह शेफ (डेटा वैज्ञानिकों) को यह देखने में मदद करता है कि उनके द्वारा परोसे जाने से पहले उनकी सामग्री वास्तव में कैसे और क्यों बदली है।
dashi मुख्य रूप से दो तरीकों से काम करता है:
"मानचित्र निर्माता" (Unsupervised Approach):
- कल्पना करें कि आपके पास आपकी सभी सामग्रियों का एक मानचित्र है। dashi एक मानचित्र बनाता है जो दिखाता है कि समय के साथ या विभिन्न अस्पतालों में आपके डेटा का "आकार" कैसे बदलता है।
- यह इन्फॉर्मेशन ज्योमेट्रिक टेम्पोरल (Information Geometric Temporal - IGT) प्लॉट्स का उपयोग करता है। इसे डेटा के लिए एक GPS ट्रैकर समझें। यदि आपका डेटा हाइकर्स (पदयात्रियों) का एक समूह है, तो dashi एक रेखा खींचता है जो दिखाती है कि उन्होंने कहाँ यात्रा की। यदि समूह अचानक दो अलग-अलग दिशाओं में बंट जाता है, तो dashi मानचित्र पर एक तीखा मोड़ खींचता है और कहता है, "हे, यहाँ कुछ बदला है!"
- इसमें एक मल्टी-सोर्स वेरिएबिलिटी (Multi-Source Variability - MSV) टूल भी है। यदि आप 20 अलग-अलग शहरों में रेस्टोरेंट चला रहे हैं, तो यह टूल आपको बताएगा कि किन शहरों में ऐसी सामग्रियां हैं जो बाकी अन्य से पूरी तरह अलग हैं। यह इंगित कर सकता है कि, "शहर X की रसोई बाकी श्रृंखला की तुलना में पूरी तरह से अलग मसालों का उपयोग कर रही है।"
"स्वाद-परीक्षक" (Supervised Approach):
- यह हिस्सा वास्तव में AI का परीक्षण करता है। यह "पुराने डेटा" पर प्रशिक्षित मॉडल को लेता है और उसे "नए डेटा" के साथ फीड करता है ताकि यह देखा जा सके कि यह कैसा प्रदर्शन करता है।
- यह एक स्कोरकार्ड (हीटमैप) बनाता है जो ठीक से दिखाता है कि मॉडल कहाँ विफल होना शुरू होता है। उदाहरण के लिए, यह दिखा सकता है: "आपका मॉडल 2021 के रोगियों के निदान में बहुत अच्छा है, लेकिन यदि आप इसे 2024 का डेटा देते हैं, तो इसकी सटीकता 20% गिर जाती है।"
पेपर से वास्तविक दुनिया के उदाहरण
लेखकों ने यह साबित करने के लिए कि dashi काम करता है, तीन वास्तविक परिदृश्यों पर इसका परीक्षण किया:
- "भ्रमित" मधुमेह (Diabetes) का मामला: उन्होंने एक अस्पताल का अनुकरण किया जहाँ दो वर्षों तक, कर्मचारियों ने रोगी रिकॉर्ड को लेबल करने के तरीके में गलतियाँ कीं (जैसे गलत ब्लड शुगर लेवल लिख देना)। AI भ्रमित हो गया। dashi के "मानचित्र निर्माता" ने डेटा मैप में एक अजीब सी हलचल देखी और त्रुटि को तुरंत पकड़ लिया, यह दिखाते हुए कि "पॉजिटिव" और "नेगेटिव" रोगी समूह आपस में मिल रहे थे। जैसे ही अस्पताल ने अपनी लेबलिंग ठीक की, मानचित्र वापस सामान्य हो गया।
- "अलग" COVID-19 का मामला: उन्होंने मैक्सिको के विभिन्न प्रकार के अस्पतालों के COVID डेटा को देखा। dashi के "मानचित्र निर्माता" ने दिखाया कि कुछ अस्पताल दूसरों की तुलना में इतने अलग थे (जैसे कि अलग-अलग टेस्टिंग प्रोटोकॉल का उपयोग करना) कि एक पर प्रशिक्षित AI दूसरे पर बुरी तरह विफल हो जाएगा। इसने पहचानने में मदद की कि कौन से अस्पताल "आउटलेयर" (outliers) थे।
- "आपातकालीन कॉल" का मामला: उन्होंने लाखों आपातकालीन फोन कॉल्स का विश्लेषण किया। 2014 में एक नया कंप्यूटर सिस्टम स्थापित होने के बाद लोगों द्वारा आपात स्थिति का वर्णन करने के लिए उपयोग किए जाने वाले टेक्स्ट में अचानक बदलाव आया। dashi ने इस अचानक आए बदलाव को तुरंत पहचान लिया। इसने यह भी देखा कि 2020 के लॉकडाउन के दौरान, कॉल्स के प्रकार बदल गए (कम कार दुर्घटनाएं, अधिक श्वसन संबंधी समस्याएं), और AI का प्रदर्शन तदनुसार बदल गया।
यह क्यों महत्वपूर्ण है
पेपर यह निष्कर्ष निकालता है कि हम केवल एक AI बना नहीं सकते और उसे भूल नहीं सकते। हमें इसे देखते रहना होगा। dashi वह टूल है जो हमें ऐसा करने की अनुमति देता है। यह जटिल गणित को आसान-से-पढ़ने योग्य मानचित्रों और स्कोरकार्ड में बदल देता है।
एक मॉडल के चुपचाप विफल होने और किसी मरीज को नुकसान पहुँचाने का इंतजार करने के बजाय, dashi एक स्मोक अलार्म (धुएं का अलार्म) की तरह काम करता है। यह आपको बताता है, "हे, डेटा बदल गया है! AI अब विश्वसनीय नहीं है!" यह डॉक्टरों और अस्पतालों को मॉडल को ठीक करने, उसे फिर से प्रशिक्षित करने, या नुकसान होने से पहले उसका उपयोग बंद करने की अनुमति देता है। यह "आशा है कि AI काम करेगा" से "हम जानते हैं कि AI काम करता है" की ओर बढ़ने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।