Adversarial Fragility and Language Vulnerability in Clinical AI: A Systematic Audit of Diagnostic Collapse Under Imperceptible Perturbations and Cross-Lingual Drift in Low-Resource Healthcare Settings
यह अध्ययन नैदानिक एआई (AI) प्रणालियों का व्यवस्थित रूप से ऑडिट करता है, जिससे यह पता चलता है कि वे अदृश्य प्रतिकूल विचलनों (adversarial perturbations) और नाइजीरियाई पिडिन एवं योरूबा-प्रभावित अंग्रेजी जैसी कम-संसाधन वाली भाषाओं में क्रॉस-लिंगुअल बदलावों के तहत नैदानिक सटीकता में विनाशकारी गिरावट का सामना करती हैं, जिससे विविध, वास्तविक दुनिया के स्वास्थ्य देखभाल परिवेशों में उनकी तैनाती में महत्वपूर्ण सुरक्षा अंतराल उजागर होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट मेडिकल रोबोट डॉक्टर बनाया है। यह रोबोट एक्स-रे तस्वीरों को देखने और मरीजों के विवरण को सुनने के लिए प्रशिक्षित है ताकि वह बता सके कि किसी को कोविड-19 है, सामान्य निमोनिया है, या वह पूरी तरह से स्वस्थ है। लैब में, यह रोबोट एक जीनियस है, जो लगभग 90% बार सही निदान करता है।
हालाँकि, यह अध्ययन एक डरावना सवाल पूछता है: क्या होगा यदि हम रोबोट को सूक्ष्म, अदृश्य गड़बड़ियों (glitches) से धोखा दें या यदि मरीज सटीक किताबी अंग्रेजी के बजाय स्थानीय बोली में बात करे?
शोधकर्ताओं ने पाया कि वास्तविक दुनिया में—विशेष रूप से नाइजीरिया के क्लीनिकों में—यह "सुपर-स्मार्ट" रोबोट वास्तव में काफी नाजुक है। यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।
1. अदृश्य "गड़बड़ी" हमला (Adversarial Fragility)
उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड है जो एक विशिष्ट प्रकार के नकली आईडी कार्ड को पहचानने में उत्कृष्ट है। लेकिन, यदि कोई आईडी कार्ड पर धूल का एक छोटा सा, अदृश्य कण जोड़ देता है—जो इतना छोटा है कि मानवीय आँख उसे देख भी नहीं सकती—तो गार्ड अचानक सोचता है कि आईडी असली है जब वह नकली होती है, या इसके विपरीत।
पेपर में क्या पाया गया:
- सेटअप: शोधकर्ताओं ने रोबोट के एक्स-रे पढ़ने के कौशल का परीक्षण (DenseNet121 नामक मॉडल का उपयोग करके) 150 चेस्ट एक्स-रे पर किया।
- चाल (The Trick): उन्होंने छवियों में एक गणितीय "गड़बड़ी" जोड़ी। यह गड़बड़ी इतनी छोटी थी (पिक्सेल के रंग में केवल 2.1% का बदलाव) कि एक मानव डॉक्टर एक्स-रे देखते समय इसमें कोई अंतर नहीं देख पाता।
- परिणाम: जैसे ही रोबोट ने इस अदृश्य गड़बड़ी को देखा, उसकी बुद्धिमत्ता गिर गई। इसकी सटीकता 89% से गिरकर 62% हो गई।
- खतरा: रोबोट खतरनाक गलतियाँ करने लगा। उसने स्वस्थ लोगों को बीमार बताया (गलत अलार्म) और बीमार लोगों को ठीक बताया (निदान चूक जाना)।
- "बैंड-एड" की विफलता: शोधकर्ताओं ने छवियों को धुंधला (blurring) करके या पांच अलग-अलग रोबोटों से उत्तर पर वोट करवाकर इसे ठीक करने की कोशिश की। यह काम नहीं किया। वास्तव में, इमेज को धुंधला करने से रोबोट और भी बेवकूफ हो गया क्योंकि इसने उन सूक्ष्म विवरणों को मिटा दिया जिनकी रोबोट को आवश्यकता थी।
2. "भाषा की बाधा" की समस्या (Cross-Lingual Drift)
उपमा: कल्पना कीजिए कि एक अनुवादक है जो उत्तम, औपचारिक अंग्रेजी बोलता है। यदि आप उससे एक सख्त, औपचारिक तरीके से प्रश्न पूछते हैं, तो वह उसका सटीक अनुवाद करता है। लेकिन यदि आप उसी प्रश्न को स्थानीय स्लैंग, स्ट्रीट टॉक, या भाषाओं के मिश्रण (जैसे नाइजीरियाई पिडिन या योरूबा-प्रभावित अंग्रेजी) का उपयोग करके पूछते हैं, तो अनुवादक भ्रमित हो जाता है और अनुमान लगाने लगता है।
पेपर में क्या पाया गया:
- सेटअप: उन्होंने दो अलग-अलग "मस्तिष्क" (AI मॉडल: Llama3.1 और NatLAS) को 20 रोगी कहानियों का निदान करने के लिए दिया। उन्होंने कहानियाँ तीन तरीकों से सुनाईं:
- मानक अंग्रेजी (औपचारिक)।
- नाइजीरियाई पिडिन (स्थानीय स्ट्रीट टॉक)।
- योरूबा-प्रभावित अंग्रेजी (स्थानीय लहजे और अंग्रेजी का मिश्रण)।
- परिणाम:
- सामान्य रोबोट (Llama3.1): इसने औपचारिक अंग्रेजी में ठीक प्रदर्शन किया (80% सही), लेकिन जब मरीज ने पिडिन में बात की, तो यह गिरकर 65% रह गया।
- "स्थानीय" रोबोट (NatLAS): यह एक आश्चर्य था। यह रोबोट विशेष रूप से अफ्रीकी भाषाओं को समझने के लिए बनाया गया था। इसने औपचारिक अंग्रेजी में बहुत अच्छा किया (85% सही)। हालाँकि, जब मरीजों ने पिडिन में बात की, तो इसकी सटीकता गिरकर 55% रह गई।
- "विरोधाभास" (The Paradox): अफ्रीका के लिए बनाया गया रोबोट स्थानीय स्ट्रीट टॉक को समझने में सामान्य रोबोट की तुलना में वास्तव में अधिक खराब था।
- परिणाम: यदि कोई मरीज पिडिन बोलता था, तो स्थानीय रोबोट अंग्रेजी बोलने के बजाय पूरी तरह से अलग निदान देता था। हर 2 में से 1 पिडिन मामले में, रोबोट ने केवल उपयोग की गई भाषा के कारण अपना निर्णय बदल लिया।
3. यह वास्तविक क्लीनिकों के लिए क्यों महत्वपूर्ण है
पेपर का तर्क है कि ये रोबोट वर्तमान में "साफ" लैब (परफेक्ट अंग्रेजी, परफेक्ट इमेज) में परीक्षण किए जा रहे हैं, लेकिन उन्हें "अव्यवस्थित" वास्तविक दुनिया के क्लीनिकों (जहाँ लोग स्थानीय बोलियाँ बोलते हैं और डिजिटल इमेज में कंप्रेशन आर्टिफैक्ट्स हो सकते हैं) में काम करने के लिए भेजा जा रहा है।
- "विफलता लिफाफा" (Failure Envelope): शोधकर्ताओं ने पाया कि रोबोट उन स्थितियों में टूट जाते हैं जो वास्तविक जीवन में बहुत सामान्य हैं (जैसे छोटी इमेज ग्लिच या स्थानीय लहजे)।
- कोई सुरक्षा जाल नहीं: AI को सुरक्षित बनाने के सामान्य तरीके (जैसे इमेज को ब्लर करना या वोटिंग) इन विशिष्ट समस्याओं को ठीक नहीं करते हैं।
- कार्रवाई का आह्वान: लेखकों का कहना है कि हम इन मेडिकल रोबोटों पर नाइजीरिया जैसे स्थानों में तब तक भरोसा नहीं कर सकते जब तक कि हम:
- उन्हें इन "अदृश्य गड़बड़ियों" के खिलाफ टेस्ट करें और उनके परिणाम प्रकाशित करें।
- उन्हें वास्तविक स्थानीय भाषाओं (जैसे पिडिन) के साथ टेस्ट करें, न कि केवल औपचारिक अंग्रेजी के साथ।
- ऐसे नए रोबोट बनाएं जो वास्तविक दुनिया की इस अव्यवस्था को बिना टूटे संभालने के लिए पर्याप्त मजबूत हों।
संक्षेप में: यह अध्ययन दिखाता है कि हमारा वर्तमान मेडिकल AI एक रेस कार की तरह है जो एक चिकके ट्रैक पर तो पूरी तरह काम करती है, लेकिन जैसे ही वह किसी गड्ढे से टकराती है या किसी स्थानीय टैक्सी ड्राइवर द्वारा चलाई जाती है, तो बिखर जाती है। हमें इस कार को वास्तविक सड़कों पर चलाने से पहले इसे ठीक करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।