First, Do No Harm (With LLMs): Mitigating Racial Bias via Agentic Workflows
यह अध्ययन यूरोपीय संघ एआई अधिनियम (EU AI Act) ढांचे के तहत नैदानिक कार्यों के लिए पांच बड़े भाषा मॉडलों में नस्लीय पूर्वाग्रह का मूल्यांकन करता है और प्रदर्शित करता है कि सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल (DeepSeek V3) को एक रिट्रीवल-आधारित एजेंटिक वर्कफ़्लो में एम्बेड करना विभेदक निदान (differential diagnosis) में स्पष्ट पूर्वाग्रह को प्रभावी ढंग से कम कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप मरीजों का निदान करने में मदद करने के लिए बहुत बुद्धिमान, बहुत तेज़ डिजिटल डॉक्टरों की एक टीम को काम पर रख रहे हैं। आप चाहते हैं कि वे निष्पक्ष, सटीक और पूर्वाग्रह मुक्त हों। लेकिन एक समस्या है: इन डिजिटल डॉक्टरों को वास्तविक दुनिया के विशाल डेटा पर प्रशिक्षित किया गया था, और दुर्भाग्य से, वास्तविक दुनिया में स्वास्थ्य सेवा में अन्याय और नस्लीय असमानता का इतिहास रहा है।
यह शोध पत्र पाँच सबसे लोकप्रिय "डिजिटल डॉक्टरों" (लार्ज लैंग्वेज मॉडल्स या LLMs) का परीक्षण करने के लिए एक गुणवत्ता नियंत्रण रिपोर्ट की तरह है, यह देखने के लिए कि क्या वे विभिन्न नस्लों के साथ मरीजों के साथ निष्पक्ष व्यवहार करते हैं। शोधकर्ताओं ने एक नया तरीका भी परखा: इन डिजिटल डॉक्टरों को एक "सुपर-टीम" वर्कफ़्लो के भीतर रखकर यह देखने के लिए कि क्या इससे उन्हें निष्पक्ष होने में मदद मिलती है।
यहाँ उनकी यात्रा का विवरण सरल रूप में दिया गया है:
1. समस्या: "टूटा हुआ दिशा-सूचक यंत्र" (The Broken Compass)
इन AI मॉडल्स को दिशा-सूचक यंत्रों (कम्पास) के रूप में सोचें जो सत्य की ओर संकेत करने की कोशिश कर रहे हैं। हालाँकि, क्योंकि उन्होंने त्रुटिपूर्ण पुराने मानचित्रों (प्रशिक्षण डेटा) से सीखा है, इसलिए कुछ कम्पास नस्ल के मामले में थोड़ा गलत दिशा में संकेत करते हैं।
- अंतर्निहित पूर्वाग्रह (Implicit Bias): यह एक डिजिटल डॉक्टर के अवचेतन रूप से यह सोचने जैसा है, "ओह, यह बीमारी समूह A में अधिक आम है," भले ही मरीज समूह B से हो। यह एक सूक्ष्म, छिपा हुआ अनुमान है।
- स्पष्ट पूर्वाग्रह (Explicit Bias): यह तब होता है जब डिजिटल डॉक्टर एक स्पष्ट गलती करता है, जैसे कि एक अश्वेत मरीज के लिए बीमारियों की अलग सूची सुझाना और एक श्वेत मरीज के लिए अलग, भले ही उनके लक्षण बिल्कुल समान हों।
2. परीक्षण: दो अलग-अलग ड्रिल
शोधकर्ताओं ने पाँचों AI मॉडल्स को यह देखने के लिए दो विशिष्ट ड्रिल्स (अभ्यास) के माध्यम से परखा कि उनका प्रदर्शन कैसा रहा।
ड्रिल A: "कहानी लेखक" (अंतर्निहित पूर्वाग्रह)
- कार्य: AI को 10 अलग-अलग बीमारियों (जैसे मधुमेह या HIV) के लिए काल्पनिक रोगी कहानियाँ लिखनी थीं।
- लक्ष्य: क्या AI ने ऐसी कहानियाँ लिखीं जहाँ रोगियों की नस्ल वास्तविक दुनिया के आंकड़ों से मेल खाती थी? (उदाहरण के लिए, यदि वास्तविक जीवन में ल्यूपस (Lupus) अश्वेत महिलाओं में अधिक आम है, तो क्या AI ने अश्वेत महिलाओं के ल्यूपस से ग्रस्त होने की अधिक कहानियाँ लिखीं?)
- परिणाम: सभी AI इस मामले में कुछ हद तक गलत रहे। उनकी कहानियाँ वास्तविकता से पूरी तरह मेल नहीं खाती थीं। हालाँकि, GPT-4.1 यहाँ "सबसे अच्छा छात्र" था, जिसका अंतर वास्तविकता और उसकी कहानियों के बीच सबसे कम था।
ड्रिल B: "निदान जासूस" (स्पष्ट पूर्वाग्रह)
- कार्य: AI को वास्तविक चिकित्सा मामले दिए गए लेकिन रोगी की नस्ल बदल दी गई थी (जैसे, समान लक्षण, लेकिन एक बार रोगी श्वेत है, अगली बार अश्वेत)। AI को शीर्ष 10 संभावित निदानों की सूची बनानी थी।
- लक्ष्य: क्या AI ने रोगी की नस्ल के आधार पर अपने संदिग्धों की सूची बदल दी?
- परिणाम: यहाँ DeepSeek V3 चमक उठा। यह सबसे सुसंगत जासूस था। इसने नस्ल की परवाह किए बिना एक ही उच्च-गुणवत्ता वाली निदान सूची दी, जो सबसे कम अन्याय प्रदर्शित करती है।
3. समाधान: "सुपर-टीम" वर्कफ़्लो
शोधकर्ताओं ने पूछा: क्या हम AI को एक सहायक देकर पूर्वाग्रह को ठीक कर सकते हैं?
उन्होंने एक एजेंटिक वर्कफ़्लो (Agentic Workflow) बनाया। कल्पना कीजिए कि AI केवल एक कमरे में बैठकर अनुमान लगाने वाला अकेला जीनियस नहीं है। इसके बजाय, यह एक टीम के साथ काम करने वाला जासूस है:
- सर्च एजेंट (The Search Agent): नवीनतम तथ्यों को खोजने के लिए लाइब्रेरी (इंटरनेट) की ओर दौड़ता है।
- RAG एजेंट (The RAG Agent): तथ्यों को सत्यापित करने के लिए एक विश्वसनीय, पूर्व-अनुमोदित चिकित्सा पाठ्यपुस्तक (विशेषज्ञ ज्ञान का डेटाबेस) की जाँच करता है।
- AI: अंतिम निर्णय लेने के लिए खोज परिणामों और पाठ्यपुस्तक की जानकारी को जोड़ता है।
परिणाम:
जब उन्होंने सर्वश्रेष्ठ जासूस (DeepSeek V3) को इस "सुपर-टीम" वर्कफ़्लो में डाला, तो वह और भी बेहतर हो गया।
- यह नस्ल के आधार पर अलग-अलग निदान देने की संभावना कम हो गई।
- यह अपने स्वयं के संभावित रूप से पक्षपाती अनुमानों के बजाय विश्वसनीय "पाठ्यपुस्तक" तथ्यों पर अधिक निर्भर रहा।
4. खेल के नियम (EU AI Act)
शोधकर्ताओं ने केवल AI का परीक्षण नहीं किया; उन्होंने EU AI Act को एक नियम पुस्तिका के रूप में उपयोग किया। इसे उच्च-जोखिम वाले उपकरणों के लिए एक सख्त सुरक्षा निरीक्षक के रूप में समझें। यह अधिनियम कहता है: "यदि आप चिकित्सा AI बना रहे हैं, तो आपको पूर्वाग्रह की जाँच करनी चाहिए, रिकॉर्ड रखना चाहिए और इसमें मानव की भागीदारी (human in the loop) होनी चाहिए।" इस अध्ययन ने इन नियमों का उपयोग अपने परीक्षण को संरचित करने के लिए किया, यह सुनिश्चित करते हुए कि वे केवल अनुमान नहीं लगा रहे थे, बल्कि एक कठोर सुरक्षा प्रोटोकॉल का पालन कर रहे थे।
मुख्य निष्कर्ष (The Big Takeaway)
- कोई भी AI अभी तक पूर्ण नहीं है: यहाँ तक कि सर्वश्रेष्ठ मॉडल (जैसे GPT-4.1 और DeepSeek V3) भी कुछ पूर्वाग्रह दिखाते हैं, विशेष रूप से रोगियों के बारे में कहानियाँ लिखते समय।
- विभिन्न मॉडल अलग-अलग कार्यों में उत्कृष्ट हैं: GPT-4.1 निष्पक्ष कहानियाँ लिखने में बेहतर था; DeepSeek V3 निष्पक्ष निदान करने में बेहतर था।
- टीमवर्क मदद करता है: AI को "सुपर-टीम" वर्कफ़्लो (खोज और विश्वसनीय डेटाबेस का उपयोग करके) में रखने से उसके निर्णय लेने की प्रक्रिया में पूर्वाग्रह को कम करने में मदद मिली।
संक्षेप में: हम केवल एक अकेले AI पर निष्पक्ष होने के लिए भरोसा नहीं कर सकते। हमें उन्हें कड़ाई से परखने, विशिष्ट कार्यों के लिए सर्वश्रेष्ठ का उपयोग करने और उन्हें विश्वसनीय तथ्यों (एक "सुपर-टीम" की तरह) तक पहुँच प्रदान करने की आवश्यकता है ताकि वे प्रत्येक रोगी के लिए, उसकी नस्ल की परवाह किए बिना, सबसे निष्पक्ष संभव निर्णय ले सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।