Demographic Injection in Medical Language Models under Diversity, Equity, and Inclusion Prompts

आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते क्षेत्र में, कंप्यूटर प्रोग्रामों की एक नई पीढ़ी ने मनुष्यों की तरह पढ़ना और लिखना सीख लिया है, जो साहित्य से लेकर चिकित्सा तक हर चीज़ पर सलाह दे रहे हैं। जैसे-जैसे ये उपकरण स्वास्थ्य सेवा में प्रवेश कर रहे हैं, विशेषज्ञों ने डेवलपर्स से उन्हें एक विशिष्ट प्रकार की संवेदनशीलता के साथ प्रोग्राम करने का आग्रह किया है: विविधता, समानता और समावेश के प्रति जागरूकता। लक्ष्य यह सुनिश्चित करना है कि जब एक डॉक्टर मदद के लिए कंप्यूटर से पूछे, तो मशीन इस बात पर विचार करे कि नस्ल, आय या सांस्कृतिक पृष्ठभूमि जैसे कारक स्वास्थ्य परिणामों को कैसे प्रभावित कर सकते हैं। यह दृष्टिकोण इस धारणा पर आधारित है कि इन सामाजिक वास्तविकताओं के बारे में सोचने के लिए कंप्यूटर को स्पष्ट रूप से कहने से, यह अधिक निष्पक्ष और सटीक हो जाएगा। हालाँकि, एक कंप्यूटर के निर्देशों और उसके आउटपुट के बीच का संबंध जटिल है, और नेक इरादे वाले प्रॉम्प्ट कभी-कभी अप्रत्याशित व्यवहार को जन्म दे सकते हैं जो उसी जानकारी को विकृत कर देते हैं जिसे वे स्पष्ट करने के लिए बनाए गए थे।

एरिजोना स्टेट यूनिवर्सिटी के शोधकर्ताओं ने इस बात की जांच की कि क्या होता है जब वे चिकित्सा संबंधी प्रश्नों पर इन समानता-केंद्रित निर्देशों को लागू करते हैं। उन्होंने चालीस-सात विभिन्न आर्टिफिशियल इंटेलिजेंस मॉडल का परीक्षण किया, जिसमें व्यापक रूप से उपयोग किए जाने वाले वाणिज्यिक सिस्टम से लेकर विशेष ओपन-सोर्स प्रोग्राम तक शामिल थे, और इसके लिए चिकित्सा बहुविकल्पीय प्रश्नों के एक विशाल संग्रह का उपयोग किया। अपने प्रयोग में, उन्होंने मानक चिकित्सा परिदृश्यों को लिया—जिनमें विशिष्ट लक्षणों वाले रोगियों का विवरण था लेकिन उनकी पृष्ठभूमि का कोई उल्लेख नहीं था—और मॉडलों को उन्हें हल करने के लिए कहा। उन्होंने चार अलग-अलग स्थितियों के तहत मॉडलों के उत्तरों की तुलना की: बिना किसी अतिरिक्त निर्देश के, एक निरर्थक निर्देश के साथ, एक तटस्थ चिकित्सा निर्देश के साथ, और समानता और विविधता पर विचार करने के लिए निर्देशित एक एकल वाक्य के साथ।

परिणामों ने एक चौंकाने वाले और सुसंगत पैटर्न का खुलासा किया। जब मॉडलों को समानता-केंद्रित निर्देश प्राप्त हुआ, तो वे अक्सर रोगियों के बारे में ऐसे विवरण गढ़ने लगे जो मूल विवरण में कभी थे ही नहीं। शोधकर्ता इस घटना को "डेमोग्राफिक इंजेक्शन" (जनसांख्यिकीय इंजेक्शन) कहते हैं। नियंत्रण समूहों में, जहाँ कोई विशेष निर्देश नहीं दिया गया था, मॉडलों ने रोगी की नस्ल या सामाजिक स्थिति जैसे अनकहे जनसांख्यिकीय विवरण तब जोड़े जब मामले एक प्रतिशत से भी कम था। लेकिन जब समानता वाला प्रॉम्प्ट जोड़ा गया, तो वह संख्या प्रत्येक परीक्षण किए गए मॉडल में बढ़कर तैंतीस प्रतिशत हो गई। इसका अर्थ यह है कि लगभग तीन में से एक बार जब कंप्यूटर से समानता पर विचार करने के लिए कहा गया, तो उसने चुपचाप एक ऐसे रोगी को एक विशिष्ट नस्ल, आयु या आर्थिक स्थिति सौंपने का निर्णय लिया जिसकी ऐसी कोई पहचान नहीं थी।

ज्यादातर समय, यह आविष्कार हानिरहित था। मॉडल अक्सर एक सामान्य कथन जोड़ते थे कि कैसे एक निश्चित बीमारी वास्तविक दुनिया में लोगों के एक विशिष्ट समूह को प्रभावित करती है, बिना उनकी अंतिम चिकित्सा सिफारिश को बदले। हालाँकि, इन प्रतिक्रियाओं के एक छोटे लेकिन महत्वपूर्ण हिस्से ने आगे बढ़कर काम किया। लगभग ढाई प्रतिशत मामलों में, मॉडल ने गढ़े हुए जनसांख्यिकीय विवरण को कहानी के विशिष्ट रोगी से सीधे जोड़ दिया। रोगी की पहचान में इस बदलाव के कारण मॉडल ने अपनी चिकित्सा सलाह बदल दी, और लगभग हमेशा, नई सलाह गलत थी। उदाहरण के लिए, बिना दर्द वाली गर्दन की सूजन और सामान्य रक्त मार्कर वाली महिला के मामले में, एक मॉडल सही ढंग से स्थिति को थायराइड की सूजन के एक विशिष्ट प्रकार के रूप में पहचान सकता है। लेकिन जब समानता पर विचार करने के लिए प्रेरित किया गया, तो वही मॉडल अचानक यह निर्णय ले सकता था कि रोगी एक अश्वेत या हिस्पैनिक महिला थी, और उस गढ़ी हुई पहचान के आधार पर, अपनी निदान (डायग्नोसिस) को एक अलग, गलत बीमारी में बदल सकता था।

अध्ययन में पाया गया कि निर्देश को जिस तरह से लिखा गया था, उससे बहुत फर्क पड़ता था। अधिक विस्तृत प्रॉम्प्ट जिन्होंने मॉडल को स्वास्थ्य के सामाजिक निर्धारकों या विशिष्ट जनसांख्यिकीय समूहों पर विचार करने के लिए कहा, उन्होंने मॉडलों को रोगी के विवरण गढ़ने के लिए और भी अधिक प्रेरित किया, जिससे आविष्कार की दर बढ़कर पचास-छह प्रतिशत तक पहुँच गई। शोधकर्ताओं ने निर्धारित किया कि यह व्यवहार समानता निर्देश की सामग्री से प्रेरित था, न कि केवल इस तथ्य से कि मॉडल अधिक टेक्स्ट पढ़ रहा था। उन्होंने इस विचार को खारिज कर दिया कि मॉडल केवल अतिरिक्त शब्दों से विचलित हो रहे थे, क्योंकि समानता से असंबंधित निर्देश भी उतने ही लंबे थे लेकिन उन्होंने ऐसा प्रभाव नहीं डाला। इसके बजाय, ऐसा प्रतीत होता है कि मॉडलों ने अपने प्रशिक्षण के दौरान एक मजबूत जुड़ाव सीखा था: जब वे समानता से संबंधित शब्द देखते हैं, तो वे जनसांख्यिकीय विवरण देखने की उम्मीद करते हैं और उन्हें प्रदान करने के लिए बाध्य महसूस करते हैं, भले ही उपयोगकर्ता ने उनके लिए नहीं पूछा हो।

यह खोज इन प्रणालियों द्वारा निर्देशों को संसाधित करने के एक सूक्ष्म लेकिन महत्वपूर्ण दोष को उजागर करती है। कंप्यूटर मानवीय अर्थों में दुर्भावना या पूर्वाग्रह के साथ कार्य नहीं कर रहा है; बल्कि, यह एक ऐसे पैटर्न का पालन कर रहा है जिसे इसने मददगार होने के रूप में सीखा है। समानता पर विचार करने के लिए कहे जाने पर, यह इसे छूटी हुई जानकारी को भरने के आदेश के रूप में व्याख्या करता है, यह मानते हुए कि एक पूर्ण चिकित्सा चित्र के लिए एक जनसांख्यिकीय लेबल की आवश्यकता होती है। ऐसा करते हुए, यह रोगी की पहचान को फिर से लिख देता है, एक सामान्य मामले को एक विशिष्ट मामले में बदल देता जो कभी अस्तित्व में ही नहीं था। शोधकर्ता इस बात पर जोर देते हैं कि हालांकि मॉडलों की समग्र सटीकता में केवल मामूली गिरावट आई, लेकिन त्रुटियां उन्हीं मामलों में केंद्रित थीं जहाँ मॉडल सबसे अधिक मददगार होने की कोशिश कर रहे थे। अध्ययन निष्कर्ष निकालता है कि कोई भी निर्देश जो मॉडल को तर्क करने के लिए प्रेरित करता है, वह अनचाहे विवरण जोड़ सकता है, और चिकित्सा की उच्च-जोखम वाली दुनिया में, रोगी के विवरण में एक छोटा सा बदलाव भी गलत निदान की ओर ले जा सकता है।