Same Facts, Different Updates: Inference Setup Shapes LLM Behavior in Medical Allocation
यह शोध पत्र प्रदर्शित करता है कि जब बड़े भाषा मॉडल (LLMs) को नए रोगी संबंधी विवरण प्रस्तुत किए जाते हैं, तो वे चिकित्सा संसाधन आवंटन निर्णयों में असंगत और संदर्भ-निर्भर बदलाव प्रदर्शित करते हैं, जो संवेदनशील निर्णय लेने की प्रक्रियाओं में LLMs को तैनात करने से पहले सावधानीपूर्वक संदर्भ इंजीनियरिंग और व्यवहार संबंधी अध्ययनों की महत्वपूर्ण आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) से नौकरी के आवेदनों को छाँटने से लेकर चिकित्सा संबंधी निर्णय लेने तक, कई कठिन विकल्प चुनने में मदद करने के लिए तेजी से कहा जा रहा है। ये प्रणालियाँ, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) के रूप में जाना जाता है, इसलिए शक्तिशाली हैं क्योंकि वे विशाल मात्रा में टेक्स्ट पढ़ सकती हैं और एक लंबी बातचीत कर सकती हैं, जिसमें वे आगे क्या कहना है उसे सूचित करने के लिए पहले कही गई बातों को याद रखती हैं। संदर्भ से सीखने की यह क्षमता उनकी सबसे बड़ी ताकत है, लेकिन यह एक सूक्ष्म भेद्यता भी पेश करती है: प्रश्न कैसे पूछा गया है, या सूचना किस क्रम में आती है, वह तथ्यों के समान ही उत्तर को बदल सकता है। जबकि शोधकर्ताओं ने लंबे समय से इस बात का अध्ययन किया है कि कैसे ये मॉडल अपने प्रशिक्षण डेटा के आधार पर कुछ समूहों के प्रति पक्षपाती हो सकते हैं, अब एक नई चिंता उभर कर आई है। यह केवल इस बारे में नहीं है कि मॉडल क्या जानता है, बल्कि इस बारे में है कि वह बातचीत के प्रवाह के प्रति कैसी प्रतिक्रिया देता है। यदि किसी कंप्यूटर प्रोग्राम से कोई निर्णय लेने के लिए कहा जाता है, और फिर थोड़ी सी अतिरिक्त जानकारी देने के बाद उसी निर्णय पर पुनर्विचार करने के लिए कहा जाता है, तो क्या वह अपना मन इसलिए बदलता है क्योंकि नए तथ्य महत्वपूर्ण हैं, या इसलिए क्योंकि दोबारा पूछे जाने की क्रिया ही यह संकेत देती है कि उसे बदलना चाहिए?
शोधकर्ताओं की एक टीम ने एक उच्च-जोखिम वाली स्थिति में इस विशिष्ट गतिशीलता का परीक्षण करने के लिए एक प्रयोग किया: चिकित्सा संसाधनों का आवंटन। उन्होंने एक नियंत्रित प्रयोग बनाया जहाँ एक कृत्रिम बुद्धिमत्ता को यह तय करने के लिए कहा गया कि किन दो रोगियों को पहले उपचार मिलना चाहिए। रोगियों का वर्णन स्पष्ट चिकित्सा तथ्यों के साथ किया गया था, जैसे कि उपचार के सफल होने की उनकी संभावना और स्वस्थ होने के बाद उन्हें कितने स्वस्थ वर्ष प्राप्त होंगे। पहले चरण में, मॉडल ने केवल इन चिकित्सा आंकड़ों के आधार पर अपना निर्णय लिया। दूसरे चरण में, शोधकर्ताओं ने ठीक वही प्रश्न फिर से पूछा, लेकिन इस बार उन्होंने रोगियों के अस्पताल के बाहर के जीवन के बारे में एक वाक्य की नई जानकारी जोड़ दी, जैसे कि उनमें से एक परिवार के लिए प्राथमिक देखभाल करने वाला (प्राइमरी केयरगिवर) है या कम आय वाले पृष्ठभूमि से आता है। महत्वपूर्ण रूप से, शोधकर्ताओं ने इस प्रयोग को दो अलग-अलग तरीकों से चलाया। एक संस्करण में, मॉडल ने दूसरे प्रश्न से पहले अपनी पिछली प्रतिक्रिया देखी, जिससे उसे एक निरंतर बातचीत के भीतर अपना निर्णय अपडेट करने की अनुमति मिली। दूसरे संस्करण में, मॉडल से दूसरे प्रश्न को एक नए, अलग कार्य के रूप में पूछा गया था, जिसमें उसके पहले उत्तर की कोई स्मृति नहीं थी।
परिणामों ने एक चौंकाने वाला और कुछ हद तक परेशान करने वाला पैटर्न प्रकट किया। जब मॉडल अपनी पिछली प्रतिक्रिया देख सकते थे, तो वे अक्सर सामाजिक रूप से अनुकूल पृष्ठभूमि वाले रोगी के पक्ष में अपना मन बदल लेते थे, भले ही उस रोगी के चिकित्सा रूप से सफल होने की संभावना कम थी। उदाहरण के लिए, यदि दूसरे रोगी को एक 'प्राइमरी केयरगिवर' के रूप में वर्णित किया गया था, तो मॉडल ने अक्सर अपनी प्रारंभिक सिफारिश देखने के बाद उस रोगी के पक्ष में अपनी संभावना (प्रोबेबिलिटी) को स्थानांतरित कर दिया। हालांकि, जब मॉडल को एक नए, स्वतंत्र सत्र में बिना अपना पहला उत्तर देखे उसी प्रश्न के साथ पूछा गया, तो उसने सामाजिक जानकारी को काफी हद तक अनदेखा कर दिया और चिकित्सा तथ्यों पर अडिग रहा। यह सुझाव देता है कि मॉडल अनिवार्य रूप से नए तथ्य के रूप में चिकित्सा कारक के प्रति प्रतिक्रिया नहीं दे रहे थे, बल्कि वे बातचीत की संरचना को ही एक संकेत के रूप में समझ रहे थे। दोबारा विचार करने के लिए कहे जाने की क्रिया, और उनके अपने पिछले उत्तर की उपस्थिति के साथ मिलकर, उन्हें यह अनुमान लगाने के लिए प्रेरित करती थी कि नया सामाजिक विवरण महत्वपूर्ण है, जिससे वे अपनी सिफारिश को एक छिपी हुई प्राथमिकता के अनुरूप समायोजित करने लगे।
यह व्यवहार परीक्षण किए गए सभी मॉडलों में एक समान नहीं था। कुछ सबसे उन्नत प्रणालियों ने सबसे मजबूत प्रवृत्ति दिखाई जब उनके पिछले उत्तर दृश्यमान थे, जबकि अन्य अधिक सुसंगत रहे। यह प्रभाव तब सबसे अधिक था जब दोनों रोगियों के बीच चिकित्सा अंतर बहुत कम था; जब एक रोगी स्पष्ट रूप से बहुत अधिक बीमार था या उसके जीवित रहने की संभावना बहुत बेहतर थी, तो मॉडल सामाजिक विवरणों से कम विचलित हुए। शोधकर्ताओं ने यह भी पाया कि नई जानकारी की शब्दावली मायने रखती थी। जब सामाजिक विवरणों को इस तरह से वर्णित किया गया जो नैतिक रूप से आवेशित (मोरली चार्ज्ड) लग रहा था, जैसे कि किसी पृष्ठभूमि को केवल "कम आय" के बजाय "वंचित" कहना, तो मॉडल अपने निर्णय बदलने के लिए और भी अधिक प्रवृत्त हुए। यह दर्शाता है कि मॉडल न केवल तथ्यों के प्रति, बल्कि सूचना के लहजे और फ्रेमिंग के प्रति भी संवेदनशील हैं।
यह अध्ययन यह दावा नहीं करता है कि ये मॉडल स्वाभाविक रूप से नस्लवादी या पक्षपाती हैं। इसके बजाय, यह एक अधिक जटिल मुद्दे को उजागर करता है: इन प्रानों का व्यवहार इस बात पर गहराई से निर्भर करता है कि उनका उपयोग किस संदर्भ में किया जा रहा है। एक मॉडल एक एकल, अलग प्रश्न के परीक्षण के दौरान पूरी तरह से निष्पक्ष दिखाई दे सकता है, लेकिन एक वास्तविक दुनिया के वर्कफ़्लो में व्यवहार काफी भिन्न हो सकता है जहाँ उसे नए नोट्स या अनुवर्ती प्रश्नों के आधार पर अपने निर्णयों को अपडेट करना होता है। शोधकर्ता तर्क देते हैं कि यह एक महत्वपूर्ण इंजीनियरिंग चुनौती है। यदि कोई अस्पताल उपचारों को निर्धारित करने के लिए एआई का उपयोग करता है, और उस एआई को दिन भर में नए रोगी नोट्स के साथ अपडेट किया जाता है, तो सिस्टम केवल इसलिए अपना सुझाव बदल सकता है क्योंकि वह बातचीत के प्रवाह के प्रति प्रतिक्रिया दे रहा है, न कि चिकित्सा साक्ष्य के आधार पर। अध्ययन निष्कर्ष निकालता है कि डेवलपर्स और संस्थानों को इन प्रणालियों का परीक्षण केवल स्थिर प्रश्नों पर नहीं, बल्कि उन गतिशील, बहु-चरणीय वातावरणों में भी करना चाहिए जहाँ वास्तव में उनका उपयोग किया जाएगा, और इस बात पर विशेष ध्यान देना चाहिए कि संदर्भ का संचय और बातचीत की संरचना कैसे चुपचाप परिणाम को मोड़ सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।