High-Stakes Decisions with Language Models: Insights from Emergency Triage

कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं जो एक धुंधले क्षुद्रग्रह क्षेत्र (asteroid field) से होकर गुजर रहे हैं। आपके जहाज का कंप्यूटर अविश्वसनीय रूप से बुद्धिमान है; वह एक धुंधले बिंदु को देखकर बता सकता है, "90% संभावना है कि वह बिंदु एक खतरनाक क्षुद्रग्रह है।" लेकिन कंप्यूटर को यह नहीं पता कि उस संख्या का क्या करना है। यदि आप टकरा जाते हैं, तो जहाज विस्फोट हो जाता है (एक आपात स्थिति को चूक जाना)। यदि आप एक हानिरहित बादल पर चेतावनी शॉट चलाते हैं, तो आप ईंधन बर्बाद करते हैं और चालक दल को परेशान करते हैं (एक अनावश्यक रेफरल)। कंप्यूटर को एक नियम की आवश्यकता है: "यदि खतरा 10% से ऊपर है, तो शॉट चलाएं!" या "केवल तभी चलाएं जब यह 90% से ऊपर हो!" इस नियम को यूटिलिटी फंक्शन (utility function) कहा जाता है। वास्तविक दुनिया में, डॉक्टर हर दिन ठीक इसी तरह की धुंधली स्थिति का सामना करते हैं। वे निर्णय लेने के लिए ट्राइएज (triage) का उपयोग करते हैं कि किसे तत्काल सहायता की आवश्यकता है और किसे प्रतीक्षा करनी चाहिए। लंबे समय से, वैज्ञानिक जानते हैं कि ऐसे उच्च-दांव वाले निर्णय लेना केवल संभावनाओं का सही अनुमान लगाने के बारे में नहीं है; यह इस बारे में है कि आप गलत प्रकार की गलती करने से कितना डरते हैं। यदि आप किसी संकट को चूकने से बहुत अधिक डरते हैं, तो आप सभी को अस्पताल भेज देंगे। यदि आप समय बर्बाद करने को लेकर बहुत चिंतित हैं, तो आप जीवन-मरण की स्थिति को मिस कर सकते हैं। बड़ा सवाल यह है कि जब हम सुपर-स्मार्ट कंप्यूटर दिमागों (जिन्हें लैंग्वेज मॉडल्स कहा जाता है) को कप्तान बनने के लिए कहते हैं, तो क्या वे अपने स्वयं के नियम बनाना जानते हैं, या वे केवल अनुमान लगाते हैं?

यह शोध पत्र इस प्रश्न की गहराई में जाता है कि क्या वे अपने नियम खुद सेट कर सकते हैं या वे केवल अनुमान लगाते हैं। शोधकर्ताओं ने चिकित्सा कहानियों (vignettes) के एक सेट को लिया जहाँ डॉक्टरों ने पहले ही तय कर दिया था कि किसे ईआर (ER) की आवश्यकता थी और किसे नहीं। उन्होंने कई अलग-अलग एआई (AI) मॉडल्स से इन कहानियों को पढ़ने के लिए कहा और पहला, यह अनुमान लगाने के लिए कि रोगी को आपातकालीन देखभाल की कितनी संभावना थी, और दूसरा, यह तय करने के लिए कि क्या उन्हें ईआर भेजना चाहिए। टीम ने कुछ आश्चर्यजनक पाया: एआई मॉडल संभावनाओं का अनुमान लगाने में वास्तव में बहुत अच्छे थे। वे उच्च सटीकता के साथ एक बीमार रोगी और एक स्वस्थ रोगी के बीच अंतर बता सकते थे। हालांकि, जब अंतिम निर्णय लेने की बात आई, तो मॉडल इस तरह व्यवहार कर रहे थे जैसे उनके पास एक गुप्त, अनकहा नियम हो जो लोगों को अस्पताल भेजने के मामले में बहुत अधिक सतर्क (cautious) था।

लेखकों ने पाया कि एक लोकप्रिय उपभोक्ता स्वास्थ्य उपकरण (जो वास्तविक आपात स्थितियों में आधे से अधिक मामलों को मिस कर देता पाया गया) में देखे गए "बुरे" व्यवहार का कारण यह नहीं था कि एआई मूर्ख था या उसे चिकित्सा की समझ नहीं थी। इसके बजाय, यह इसलिए था क्योंकि एआई एक छिपे हुए, डिफ़ॉल्ट नियम का उपयोग कर रहा था जो जीवन बचाने के बजाय संसाधनों को बचाने को महत्व देता था। यह एक ऐसे कप्तान की तरह था जो तब तक चेतावनी शॉट चलाने से इनकार करता है जब तक कि क्षुद्रग्रह 99% निश्चित न हो, भले ही उसे मिस करना विनाशकारी हो। शोध पत्र दिखाता है कि जब शोधकर्ताओं ने स्पष्ट रूप से एआई को बताया, "हे, एक आपात स्थिति को चूकना, एक गलत अलार्म की तुलना में 5 गुना अधिक बुरा है," तो एआई ने तुरंत अपना मन बदल लिया। इसने अधिक रोगियों को ईआर में भेजना शुरू कर दिया, जिससे बिना अनावश्यक दौरों में भारी वृद्धि के, लगभग 50% अधिक वास्तविक आपात स्थितियों को पकड़ा जा सका।

अध्ययन यह सुझाव देता है कि समस्या एआई की भविष्य की भविष्यवाणी करने की क्षमता नहीं है, बल्कि उसकी इस क्षमता की है कि वह सबसे महत्वपूर्ण चीजों पर कप्तान के आदेशों का पालन कैसे करता है। शोधकर्ताओं ने पाया कि प्रॉम्प्ट (prompt) में शब्दों को बदलकर, जिसमें विभिन्न गलतियों की "लागत" (cost) निर्दिष्ट की गई थी, वे एआई को एक सुरक्षा-प्रथम डॉक्टर या एक संसाधन-बचत डॉक्टर के रूप में कार्य करने के लिए निर्देशित कर सकते थे। उन्होंने यह भी नोट किया कि स्पष्ट निर्देशों के बिना, प्रत्येक एआई मॉडल का अपना अजीब, अदृश्य प्राथमिकता (preference) होता है जिसे कोई देख या नियंत्रित नहीं कर सकता। शोध पत्र निष्कर्ष निकालता है कि इन उपकरणों को अस्पतालों में सुरक्षित और उपयोगी बनाने के लिए, हम केवल उन्हें "स्मार्ट होने" के लिए नहीं कह सकते। हमें उन्हें स्पष्ट रूप से बताना होगा कि वे जोखिमों को कैसे तौलें, ठीक वैसे ही जैसे एक कप्तान को धुंध में प्रवेश करने से पहले अपने नेविगेशन कंप्यूटर को स्पष्ट आदेश देने चाहिए।