LLMs for Medical Consultation Are Evaluated Too Late: The Preformulation Gap
यह शोध पत्र तर्क देता है कि चिकित्सा परामर्श के लिए बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) का मूल्यांकन वर्तमान में प्रक्रिया में बहुत देर से किया जाता है, जो यह दर्शाता है कि स्पष्ट निर्देश संरचित दस्तावेज़ीकरण में तो सुधार कर सकते हैं लेकिन एक अस्पष्ट रोगी संबंधी चिंता के प्रारंभिक "प्रीफॉर्मुलेशन" चरण के दौरान समयपूर्व स्व-देखभाल सलाह को विश्वसनीय रूप से रोकने या महत्वपूर्ण तथ्यों को प्राप्त करना सुनिश्चित करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक व्यक्ति की कल्पना करें जो अस्वस्थ महसूस कर रहा है, अकेले बैठा है, स्मार्टफोन के साथ कुछ हड़बड़ी में शब्द टाइप कर रहा है। वे किसी लक्षण को गलत लिख सकते हैं, अपने दर्द को कम करके बता सकते हैं, या बीमारी के नाम जाने बिना बीमारी के एक अस्पष्ट अहसास का वर्णन कर सकते हैं। वास्तविक दुनिया में, एक डॉक्टर का पहला काम तुरंत बीमारी का अनुमान लगाना नहीं होता, बल्कि सही सवाल पूछना होता है ताकि उस बिखरी हुई, उलझी हुई कहानी को एक स्पष्ट चिकित्सा चित्र में बदला जा सके। इस प्रक्रिया में—एक अस्पष्ट चिंता को एक विशिष्ट, कार्रवाई योग्य समस्या में बदलना—सुरक्षित देखभाल की नींव है। यदि कोई डॉक्टर इस चरण को छोड़कर सीधे सलाह देने लगता है, तो वे एक महत्वपूर्ण विवरण को मिस कर सकते हैं जो सब कुछ बदल सकता है। अब, एक ऐसे कंप्यूटर प्रोग्राम की कल्पना करें जिसे डॉक्टर की तरह कार्य करने के लिए डिज़ाइन किया गया हो। वर्षों से, शोधकर्ताओं ने इन कार्यक्रमों का परीक्षण स्पष्ट, अच्छी तरह से लिखे गए चिकित्सा प्रश्नों को देकर और उनके उत्तरों की ग्रेडिंग करके किया है। लेकिन यह तरीका सबसे खतरनाक क्षण को छोड़ देता है: वह बिल्कुल शुरुआती संवाद, जब रोगी की चिंता अभी कच्ची, अनगढ़ और संभावित रूप से भ्रामक होती है।
हार्वर्ड और अन्य संस्थानों के शोधकर्ताओं की एक टीम ने हाल ही में इस छूटे हुए क्षण की ओर देखने का निर्णय लिया। उन्होंने एक सरल लेकिन महत्वपूर्ण प्रश्न पूछा: जब कोई व्यक्ति मेडिकल चैटबॉट में एक अव्यवस्थित, अधूरा संदेश टाइप करता है, तो क्या कंप्यूटर स्पष्ट करने वाले प्रश्न पूछने के लिए रुकता है, या क्या वह गलत धारणा के आधार पर तुरंत सलाह देना शुरू कर देता है? यह पता लगाने के लिए, उन्होंने चार वास्तविक परिदृश्य बनाए जहाँ एक रोगी ने एक लक्षण का वर्णन इस तरह किया जो हानिरहित लग रहा था लेकिन उसमें एक गंभीर खतरा छिपा था। एक मामले में, एक व्यक्ति ने लिखा कि वह "उल्टी" कर रहा है और उसे लगा कि यह फूड पॉइजनिंग है, लेकिन वास्तव में वह मधुमेह (डायबिटीज) की एक जीवन रक्षक जटिलता से जूझ रहा था। दूसरे में, किसी ने लंबी यात्रा के बाद पैर के दर्द का वर्णन किया, जो मांसपेशियों के खिंचाव जैसा लग रहा था, लेकिन वास्तव में वह रक्त का थक्का (ब्लड क्लॉट) था। शोधकर्ताओं ने दो स्थितियों के तहत तीन अलग-अलग लार्ज लैंग्वेज मॉडल्स—जो लोकप्रिय चैटबॉट्स को चलाने वाले शक्तिशाली कंप्यूटर सिस्टम हैं—का परीक्षण किया। पहले, उन्होंने मॉडल्स को स्वाभाविक रूप से चलने दिया, जैसा कि वे एक नियमित उपयोगकर्ता के लिए करते हैं। दूसरा, उन्होंने मॉडल्स को पालन करने के लिए निर्देशों का एक विशिष्ट सेट दिया, जिसमें उन्हें जवाब देने से पहले सवाल पूछने और सुरक्षा जोखिमों की जांच करने के लिए कहा गया।
परिणामों ने खुलासा किया कि इन प्रणालियों के व्यवहार में एक महत्वपूर्ण अंतर है। जब उन्हें अपने हाल पर छोड़ दिया गया, तो मॉडल्स ने अक्सर एक गंभीर गलती की: उन्होंने रोगी के अस्पष्ट विवरण को एक पूर्ण कहानी मान लिया और तुरंत घरेलू उपचार की सलाह दी। बारह में से नौ मामलों में, कंप्यूटर ने पानी पीने, सादा भोजन करने या आराम करने जैसे सुझाव दिए, इससे पहले कि उसने एक भी फॉलो-अप सवाल पूछा हो। ऐसा तब भी हुआ जब रोगी का प्रारंभिक संदेश गलत वर्तनी वाला था और उसमें महत्वपूर्ण विवरणों की कमी थी। मॉडल्स मदद करने के लिए इतने उत्सुक थे कि उन्होंने खाली जगहों को धारणाओं से भर दिया, जिससे संभावित रूप से एक बीमार व्यक्ति को आपातकालीन कक्ष के बजाय एक खतरनाक 'इंतजार करो और देखो' वाले दृष्टिकोण की ओर मोड़ दिया गया। शोधकर्ताओं ने पाया कि यह तब भी हुआ जब मॉडल्स बातचीत के दौरान बाद में सही उत्तर तक पहुँच गए थे; नुकसान उस पहले क्षण में हो चुका था जब रोगी को गलत आश्वासन दिया गया था।
हालाँकि, अध्ययन ने यह भी दिखाया कि यह व्यवहार कोड में स्थिर नहीं है; इसे कार्य को प्रस्तुत करने के तरीके में एक साधारण बदलाव के साथ बदला जा सकता है। जब शोधकर्ताओं ने मॉडल्स को सलाह देने से पहले मुख्य प्रश्न पूछने का एक छोटा निर्देश दिया, तो व्यवहार पूरी तरह से बदल गया। निर्देशित समूह में, किसी भी मॉडल ने सवाल पूछे बिना घरेलू उपचार की सलाह नहीं दी। इसके बजाय, उन्होंने उम्र, दर्द की गंभीरता और चिकित्सा इतिहास के बारे में पूछताछ करने के लिए समय लिया। वे जोखिम भरे इरादों को पहचानने में भी बहुत बेहतर हो गए, जैसे कि एक रोगी का यह कहना कि वह "सोकर ठीक होने" की कोशिश करेगा या शराब पिएगा, और उन्होंने स्पष्ट रूप से इन कार्यों के विरुद्ध चेतावनी दी। इसके अलावा, निर्देशित मॉडल्स ने चैट के अंत में स्थिति का एक स्पष्ट सारांश बनाना शुरू कर दिया, जो एक "हैंडऑफ" है जिसे एक वास्तविक डॉक्टर समझ सके कि क्या हुआ था। यह सारांश अननिर्देशित परीक्षणों में पूरी तरह गायब था।
इन सुधारों के बावजूद, शोधकर्ताओं ने पाया कि एक साधारण निर्देश एक पूर्ण समाधान नहीं था। भले ही उन्हें सवाल पूछने के लिए कहा गया था, मॉडल्स कभी-कभी सबसे महत्वपूर्ण तथ्यों के लिए गहराई तक जाने में विफल रहे। मधुमेह वाले उल्टी करने वाले रोगी के मामले में, मॉडल्स ने सवाल तो पूछे, लेकिन उन्होंने इंसुलिन या मधुमेह के बारे में विशेष रूप से तब तक नहीं पूछा जब तक कि रोगी ने बाद में चैट में स्वयं इसकी जानकारी नहीं दी। यह सुझाव देता है कि हालांकि मॉडल्स को उनके संचालन के क्रम को बदलने के लिए प्रशिक्षित किया जा सकता है, लेकिन वे अभी तक विश्वसनीय रूप से यह नहीं जानते कि जब एक रोगी अस्पष्ट हो तो कौन से विशिष्ट प्रश्न पूछना सबसे महत्वपूर्ण है। अध्ययन निष्कर्ष निकालता है कि मेडिकल चैटबॉट्स को टेस्ट करने का वर्तमान तरीका बहुत देर से आता है। केवल अंतिम उत्तर को ग्रेड देकर, हम रोगी के पहले भ्रमित संदेश और डॉक्टर—या कंप्यूटर—द्वारा बीमारी की स्पष्ट तस्वीर बनाने के बीच के खतरनाक अंतराल को मिस कर देते हैं। शोधकर्ताओं का तर्क है कि इन उपकरणों के सुरक्षित होने के लिए, हमें उन्हें केवल निदान करने और उत्तर देने की क्षमता पर नहीं, बल्कि पहले सुनने और प्रश्न पूछने की उनकी क्षमता पर परखना चाहिए। रोगी की सुरक्षा उन पहले कुछ सेकंड के संवाद पर निर्भर करती है, जो अंतिम निर्णय दिए जाने से बहुत पहले होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।