Few-Shot Large Language Models for Actionable Triage Categorization of Online Patient Inquiries
यह अध्ययन प्रदर्शित करता है कि फ्यू-शॉट प्रॉम्प्टेड लार्ज लैंग्वेज मॉडल्स, विशेष रूप से क्लॉड हाइकू 4.5, कम-संसाधन वाली स्थितियों में ऑनलाइन रोगी पूछताछ को उपयुक्त नैदानिक अनुवर्ती स्तरों पर रूट करने के लिए बायोबर्ट जैसे सुपरवाइज्ड बेसलाइन्स से बेहतर प्रदर्शन कर सकते हैं, हालांकि उनकी प्रदर्शन परिवर्तनशीलता यह सुझाव देती है कि वे स्वायत्त तैनाती के बजाय चयनात्मक मानव समीक्षा का समर्थन करने के लिए सबसे उपयुक्त हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
एक व्यस्त अस्पताल के इमरजेंसी रूम की कल्पना करें, लेकिन यहाँ दरवाज़े से लोग अंदर नहीं आ रहे हैं, बल्कि हज़ारों लोग कंप्यूटर स्क्रीन पर अपने सवाल टाइप कर रहे हैं। कुछ मामूली सर्दी-जुकाम के बारे में पूछ रहे हैं, कुछ को डॉक्टर का नियमित अपॉइंटमेंट लेना है, कुछ के पास ऐसे लक्षण हैं जिनके लिए एक दिन के भीतर डॉक्टर की देखरेख की ज़रूरत है, और कुछ बहुत ही गंभीर आपातकालीन (emergency) स्थिति में हैं।
चुनौती अस्पताल के सामने यह है: आप बिना हर एक मैसेज को इंसान द्वारा पढ़े, इन हज़ारों संदेशों को तेज़ी से और सुरक्षित रूप से कैसे छाँट सकते हैं?
यह पेपर एक नए तरह के "डिजिटल सॉर्टर" (डिजिटल छँटनी करने वाले यंत्र) के लिए एक टेस्ट ड्राइव की तरह है, जो आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करता है। यहाँ बताया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, सरल उपमाओं (analogies) का उपयोग करते हुए।
समस्या: "शोर वाला" इनबॉक्स
ऑनलाइन पेशेंट मैसेज व्यवस्थित नहीं होते। लोग डॉक्टरों की तरह नहीं बोलते; वे दोस्तों की तरह लिखते हैं। वे शायद यह बताना भूल जाएँ कि वे कब से बीमार हैं, दर्द कितना तेज़ है, या क्या उन्हें अन्य स्वास्थ्य समस्याएँ हैं।
- लक्ष्य: इन संदेशों को चार श्रेणियों (buckets) में छाँटना:
- स्वयं-देखभाल (Self-Care): "घर पर रहें, चाय पिएं, आप ठीक हो जाएंगे।"
- विजिट शेड्यूल करें (Schedule a Visit): "अगले सप्ताह के लिए अपॉइंटमेंट लें।"
- तत्काल समीक्षा (Urgent Review): "आज या कल डॉक्टर को कॉल करें।"
- आपातकालीन (Emergency): "अभी 911 पर कॉल करें या ER में जाएँ।"
प्रयोग: "शिक्षक" बनाम "स्मार्ट छात्र"
शोधकर्ताओं ने यह देखना चाहा कि क्या नए, शक्तिशाली AI मॉडल (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) पुराने, सरल कंप्यूटर प्रोग्रामों की तुलना में इस छँटनी को बेहतर तरीके से कर सकते हैं, खासकर जब उनके पास अध्ययन करने के लिए लेबल किए गए उदाहरणों का बड़ा ढेर न हो।
- पुराना तरीका (Supervised Models): कल्पना कीजिए कि एक छात्र है जिसे नियमों को सीखने के लिए 700 विशिष्ट पेशेंट मैसेज और उनके उत्तरों को रटना पड़ता है। उन्हें "सिल्वर लेबल्स" (उत्तर जो एक AI द्वारा जनरेट किए गए हैं, किसी इंसान डॉक्टर द्वारा नहीं) पर प्रशिक्षित किया जाता है।
- नया तरीका (Prompted LLMs): कल्पना कीजिए कि एक बहुत ही स्मार्ट छात्र है जिसने लाखों किताबें पढ़ी हैं। 700 उदाहरणों को रटने के बजाय, आप उसे बस कुछ नियम और कुछ उदाहरण (जिसे "फ्यू-शॉट प्रॉम्प्टिंग" कहा जाता है) देते हैं और पूछते हैं, "यहाँ एक नया मैसेज है; इसे कहाँ जाना चाहिए?"
परिणाम: कौन जीता दौड़?
1. "स्मार्ट छात्र" (LLMs) बेहतर था, लेकिन बहुत बड़े अंतर से नहीं।
सबसे अच्छा AI मॉडल (Claude Haiku 4.5) ने 12 उदाहरणों से सीखने के बाद लगभग 47.5% उत्तर सही दिए। सबसे अच्छा "पुराने तरीके" वाला मॉडल (BioBERT) ने लगभग 37.8% सही उत्तर दिए।
- पेंच: अंतर इतना बड़ा नहीं था कि यह कहा जा सके कि नया AI निश्चित रूप से "बेहतर" है। उनके स्कोर आपस में मिलते-जुलते थे। यह दो धावकों की दौड़ खत्म होने जैसा है जहाँ एक थोड़ा आगे है, लेकिन अंतर इतना कम है कि आप बिना दोबारा दौड़ चलाए 100% यकीन के साथ नहीं कह सकते कि कौन तेज़ है।
2. "ग्रेड" से ज़्यादा महत्वपूर्ण "सुरक्षा स्कोर" है।
छँटनी के कार्य में, एक आग (Emergency) को पहचानने में चूक करना, गैर-आपातकालीन मामले को फायर डिपार्टमेंट के पास भेजने से कहीं अधिक बुरा है (Over-triage)।
- शोधकर्ताओं ने पाया कि जबकि AI मॉडल सामान्य "ग्रेड" (Macro-F1) में बेहतर थे, वे सुरक्षा के मामले में बहुत बेहतर थे।
- AI मॉडल्स ने लगभग कभी भी वास्तविक आपात स्थिति को मिस नहीं किया (टेस्ट में 'सीवियर अंडर-ट्राइएज' 0% था), जबकि पुराने मॉडल्स खतरनाक मामलों को लगभग 30% बार मिस कर देते थे।
- उपमा: AI एक सुरक्षा गार्ड की तरह है जो आईडी चेक करने में थोड़ा धीमा हो सकता है, लेकिन असली खतरे को पहचानने में बहुत बेहतर है।
3. "भ्रमित करने वाला मध्य भाग" अभी भी कठिन है।
AI "स्वयं-देखभाल" (आसान) और "आपातकालीन" (स्पष्ट) को पहचानने में बहुत अच्छा था। लेकिन वह बीच के स्तर पर संघर्ष करता है: "तत्काल क्लिनिशियन समीक्षा" (Urgent Clinician Review)।
- उपमा: कागज़ के कट (paper cut) और हार्ट अटैक के बीच अंतर करना आसान है। लेकिन एक खराब पेट दर्द जो कल तक डॉक्टर को दिखाना है, और एक पेट दर्द जो एक हफ्ते तक इंतज़ार कर सकता है, के बीच अंतर करना बहुत कठिन है। यहाँ तक कि सबसे स्मार्ट AI भी भ्रमित हो गया।
4. "दो सिरों वाली" रणनीति (Consensus)
शोधकर्ताओं ने एक चतुर तरकीब आजमाई: क्या होगा यदि वे संदेशों को छाँटने के लिए दो अलग-अलग AI मॉडल्स का उपयोग करें?
- यदि दोनों AI सहमत हैं: "ठीक है, हम दोनों सोचते हैं कि यह 'स्वयं-देखभाल' है। चलिए इसे स्वीकार करते हैं।" (यह बहुत अच्छी तरह काम किया)।
- यदि AI असहमत हैं: "हम सहमत नहीं हो पा रहे हैं। चलिए इसे देखने के लिए एक मानव डॉक्टर को भेजते हैं।"
- परिणाम: इस "दो-सिरों वाली" रणनीति ने एक सुरक्षा जाल बनाया। इसका मतलब यह नहीं था कि AI अकेले काम कर सकता था; इसका मतलब था कि AI एक फ़िल्टर के रूप में कार्य कर सकता है ताकि इंसान कठिन मामलों पर ध्यान केंद्रित कर सकें।
निष्कर्ष: एक सहायक, न कि एक विकल्प
पेपर का निष्कर्ष है कि ये AI मॉडल अकेले काम करने के लिए तैयार नहीं हैं। वे "स्वायत्त" (autonomous) डॉक्टर नहीं हैं।
इसके बजाय, इन्हें एक हाई-टेक ट्राइएज नर्स असिस्टेंट के रूप में देखें:
- वे आसान "स्वयं-देखभाल" वाले सवालों को जल्दी से छाँट सकते हैं।
- वे स्पष्ट आपात स्थितियों को चिह्नित कर सकते हैं ताकि कोई भी उन्हें मिस न करे।
- लेकिन भ्रमित करने वाले, बीच के मामलों के लिए, उन्हें हमेशा एक मानव डॉक्टर के पास भेजा जाना चाहिए।
संक्षेप में: AI लोगों के काम को प्राथमिकता देने में मदद करने के लिए एक बेहतरीन उपकरण है, लेकिन इसे मरीज की सुरक्षा के लिए अंतिम निर्णय लेने वाला नहीं होना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।