A Multi-Criteria Decision Framework for Aggregating Ranked ICD-10 Code Suggestions from Large Language Models
यह अध्ययन यह प्रदर्शित करता है कि कई लार्ज लैंग्वेज मॉडल्स (LLMs) के आउटपुट को संयोजित करने के लिए मल्टी-क्राइटेरिया डिसीजन एनालिसिस रैंक एग्रीगेशन विधियों, विशेष रूप से बोर्डा काउंट और रेसिप्रोकल रैंक फ्यूजन को लागू करने से, व्यक्तिगत मॉडल्स या सरल वोटिंग स्कीमों का उपयोग करने की तुलना में स्वचालित ICD-10 क्लिनिकल कोडिंग की सटीकता और स्थिरता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उलझे हुए पहेली को सुलझाने की कोशिश कर रहे हैं जहाँ पहेली के टुकड़े चिकित्सा निदान (medical diagnoses) हैं। स्वास्थ्य सेवा की दुनिया में, हर मरीज की कहानी को एक विशिष्ट कोड में अनुवादित करने की आवश्यकता होती है, जैसे कि एक गुप्त भाषा जिसे ICD-10 कहा जाता है, ताकि अस्पताल बीमारियों को ट्रैक कर सकें और भुगतान प्राप्त कर सकें। लेकिन यह भाषा विशाल, जटिल और कठिन नियमों से भरी है। हाल ही में, लार्ज लैंग्वेज मॉडल्स (LLMs) नामक सुपर-स्मार्ट कंप्यूटर प्रोग्रामों ने डॉक्टरों के नोट्स पढ़कर इन कोडों का अनुमान लगाना सीख लिया है। इन मॉडल्स को अलग-अलग तरह के प्रतिभाशाली लेकिन थोड़े भिन्न जासूसों की एक टीम के रूप में समझें। प्रत्येक जासूस एक ही केस फाइल को देखता है और संदिग्धों (कोडों) की अपनी सूची बनाता है, जिसे "सबसे संभावित" से "सबसे कम संभावित" के क्रम में रखा जाता है। समस्या यह है कि कभी-कभी जासूस A सोचता है कि संदिग्ध X अपराधी है, जबकि जासूस B को यकीन है कि संदिग्ध Y अपराधी है। यदि आप केवल एक जासूस की बात सुनते हैं, तो आप गलत हो सकते हैं। यहीं पर 'मल्टी-क्राइटेरिया डिसीजन एनालिसिस' (Multi-Criteria Decision Analysis) नामक एक क्षेत्र आता है। यह मूल रूप से कई अलग-अलग मतों को मिलाने और एक सर्वोत्तम उत्तर खोजने की कला है, ठीक वैसे ही जैसे एक जूरी गवाहों के बयानों को मिलाकर एक फैसला सुनाती है। बड़ा सवाल यह है कि इन संदिग्धों की सूचियों को इस तरह कैसे मिलाया जाए कि अंतिम समूह अपने आप में किसी भी एकल जासूस से अधिक स्मार्ट हो?
यह शोध पत्र ठीक इसी सवाल को हल करता है, जिसमें प्रत्येक AI मॉडल को सही मेडिकल कोड के लिए एक भव्य चुनाव में एक अलग "वोटर" के रूप में माना गया है। शोधकर्ताओं ने 1,117 वास्तविक प्रसूति (गर्भावस्था से संबंधित) संबंधी मेडिकल नोट्स लिए जो ब्राज़ीलियाई पुर्तगाली में लिखे गए थे और पांच अलग-अलग शक्तिशाली AI मॉडल्स से प्रत्येक नोट के लिए संभावित कोडों की एक रैंक वाली सूची बनाने को कहा। केवल एक मॉडल से विजेता चुनने के बजाय, उन्होंने सभी सूचियों को एक "सर्वसम्मत" (consensus) सूची में मिलाने के तीन अलग-अलग तरीकों का परीक्षण किया। उन्होंने "प्लुरैलिटी वोटिंग" (Plurality Voting) नामक एक सरल विधि आजमाई (जहाँ वह कोड जीतता है जो सबसे अधिक सूचियों में शीर्ष पर आता है), "बोर्डा काउंट" (Borda Count) नामक एक अधिक विस्तृत विधि आजमाई (जहाँ एक कोड को केवल शीर्ष स्थान के आधार पर नहीं, बल्कि हर सूची पर उसके स्थान के आधार पर अंक मिलते हैं), और "रेसिप्रोकल रैंक फ्यूजन" (Reciprocal Rank Fusion) नामक एक विधि आजमाई (जो उन कोडों को बड़ा बढ़ावा देती है जो शीर्ष के करीब दिखाई देते हैं लेकिन नीचे मौजूद कोडों को भी गिनती है)।
परिणाम काफी स्पष्ट और उनकी सरलता में आश्चर्यजनक थे। टीम ने पाया कि मॉडल्स को संयोजित करना लगभग हमेशा अकेले सबसे अच्छे मॉडल पर भरोसा करने से बेहतर काम करता है। विशेष रूप से, "बोर्डा काउंट" विधि मुख्य आकर्षण रही। जब शोधकर्ताओं ने शीर्ष 3 सुझावों को देखा (एक संख्या जिसे उन्होंने सटीकता और कवरेज के बीच संतुलन बनाने के लिए 'स्वीट स्पॉट' पाया था), तो बोर्डा काउंट विधि ने व्यापक श्रेणी स्तर पर समग्र सटीकता में लगभग 20% और विशिष्ट कोड स्तर पर लगभग 19% का सुधार किया, जो सर्वश्रेष्ठ व्यक्तिगत AI की तुलना में था। यह सुझाव देता है कि AI मॉडल्स की "भीड़" की बात सुनना, विशेष रूप से इस बात पर ध्यान देना कि एक कोड सबकी सूची में कहाँ दिखाई देता है, एक एकल विशेषज्ञ पर भरोसा करने की तुलना में बहुत अधिक विश्वसनीय निर्णय बनाता है।
हालाँकि, यह शोध पत्र कुछ चीजों को खारिज भी करता है। इसने पाया कि सबसे सरल विधि, प्लुरैलिटी वोटिंग (केवल यह गिनना कि कौन #1 है), अधिक सूक्ष्म विधियों की तुलना में उतनी अच्छी नहीं थी जो पूरी रैंकिंग को देखती हैं। इसने यह भी दिखाया कि आप सूची में सुझावों को अनंत काल तक नहीं जोड़ सकते। जबकि अधिक कोड जोड़ने से आप अधिक वास्तविक निदान पकड़ने (रिकॉल/recall) में मदद मिलती है, यह अंततः सटीकता (प्रिसिजन/precision) को कम कर देता है क्योंकि आप बहुत सारे गलत अनुमान शामिल करने लगते हैं। अध्ययन सुझाव देता है कि "गोल्डन नंबर" 3 है; इसके आगे जाने पर, निर्णय की गुणवत्ता गिरने लगती है। इसके अलावा, लेखकों ने उल्लेख किया कि केवल "मजबूत" मॉडल्स को अधिक महत्व देने से ज्यादा मदद नहीं मिली; सभी मॉडल्स का बिना भार वाला, सरल संयोजन उतना ही अच्छा था जितना कि जटिल भारित (weighted) संयोजन।
संक्षेप में, शोध पत्र सुझाव देता है कि क्लिनिकल कोडिंग के लिए, सबसे अच्छी रणनीति एक आदर्श AI मॉडल खोजना नहीं है, बल्कि कुछ अलग मॉडल्स को वोट करने देना है, एक ऐसी प्रणाली का उपयोग करते हुए जो उनकी पूर्ण रैंकिंग का सम्मान करती है। यह दृष्टिकोण बिना मॉडल्स को फिर से प्रशिक्षित किए या उनके "ब्लैक बॉक्स" के अंदर झाँके, चिकित्सा निर्णय लेने में सुधार करने का एक व्यावहारिक और मजबूत तरीका प्रदान करता है। निष्कर्ष वास्तविक डेटा और कॉन्फिडेंस इंटरवल के साथ सांख्यिकीय परीक्षणों पर आधारित हैं, जो यह दर्शाते हैं कि यह विधि मेडिकल कोडिंग की जटिल वास्तविकता को संभालने का एक स्थिर और प्रभावी तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।