Retrieve, Then Classify: Corpus-Grounded Automation of Clinical Value Set Authoring
यह शोध पत्र रिट्रीवल-ऑगमेंटेड सेट कंप्लीशन (RASC) को प्रस्तुत करता है, जो क्लिनिकल वैल्यू सेट ऑथरिंग को प्रभावी ढंग से स्वचालित करने के लिए समान मौजूदा वैल्यू सेट्स की रिट्रीवल और कोड क्लासिफिकेशन को संयोजित करता है, जो एक नए बड़े पैमाने के बेंचमार्क पर डायरेक्ट जनरेशन द्वारा लार्ज लैंग्वेज मॉडल्स या सरल रिट्रीवल-ओनली अप्रोच की तुलना में बेहतर प्रदर्शन और कम अप्रासंगिक उम्मीदवारों का प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लाइब्रेरियन हैं जिसे एक बहुत ही विशिष्ट विषय के लिए "विशेष बुक क्लब" सूची बनाने का काम सौंपा गया है, जैसे कि "19वीं सदी के उन फ्रांसीसी कवियों के बारे में किताबें जिन्होंने बारिश के बारे में लिखा हो।"
आपका पुस्तकालय विशाल है—इसमें लाखों किताबें हैं (मेडिकल कोड्स)। आपको इस विवरण के अनुकूल सटीक कुछ सौ किताबें चुननी हैं ताकि आपकी सूची एकदम सही बने।
पुराना तरीका: "अनुमान लगाने का खेल"
अतीत में, एक मानव विशेषज्ञ को गलियारों में घूमना पड़ता था, हजारों शीर्षकों को पढ़ना पड़ता था और अनुमान लगाना पड़ता था कि कौन से फिट बैठते हैं। यह धीमा और थका देने वाला था।
फिर, लोगों ने एक बहुत ही स्मार्ट AI (एक बहुत ही पढ़ा-लिखा रोबोट) का उपयोग करने की कोशिश की जो शून्य से सूची लिख सके। रोबोट कहता, "यहाँ वे किताबें हैं जिनकी आपको आवश्यकता है!"
- समस्या: रोबोट स्मार्ट है, लेकिन उसके पास भौतिक पुस्तकालय नहीं है। वह अपनी याददाश्त पर निर्भर रहता है। जब उससे विशिष्ट, अस्पष्ट कोड के बारे में पूछा जाता है, तो वह भ्रमित (hallucinating) होने लगता है। वह ऐसे पुस्तक शीर्षक बनाने लगता है जो पुस्तकालय में मौजूद ही नहीं हैं। इस पेपर में, रोब lewat लगभग 50% शीर्षक सुझाए जो अस्तित्व में ही नहीं थे!
नया समाधान: RASC (एक "स्मार्ट असिस्टेंट" सिस्टम)
लेखकों ने RASC (रिट्रीवल-ऑगमेंटेड सेट कंप्लीशन) नामक एक दो-चरणीय विधि प्रस्तावित की है। इसे एक स्मार्ट सहायक को काम पर रखने के रूप में समझें जो दो चरणों में काम करता है:
चरण 1: "समानता खोज" (क्यूरेटर)
AI से सीधे सूची बनाने के लिए कहने के बजाय, सिस्टम पहले पुस्तकालय में पहले से मौजूद अन्य सूचियों को देखता है।
- उपमा: आप सहायक से पूछते हैं, "मुझे 'फ्रांसीसी कवियों और बारिश' के लिए एक सूची चाहिए। मुझे दिखाओ कि हमारे पास मौजूद 10 अन्य कौन सी सूचियाँ हैं जो इससे सबसे अधिक मिलती-जुलती हैं।"
- सहायक "फ्रांसीसी साहित्य," "कविता," और "मौसम" के बारे में 10 मौजूदा सूचियाँ निकालता है।
- वह उन 10 सूचियों से सभी किताबों को एक छोटे, प्रबंधनीय ढेर (शायद 500 किताबें) में मिला देता है।
- यह क्यों मदद करता है: हमें पता है कि उत्तर निश्चित रूप से इस छोटे से ढेर के अंदर है। अब हमें पूरे दस लाख किताबों के पुस्तकालय को खोजने की आवश्यकता नहीं है। हमने समस्या को "भूसे के ढेर में सुई खोजने" से बदलकर "जूते के डिब्बे में सुई खोजने" में बदल दिया है।
चरण 2: "बाइनरी क्लासिफायर" (न्यायाधीश)
अब, सिस्टम उस 500 किताबों के छोटे ढेर को एक जज (एक विशेष AI मॉडल) को देता है और उसे प्रत्येक किताब को व्यक्तिगत रूप से देखने के लिए कहता है।
- प्रश्न: "क्या यह विशिष्ट पुस्तक 'फ्रांसीसी कवियों और बारिश' की सूची में होनी चाहिए?"
- जज हर एक किताब के लिए "हाँ" या "नहीं" कहता है।
- यह क्यों मदद करता है: AI के लिए पूरी सूची बनाने के बजाय किसी विशिष्ट वस्तु के लिए "हाँ/नहीं" कहना बहुत आसान है। जज सही किताबों को पहचानने और गलत किताबों को अनदेखा करने में बहुत अच्छा है।
परिणाम: यह बेहतर क्यों काम करता है
शोधकर्ताओं ने इसका परीक्षण 11,000 वास्तविक चिकित्सा सूचियों पर किया। यहाँ उन्हें क्या मिला:
- रोबोट (जीरो-शॉट LLM): जब केवल "सूची बनाने" के लिए कहा गया, तो यह बुरी तरह विफल रहा। इसने 48% बार फर्जी कोड बनाए और अधिकांश वास्तविक कोड भी छोड़ दिए।
- पुराना तरीका (केवल रिट्रीवल): यदि आप केवल 10 समान सूचियों को ले लेते और उन्हें एक साथ डाल देते, तो आपको सही उत्तर तो मिल जाते, लेकिन आपके पास बहुत सारा कचरा (अप्रासंगिक किताबें) भी मिला होता।
- RASC सिस्टम: "क्यूरेटर" का उपयोग करके ढेर खोजने और "जज" का उपयोग करके उसे फ़िल्टर करने से, उन्हें दोनों तरफ के फायदे मिले।
- उन्होंने लगभग सभी सही कोड खोज लिए।
- उन्होंने उस मात्रा को भारी रूप से कम कर दिया जिसे इंसान को रिव्यू करना था (अप्रासंगिक कोड)।
- जैसे-जैसे सूचियाँ बड़ी होती गईं, सिस्टम और स्मार्ट होता गया। विषय जितना जटिल होता गया, RASC का प्रदर्शन रोबोट की याददाश्त वाले अनुमान की तुलना में उतना ही बेहतर होता गया।
मुख्य निष्कर्ष
यह पेपर तर्क देता है कि चिकित्सा जैसे क्षेत्रों में, जहाँ जानकारी संरचित और विशाल है, हमें AI से शून्य से चीजें "बनाने" के लिए नहीं कहना चाहिए। इसके बजाय, हमें AI से मौजूदा संबंधित जानकारी खोजने और फिर उसका आलोचनात्मक मूल्यांकन करने के लिए कहना चाहिए।
यह एक छात्र से "याददाश्त से इतिहास का निबंध लिखने" (जिससे गलत तथ्य सामने आते हैं) बनाम उन्हें इतिहास की प्रासंगिक किताबों का एक ढेर देने और यह पूछने के बीच का अंतर है कि, "इनमें से कौन से पैराग्राफ सही हैं?" दूसरा दृष्टिकोण तेज़, सस्ता और बहुत अधिक सटीक है।
संक्षेप में: AI को उत्तर का अनुमान लगाने न दें। AI को सुराग खोजने दें, और फिर उसे तय करने दें कि कौन से सुराग असली हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।