HealthNLP_Retrievers at ArchEHR-QA 2026: Cascaded LLM Pipeline for Grounded Clinical Question Answering
HealthNLP_Retrievers टीम ने Gemini 2.5 Pro द्वारा संचालित एक कैस्केड पाइपलाइन का उपयोग करके ArchEHR-QA 2026 साझा कार्य में प्रतिस्पर्धी परिणाम प्राप्त किए, जो इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड से प्राप्त रोगी के प्रश्नों के सटीक, साक्ष्य-आधारित उत्तर देने के लिए क्वेरी पुनर्गठन, साक्ष्य स्कोरिंग, ग्राउंडेड प्रतिक्रिया निर्माण और संरेखण को एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, जटिल मेडिकल फ़ाइल है (आपका इलेक्ट्रॉनिक हेल्थ रिकॉर्ड, या EHR) जो डॉक्टर की गुप्त भाषा में लिखी गई है। अब, एक मरीज की कल्पना करें जो अपनी सेहत के बारे में सवाल पूछने की कोशिश कर रहा है, जिसमें रोज़मर्रा की, भावनात्मक और कभी-कभी उलझी हुई भाषा का उपयोग किया गया है। चुनौती यह है कि उस उलझे हुए सवाल को लेना, उस विशाल मेडिकल फ़ाइल में बिल्कुल सही वाक्यों को ढूँढना, और एक स्पष्ट, ईमानदार उत्तर लिखना जो केवल उसी जानकारी का उपयोग करता हो जो वास्तव में फ़ाइल में मौजूद है—अपनी तरफ से कुछ भी मनगढ़ंत न बनाना।
यह पेपर बताता है कि HealthNLP_Retrievers नामक एक टीम ने इस समस्या को हल करने के लिए एक "डिजिटल असेंबली लाइन" बनाई है, जो ArchEHR-QA 2026 नामक प्रतियोगिता के लिए थी। इस सिस्टम को एक एकल "सुपर-ब्रेन" के रूप में नहीं, बल्कि चार विशिष्ट धावकों की एक रिले रेस के रूप में सोचें, जिनमें से प्रत्येक अगला धावक बनने के लिए बैटन पास करता है।
यहाँ बताया गया है कि उनका सिस्टम चरण-दर-चरण कैसे काम करता है:
1. अनुवादक (प्रश्न की व्याख्या)
समस्या: मरीज अक्सर ऐसे सवाल पूछते हैं जैसे, "मुझे बहुत डर लग रहा है और मेरा सीना भारी पत्थर की तरह दर्द कर रहा है, और मैंने वह गोली ली जो मेरी आंटी ने मुझे दी थी..." यह कंप्यूटर द्वारा कुशलतापूर्वक खोजने के लिए बहुत अधिक शब्दबहुल और भावनात्मक है।
समाधान: पहला धावक एक "क्लिनिकल एडमिनिस्ट्रेटिव असिस्टेंट" है। यह मरीज की उलझी हुई कहानी को सुनता है और इसे एक बहुत ही छोटे, पेशेवर खोज प्रश्न (अधिकतम 15 शब्द) में फिर से लिख देता है।
परिणाम: यह "मुझे डर लग रहा है और मेरा सीना दर्द कर रहा है..." को "लगातार सीने में दर्द के कारण" में बदल देता है।
जीत: यह टीम इस चरण के लिए प्रथम स्थान पर आई। वे महत्वपूर्ण चिकित्सा अर्थ को खोए बिना शोर को साफ करने में सबसे अच्छे थे।
2. जासूस (साक्ष्य स्कोरिंग)
समस्या: मेडिकल फ़ाइल बहुत बड़ी है। आप हर शब्द नहीं पढ़ सकते। आपको उन विशिष्ट वाक्यों को खोजने की आवश्यकता है जो प्रश्न का उत्तर देते हैं।
समाधान: दूसरा धावक एक सख्त जज की तरह कार्य करता है। यह फ़ाइल के हर वाक्य को पढ़ता है और उसे 1 से 5 तक का स्कोर देता है (एक लिकर्ट स्केल की तरह)।
- 5: इस वाक्य में सीधा उत्तर है।
- 4: यह वाक्य महत्वपूर्ण संदर्भ देता है (जैसे कि टेस्ट का परिणाम)।
- 1-2: यह वाक्य अप्रासंगिक है (जैसे "मरीज सुबह 9 बजे आया")।
रणनीति: टीम ने जासूस को "सुरक्षा-प्रथम" रहने के लिए कहा। कुछ अतिरिक्त वाक्यों को पकड़ लेना जो उपयोगी हो सकते हैं (उच्च रिकॉल), उस एक वाक्य को मिस करने से बेहतर है जिसमें उत्तर छिपा हो।
परिणाम: उन्होंने सातवां स्थान प्राप्त किया। उन्होंने लगभग सभी सही उत्तर पकड़ लिए, हालांकि उनके साथ कुछ अतिरिक्त "शायद" वाले वाक्य भी आ गए।
3. लेखक (आधारित उत्तर निर्माण)
समस्या: अब आपके पास सही वाक्य हैं, लेकिन आपको मरीज के लिए एक स्पष्ट उत्तर लिखना है।
समाधान: तीसरा धावक एक "क्लिनिकल डॉक्यूमेंटेशन स्पेशलिस्ट" है। यह चुने हुए वाक्यों को लेता है और एक छोटा, पेशेवर उत्तर लिखता है (अधिकतम 75 शब्द)।
नियम:
- कोई भ्रम (Hallucinations) नहीं: बाहरी ज्ञान का उपयोग करना सख्त वर्जित है। यदि यह चुने हुए वाक्यों में नहीं है, तो यह उत्तर में नहीं हो सकता।
- कोई फालतू बात नहीं: इसे सीधा और वस्तुनिष्ठ होना चाहिए।
- "सॉफ्ट कट": यदि उत्तर बहुत लंबा हो जाता है, तो सिस्टम के पास एक विशेष ट्रिक है जिससे वह इसे वाक्य के अंत में काट देता है ताकि यह टूटा हुआ न लगे।
परिणाम: वे पांचवें स्थान पर रहे। वे जटिल चिकित्सा शब्दावली को सरल अंग्रेजी (या सामान्य भाषा) में बदलने में उत्कृष्ट थे, भले ही वे "गोल्ड स्टैंडर्ड" उत्तरों के सटीक शब्दों से मेल न खाते हों।
4. ऑडिटर (उत्तर-साक्ष्य संरेखण)
समस्या: हम कैसे साबित करें कि उत्तर सत्य है? हमें यह दिखाना होगा कि फ़ाइल का कौन सा विशिष्ट वाक्य उत्तर के प्रत्येक भाग का समर्थन करता है।
समाधान: अंतिम धावक एक "कंजर्वेटिव ऑडिटर" (रूढ़िवादी लेखा परीक्षक) है। यह उत्तर और फ़ाइल को देखता है, फिर एक मानचित्र बनाता है जो उत्तर के हर वाक्य को फ़ाइल के विशिष्ट साक्ष्य से जोड़ता है।
रणनीति: यह धावक बहुत सख्त है। यह उत्तर को साक्ष्य से तभी जोड़ता है जब यह 100% सुनिश्चित हो। यह एक कमजोर संबंध बनाने के बजाय संबंध न बनाने को प्राथमिकता देता है।
परिणाम: वे नौवें स्थान पर रहे। उनका सिस्टम बहुत सटीक (उच्च सटीकता) था, लेकिन बहुत अधिक सावधानी बरतने के कारण कुछ कनेक्शन छूट गए।
बड़ी तस्वीर: उन्होंने क्या सीखा?
टीम ने पाया कि समस्या को इन चार छोटे चरणों में तोड़ने से एक साथ सब कुछ करने की तुलना में बेहतर परिणाम मिले।
- अच्छा: उनका "ट्रांसलेटर" प्रतियोगिता में सर्वश्रेष्ठ था। पहले प्रश्न को साफ करने से, बाकी सिस्टम का काम बहुत बेहतर हुआ।
- समझौता (Trade-off): उन्हें गहनता (सब कुछ पकड़ना) और सटीकता (केवल सही चीजों को पकड़ना) के बीच चुनाव करना पड़ा।
- "डिटेक्टिव" चरण में, उन्होंने गहनता को चुना (अधिक जानकारी पकड़ना, भले ही वह अतिरिक्त हो)।
- "ऑडिटर" चरण में, उन्होंने सटीकता को चुना (केवल वही लिंक करना जिसके बारे में वे आश्वस्त थे)।
- सीमा: क्योंकि उन्होंने एक विशिष्ट, क्लोज्ड AI मॉडल (Gemini 2.5 Pro) का उपयोग किया जो कंपनी के सर्वर पर रहता है, वे अपने सटीक कोड को दूसरों के साथ आसानी से साझा नहीं कर सकते हैं ताकि दूसरे इसे अपने कंप्यूटर पर चला सकें। इसके अलावा, यदि पहला धावक गलती करता है, तो वे गलतियाँ अगले धावकों तक पहुँच जाती हैं।
संक्षेप में: HealthNLP_Retrievers टीम ने बिखरे हुए मरीज के सवालों को साफ, साक्ष्य-आधारित चिकित्सा उत्तरों में बदलने के लिए विशेषज्ञ AI वर्कर्स की एक टीम बनाई। उन्होंने साबित किया कि एक संरचित, चरण-दर-चरण प्रक्रिया स्वास्थ्य सेवा में AI को विश्वसनीय बनाने का एक शक्तिशाली तरीका है, भले ही यह अभी भी पूर्ण न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।