Evaluating the Pre-Consultation Ability of LLMs using Diagnostic Guidelines
यह शोध पत्र EPAG प्रस्तुत करता है, जो नैदानिक दिशानिर्देशों के विरुद्ध बड़े भाषा मॉडलों (LLMs) की पूर्व-परामर्श क्षमताओं का मूल्यांकन करने के लिए एक बेंचमार्क फ्रेमवर्क और डेटासेट है, जो यह प्रकट करता है कि फाइन-ट्यून किए गए छोटे ओपन-सोर्स मॉडल फ्रंटियर मॉडलों से बेहतर प्रदर्शन कर सकते हैं और रोगी के इतिहास में वृद्धि हमेशा नैदानिक सटीकता में सुधार नहीं करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए सहायक को काम पर रख रहे हैं ताकि वह डॉक्टर को मरीज के क्लिनिक में आने से पहले ही यह समझने में मदद कर सके कि उसे क्या समस्या है। यह सहायक एक AI है, विशेष रूप से एक लार्ज लैंग्वेज मॉडल (LLM)। मुख्य सवाल यह है: क्या यह AI सही सवाल पूछने में कुशल है ताकि पूरी कहानी सामने आ सके?
यह शोध पत्र एक नया "टेस्ट" पेश करता है जिसे EPAG कहा जाता है, जो इस सवाल का जवाब देता है। सोचिए कि EPAG एक कठोर प्रशिक्षण शिविर और स्कोरिंग सिस्टम की तरह है।
यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. सेटअप: "रोल-प्ले" गेम
एक वास्तविक क्लिनिक में, एक डॉक्टर मरीज से सवाल पूछता है ताकि "हिस्ट्री ऑफ प्रेजेंट इलनेस" (HPI) बनाई जा सके—जो मूल रूप से इस बात की पूरी कहानी है कि क्या दर्द हो रहा है और कब से हो रहा है।
- अभिनेता (Actors): शोधकर्ताओं ने एक डिजिटल नाटक बनाया। एक AI मरीज बनता है (जिसके पास एक विशिष्ट, पूर्व-लिखित मेडिकल स्टोरी है), और दूसरा AI डॉक्टर बनता है (जिसका परीक्षण किया जा रहा है)।
- स्क्रिप्ट: "डॉक्टर" AI के पास केवल मरीज की उम्र, लिंग और मुख्य शिकायत (जैसे, "मेरे सीने में दर्द है") होती है। इसके बाद उसे गहराई तक जाने के लिए "मरीज" AI से सवाल पूछने होते हैं और बहुविकल्पीय (multiple-choice) विकल्प देने होते हैं।
- लक्ष्य: डॉक्टर AI को रहस्य सुलझाने के लिए पर्याप्त सुराग जुटाने होंगे।
2. स्कोरिंग: AI को ग्रेड करने के दो तरीके
शोधकर्ताओं ने केवल यह नहीं पूछा कि "क्या AI ने सही बीमारी का अनुमान लगाया?" उन्होंने दो अलग-अलग तरीकों से AI को ग्रेड किया:
ग्रेड A: "चेकलिस्ट" स्कोर (प्रत्यक्ष मूल्यांकन)
कल्पना कीजिए कि एक जासूस के पास अपराध सुलझाने के लिए सुरागों की एक विशिष्ट चेकलिस्ट है (जिसे "डायग्नोस्टिक गाइडलाइन" कहा जाता है)। साक्षात्कार समाप्त होने के बाद, एक अलग AI (जिसे "ऑर्गनाइज़र" कहा जाता है) बातचीत को छोटे-छोटे व्यक्तिगत तथ्यों में तोड़ देता है। एक अन्य AI (जिसे "कंपेअरर" कहा जाता है) यह जांचता है: क्या डॉक्टर AI ने चेकलिस्ट पर मौजूद इस विशिष्ट सुराग के बारे में पूछा था?- यदि AI ने सही सवाल पूछा और सही उत्तर प्राप्त किया, तो उसे अंक मिलते हैं।
- यदि वह किसी महत्वपूर्ण सुराग को छोड़ देता है, तो उसके अंक कट जाते हैं।
- कुछ सुराग दूसरों की तुलना में अधिक महत्वपूर्ण होते हैं (जैसे किसी ठोस सबूत को खोजने बनाम किसी मामूली धागे को खोजने के बीच का अंतर), इसलिए इसमें एक "वेटेड" (weighted) स्कोर होता है।
ग्रेड B: "डायग्नोसिस" स्कोर (अप्रत्यक्ष मूल्यांकन)
साक्षात्कार समाप्त होने के बाद, नोट्स एक तीसरे AI (जिसे "डायग्नोस्टिशियन" कहा जाता है) को सौंप दिए जाते हैं। यह AI नोट्स को देखता है और बीमारी का अनुमान लगाने की कोशिश करता है। यदि नोट्स अच्छे थे, तो डायग्नोस्टिशियन सही अनुमान लगाता है। यदि नोट्स अव्यवस्थित थे या उनमें महत्वपूर्ण विवरण छूट गए थे, तो उसका अनुमान गलत हो सकता है।
3. बड़े आश्चर्य
शोधकर्ताओं ने 11 अलग-अलग AI मॉडल्स का परीक्षण किया, जिनमें विशाल, महंगे "सुपर-ब्रेन" से लेकर छोटे, ओपन-सोर्स मॉडल्स तक शामिल थे। उन्हें यहाँ क्या पता चला:
- बड़ा होना हमेशा बेहतर नहीं होता: आप सोच सकते हैं कि सबसे महंगा, विशाल AI हर बार जीतेगा। जरूरी नहीं। इस विशिष्ट खेल में ("सवाल पूछने" के मामले में), एक छोटा, ओपन-सोर्स मॉडल (Qwen2.5-32B) जिसे एक विशिष्ट डेटासेट पर फाइन-ट्यून (विशेष प्रशिक्षण) किया गया था, वास्तव में विशाल और महंगे मॉडल्स को भी पीछे छोड़ गया।
- उपमा: यह एक विशिष्ट मैकेनिक की तरह है जो जानता है कि एक विशिष्ट कार मॉडल को ठीक से कैसे ठीक करना है, जो उस सामान्य विशेषज्ञ को हरा देता है जो दुनिया की हर कार के बारे में थोड़ा-थोड़ा जानता है।
- अधिक सवाल मतलब बेहतर जवाब नहीं: शोधकर्ताओं ने पाया कि केवल अधिक सवाल पूछने से स्वचालित रूप से बेहतर डायग्नोसिस नहीं मिला।
- उपमा: यदि आप घास के ढेर में सुई खोजने की कोशिश कर रहे हैं, तो घास के रंग के बारे में 100 सवाल पूछने से आपको सुई खोजने में मदद नहीं मिलेगी। कभी-कभी, बहुत अधिक अप्रासंगिक सवाल पूछने से वास्तव में डायग्नोसिस भ्रमित हो सकता है।
- भाषा शैली को बदल देती है: जब AI अंग्रेजी बोलता था, तो वह एक लक्षण पर गहराई से और बार-बार सवाल पूछता था (जैसे सिरदर्द पर गहराई से उतरना)। जब वह कोरियाई बोलता था, तो वह एक व्यापक जाल बुनता था, शरीर के कई अंगों के बारे में सवाल पूछता था। दिलचस्प बात यह है कि "व्यापक जाल" वाले दृष्टिकोण को "चेकलिस्ट" पर बेहतर स्कोर मिला, जबकि "गहराई से उतरने" वाले दृष्टिकोण का अंतिम बीमारी का अनुमान लगाने में थोड़ा बेहतर प्रदर्शन हुआ।
4. इसका क्या अर्थ है (शोध पत्र के अनुसार)
शोध पत्र निष्कर्ष निकालता है कि प्री-कंसल्टेशन के लिए AI को वास्तविक क्लिनिक में उपयोगी बनाने के लिए, हमें केवल सबसे बड़े मॉडल पर पैसा नहीं लगाना चाहिए। इसके बजाय, हमें:
- विशिष्ट रूप से प्रशिक्षित करना चाहिए: छोटे मॉडल्स को चिकित्सा संबंधी प्रश्न पूछने के तरीके पर उच्च गुणवत्ता वाले, विशिष्ट प्रशिक्षण डेटा दें।
- मात्रा के बजाय गुणवत्ता पर ध्यान दें: यह सही सवाल पूछने के बारे में है, न कि बहुत सारे सवाल पूछने के बारे में।
- सही भाषा का उपयोग करें: उपयोग की जाने वाली भाषा बदल जाती है कि AI कैसे सोचता है और कैसे सवाल पूछता है।
महत्वपूर्ण नोट: शोध पत्र स्पष्ट रूप से कहता है कि यह परीक्षण केवल टेक्स्ट-आधारित बातचीत को कवर करता है। इसमें वे बीमारियाँ शामिल नहीं हैं जिनके लिए एक्स-रे, एमआरआई या शारीरिक स्पर्श की आवश्यकता होती है। इसलिए, ये परिणाम चिकित्सा की पूरी प्रक्रिया के बजाय केवल "इंटरव्यू" वाले हिस्से के लिए विशिष्ट हैं।
संक्षेप में, EPAG यह मापने के लिए एक नया पैमाना है कि एक फोन कॉल या चैट के दौरान एक जिज्ञासु, गहन डॉक्टर की भूमिका निभाने में AI कितना अच्छा है, जो यह साबित करता है कि एक अच्छी तरह से प्रशिक्षित छोटा मॉडल कभी-कभी एक विशाल, अप्रशिक्षित मॉडल से बेहतर प्रदर्शन कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।