FaithMed: Training LLMs For Faithful Evidence-Based Medical Reasoning
यह शोधपत्र FaithMed को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो साक्ष्य-आधारित चिकित्सा सिद्धांतों को प्रक्रिया-स्तरीय मानदंडों में औपचारिक रूप देकर और साक्ष्य मूल्यांकन एवं तर्क को पर्यवेक्षित करने के लिए चरण-स्तरीय सुदृढीकरण शिक्षण (reinforcement learning) को लागू करके मेडिकल लार्ज लैंग्वेज मॉडल्स की निष्ठा और प्रदर्शन को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन मेडिकल छात्र को मरीज का निदान (diagnose) करना सिखा रहे हैं।
समस्या: "स्मार्ट गेस" (अंदाजा लगाने) का जाल
वर्तमान में, कई AI डॉक्टर (लार्ज लैंग्वेज मॉडल्स) उन छात्रों की तरह हैं जिन्होंने मेडिकल की हर किताब तो पढ़ ली है, लेकिन कभी क्लिनिक में अभ्यास नहीं किया है। जब वे कोई सवाल देखते हैं, तो वे सही अंतिम उत्तर दे सकते हैं, लेकिन उनका तर्क (reasoning) अस्त-व्यस्त हो सकता है। वे कह सकते हैं, "मरीज को सिरदर्द है, इसलिए यह ट्यूमर है," और फिर बिना यह जांचे कि क्या सिरदर्द वास्तव में ट्यूमर के लक्षणों से मेल खाता है, जादुई रूप से सीधे सही उपचार पर पहुँच जाते हैं।
इस पेपर में, लेखक इसे "अनफिथफुल रीजनिंग" (अविश्वसनीय तर्क) कहते हैं। यह एक ऐसे छात्र की तरह है जो गणित के टेस्ट में सही उत्तर तो देता है, लेकिन उसके लिखे हुए चरण (steps) बेतुके होते हैं। चिकित्सा के क्षेत्र में, यह खतरनाक है क्योंकि यदि AI यह नहीं समझा सकता कि उसने वास्तविक साक्ष्यों के आधार पर निर्णय क्यों लिया, तो डॉक्टर उस पर भरोसा नहीं कर पाएंगे।
समाधान: FaithMed (एक "चेकलिस्ट" कोच)
शोधकर्ताओं ने FaithMed नामक एक नई प्रशिक्षण पद्धति बनाई है। केवल अंतिम उत्तर (सही/गलत) के आधार पर छात्र को ग्रेड देने के बजाय, वे इस बात पर ग्रेड देते हैं कि वह वहां कैसे पहुँचा।
उन्होंने एक प्रणाली बनाई है जो साक्ष्य-आधारित चिकित्सा (evidence-based medicine) के वास्तविक "5 A's" पर आधारित है, जिसे उन्होंने एक सख्त चेकलिस्ट (या रूब्रिक) में बदल दिया है:
- Ask (पूछना): क्या आपने सही प्रश्न पूछा?
- Acquire (प्राप्त करना): क्या आप सही तथ्य खोजने गए?
- Appraise (आकलन करना): क्या आपने जांचा कि वे तथ्य वास्तव में इस विशिष्ट मरीज पर लागू होते हैं या नहीं?
- Apply (लागू करना): क्या आपने उन तथ्यों का उपयोग समस्या को हल करने के लिए किया?
- Assess (आकलन/पुनः जांचना): क्या आपने अपने काम की दोबारा जांच की?
यह कैसे काम करता है: "स्टेप-बाय-स्टेप" कोच
अधिकांश AI प्रशिक्षण एक ऐसे कोच की तरह है जो आपको खेल के अंत में केवल यह बताता है कि, "तुमने खेल सही खेला।" FaithMed इससे अलग है। यह एक ऐसे कोच की तरह है जो खेल के हर एक सेकंड में आपके साथ खड़ा होता है।
- पुराना तरीका (केवल परिणाम): आप पूरा खेल खेलते हैं, पहले मिनट में एक गलती करते हैं, लेकिन अंत में जीत जाते हैं। कोच कहता है, "अच्छा काम किया!" गलती कभी सुधारी नहीं जाती।
- FaithMed का तरीका (स्टेप-लेवल): आप पहले मिनट में एक गलती करते हैं (जैसे, आप गलत लक्षण खोजते हैं)। कोच तुरंत आपको रोकता है और कहता है, "रुको, वह खोज मरीज के लक्षणों से मेल नहीं खाती। फिर से कोशिश करो।"
पेपर इसे "स्टेप-लेवल प्रोसेस रिवॉर्ड" कहता है। यह AI को उसके हर एक विचार के लिए एक छोटा सा "हाई फाइव" या "थम्स डाउन" देता है, न कि केवल अंतिम परिणाम के लिए।
"ग्रुपिंग" (समूहीकरण) की तकनीक
इसे निष्पक्ष बनाने के लिए, AI केवल शून्य में स्कोर प्राप्त नहीं करता है। सिस्टम समान स्थितियों को एक साथ समूह में रखता है।
- उपमा: कल्पना कीजिए कि एक कुकिंग प्रतियोगिता है। यदि आप सूप बना रहे हैं, तो जज आपके सूप की तुलना अन्य सूपों से करेंगे, केक से नहीं। FaithMed AI के "खोज चरणों" (search steps) को अन्य "खोज चरणों" के साथ समूहित करता है ताकि यह देखा जा सके कि क्या उसने उस विशिष्ट क्षण में अपने साथियों से बेहतर काम किया। यह AI को एक खोज चरण की तुलना अंतिम उत्तर चरण से करके भ्रमित होने से रोकता है।
परिणाम: बेहतर छात्र, बेहतर डॉक्टर
शोधकर्ताओं ने सात अलग-अलग मेडिकल परीक्षाओं (जैसे डॉक्टरों के लिए बोर्ड एग्जाम) पर इसका परीक्षण किया।
- सटीकता (Accuracy): FaithMed-प्रशिक्षित AI ने मानक AI की तुलना में बहुत अधिक प्रश्नों के सही उत्तर दिए।
- विश्वसनीयता (Trustworthiness): इससे भी महत्वपूर्ण बात यह है कि AI की "विचार प्रक्रिया" साक्ष्यों के प्रति बहुत अधिक वफादार (faithful) हो गई। इसने तथ्य बनाना बंद कर दिया और वास्तव में दिशानिर्देशों को खोजना, उन्हें पढ़ना और उन्हें सही ढंग से लागू करना शुरू कर दिया।
निष्कर्ष
यह पेपर साबित करता है कि यदि आप चाहते हैं कि एक AI एक अच्छा मेडिकल रीजनर (तर्क करने वाला) बने, तो आप उसे केवल उत्तर नहीं सिखा सकते। आपको उसे वह प्रक्रिया सिखानी होगी कि साक्ष्यों को कैसे खोजा, जांचा और उपयोग किया जाता है। हर कदम पर जांच करने वाले एक सख्त कोच की तरह काम करके, FaithMed एक ऐसा AI बनाता है जो केवल सही उत्तर का अनुमान नहीं लगाता, बल्कि वास्तव में विश्वसनीय, साक्ष्य-आधारित सोच के माध्यम से उसे अर्जित करता है।
नोट: लेखक स्पष्ट रूप से कहते हैं कि यह AI के सोचने के तरीके को सुधारने के लिए एक शोध उपकरण है। यह वास्तविक डॉक्टरों का विकल्प नहीं है, और इसे मानवीय देखरेख के बिना वास्तविक रोगियों का निदान करने के लिए उपयोग नहीं किया जाना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।