Injecting Structured Biomedical Knowledge into Language Models: Continual Pretraining vs. GraphRAG
यह शोध पत्र UMLS मेटाथिसॉरस से संरचित बायोमेडिकल ज्ञान को भाषा मॉडलों में एकीकृत करने की दो रणनीतियों—कंटीन्यूअल प्रीट्रेनिंग (continual pretraining) और ग्राफ-आरएजी (GraphRAG)—की तुलना करता है, यह प्रदर्शित करते हुए कि जहाँ प्रीट्रेनिंग विशिष्ट कार्यों पर मामूली लाभ प्रदान करती है, वहीं ग्राफ-आरएजी बायोमेडिकल प्रश्नोत्तर (biomedical question answering) पर बेहतर, पारदर्शी और बिना पुन: प्रशिक्षण (retraining-free) के प्रदर्शन सुधार प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन बहुत कम उम्र के छात्र (एक लैंग्वेज मॉडल) को एक विश्व-स्तरीय डॉक्टर बनने के लिए सिखाने की कोशिश कर रहे हैं। वह छात्र स्मार्ट है, उसने बहुत सारी सामान्य किताबें पढ़ी हैं, और वह बहुत सुंदर लिख सकता है। लेकिन जब आप उनसे विशिष्ट चिकित्सा प्रश्न पूछते हैं, तो वे कभी-कभी गलत अनुमान लगाते हैं, बातें बना लेते हैं (हैलुसिनेशन/भ्रम), या उन्हें नवीनतम शोध के बारे में पता नहीं होता है।
यह शोध पत्र एक सरल प्रश्न पूछता है: इस छात्र को चिकित्सा विश्वकोश (UMLS) का विशिष्ट ज्ञान देने का सबसे अच्छा तरीका क्या है ताकि वह एक बेहतर डॉक्टर बन सके?
शोधकर्ताओं ने दो अलग-अलग शिक्षण विधियों का परीक्षण किया:
विधि 1: "ब्रेन इम्प्लांट" (निरंतर प्रीट्रेनिंग - Continual Pretraining)
उपमा: कल्पना कीजिए कि आप उस छात्र को कुछ हफ्तों के लिए एक लाइब्रेरी में बंद कर देते हैं, और उसे केवल मेडिकल टेक्स्टबुक्स खिलाते हैं। आप उसे हर तथ्य, संबंध और परिभाषा को याद करने के लिए मजबूर करते हैं जब तक कि वह ज्ञान उसके मस्तिष्क का हिस्सा न बन जाए।
- यह कैसे काम करता है: शोधकर्ताओं ने एक विशाल चिकित्सा डेटाबेस (UMLS) को लिया और उसे टेक्स्ट के एक बड़े ढेर में बदल दिया। फिर उन्होंने AI मॉडल्स (BERT और BioBERT) को इस टेक्स्ट पर "री-ट्रेन" किया।
- परिणाम:
- सामान्य छात्र के लिए (BERT): इसने अद्भुत काम किया। छात्र थोड़ा बहुत चिकित्सा के बारे में जानने से लेकर एक ठोस विशेषज्ञ बन गया। उसने चिकित्सा की "भाषा" सीखी और वह जटिल प्रश्नों के बहुत बेहतर उत्तर दे सका।
- पहले से ही विशेष छात्र के लिए (BioBERT): यह थोड़ा पेचीदा था। इस छात्र ने पहले ही लाखों मेडिकल किताबें पढ़ ली थीं। थोड़े और संरचित ज्ञान को जोड़ने से ज्यादा मदद नहीं मिली, और कुछ मामलों में, इसने उन्हें थोड़ा भ्रमित भी कर दिया। यह एक मास्टर शेफ को एक नई रेसिपी सिखाने जैसा है जब वह पहले से ही 10,000 रेसिपी जानता हो; कभी-कभी, नई जानकारी रास्ते में बाधा बन जाती है।
विधि 2: "ओपन-बुक एग्जाम" (ग्राफआरएजी - GraphRAG)
उपमा: छात्र को सब कुछ याद करने के लिए मजबूर करने के बजाय, आप उसे एक जादुई, सुपर-फास्ट इंडेक्स कार्ड सिस्टम (नॉलेज ग्राफ) और एक आवर्धक लेंस (मैग्निफाइंग ग्लास) देते हैं। जब उसे कोई प्रश्न मिलता है, तो वह अपनी याददाश्त पर भरोसा नहीं करता है। इसके बजाय, वह तेजी से इंडेक्स में उत्तर खोजता है, तथ्यों के बीच के संबंधों को ट्रैक करता है, और फिर केवल उसी के आधार पर उत्तर लिखता है जो उसने पाया है।
- यह कैसे काम करता है: शोधकर्ताओं ने Neo4j नामक डेटाबेस का उपयोग करके चिकित्सा तथ्यों का एक विशाल डिजिटल मानचित्र (नॉलेज ग्राफ) बनाया। जब AI (LLaMA) को कोई प्रश्न मिलता है, तो वह अनुमान नहीं लगाता है। वह इस मानचित्र को खोजता है, तथ्यों के उस विशिष्ट पथ को ढूंढता है जो उत्तर से जुड़ता है, और फिर उस पथ का उपयोग करके प्रतिक्रिया उत्पन्न करता है।
- परिणाम: यह अध्ययन का सुपरस्टार रहा।
- याद रखने की आवश्यकता नहीं: AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं थी। उसे बस मानचित्र तक पहुंच चाहिए थी।
- बेहतर सटीकता: इसने "याद किए गए" मॉडल्स की तुलना में चिकित्सा प्रश्नों के अधिक सटीक उत्तर दिए।
- झूठ नहीं बोलना: क्योंकि AI को अपना काम दिखाना पड़ता था (मानचित्र में पथ), उसके लिए मनगढ़ंत बातें बनाना बहुत कठिन था।
- अपडेट करना आसान: यदि कोई नया चिकित्सा आविष्कार होता है, तो आप बस इंडेक्स कार्ड सिस्टम को अपडेट कर देते हैं। आपको छात्र को महीनों के लिए वापस स्कूल भेजने की आवश्यकता नहीं होती है।
मुख्य निष्कर्ष
यह शोध पत्र याद करने (Memorizing) बनाम खोजने (Looking Up) की तुलना करता है।
- याद करना (विधि 1) तब बहुत अच्छा है जब आप ऐसे छात्र के साथ शुरुआत करते हैं जिसे विषय के बारे में कुछ भी पता नहीं है। यह एक मजबूत नींव बनाता है।
- खोजना (विधि 2) बेहतर है यदि आप सबसे सटीक, अद्यतित और स्पष्ट उत्तर चाहते हैं। यह एक GPS होने जैसा है: आपको शहर के पूरे मानचित्र को याद रखने की आवश्यकता नहीं है; आपको बस एक ऐसे उपकरण की आवश्यकता है जो जानता हो कि आप कहाँ हैं और आप कहाँ जा रहे हैं।
निष्कर्ष:
सामान्य AI मॉडल्स के लिए, उन्हें तथ्य सिखाना (विधि 1) एक अच्छी शुरुआत है। लेकिन सबसे महत्वपूर्ण चिकित्सा कार्यों के लिए जहाँ सटीकता और विश्वास सबसे अधिक मायने रखते हैं, AI को चिकित्सा तथ्यों के लिए एक "सर्च इंजन" देना (विधि 2) विजेता है। यह तेज़, ईमानदार और अद्यतित रखना आसान है।
शोधकर्ताओं ने अपने "इंडेक्स कार्ड सिस्टम" (नॉलेज ग्राफ) को सभी के उपयोग के लिए उपलब्ध भी कराया है, ताकि अन्य वैज्ञानिक भी इन विधियों को आज़मा सकें!
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।