MedLLM: An Open Medical Language Model at the Sub-Billion Scale
यह शोध पत्र MedLLM को प्रस्तुत करता है, जो एक पूर्णतः ओपन तीन-चरणीय पाइपलाइन के माध्यम से प्रशिक्षित 0.1B-पैरामीटर वाला एक ओपन मेडिकल लैंग्वेज मॉडल है, जो यह प्रकट करता है कि सब-बिलियन-स्केल मॉडल चिकित्सा सक्षमता में एक अद्वितीय पृथक्करण प्रदर्शित करते हैं—जो क्षमता संबंधी बाधाओं के कारण अनुकूलन संबंधी समस्याओं के बजाय संदर्भ-आधारित कार्यों में उत्कृष्टता प्राप्त करते हैं जबकि ज्ञान रिकॉल (knowledge recall) में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल पुस्तकालय में एक नन्हा मस्तिष्क
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर को इंसानों की तरह पढ़ना और लिखना सिखाया जाता है। इन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है। इन्हें उन सुपर-स्मार्ट छात्रों के रूप में सोचें जिन्होंने इंटरनेट पर मौजूद लगभग सब कुछ पढ़ लिया है। आमतौर पर, इन छात्रों को किसी विशिष्ट कार्य में वास्तव में कुशल बनाने के लिए—जैसे कि एक डॉक्टर बनना—आपको उन्हें बहुत विशाल बनाना पड़ता है। वे जितने बड़े होंगे, उतने ही अधिक तथ्य वे याद रख पाएंगे। लेकिन एक समस्या है: ये विशाल मेडिकल छात्र अक्सर गुप्त प्रयोगशालाओं में बंद रहते हैं, या वे इतने बड़े और महंगे होते हैं कि केवल बड़ी कंपनियाँ ही उन्हें चला सकती हैं।
यह एक बड़ा सवाल छोड़ देता है: क्या होगा अगर हम एक नन्हे मेडिकल छात्र को बनाने की कोशिश करें? एक ऐसा छात्र जो इतना छोटा हो कि एक सामान्य कंप्यूटर, शायद एक लैपटॉप पर भी फिट हो सके? वैज्ञानिक सोच रहे थे कि क्या इतना छोटा मॉडल वास्तव में चिकित्सा सीख सकता है, या क्या यह जटिल चिकित्सा शब्दों को समझने के लिए बहुत "मूर्ख" होगा। वे यह भी जानना चाहते थे कि: यदि आप एक मेडिकल मस्तिष्क को छोटा करते हैं, तो क्या वह सब कुछ भूल जाता है, या वह कुछ चीज़ों को भूल जाता है जबकि दूसरों में कुशल बना रहता है? यह शोध पत्र उस नन्ही, अनछुई दुनिया में गोता लगाता है ताकि यह देखा जा सके कि एक छोटा मेडिकल AI वास्तव में क्या कर सकता है।
MedLLM से मिलिए: जेब के आकार का मेडिकल छात्र
इस अध्ययन के पीछे के शोधकर्ताओं ने MedLLM बनाया, जो एक मेडिकल लैंग्वेज मॉडल है जो अविश्वसनीय रूप से छोटा है—केवल 0.1 बिलियन पैरामीटर्स। इसे समझने के लिए, अन्य प्रसिद्ध मेडिकल AI मॉडल्स के साथ इसकी तुलना करें जिनसे इसकी तुलना की गई है, जो 7 बिलियन पैरामीटर्स या उससे भी बड़े हैं। इसका मतलब है कि MedLLM अपने प्रतिस्पर्धियों की तुलना में लगभग 70 गुना छोटा है। यह एक पॉकेट कैलकुलेटर की तुलना एक विशाल सुपरकंप्यूटर से करने जैसा है।
लेकिन छोटा होना केवल आकार के बारे में नहीं है; यह इस बारे में है कि आप इसे कैसे सिखाते हैं। टीम ने केवल मॉडल में रैंडम मेडिकल किताबें नहीं डालीं। इसके बजाय, उन्होंने MedFineWeb नामक एक विशेष प्रशिक्षण विधि बनाई। कल्पना करें कि आपके पास पूरे इंटरनेट का एक विशाल पुस्तकालय है, लेकिन आपको केवल उन पृष्ठों को खोजने की आवश्यकता है जो चिकित्सा प्रश्नों और उत्तरों जैसे दिखते और सुनाई देते हैं। हर एक पृष्ठ को पढ़ने के लिए एक लाइब्रेरियन को काम पर रखने के बजाय, उन्होंने एक "संदर्भ मार्गदर्शिका" (reference guide) का उपयोग किया। उन्होंने कुछ हज़ार वास्तविक चिकित्सा परीक्षा प्रश्न लिए और कंप्यूटर को बताया, "ऐसा टेक्स्ट ढूँढो जो इन प्रश्नों के समान लगता हो।" कंप्यूटर ने फिर MedLLM के लिए एक कस्टम पाठ्यपुस्तक बनाने के लिए सबसे प्रासंगिक वेब पेजों को इकट्ठा किया। इस तरह, नन्हे मॉडल ने चिकित्सा के लिए एक विशाल, पूर्व-क्यूरेटेड मेडिकल जर्नल की लाइब्रेरी की आवश्यकता के बिना, चिकित्सा की शैली और शब्दावली सीखी।
एक बड़ा आश्चर्य: यह आकार के बारे में नहीं, बल्कि कार्य के बारे में है
शोध पत्र का सबसे रोमांचक हिस्सा वह था जो तब हुआ जब उन्होंने MedLLM का परीक्षण किया। शोधकर्ताओं को उम्मीद थी कि क्योंकि मॉडल बहुत छोटा था, इसलिए यह हर चीज़ में बुरा होगा। इसके बजाय, उन्हें कुछ अजीब और अद्भुत मिला: MedLLM समान रूप से विफल नहीं हुआ।
चिकित्सा ज्ञान को दो अलग-अलग प्रकार के खेलों के रूप में सोचें:
- "कॉन्टेक्स्ट" (संदर्भ) गेम: आपको एक छोटी कहानी (एक मरीज की कहानी) दी जाती है और केवल उस कहानी के आधार पर एक प्रश्न का उत्तर देने के लिए कहा जाता है।
- "मेमोरी" (स्मृति) गेम: आपसे एक प्रश्न पूछा जाता है, और आपको बिना किसी मदद के अपने दिमाग से उत्तर निकालना होता है।
यहाँ छोटा मॉडल सभी को आश्चर्यचकित कर देता है:
- "कॉन्टेक्स्ट" गेम पर: MedLLM एक सितारा था! जब इसे पढ़ने के लिए एक मरीज की कहानी दी गई, तो यह लगभग उतना ही अच्छा उत्तर दे सका जितना कि 7-बिलियन पैरामीटर वाले विशाल मॉडल। वास्तव में, इसने उन इंस्ट्रक्शन-ट्यून्ड 7-बिलियन मॉडल्स को भी पछाड़ दिया जिन्हें आमतौर पर गोल्ड स्टैंडर्ड माना जाता है। इसने दिखाया कि भले ही एक छोटा मस्तिष्क हो, यदि उसके सामने सही जानकारी मौजूद हो, तो वह बहुत स्मार्ट हो सकता है।
- "मेमोरी" गेम पर: यहीं पर छोटा मॉडल एक दीवार से टकरा गया। जब अपने स्वयं के मेमोरी से तथ्यों को याद करने के लिए कहा गया (जैसे कि बिना किसी कहानी की मदद के कठिन USMLE-शैली के प्रश्न), तो इसे संघर्ष करना पड़ा। यह स्कोरबोर्ड के निचले स्तर के पास रहा, जो कठिन USMLE-शैली के प्रश्नों पर रैंडम अनुमान लगाने से थोड़ा ही बेहतर था।
शोध पत्र सुझाव देता है कि इस तरह के मॉडल के लिए, सीमा यह नहीं है कि इसे कैसे प्रशिक्षित किया गया या इसने चिकित्सा की भाषा को कितनी अच्छी तरह सीखा। सीमा केवल क्षमता (capacity) है। यह एक छोटे बैकपैक की तरह है: यदि आप इसे उपयोगी उपकरण थमा दें (कॉन्टेक्ट), तो यह बहुत कुछ रख सकता है, लेकिन यह भौतिक रूप से अपने अंदर तथ्यों का एक विशाल विश्वकोश (encyclopedia) नहीं ले जा सकता (मेमोरी)।
जो नन्हा मॉडल सीखा (और जो नहीं सीखा)
शोधकर्ताओं ने यह भी देखा कि प्रशिक्षण के दौरान मॉडल में कितना सुधार हुआ। उन्होंने पाया कि जैसे-जैसे वे MedLLM को अधिक मेडिकल टेक्स्ट खिला रहे थे, यह चिकित्सा भाषा की संरचना को समझने में बहुत बेहतर हो गया (इसका "परप्लेक्सिटी" स्कोर गिर गया, जिसका अर्थ है कि यह अधिक स्वाभाविक लगने लगा)। हालाँकि, इसने इसे कठिन मेमोरी-आधारित प्रश्नों के उत्तर देने में स्वचालित रूप से बेहतर नहीं बनाया।
इससे एक दिलचस्प खोज हुई: मॉडल को डॉक्टर की तरह बोलने के लिए प्रशिक्षित करने से उसे डॉक्टर बनना नहीं सिखाया। मॉडल ने भाषा को पूरी तरह से बोलना सीख लिया, लेकिन उसने जादुई रूप से उन विशाल चिकित्सा तथ्यों का डेटाबेस प्राप्त नहीं किया जो बड़े मॉडल्स के पास होता है। शोध पत्र का तर्क है कि इस सूक्ष्म स्तर पर, बाधा मॉडल का आकार है, न कि प्रशिक्षण की विधि। यदि आप एक छोटे AI को चिकित्सा विशेषज्ञ बनाना चाहते हैं, तो आपको संभवतः इसे तथ्यों को याद करने पर निर्भर नहीं रहना चाहिए। इसके बजाय, आपको इसे एक "चीट शीट" (कॉन्टेक्स्ट) देनी चाहिए जिसे वह उत्तर देते समय पढ़ सके।
अंतिम निर्णय
शोध पत्र निष्कर्ष निकालता है कि MedLLM एक सफल, ओपन-सोर्स प्रयोग है जो साबित करता है कि छोटे मेडिकल मॉडल्स संभव हैं, लेकिन वे बड़े मॉडल्स की तुलना में अलग तरह से काम करते हैं। वे आपके द्वारा दी गई जानकारी का उपयोग करने में उत्कृष्ट हैं, लेकिन वे अपने आप चीजों को याद रखने में अच्छे नहीं हैं।
शोधकर्ताओं ने DPO (डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन) नामक एक तकनीक का भी परीक्षण किया, जो एक शिक्षक द्वारा छात्र के उत्तरों को सुधारने जैसा है ताकि वह अधिक आत्मविश्वासी बन सके। उन्होंने पाया कि इस तकनीक ने MedLLM को सही और गलत उत्तरों के बीच अंतर करने में बहुत बेहतर बनाया, लेकिन इसने मॉडल को नए तथ्य नहीं दिए। इसने केवल मॉडल के मौजूदा कौशल को तेज किया।
संक्षेप में, MedLLM हमें दिखाता है कि यदि हम रोजमर्रा के कंप्यूटरों के लिए छोटे, सुलभ मेडिकल AI बनाना चाहते हैं, तो हमें उन्हें पूरे पुस्तकालय को याद करने के लिए मजबूर करने के बजाय, उन्हें ऐसे शानदार पाठक बनाने के लिए डिजाइन करना चाहिए जो उनके सामने मौजूद जानकारी को तुरंत समझ सकें और उसका उपयोग कर सकें। शोध पत्र यह दावा नहीं करता है कि यह चिकित्सा की सभी समस्याओं को हल करता है, लेकिन यह एक नया दरवाजा खोलता है: एक छोटा, खुला और आश्चर्यजनक रूप से सक्षम मेडिकल छात्र जिसे हम सभी पढ़ और सुधार सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।