Infoxmed2.0-27B: Instruction Tuning, Preference Alignment, and GRPO-Based Reward Model Training for Medical LLMs
यह शोध पत्र Infoxmed2.0-27B को प्रस्तुत करता है, जो Qwen3.5-27B से व्युत्पन्न एक मेडिकल फाउंडेशन मॉडल है, जो प्रोप्रायटरी डेटा सिंथेसिस, LoRA-आधारित इंस्ट्रक्शन ट्यूनिंग, DPO प्रैफ़रेंस अलाइनमेंट और GRPO-आधारित रिवॉर्ड मॉडल ट्रेनिंग से जुड़ी एक कठोर बहु-चरणीय पोस्ट-ट्रेनिंग पाइपलाइन के माध्यम से मेडिकल बेंचमार्क पर उत्कृष्ट प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
यहाँ Infoxmed2.0-27B शोध पत्र का सरल भाषा में अनुवाद दिया गया है, जिसमें रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।
बड़ी तस्वीर: एक "मेडिकल सुपर-इंटर्न" बनाना
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, सुशिक्षित विश्वविद्यालय का छात्र है (Qwen3.5-27B बेस मॉडल)। यह छात्र दुनिया के बारे में बहुत कुछ जानता है, निबंध लिख सकता है, और सामान्य तर्क समझता है। हालाँकि, यदि आप उनसे कोई जटिल चिकित्सा प्रश्न पूछते हैं, तो वे अनुमान लगा सकते हैं, तथ्य बना सकते हैं, या ऐसी सलाह दे सकते हैं जो सुनने में तो अच्छी लगती है लेकिन वास्तव में खतरनाक हो सकती है।
इस शोध पत्र के लेखकों ने इस "सामान्य छात्र" को एक "मेडिकल सुपर-इंटर्न" में बदलने का लक्ष्य रखा जो सटीक, सुरक्षित हो और चिकित्सा के कड़े नियमों का पालन करता हो। उन्होंने इसे उन्हें शुरू से पूरी नई डिग्री सिखाकर नहीं, बल्कि उन्हें एक कठोर चार-चरणीय प्रशिक्षण शिविर (four-stage training camp) से गुजारकर हासिल किया।
चरण 1: टेक्स्टबुक फैक्ट्री (डेटा सिंथेसिस - Data Synthesis)
इससे पहले कि छात्र पढ़ाई शुरू कर सके, उनके पास सही पाठ्यपुस्तकें होनी चाहिए।
- समस्या: आप इंटरनेट से केवल यादृच्छिक (random) चिकित्सा सलाह नहीं उठा सकते; यह त्रुटियों और डुप्लिकेट्स से भरी होती है।
- समाधान: टीम ने एक कस्टम फैक्ट्री बनाई।
- माइनिंग (Mining): उन्होंने एक निजी, व्यवस्थित डेटाबेस (एक विशाल पुस्तकालय की तरह) से संरचित प्रश्न और उत्तर निकालने के लिए खुदाई की।
- सॉर्टिंग (Sorting): उन्होंने इन प्रश्नों को एक "मेडिकल कैटेगरी ट्री" (जैसे ऑन्कोलॉजी, कार्डियोलॉजी आदि के लिए फोल्डर वाला एक फाइलिंग कैबिनेट) में व्यवस्थित किया ताकि छात्र अभिभूत न हो जाए।
- संपादक (The Editors): मेडिकल पीएचडी विशेषज्ञों की एक टीम ने सख्त संपादक के रूप में कार्य किया। उन्होंने सटीकता के लिए हर उत्तर की जाँच की। यदि कोई तथ्य गलत था, तो उसे हटा दिया गया।
- फ़िल्टर (The Filter): उन्होंने डुप्लिकेट प्रश्नों को खोजने और हटाने के लिए एक स्मार्ट AI टूल (चीनी RoBERTa) का उपयोग किया, जिससे यह सुनिश्चित हुआ कि छात्र अद्वितीय उदाहरणों से सीखे।
- पॉलिशिंग (Polishing): अंत में, उन्होंने भाषा को सहज बनाने के लिए एक API का उपयोग किया, जिससे उत्तर चिकित्सा तथ्यों को बदले बिना स्वाभाविक और स्पष्ट सुनाई दें।
उपमा: यह बिखरे हुए हाथ से लिखे नोट्स के ढेर को लेने, एक प्रोफेसर द्वारा हर तथ्य को सत्यापित करने, फोटोकॉपी को हटाने और फिर टेक्स्ट को पठनीय बनाने के लिए एक पेशेवर संपादक को काम पर रखने जैसा है।
चरण 2: क्लासरूम (इंस्ट्रक्शन फाइन-ट्यूनिंग / SFT)
अब जब छात्र के पास पाठ्यपुस्तकें हैं, तो वे कक्षा में जाते हैं।
- विधि: उन्होंने LoRA (Low-Rank Adaptation) नामक तकनीक का उपयोग किया।
- उपमा: कल्पना कीजिए कि छात्र के पास पहले से ही एक पूरा मस्तिष्क है। उनके पूरे मस्तिष्क को फिर से लिखने (जो महंगा और धीमा है) के बजाय, टीम ने उनकी जेब में एक छोटा, विशेष "नोटबुक" (LoRA) जोड़ दिया। इस नोटबुक में विशिष्ट चिकित्सा नियम और पैटर्न शामिल हैं।
- परिणाम: छात्र ने चिकित्सा निर्देशों का पालन करना और अपने उत्तरों को सही ढंग से संरचित करना सीखा। वे इस कक्षा के तीन संस्करणों (v0.0, v0.2, v0.4) से गुजरे, और हर बार बेहतर होते गए।
चरण 3: डिबेट कोच (प्रेफरेंस अलाइनमेंट / DPO)
तथ्यों को जानना ही काफी नहीं है; छात्र को यह भी जानने की आवश्यकता है कि जब कई विकल्प मौजूद हों, तो सबसे अच्छा उत्तर कैसे चुना जाए।
- सेटअप: टीम ने 6,283 "कार्ड डेक" बनाए। प्रत्येक डेक में एक ही चिकित्सा प्रश्न के दो उत्तर थे:
- विजेता (The Winner): एक आदर्श, विस्तृत, साक्ष्य-आधारित उत्तर।
- हारने वाला (The Loser): एक अस्पष्ट, अधूरा या काल्पनिक (बनाया हुआ) उत्तर।
- प्रशिक्षण: उन्होंने DPO (Direct Preference Optimization) नामक विधि का उपयोग किया। हर उत्तर को ग्रेड देने के लिए एक जज को काम पर रखने के बजाय (जो धीमा है), उन्होंने बस छात्र को दिखाया: "यह एक अच्छा उत्तर है, यह एक बुरा उत्तर है। अच्छे वाले को प्राथमिकता देना सीखो।"
- प्रक्रिया: उन्होंने इस प्रशिक्षण को 8 बार चलाया (v0 से v7), और हर बार कोच की "सख्ती" को सूक्ष्म रूप से बदला। उन्होंने उस संस्करण (v7) को चुना जो अच्छे और बुरे उत्तर के बीच अंतर करने में सबसे अच्छा था।
उपमा: यह एक कोच को एक शतरंज खिलाड़ी को एक ऐसे खेल को दिखाने जैसा है जहाँ वह जीता था और एक ऐसे खेल को जहाँ वह हार गया था, और फिर यह कहना कि, "उस तरह से मत खेलो जैसे तुमने हारने वाले खेल में खेला था।"
चरण 4: स्कोरकीपर (रिवॉर्ड मॉडल ट्रेनिंग / GRPO)
जब छात्र अच्छे उत्तरों को पसंद करना सीख रहा था, तब टीम ने एक अलग "स्कोरकीपर" AI को भी प्रशिक्षित किया।
- लक्ष्य: इस स्कोरकीपर का काम छात्र के भविष्य के उत्तरों को स्वचालित रूप से ग्रेड करना है।
- हाइब्रिड दृष्टिकोण: स्कोरकीपर दो प्रकार की ग्रेडिंग का उपयोग करता है:
- आंतरिक नियम (Internal Rules): एक चेकलिस्ट (जैसे, "क्या आपने सही चिकित्सा शब्दों का उपयोग किया? क्या आपने साक्ष्य का उल्लेख किया?")।
- बाहरी ज्ञान (External Wisdom): यह गुणवत्ता पर एक सामान्य "अंतर्ज्ञान" (gut feeling) के लिए एक शक्तिशाली बाहरी AI (DeepSeek) से पूछता है।
- तकनीकी ट्रिक: जिस बेस मॉडल का उन्होंने उपयोग किया था, उसमें एक खामी थी जहाँ वह एक के बजाय दो ग्रेड की अपेक्षा करता था। टीम ने चतुराई से सिस्टम को इस खामी के साथ काम करने के लिए अनुकूलित किया, जिससे अंतिम ग्रेड प्राप्त करने के लिए "बुरे" स्कोर को "अच्छे" स्कोर से घटा दिया गया।
उपमा: यह एक ऐसे शिक्षक की तरह है जो एक सख्त रूब्रिक (आंतरिक नियम) का उपयोग करता है लेकिन साथ ही अपनी राय के लिए एक विशेषज्ञ (बाहरी AI) से भी पूछता है, और फिर अंतिम ग्रेड देने के लिए दोनों को मिला देता है।
अंतिम परीक्षा (परिणाम)
टीम ने अपने नए "मेडिकल सुपर-इंटर्न" (Infoxmed2.0-27B) का दो परीक्षाओं का उपयोग करके अन्य शीर्ष मेडिकल AI मॉडल के विरुद्ध परीक्षण किया:
MedMCQA (बहुविकल्पीय):
- मॉडल ने 77% सटीकता प्राप्त की।
- इसने लगभग हर श्रेणी में अपने प्रतिस्पर्धियों (जैसे Baichuan-M2 और MedGemma) से अधिक स्कोर किया, विशेष रूप से "कवरेज" (प्रश्न के सभी भागों को कवर करना) और "संरचना" (स्पष्ट रूप से लिखना) में।
- प्रगति: बेस मॉडल ने +6.69 के स्कोर से शुरुआत की। क्लासरूम (SFT) के बाद, यह +7.06 पर गया। डिबेट कोच (DPO) के बाद, यह +7.18 तक पहुँच गया।
HLE (हार्ड लॉजिक इवैल्यूएशन):
- इसने गहरे तर्क (deep reasoning) का परीक्षण किया। मॉडल ने +2.59 स्कोर किया।
- सावधानी: हालांकि यह संरचना और सुरक्षा में बहुत अच्छा था, लेकिन यह वास्तव में बहुत कठिन, आउट-ऑफ-डोमेन प्रश्नों पर "ग्राउंडिंग" (तथ्यों पर टिके रहना) के मामले में बेस मॉडल की तुलना में थोड़ा कमजोर हो गया। पेपर स्वीकार करता है कि यह एक सीमा है: मॉडल पेशेवर दिखने में बहुत अच्छा है, लेकिन कभी-कभी यह अत्यंत अज्ञात तथ्यों के साथ संघर्ष करता है।
सारांश
पेपर का दावा है कि विशेषज्ञ-सत्यापित डेटा, कुशल क्लासरूम प्रशिक्षण, प्रेफरेंस-आधारित डिबेट कोचिंग, और एक हाइब्रिड स्कोरकीपर को मिलाकर, उन्होंने एक ऐसा मेडिकल AI बनाया है जो समग्र गुणवत्ता और संरचना के मामले में अपने साथियों में वर्तमान में सर्वश्रेष्ठ है, हालांकि बहुत कठिन परिदृश्यों में "भ्रम" (hallucinations) से बचने के लिए इसमें अभी भी सुधार की गुंजाइश है।
महत्वपूर्ण नोट: पेपर स्पष्ट रूप से कहता है कि यह एक शोध प्रीप्रिंट है और इसका उपयोग अभी भी नैदानिक अभ्यास (clinical practice) (वास्तविक जीवन की रोगी देखभाल) के मार्गदर्शन के लिए नहीं किया जाना चाहिए। यह अनुसंधान में एक कदम है, न कि एक पूर्ण चिकित्सा उपकरण।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।