Evaluating Small Open LLMs for Medical Question Answering: A Practical Framework
यह शोध पत्र एक व्यावहारिक, ओपन-सोर्स मूल्यांकन ढांचे को प्रस्तुत करता है जो सटीकता के साथ-साथ आउटपुट की पुनरुत्पादकता (reproducibility) को प्राथमिकता देते हुए चिकित्सा संबंधी प्रश्नों के उत्तर देने वाले छोटे, स्थानीय रूप से तैनात किए जा सकने वाले LLMs का आकलन करता है, जिससे यह पता चलता है कि चिकित्सकीय रूप से फाइन-ट्यून किए गए मॉडल भी बार-बार किए गए रन में महत्वपूर्ण विसंगति प्रदर्शित करते हैं—जो कि एक महत्वपूर्ण सुरक्षा अंतराल है जिसे पारंपरिक सिंगल-पास बेंचमार्क द्वारा अनदेखा कर दिया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप ऑनलाइन स्वास्थ्य मंचों (forums) पर लोगों की मदद करने के लिए एक डिजिटल मेडिकल असिस्टेंट बनाने की कोशिश कर रहे हैं। आप चाहते हैं कि यह असिस्टेंट स्मार्ट हो, लेकिन उससे भी महत्वपूर्ण बात यह है कि आप चाहते हैं कि यह विश्वसनीय (reliable) हो।
यह शोध पत्र एक सुरक्षा निरीक्षक (safety inspector) की तरह है जो तीन अलग-अलग "छोटे" AI मस्तिष्क की जांच कर रहा है कि क्या वे इस काम के लिए तैयार हैं। निरीक्षक को एहसास होता है कि केवल "औसत रूप से स्मार्ट" होना पर्याप्त नहीं है। यदि कोई AI आपको आज सही उत्तर देता है लेकिन कल ठीक उसी सवाल के लिए एक पूरी तरह से अलग (और संभावित रूप से खतरनाक) उत्तर देता है, तो वह डॉक्टर नहीं है; वह एक सिक्का उछालने (coin flip) जैसा है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इस शोध पत्र का विवरण दिया गया है:
1. समस्या: "चंचल शेफ" (The Fickle Chef)
अधिकांश लोग AI का परीक्षण तब करते हैं जब वे एक बार कोई प्रश्न पूछते हैं और देखते हैं कि उत्तर सही है या नहीं। लेखक कहते हैं कि यह एक शेफ को काम पर रखने जैसा है, उससे स्टेक पकाने के लिए कहना, और केवल एक बार उसे चखना। यदि वह एक बार स्टेक अच्छा बना देता है, तो आप उसे काम पर रख लेते हैं।
लेकिन क्या होगा अगर वह शेफ एक "चंचल शेफ" (fickle chef) हो?
- सोमवार: वे एक बेहतरीन मीडियम-रेयर स्टेक बनाते हैं।
- मंगलवार: वे उसे जलाकर काला कर देते हैं।
- बुधवार: वे आपको कच्चा चिकन ब्रेस्ट परोसते हैं।
यदि आपने सोमवार को ही स्टेक चख लिया होता, तो आप सोचते कि शेफ बहुत बढ़िया है। लेकिन एक अस्पताल में, आप ऐसे शेफ को बर्दाश्त नहीं कर सकते जो हर बार ऑर्डर मिलने पर अपना मन बदल ले। शोध पत्र का तर्क है कि चिकित्सा AI के लिए, सटीकता (correctness) जितनी महत्वपूर्ण है, निरंतरता (consistency) भी उतनी ही महत्वपूर्ण है।
2. प्रयोग: "10-प्रयास परीक्षण" (The 10-Try Test)
इसकी जांच करने के लिए, शोधकर्ताओं ने केवल एक बार एक प्रश्न नहीं पूछा। उन्होंने 50 सामान्य चिकित्सा प्रश्न (जैसे, "फ्लू के लक्षण क्या हैं?") लिए और तीन अलग-अलग AI मॉडलों से प्रत्येक प्रश्न 10 बार पूछा।
इसे पासा (die) 10 बार फेंकने की तरह समझें। यदि यह एक निष्पक्ष पासा है, तो आप संख्याओं का मिश्रण देखने की उम्मीद करते हैं। लेकिन यदि आप एक "विश्वसनीय" पासे का परीक्षण कर रहे हैं, तो आप चाहते हैं कि वह हर बार एक ही नंबर पर आए।
उन्होंने तीन मॉडलों का परीक्षण किया:
- Llama 3.1 (8B): एक मानक, सामान्य उद्देश्य वाला AI।
- Gemma 3 (12B): एक थोड़ा बड़ा, सामान्य उद्देश्य वाला AI।
- MedGemma (4B): एक छोटा AI जिसे विशेष रूप से चिकित्सा पुस्तकों और शोध पत्रों पर "प्रशिक्षित" किया गया था ताकि वह एक डॉक्टर बन सके।
3. चौंकाने वाले परिणाम: "गिरगिट प्रभाव" (The Chameleon Effect)
परिणाम आश्चर्यजनक थे, भले ही शोधकर्ताओं ने AI को बहुत सख्त होने और "रचनात्मक" न होने (एक सेटिंग जिसे "लो टेम्परेचर" कहा जाता है) के लिए कहा था।
"अद्वितीयता" की समस्या: सख्त सेटिंग्स के बावजूद, AI मॉडल गिरगिट की तरह थे। हर बार जब उन्होंने किसी प्रश्न का उत्तर दिया, तो उन्होंने उत्तर का थोड़ा अलग संस्करण दिया।
- सबसे छोटे मॉडल (MedGemma) के लिए, 93% उत्तर अद्वितीय थे।
- सबसे बड़े मॉडल (Llama) के लिए, 97% उत्तर अद्वितीय थे।
- अनुवाद: यदि आप AI से 10 बार एक ही प्रश्न पूछते हैं, तो आपको 10 में से 9 बार 10 अलग-अलग उत्तर मिलेंगे।
"विशेषज्ञ" का आश्चर्य: आप सोच सकते हैं कि विशेष रूप से चिकित्सा के लिए प्रशिक्षित मॉडल (MedGemma) सबसे अच्छा प्रदर्शन करेगा। लेकिन इसने वास्तव में सबसे खराब प्रदर्शन किया। इसने कम गुणवत्ता वाले उत्तर दिए और यह सामान्य मॉडलों की तुलना में कम सुसंगत (consistent) भी था।
- क्यों? शोधकर्ताओं ने महसूस किया कि यह अनुचित हो सकता है। MedGemma (4 बिलियन "मस्तिष्क कोशिकाओं") अन्य (8 और 12 बिलियन) की तुलना में बहुत छोटा है। यह एक 4थी कक्षा के छात्र की तुलना करने जैसा है जिसने चिकित्सा की किताब पढ़ी है और 12वीं कक्षा के छात्र की तुलना करने जैसा है जिसने बहुत सारी सामान्य किताबें पढ़ी हैं। 12वीं कक्षा का छात्र (बड़ा मॉडल) केवल इसलिए स्मार्ट हो सकता है क्योंकि उसका दिमाग बड़ा है, न कि इसलिए कि उसके पास चिकित्सा प्रशिक्षण की कमी है।
4. "न्यायाधीश" बनाम "स्कोरकार्ड" (The "Judge" vs. The "Scorecard")
शोधकर्ताओं ने उत्तरों को ग्रेड देने के लिए दो तरीकों का उपयोग किया:
- स्कोरकार्ड (Lexical Metrics): क्या AI ने टेक्स्टबुक के बिल्कुल समान शब्दों का उपयोग किया? (अधिकांश AI इसमें विफल रहे क्योंकि उन्होंने चीजों को फिर से लिखा/rephrase किया)।
- न्यायाधीश (LLM-as-Judge): उन्होंने एक अन्य AI का उपयोग किया जो उत्तर को पढ़ता है और कहता है, "क्या यह चिकित्सकीय रूप से सुरक्षित और सही है?"
- द ट्रैप (The Catch): "न्यायाधीश" AI भी थोड़ा चंचल था। चूंकि उन्होंने न्यायाधीश से प्रत्येक उत्तर के लिए केवल एक बार पूछा, इसलिए स्कोर में कुछ शोर (noise) हो सकता है, लेकिन इसने फिर भी दिखाया कि विशेषज्ञ चिकित्सा मॉडल संघर्ष कर रहा था।
5. मुख्य निष्कर्ष: "एकल शॉट पर भरोसा न करें" (Don't Trust a Single Shot)
स्वास्थ्य सेवा में AI का उपयोग करने वाले किसी भी व्यक्ति के लिए मुख्य सबक यह है: आप एक एकल उत्तर पर भरोसा नहीं कर सकते।
यदि आप डॉक्टरों या रोगियों की मदद के लिए AI तैनात करते हैं, और आप केवल एक बार पूछते हैं, तो आप जुआ खेल रहे हैं। शोध पत्र सुझाव देता है कि यदि आपको इन मॉडलों का उपयोग करना ही है, तो आपको एक सुरक्षा जाल की आवश्यकता है:
- "समिति" दृष्टिकोण (The "Committee" Approach): AI से एक ही प्रश्न 10 बार पूछें और उस उत्तर को लें जो सबसे अधिक बार दिखाई देता है (बहुमत का वोट)।
- "मानवीय जांच" (The "Human Check"): हमेशा एक वास्तविक मानव डॉक्टर द्वारा AI के उत्तर की समीक्षा करवाएं, इससे पहले कि उसे रोगी को दिखाया जाए।
संक्षेप में
यह शोध पत्र चिकित्सा AI के भविष्य के लिए एक चेतावनी लेबल है। यह कहता है: "सिर्फ इसलिए कि एक AI स्मार्ट है, इसका मतलब यह नहीं है कि वह स्थिर (stable) भी है।"
भले ही सबसे अच्छे छोटे AI मॉडल वर्तमान में अकेले भरोसे के लायक नहीं हैं। वे बहुत "मूड स्विंग" वाले हैं। इससे पहले कि हम उन्हें Reddit या क्लीनिकों में खुला छोड़ दें, हमें ऐसे सिस्टम बनाने होंगे जो उन्हें सुसंगत होने के लिए मजबूर करें, या हमें यह स्वीकार करना होगा कि काम की दोबारा जांच के लिए एक मानव का होना अनिवार्य है।
स्वर्ण नियम (The Golden Rule): चिकित्सा में, एक "ज्यादातर सही" उत्तर जो हर बार पूछने पर बदल जाता है, वास्तव में एक "गलत" उत्तर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।