VietMed-MCQ: A Consistency-Filtered Data Synthesis Framework for Vietnamese Traditional Medicine Evaluation

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल) है जो आधुनिक चिकित्सा के बारे में लगभग किसी भी प्रश्न का उत्तर दे सकता है। यह एक जीनियस की तरह है जिसने पश्चिमी अस्पतालों की हर पाठ्यपुस्तक पढ़ ली है। लेकिन, यदि आप उससे वियतनामी पारंपरिक चिकित्सा (VTM) के बारे में कोई प्रश्न पूछते हैं—जो प्राचीन जड़ी-बूटियों, विशिष्ट सांस्कृतिक अवधारणाओं और स्थानीय प्रथाओं पर निर्भर करती है—तो वह रोबोट अचानक से मनगढ़ंत अनुमान लगाने लगता है। यह वैसा ही है जैसे किसी ऐसे शेफ से एक बेहतरीन 'फ़ो' (Phở) बनाने के लिए कहना जिसे केवल इतालवी पास्ता बनाना आता है; उसे खाना पकाने की बुनियादी बातें तो पता हैं, लेकिन उसके पास वह विशिष्ट, सांस्कृतिक "सीक्रेट सॉस" नहीं है।

मुख्य समस्या यह है कि इस रोबोट के अध्ययन करने के लिए पर्याप्त अच्छे "अभ्यास परीक्षण" (practice tests) उपलब्ध नहीं हैं। एक उचित परीक्षण के बिना, हमें यह नहीं पता कि वह वास्तव में सीख रहा है या केवल मनगढ़ंत बातें बना रहा है।

समाधान: एक नया "अभ्यास परीक्षण" कारखाना

इस शोध पत्र के लेखकों ने वियतनामी पारंपरिक चिकित्सा के लिए विशेष रूप से एक विशाल अभ्यास परीक्षण बनाने हेतु VietMed-MCQ नामक एक नया कारखाना बनाया है। उन्होंने इसे एक सरल उपमा का उपयोग करके कैसे किया, यहाँ दिया गया है:

1. रेसिपी बुक (RAG पाइपलाइन): रोबोट को अनुमान लगाने देने के बजाय, उन्होंने उसे विश्वसनीय चिकित्सा ग्रंथों की एक सख्त "रेसिपी बुक" दी। रोबोट को उत्तर लिखने से पहले उस किताब में उत्तर खोजना होगा। इसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) पाइपलाइन कहा जाता है।
2. डबल-चेक सिस्टम: यह सुनिश्चित करने के लिए कि रोबोट ने केवल भ्रमित (hallucinate) होकर कुछ मनगढ़ंत तो नहीं बनाया, उन्होंने "दो-व्यक्ति नियम" का उपयोग किया। उन्होंने दो अलग-अलग AI मॉडलों को एक ही प्रश्न को देखने और स्वतंत्र रूप से उसे हल करने के लिए कहा। यदि दोनों मॉडल उत्तर पर सहमत थे, तो वह संभवतः सही था।
   • पेंच: शोध पत्र स्वीकार करता है कि यह प्रणाली पूर्ण नहीं है। यह जाँचता है कि क्या उत्तर एक "सबस्ट्रिंग" (पाठ का एक अंश) है जो साक्ष्य में पाया गया है, जो कि यह जाँचने जैसा है कि क्या छात्र ने पाठ्यपुस्तक से एक वाक्य कॉपी किया है। यह एक अच्छी शुरुआत है, लेकिन यह गारंटी नहीं देता कि छात्र उस वाक्य के पीछे के तर्क को वास्तव में समझता है।
3. मानवीय समीक्षा: रोबोटों की मदद के बावजूद, मनुष्यों की आवश्यकता होती है। एक चिकित्सा विशेषज्ञ और चार छात्रों ने प्रश्नों की समीक्षा की। उन्होंने 94.2% बार इसे 'थम्स-अप' (सहमति) दिया, और वे ज्यादातर एक-दूसरे से सहमत थे (एक उच्च "फ्लीस काप्पा" स्कोर), जिसका अर्थ है कि परीक्षण विश्वसनीय है।

परिणाम: एक नया बेंचमार्क

उन्होंने 3,190 बहुविकल्पीय प्रश्नों का एक टेस्ट बैंक बनाया जिसमें आसान से लेकर बहुत कठिन स्तर के प्रश्न शामिल हैं। इसके बाद उन्होंने सात अलग-अलग "स्मार्ट रोबोटों" (ओपन-सोर्स AI मॉडल) को यह परीक्षण देकर देखा कि कौन पास होता है।

चौंकाने वाले निष्कर्ष:

• "चीनी कनेक्शन": वे रोबोट जिन्हें मूल रूप से चीनी डेटा पर भारी मात्रा में प्रशिक्षित किया गया था, वे विशेष रूप से वियतनामी डेटा पर प्रशिक्षित रोबोटों की तुलना में बेहतर प्रदर्शन कर गए।
  • उपमा: इसे इस तरह सोचें: वियतनामी पारंपरिक चिकित्सा की जड़ें काफी हद तक पारंपरिक चीनी चिकित्सा से जुड़ी हुई हैं। "चीनी-प्रशिक्षित" रोबोटों ने पहले से ही इन चिकित्सा अवधारणाओं की "मूल भाषा" का अध्ययन कर लिया था, इसलिए वे वियतनामी भाषा जानने वाले उस रोबोट की तुलना में बेहतर तरीके से उस ज्ञान को वियतनामी में अनुवाद कर सके, जिसे चिकित्सा इतिहास का ज्ञान नहीं था।
• संघर्ष: चीनी लाभ के बावजूद, कोई भी रोबोट जटिल नैदानिक तर्क (diagnostic reasoning) में कुशल नहीं था। वे सरल तथ्यों को संभाल सकते थे, लेकिन जब प्रश्न के लिए गहरे, बहु-चरणीय चिंतन (जैसे कि एक वास्तविक डॉक्टर द्वारा एक पेचीदा बीमारी का निदान करना) की आवश्यकता होती, तो वे सभी लड़खड़ा जाते थे।

मुख्य निष्कर्ष

यह शोध पत्र यह दावा नहीं करता कि ये रोबोट अभी डॉक्टरों को बदलने या मरीजों का इलाज करने के लिए तैयार हैं। इसके बजाय, यह शोधकर्ताओं के लिए एक उपकरण है। उन्होंने इस डेटासेट और कोड को जनता के लिए जारी कर दिया है ताकि अन्य वैज्ञानिक बेहतर "अभ्यास परीक्षण" बना सकें और इन AI मॉडलों को वियतनामी पारंपरिक चिकित्सा की जटिल, सांस्कृतिक रूप से विशिष्ट दुनिया को बिना भटके सीखने में मदद कर सकें।