EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering for Enhanced Alignment and Reasoning
यह शोध पत्र EpiQAL को प्रस्तुत करता है, जो तीन प्रगतिशील रूप से चुनौतीपूर्ण उपसमूहों के माध्यम से साक्ष्य-आधारित महामारी विज्ञान संबंधी तर्क (epidemiological reasoning) पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला नैदानिक बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल बहु-चरणीय अनुमान (multi-step inference) में संघर्ष करते हैं और प्रदर्शन केवल मॉडल के पैमाने द्वारा निर्धारित नहीं होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, वैश्विक रहस्य को सुलझाने की कोशिश कर रहे हैं: बीमारियाँ कैसे फैलती हैं, और वास्तव में उन्हें क्या रोकता है?
लंबे समय तक, AI (जैसे कि आज हम चैटबॉट्स का उपयोग करते हैं) व्यक्तिगत रोगियों के बारे में सवालों के जवाब देने में बहुत अच्छा रहा है। "सिरदर्द के लिए कौन सी दवा काम करती है?" या "फ्लू के लक्षण क्या हैं?" लेकिन जब बड़ी तस्वीर की बात आती है—लाखों लोगों को देखना, हजारों शोध पत्रों का विश्लेषण करना, और जटिल पैटर्न समझना जैसे कि "यदि हम शहर A में स्कूल बंद कर देते हैं, तो यह शहर B में वायरस के प्रसार को कैसे बदलता है?"—तो AI संघर्ष कर रहा था। यह एक ऐसे जासूस की तरह है जो एक अकेले घर में अपराध सुलझाने में तो माहिर है, लेकिन पूरे शहर के आपराधिक नेटवर्क का मानचित्र बनाने के लिए कहा जाए तो खो जाता है।
आपके द्वारा साझा किया गया पेपर EpiQAL पेश करता है, जो एक नया "परीक्षा" (exam) है जिसे विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या AI एक वास्तविक महामारी विज्ञान संबंधी जासूस (Epidemiological Detective) बन सकता है।
यहाँ एक सरल विवरण दिया गया है कि उन्होंने इस परीक्षा को कैसे बनाया और उन्हें क्या मिला, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।
1. समस्या: AI परीक्षाओं में "नकल" कर रहा है
इस पेपर से पहले, AI बेंचमार्क उन हाई स्कूल टेस्ट की तरह थे जहाँ उत्तर अक्सर प्रश्न के ठीक बगल में छिपे होते थे। यदि प्रश्न पूछता था, "फ्रांस की राजधानी क्या है?" और टेक्स्ट कहता था, "पेरिस फ्रांस की राजधानी है," तो AI बिना अवधारणा को समझे बस "पेरिस" शब्द को ढूंढ सकता था और उत्तर का अनुमान लगा सकता था।
महामारी विज्ञान (epidemiology) में, यह खतरनाक है। यदि कोई AI केवल शब्दों के मिलान के आधार पर अनुमान लगाता है, तो वह सरकार को बच्चों के लिए काम करने वाली दवा वयस्कों पर लगाने का सुझाव दे सकता है, या ऐसी रणनीति सुझा सकता है जो गर्मियों में फैलने वाली बीमारी के लिए सर्दियों में काम करती हो।
2. समाधान: "EpiQAL" परीक्षा
शोधकर्ताओं ने एक तीन-स्तरीय परीक्षण बनाया (एक वीडियो गेम की तीन लेवल्स की तरह) यह देखने के लिए कि क्या AI वास्तव में सोच सकता है, न कि केवल खोज सकता है। उन्होंने मलेरिया, डेंगू और अन्य बीमारियों के बारे में वास्तविक वैज्ञानिक शोध पत्रों का उपयोग करके ये प्रश्न बनाए।
लेवल 1: "तथ्य खोजने वाला" (EpiQAL-A)
- उपमा: एक लाइब्रेरियन की कल्पना करें। आप पूछते हैं, "यह किताब किस वर्ष प्रकाशित हुई थी?" और लाइब्रेरियन किताब को शेल्फ से निकालता है और तारीख पढ़ता है।
- परीक्षण: AI को टेक्स्ट में से एक विशिष्ट तथ्य (जैसे इलाज की दर) खोजना होगा।
- ट्विस्ट: शोधकर्ताओं ने यह सुनिश्चित किया कि AI केवल शब्दों का मिलान न करे। उन्होंने प्रश्न को इस तरह बदला कि AI को यह समझना पड़े कि वह संख्या क्या है, न कि केवल उस संख्या को ढूँढना।
लेवल 2: "पहेली सुलझाने वाला" (EpiQAL-B)
- उपमा: कल्पना करें कि आप एक शेफ हैं। आपके पास एक रेसिपी है जो कहती है "नमक डालें" और दूसरी जो कहती है "काली मिर्च डालें।" लेकिन रेसिपी में कभी यह नहीं लिखा कि "सूप को मसालेदार बनाने की आवश्यकता है।" आपको उन दोनों तथ्यों को जोड़कर यह महसूस करना होगा कि सूप को मसाले की जरूरत है।
- परीक्षण: AI को एक अध्ययन के विभिन्न हिस्सों को पढ़ना है और कड़ियों को जोड़ना है। "अध्ययन A कहता है कि वायरस मच्छरों के माध्यम से फैलता है। अध्ययन B कहता है कि मच्छर रात में सक्रिय होते हैं।" AI को निष्कर्ष निकालना होगा: "वायरस संभवतः रात का खतरा है।"
- परिणाम: यह सबसे कठिन स्तर था। अधिकांश AI यहाँ विफल रहे क्योंकि वे कड़ियों को जोड़ने में असमर्थ थे; वे केवल एक वाक्य में उत्तर की तलाश कर रहे थे।
लेवल 3: "मन का पाठक" (EpiQAL-C)
- उपमा: कल्पना करें कि आप एक रहस्य उपन्यास पढ़ रहे हैं, लेकिन लेखक ने अंतिम अध्याय काट दिया है जहाँ जासूस समाधान बताता है। आपको सुरागों (साक्ष्यों) को देखना होगा और अनुमान लगाना होगा कि जासूस ने क्या निष्कर्ष निकाला होगा।
- परीक्षण: शोधकर्ताओं ने वैज्ञानिक शोध पत्रों के "निष्कर्ष" (Conclusion) अनुभाग को छिपा दिया। AI को केवल डेटा और विधियों को देखकर यह अनुमान लगाना था कि वैज्ञानिकों ने क्या निष्कर्ष निकाला।
- ट्विस्ट: यह परीक्षण करता है कि क्या AI "जो डेटा सिद्ध करता है" और "वैज्ञानिक जो सच होने की आशा करते हैं" के बीच अंतर कर सकता है।
3. उन्होंने यह कैसे सुनिश्चित किया कि परीक्षा निष्पक्ष हो
AI के लिए परीक्षा बनाना कठिन है क्योंकि AI खामियां खोजने में स्मार्ट होता है। शोधकर्ताओं ने परीक्षा बनाने के लिए एक "मानव + रोबोट" टीम का उपयोग किया:
- "धोखा देने वाले" रोबोट: उन्होंने "डिस्ट्रैक्टर्स" (गलत उत्तर) उत्पन्न करने के लिए कई अलग-अलग AI मॉडल का उपयोग किया। ये गलत उत्तर इस तरह से डिज़ाइन किए गए थे कि वे बहुत विश्वसनीय लगें, जैसे कि एक नकली आईडी जो असली दिखती है लेकिन उसमें एक छोटी सी त्रुटि है।
- "रेफरी" मानव: जब रोबट निश्चित नहीं थे कि कोई प्रश्न बहुत आसान है या बहुत कठिन, तो एक मानव विशेषज्ञ हस्तक्षेप करता था ताकि यह जांचा जा सके।
- "कठिनाई फिल्टर": उन्होंने प्रश्नों को अन्य AIs के पैनल के माध्यम से चलाया। यदि किसी AI ने उत्तर बहुत आसानी से प्राप्त कर लिया, तो उन्होंने प्रश्न को कठिन बनाने के लिए उसे फिर से लिखा (जैसे कि स्पष्ट सुरागों को हटा देना)।
4. बड़ा आश्चर्य: बड़ा होना हमेशा बेहतर नहीं होता
जब उन्होंने 14 अलग-अलग AI मॉडल (छोटे से लेकर विशाल तक) पर परीक्षण चलाया, तो उन्हें कुछ चौंकाने वाले परिणाम मिले:
- आकार मायने नहीं रखता: सबसे बड़े, सबसे महंगे AI मॉडल हमेशा नहीं जीते। वास्तव में, एक छोटा, चतुराई से डिज़ाइन किया गया मॉडल (Mistral-7B) कठिन स्तरों पर कुछ विशाल मॉडलों को भी पीछे छोड़ गया। यह एक छोटे, फुर्तीले जासूस की तरह है जो एक बड़े, धीमे चलते रोबोट की तुलना में मामला तेजी से सुलझा लेता है।
- "चेन ऑफ थॉट" प्रभाव: जब उन्होंने AI को "चरण-दर-चरण सोचें" (जैसे उत्तर देने से पहले अपने तर्क को लिखना) कहा, तो यह "पहेली सुलझाने वाले" स्तर पर बहुत बेहतर हो गया। लेकिन अन्य स्तरों पर, इसने कभी-कभी चीजों को और खराब कर दिया, जैसे कि एक सरल प्रश्न पर बहुत अधिक सोचना और भ्रमित हो जाना।
- "अति-आत्मविश्वास" की समस्या: कई AI अनुमान लगाने के लिए तैयार थे। वे सुरक्षित रहने के लिए सही उत्तर और गलत उत्तर दोनों चुन लेते थे। वास्तविक जीवन में, यह खतरनाक है। यदि कोई सार्वजनिक स्वास्थ्य AI लॉकडाउन का सुझाव देता है और साथ ही कुछ न करने का भी सुझाव देता है, तो यह अराजकता पैदा करता है। सर्वश्रेष्ठ मॉडल वे थे जो जानते थे कि कब कहना है, "मुझे यकीन नहीं है," बजाय इसके कि वे केवल अनुमान लगाएं।
5. यह क्यों महत्वपूर्ण है
यह पेपर एक चेतावनी है। यह दिखाता है कि हालांकि AI कविता लिखने या ईमेल का सारांश देने में अद्भुत है, लेकिन यह अभी भी तैयार नहीं है कि सार्वजनिक स्वास्थ्य निर्णयों के पीछे मुख्य मस्तिष्क बन सके।
यदि हम महामारी को रोकने के लिए वर्तमान AI पर भरोसा करते हैं, तो यह विभिन्न अध्ययनों के बीच सूक्ष्म संबंधों को मिस कर सकता है या डेटा की गलत व्याख्या कर सकता है। EpiQAL हमें यह मापने का एक तरीका देता है कि AI कहाँ विफल हो रहा है ताकि हम इसे ठीक कर सकें।
संक्षेप में: हमने एक बहुत ही कठिन, विशिष्ट परीक्षण बनाया है यह देखने के लिए कि क्या AI एक वास्तविक महामारी विज्ञानी बन सकता है। परिणाम बताते हैं कि हालांकि AI स्मार्ट हो रहा है, लेकिन वैश्विक स्तर पर जीवन बचाने के लिए इसे अभी बहुत प्रशिक्षण की आवश्यकता है। यह एक प्रगतिशील कार्य है, लेकिन अब हमारे पास इसकी प्रगति को मापने के लिए एक पैमाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।