MedConclusion: A Benchmark for Biomedical Conclusion Generation from Structured Abstracts

आधुनिक विज्ञान के विशाल पुस्तकालय में, शोधकर्ता अपने निष्कर्षों को एक अत्यधिक संरचित प्रारूप में प्रकाशित करते हैं। एक विशिष्ट चिकित्सा शोध पत्र एक पृष्ठभूमि अनुभाग के साथ शुरू होता है जो मंच तैयार करता है, उसके बाद उपयोग की गई विधियों का विवरण, परिणामों की प्रस्तुति, और अंत में एक निष्कर्ष जो पूरे अध्ययन को एक एकल, आधिकारिक निष्कर्ष में समाहित कर देता है। यह अंतिम खंड वह स्थान है जहाँ लेखक इस प्रश्न का उत्तर देता है: "इसका वास्तव में क्या अर्थ है?" दशकों से, वैज्ञानिक इन शोध पत्रों को पढ़ने और इन निष्कर्षों को निकालने के लिए मानव विशेषज्ञों पर निर्भर रहे हैं, लेकिन नए शोध की विशाल मात्रा ने इस कार्य को अत्यधिक बोझिल बना दिया है। हाल ही में, बड़े भाषा मॉडल (large language models) के रूप में ज्ञात शक्तिशाली कंप्यूटर सिस्टम उभरे हैं, जो उल्लेखनीय प्रवाह के साथ मानव भाषा को पढ़ने और लिखने में सक्षम हैं। इन प्रणालियों का कई कठिन कार्यों पर परीक्षण किया जा रहा है, जैसे गणित की समस्याओं को हल करने से लेकर कहानियाँ लिखने तक। हालाँकि, एक महत्वपूर्ण प्रश्न अभी भी अनुत्तरित है: क्या ये मशीनें वैज्ञानिक साक्ष्य को इतनी अच्छी तरह से समझ सकती हैं कि वे उसी तार्किक निष्कर्ष पर पहुँच सकें जो एक मानव विशेषज्ञ निकालता है, या वे केवल अंतर्निहित अर्थ को समझे बिना शब्दों को पुनर्व्यवस्थित कर रही हैं?

हार्वर्ड, यूनिवर्सिटी ऑफ सदर्न कैलिफोर्निया और अन्य संस्थानों के शोधकर्ताओं की एक टीम ने इस प्रश्न का उत्तर देने की दिशा में एक बड़ा कदम उठाते हुए 'मेडकन्क्लूजन' (MedConclusion) नामक एक विशाल नया परीक्षण क्षेत्र बनाया है। उन्होंने बायोमेडिकल साहित्य के एक केंद्रीय डेटाबेस, पबमेड (PubMed) से 5.7 मिलियन संरचित सारांश एकत्र किए, ताकि एक ऐसा डेटासेट बनाया जा सके जहाँ कंप्यूटर को अध्ययन की पृष्ठभूमि, विधियाँ और परिणाम दिए जाएं और स्वयं निष्कर्ष लिखने के लिए कहा जाए। लक्ष्य यह देखना था कि क्या कृत्रिम बुद्धिमत्ता (AI) को यह बताए बिना कि निष्कर्ष क्या है, सही वैज्ञानिक निष्कर्ष निकालने में सक्षम है। शोधकर्ताओं ने इन 5.7 मिलियन उदाहरणों में से प्रत्येक को मूल, मानव-लिखित निष्कर्ष के साथ जोड़ा, जिससे मशीन के कार्य का मूल्यांकन करने के लिए एक सटीक संदर्भ बिंदु बन गया। यह डेटासेट अद्वितीय है क्योंकि यह केवल पाठ का संग्रह नहीं है; इसमें उन जर्नल्स के बारे में विस्तृत जानकारी शामिल है जहाँ शोध पत्र प्रकाशित हुए थे, जिससे टीम को यह देखने में मदद मिली कि क्या कार्य की कठिनाई जर्नल की प्रतिष्ठा या चिकित्सा के विशिष्ट क्षेत्र के आधार पर बदलती है।

जब शोधकर्ताओं ने विभिन्न कृत्रिम बुद्धिमत्ता मॉडलों को परीक्षण के लिए रखा, तो उन्होंने पाया कि वैज्ञानिक निष्कर्ष लिखना एक सारांश लिखने की तुलना में मौलिक रूप से भिन्न कौशल है। यह एक सामान्य धारणा है कि यदि कोई कंप्यूटर किसी पाठ का अच्छा सारांश लिख सकता है, तो वह उससे निष्कर्ष भी निकाल सकता है। अध्ययन ने दिखाया कि यह आवश्यक रूप से सत्य नहीं है। जब मॉडलों को एक औपचारिक निष्कर्ष लिखने के लिए कहा गया, तो उन्होंने एक सामान्य सारांश लिखने की तुलना में अलग प्रदर्शन किया। एक सारांश अध्ययन के व्यापक सार को पकड़ सकता है, लेकिन एक निष्कर्ष के लिए एक विशिष्ट प्रकार की सटीकता की आवश्यकता होती है: इसे सख्ती से प्रदान किए गए साक्ष्यों तक ही सीमित रहना चाहिए, नए विचारों को पेश करने से बचना चाहिए, और अक्सर इसमें विशिष्ट संख्याएँ या योग्यताएँ (qualifiers) शामिल होनी चाहिए जो निष्कर्ष के दायरे को परिभाषित करती हैं। जो मॉडल सारांश लिखने में अच्छे थे, वे औपचारिक निष्कर्ष लिखने के लिए पूछे जाने पर इन सूक्ष्म विवरणों को पकड़ने में विफल रहे, जो यह सुझाव देता है कि दोनों कार्यों के लिए अलग प्रकार के तर्क की आवश्यकता होती है।

इन मॉडलों के मूल्यांकन ने एक और आश्चर्यजनक जटिलता को प्रकट किया। शोधकर्ताओं ने उत्तरों को ग्रेड करने के लिए एक हाइब्रिड दृष्टिकोण का उपयोग किया, जिसमें शब्दों के ओवरलैप को गिनने वाले मानक कंप्यूटर मेट्रिक्स और एक दूसरा स्तर शामिल था जहाँ एक अन्य कृत्रिम बुद्धिमत्ता ने लेखन की गुणवत्ता को स्कोर करने के लिए एक न्यायाधीश के रूप में कार्य किया। उन्होंने पाया कि परिणाम इस बात पर बहुत अधिक निर्भर करते थे कि कौन सा AI मॉडल निर्णय ले रहा है। एक मॉडल उत्पन्न किए गए निष्कर्ष को उच्च स्कोर दे सकता है, जबकि एक अलग मॉडल उसी पाठ को बहुत कम स्कोर दे सकता है। यह सुझाव देता है कि वर्तमान में यह मापने का कोई एक एकल, पूर्ण तरीका नहीं है कि एक मशीन विज्ञान के बारे में कितनी अच्छी तरह तर्क कर रही है। स्कोर आउटपुट की विशिष्ट शब्दावली और शैली के प्रति भी संवेदनशील थे, जिसका अर्थ है कि एक मॉडल को थोड़ा अधिक विस्तार से लिखने या अलग वाक्य संरचना का उपयोग करने के लिए दंडित किया जा सकता है, भले ही वैज्ञानिक अर्थ सही हो।

अध्ययन ने यह भी देखा कि चिकित्सा के विभिन्न क्षेत्रों और विभिन्न प्रकार के जर्नल्स में कार्य की कठिनाई कैसे भिन्न होती है। उन्होंने पाया कि जर्नल्स की "प्रतिष्ठा", जिसे उनके प्रभाव स्कोर (impact score) द्वारा मापा जाता है, का मॉडलों द्वारा निष्कर्ष लिखने की सुगमता या कठिनाई पर बहुत कम प्रभाव पड़ा। यह दर्शाता है कि वैज्ञानिक तर्क की चुनौती केवल प्रकाशन की स्थिति के बारे में नहीं है बल्कि यह साक्ष्य की प्रकृति में निहित है। इसके अलावा, शोधकर्ताओं ने पाया कि कुछ अध्ययन क्षेत्र, विशेष रूप से जो अंतःविषय (interdisciplinary) या कम नैदानिक (clinical) हैं, मॉडलों के लिए अन्य क्षेत्रों की तुलना में बहुत कठिन साबित हुए। इन कठिन श्रेणियों में, मॉडल अक्सर मानव-लिखित निष्कर्षों की विशिष्ट शैली और संख्यात्मक सटीकता से मेल खाने में संघर्ष करते थे, भले ही वे सामान्य अर्थ को सही पकड़ लेते थे।

अंततः, यह शोध पत्र सुझाव देता है कि हालांकि बड़े भाषा मॉडल तेजी से सक्षम हो रहे हैं, लेकिन उन्होंने अभी तक वैज्ञानिक तर्क की कला में महारत हासिल नहीं की है कि वे निष्कर्ष निकालने में मानव विशेषज्ञों को विश्वसनीय रूप से प्रतिस्थापित कर सकें। मॉडल प्रदर्शन में एक साथ समूहबद्ध (cluster) होते हैं, जिसका अर्थ है कि सर्वश्रेष्ठ मॉडल बाकी अन्य से केवल थोड़े ही बेहतर हैं, और वे अक्सर एक सारांश और एक वास्तविक निष्कर्ष के बीच अंतर करने में विफल रहते हैं। शोधकर्ता इस बात पर जोर देते हैं कि उनका कार्य वैज्ञानिक समुदाय को इस समस्या का अध्ययन जारी रखने के लिए एक पुन: प्रयोज्य संसाधन प्रदान करता है। लाखों उदाहरणों का एक डेटासेट और यह स्पष्ट प्रदर्शन प्रदान करके कि वर्तमान मॉडल कहाँ सफल और कहाँ विफल होते हैं, मेडकन्क्लूजन वैज्ञानिक साक्ष्य की व्याख्या करने के तरीके को समझने के लिए एक नया मानक स्थापित करता है। निष्कर्ष संकेत देते हैं कि हालांकि तकनीक प्रगति कर रही है, शब्दों को पढ़ने से वैज्ञानिक प्रमाण के तार्किक भार को समझने तक की छलांग एक महत्वपूर्ण बाधा बनी हुई है।