High Average Accuracy Coexists with Substantial Between-Setting Variability: A Systematic Review and Meta-analysis of Large Language Models for Data Extraction in Evidence Synthesis
यह व्यवस्थित समीक्षा और मेटा-विश्लेषण यह प्रकट करता है कि जहाँ बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) साक्ष्य संश्लेषण (एविडेंस सिंथेसिस) में डेटा निष्कर्षण के लिए उच्च औसत सटीकता प्राप्त करते हैं, वहीं उनका प्रदर्शन विभिन्न सेटिंग्स में पर्याप्त परिवर्तनशीलता प्रदर्शित करता है, जिसके लिए विश्वसनीयता सुनिश्चित करने हेतु कार्य-विशिष्ट सत्यापन और मानव सत्यापन की आवश्यकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब भी शोधकर्ताओं की एक टीम किसी चिकित्सा उपचार को समझने के लिए निकलती है, तो उन्हें पहले दर्जनों, कभी-कभी सैकड़ों व्यक्तिगत अध्ययनों से तथ्यों को एकत्र करना होता है। यह प्रक्रिया, जिसे व्यवस्थित समीक्षा (सिस्टमैटिक रिव्यू) कहा जाता है, आधुनिक चिकित्सा साक्ष्य का आधार है। इसके लिए वैज्ञानिकों को सघन रिपोर्टों को पढ़ने और विशिष्ट आंकड़े निकालने की आवश्यकता होती है: कितने रोगी शामिल थे, उन्हें कितनी खुराक दी गई, और परिणाम क्या रहे। यदि एक भी संख्या गलत तरीके से कॉपी की जाती है, तो समीक्षा का पूरा निष्कर्ष बदल सकता है, जिससे संभावित रूप से डॉक्टरों को गलत उपचार की सिफारिश करने का मार्ग मिल सकता है। दशकों से, यह कार्य मानवीय हाथों द्वारा किया जाता रहा है, जो एक धीमी और सूक्ष्म कार्य है जहाँ अक्सर दो लोग गलतियों को पकड़ने के लिए स्वतंत्र रूप से एक ही दस्तावेज़ को पढ़ते हैं। यह सटीकता के लिए स्वर्ण मानक (गोल्ड स्टैंडर्ड) है, लेकिन यह अविश्वसनीय रूप से समय लेने वाला और महंगा भी है।
हाल के वर्षों में, इस क्षेत्र में एक नया उपकरण आया है: लार्ज लैंग्वेज मॉडल्स (LLMs)। ये शक्तिशाली कंप्यूटर प्रोग्राम हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है जो एक वैज्ञानिक शोध पत्र को पढ़ सकते हैं और उन्हीं आंकड़ों को निकालने का प्रयास कर सकते हैं जो एक मनुष्य करता। यह आशा रही है कि ये कृत्रिम बुद्धिमत्ता (AI) सिस्टम इस भारी काम को कर सकेंगे, प्रक्रिया को तेज कर सकेंगे और मानव विशेषज्ञों को अधिक जटिल सोच के लिए मुक्त कर सकेंगे। लेकिन जैसे-जैसे ये उपकरण अधिक सामान्य होते गए हैं, एक महत्वपूर्ण प्रश्न उभरा है: क्या हम उन पर उतना भरोसा कर सकते हैं जितना कि मनुष्यों पर करते हैं, और क्या उनका प्रदर्शन इस बात पर निर्भर करता है कि उनसे किस प्रकार की जानकारी खोजने के लिए कहा गया है?
कार्लोस डार्सी अल्वेस बर्सोत और उनके सहयोगियों द्वारा किया गया एक नया अध्ययन इस प्रश्न पर गहरा, सांख्यिकीय दृष्टिकोण प्रस्तुत करता है। उन्होंने केवल यह नहीं पूछा कि क्या मशीनें काम करती हैं; उन्होंने हर उपलब्ध रिपोर्ट को एकत्र किया जिसने इन मॉडल्स का मानव-निर्मित मानक के विरुद्ध परीक्षण किया था और पूर्ण चित्र देखने के लिए परिणामों को संयोजित किया। उन्होंने जो पाया वह दो बहुत अलग वास्तविकताओं की सह-अस्तित्व की कहानी है। एक ओर, इन कृत्रिम बुद्धिमत्ता प्रणालियों का औसत प्रदर्शन आश्चर्यजनक रूप से उच्च है। दूसरी ओर, वह औसत एक अराजक वास्तविकता को छिपाता है जहाँ प्रदर्शन विशिष्ट कार्य के आधार पर बहुत अधिक उतार-चढ़ाव दिखा सकता है।
शोधकर्ताओं ने चालीस-छह विभिन्न रिपोर्टों से डेटा एकत्र किया, जो पैंतालीस स्वतंत्र जांचों का प्रतिनिधित्व करती थीं। उन्होंने विशेष रूप से उस क्षण पर ध्यान केंद्रित किया जब मानव द्वारा मशीन के कार्य को देखे जाने से पहले की स्थिति होती है। वे जानना चाहते थे: यदि किसी लार्ज लैंग्वेज मॉडल से जानकारी निकालने के लिए कहा जाता है, तो वह पहली बार में कितनी बार सही होती है? जब उन्होंने अपने सख्त मानदंडों को पूरा करने वाले आठ प्रमुख अध्ययनों के परिणामों को एकत्रित किया, तो उत्तर उत्साहजनक था। मॉडल लगभग 86.4 प्रतिशत बार सही उत्तर देते हैं। यह संख्या बताती है कि, सामान्य अर्थ में, ये उपकरण काफी सक्षम हैं।
हालाँकि, कहानी उस औसत संख्या पर समाप्त नहीं होती है। शोधकर्ताओं ने गहराई से देखा और पाया कि यह उच्च औसत एक अत्यधिक असंगत आधार पर बना हुआ है। उन्होंने एक ऐसी सीमा (रेंज) की गणना की जो दिखाती है कि एक नई, अनदेखी स्थिति में किस तरह के प्रदर्शन की उम्मीद की जा सकती है। यह सीमा 19.2 प्रतिशत के निम्न स्तर से लेकर 99.4 प्रतिशत के उच्च स्तर तक फैली हुई थी। इसे समझने के लिए, कल्पना कीजिए कि एक छात्र एक परीक्षा दे रहा है जिसे औसतन 86 प्रतिशत अंक मिलते हैं। यदि उस छात्र के व्यक्तिगत परीक्षणों के स्कोर विफल होने से लेकर पूर्ण होने तक के बीच रहे हों, तो आप उसे पेपर ग्रेड करने के लिए कक्षा में भेजने में विश्वास नहीं करेंगे। यहाँ भी वही तर्क लागू होता है। तथ्य यह है कि औसत उच्च है, इसका मतलब यह गारंटी नहीं है कि मशीन किसी विशिष्ट, वास्तविक दुनिया के परिदृश्य में अच्छा प्रदर्शन करेगी।
अध्ययन से पता चलता है कि निकाली जाने वाली जानकारी का प्रकार एक बहुत बड़ा अंतर पैदा करता है। जब कार्य सरल, स्पष्ट रूप से बताए गए तथ्यों से संबंधित होता है, तो मॉडल बहुत अच्छा प्रदर्शन करते हैं। लेकिन जब कार्य जटिल तालिकाओं में दबे नंबरों को खोजने, अस्पष्ट पाठ की व्याख्या करने, या गायब या खराब तरीके से रिपोर्ट किए गए डेटा को निकालने से संबंधित होता है, तो सटीकता काफी गिर जाती है। एक विशिष्ट मामले में जहाँ मॉडल को ऐसी खुली जानकारी ढूंढनी थी जिसके लिए केवल नकल करने के बजाय स्मृति से विवरण याद करने की आवश्यकता थी, वहां सटीकता गिरकर मात्र 17 प्रतिशत रह गई। इस एकल अध्ययन ने, अपने बहुत अलग कार्य के साथ, समग्र औसत को नीचे खींच लिया और परिणामों की सीमा को विस्तृत कर दिया। जब शोधकर्ताओं ने अधिक समान, संरचित कार्यों को देखने के लिए इस आउटलायर (विजातीय तथ्य) को हटा दिया, तो औसत सटीकता बढ़कर 91.2 प्रतिशत हो गई, लेकिन फिर भी, प्रदर्शन एक सेटिंग से दूसरी सेटिंग में काफी भिन्न हो सकता है।
शोधकर्ताओं ने यह भी जांचा कि ये उपकरण संख्यात्मक डेटा को कैसे संभालते हैं, जो कि एक चिकित्सा समीक्षा का सबसे महत्वपूर्ण हिस्सा है। यहाँ, परिणाम मिश्रित थे। कुछ अत्यधिक संरचित परीक्षणों में, मॉडल्स ने लगभग पूर्ण सटीकता प्राप्त की, जिसमें उन्होंने 99 प्रतिशत नंबर सही पाए। अन्य अध्ययनों में, जिनमें अलग प्रकार का डेटा था, सटीकता गिरकर लगभग 63 प्रतिशत रह गई। यह असंगति का अर्थ है कि एक शोधकर्ता यह मान नहीं सकता कि क्योंकि एक मॉडल एक चीज़ में अच्छा है, इसलिए वह हर चीज़ में अच्छा होगा। एक मॉडल जो दवा का नाम खोजने में उत्कृष्ट है, वह साइड इफेक्ट के सटीक मरीजों की संख्या खोजने में बुरी तरह विफल हो सकता है।
एक अन्य महत्वपूर्ण निष्कर्ष कार्यप्रवाह (वर्कफ्लो) से संबंधित है। कई अध्ययनों ने देखा कि ये उपकरण कैसा प्रदर्शन करते हैं जब प्रक्रिया में मनुष्य शामिल होते हैं, जैसे कि जब कोई मानव मशीन के कार्य की जाँच करता है या जब मशीन एक दूसरे पाठक के रूप में कार्य करती है। ये मानव-सहायता प्राप्त वर्कफ्लो अक्सर बेहतर परिणाम दिखाते हैं और समय बचाते हैं। हालाँकि, अध्ययन एक स्पष्ट अंतर बनाता है: मशीन के साथ काम करने वाले मानव की गति और सटीकता, अकेले काम करने वाली मशीन से भिन्न होती है। कुछ अध्ययनों में रिपोर्ट की गई समय की बचत अक्सर इस बात से आती है कि मशीन प्रारंभिक मसौदा तैयार करती है, लेकिन मनुष्य को अभी भी काम को सत्यापित और संशोधित करने में समय बिताना पड़ता है। मशीन मानवीय निरीक्षण की आवश्यकता को समाप्त नहीं करती है; यह केवल कार्य की प्रकृति को बदल देती है।
शोधकर्ताओं ने समीक्षा किए गए अध्ययनों की गुणवत्ता को भी देखा और पाया कि उनमें से कई में पद्धतिगत खामियां थीं। कुछ अध्ययनों ने स्पष्ट रूप से यह नहीं बताया कि उन्होंने मॉडल्स का परीक्षण कैसे किया, या उन्होंने मॉडल को प्रशिक्षित करने और परीक्षण करने के लिए एक ही डेटा का उपयोग किया, जो परिणामों को वास्तव में बेहतर दिखा सकता है। इन सीमाओं और वास्तव में स्वतंत्र अध्ययनों की कम संख्या के कारण, शोधकर्ता पूरी निश्चितता के साथ यह नहीं कह सकते कि ये उपकरण भविष्य की हर स्थिति में पूरी तरह से काम करेंगे। साक्ष्य सुझाव देते हैं कि हालांकि ये उपकरण शक्तिशाली हैं, लेकिन वे पूरी तरह से मानव समीक्षकों को बदलने के लिए अभी पर्याप्त विश्वसनीय नहीं हैं।
इस कार्य का निष्कर्ष यह नहीं है कि कृत्रिम बुद्धिमत्ता एक विफलता है, बल्कि यह कि यह एक ऐसा उपकरण है जिसे सावधानीपूर्वक संभालने की आवश्यकता है। उच्च औसत सटीकता वास्तविक है, लेकिन संदर्भ के बिना यह एक भ्रामक बेंचमार्क है। यह हमें बताता है कि तकनीक में क्षमता है, लेकिन यह हमें चेतावनी भी देता है कि प्रदर्शन नाजुक है। एक प्रणाली जो एक प्रकार के डेटा निष्कर्षण के लिए अच्छी तरह से काम करती है, वह दूसरे के लिए पूरी तरह विफल हो सकती है। शोधकर्ता तर्क देते हैं कि आगे का रास्ता मशीनों पर अंधविश्वास करने का नहीं है, बल्कि एक जोखिम-अनुकूलित रणनीति के रूप में उनका उपयोग करने का है। सरल, स्पष्ट कार्यों के लिए, उन्हें विश्वास के साथ उपयोग किया जा सकता है। जटिल, संख्यात्मक, या अस्पष्ट डेटा के लिए, मानवीय सत्यापन अनिवार्य बना हुआ है।
अंततः, यह अध्ययन बातचीत को "क्या मशीन यह कर सकती है?" से बदलकर "किन परिस्थितियों में मशीन यह कर सकती है?" की ओर ले जाता है। उत्तर यह है कि मशीन इसे अच्छी तरह से कर सकती है, लेकिन केवल तभी जब स्थितियाँ सही हों। उच्च औसत स्कोर क्षमता का वादा है, लेकिन व्यापक परिवर्तनशीलता अनिश्चितता की चेतावनी है। वे वैज्ञानिक जो इन समीक्षाओं पर चिकित्सा अभ्यास को निर्देशित करने के लिए भरोसा करते हैं, उनके लिए सबक स्पष्ट है: मशीन एक सहायक है, लेकिन यह अभी तक मानव विशेषज्ञ की सावधानीपूर्ण, आलोचनात्मक दृष्टि का विकल्प नहीं है। साक्ष्य संश्लेषण (एविडेंस सिंथेसिस) का भविष्य संभवतः एक ऐसी साझेदारी होगी जहाँ मशीन मात्रा को संभालेगी और मानव वैधता सुनिश्चित करेगा, इस समझ के साथ कि मशीन का प्रदर्शन कभी भी गारंटी नहीं है, बल्कि एक चर (variable) है जिसे लगातार जांचा जाना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।