Development of a System of Indicators for Assessing the Quality of Search Strategies in Systematic Reviews: A Methodological Document Review

वैज्ञानिक अनुसंधान की दुनिया में, एक व्यवस्थित समीक्षा (systematic review) एक शक्तिशाली उपकरण है। कल्पना कीजिए कि वैज्ञानिकों की एक टीम किसी विशिष्ट चिकित्सा उपचार या सामाजिक मुद्दे के बारे में सच्चाई जानना चाहती है। एक नया प्रयोग करने के बजाय, वे उस विषय पर अब तक किए गए हर एक अध्ययन को एकत्र करते हैं। वे उन सभी को पढ़ते हैं, उनकी गुणवत्ता की जाँच करते हैं, और अपने निष्कर्षों को मिलाकर एक स्पष्ट, विश्वसनीय उत्तर तैयार करते हैं। यह प्रक्रिया चिकित्सा और सार्वजनिक स्वास्थ्य जैसे क्षेत्रों में निर्णय लेने के लिए 'गोल्ड स्टैंडर्ड' (सर्वश्रेष्ठ मानक) है क्योंकि यह व्यक्तिगत अध्ययनों के शोर को काटकर एक बड़ी तस्वीर पेश करती है। हालाँकि, पूरी प्रक्रिया एक एकल, नाजुक नींव पर टिकी है: खोज रणनीति (search strategy)। यह उन निर्देशों का एक विशिष्ट सेट है जिसका उपयोग शोधकर्ता उन अध्ययनों को खोजने के लिए करते हैं। यदि खोज बहुत संकीर्ण है, तो वे महत्वपूर्ण साक्ष्य चूक जाते हैं। यदि यह बहुत अव्यवस्थित या खराब तरीके से लिखी गई है, तो वे अप्रासंगिक कचरा पा सकते हैं या सही शोध पत्र खोजने में विफल हो सकते हैं। जब खोज विफल होती है, तो समीक्षा का अंतिम निष्कर्ष त्रुटिपूर्ण होता है, जिससे संभावित रूप से डॉक्टरों और नीति निर्माताओं को अधूरे या पक्षपाती जानकारी के आधार पर निर्णय लेने की ओर ले जाया जा सकता है।

इस चरण कितना महत्वपूर्ण है, इसके बावजूद, इन खोज रणनीतियों की गुणवत्ता की अक्सर अनदेखी की गई है। शोधकर्ता लंबे समय से जानते हैं कि उन्हें व्यापक होना चाहिए, लेकिन इसे मापने का कोई मानक तरीका नहीं था कि क्या कोई खोज वास्तव में अच्छी तरह से की गई थी। अलीरेज़ा जहानी और कीवन सालेही द्वारा तेहरान विश्वविद्यालय में किए गए एक नए अध्ययन का उद्देश्य इस अंतर को ठीक करना है। शोधकर्ताओं ने एक व्यावहारिक प्रणाली के संकेतक बनाने का लक्ष्य रखा—एक चेकलिस्ट जिसमें विशिष्ट, मापने योग्य संकेत हों—जिसका उपयोग कोई भी व्यवस्थित समीक्षा में खोज रणनीति की गुणवत्ता को आंकने के लिए कर सके। उनका लक्ष्य केवल अस्पष्ट सलाह से आगे बढ़ना और एक ठोस ढांचा प्रदान करना था जिसका उपयोग शोधकर्ता, समीक्षक और जर्नल संपादक यह सुनिश्चित करने के लिए कर सकें कि ये अध्ययन ठोस आधार पर बने हैं।

इस प्रणाली को बनाने के लिए, लेखकों ने दो चरणों वाला अन्वेषण किया। सबसे पहले, उन्होंने मौजूदा ज्ञान की गहरी जांच की। उन्होंने तीस-पांच अलग-अलग दस्तावेजों को एकत्र किया और पढ़ा, जिनमें किताबें, अंतर्राष्ट्रीय दिशा-निर्देश और पिछले अध्ययन शामिल थे, जिन्होंने खोज रणनीतियों को लिखने और मूल्यांकन करने के तरीके पर चर्चा की थी। पाठ के इस विशाल संग्रह से, उन्होंने एक अच्छी खोज को क्या बनाता है, इसके बारेм 128 प्रारंभिक विचार निकाले। फिर उन्होंने इन विचारों को सावधानीपूर्वक व्यवस्थित किया, उन विचारों को मिला दिया जिनका अर्थ समान था और डुप्लिकेट को हटा दिया। शोधन की इस प्रक्रिया के माध्यम से, उन्होंने 128 विचारों को 39 विशिष्ट संकेतकों के अंतिम सेट में संक्षिप्त किया, जिन्हें उन्होंने सात मुख्य श्रेणियों में वर्गीकृत किया। ये श्रेणियाँ खोज के पूरे जीवन चक्र को कवर करती हैं, प्रारंभिक योजना से लेकर अंतिम रिपोर्ट तक।

पहला वर्ग, जिसे लेखक "चयन व्यापकता" (Selection Comprehensiveness) कहते हैं, इस बात पर केंद्रित है कि खोज कहाँ होती है। अध्ययन में पाया गया कि एक उच्च-गुणवत्ता वाली खोज को कई अलग-अलग स्थानों में देखना चाहिए, जिसमें प्रमुख विशिष्ट डेटाबेस और बहु-विषयक संग्रह शामिल हैं। शोधकर्ताओं ने स्पष्ट रूप से नोट किया कि केवल एक सामान्य सर्च इंजन पर निर्भर रहना पर्याप्त नहीं है। उन्होंने पाया कि केवल एक स्रोत का उपयोग करना, या सामान्य वेब खोज पर बहुत अधिक निर्भर रहना, महत्वपूर्ण अध्ययनों को चूक जाने का जोखिम बढ़ाता है और पूर्वाग्रह पैदा करता है। एक अच्छी खोज रणनीति विविध वैज्ञानिक स्रोतों से प्रासंगिक साक्ष्य प्राप्त करने के लिए पर्याप्त व्यापक होनी चाहिए, जबकि एक ही आसान उपकरण को सत्य के एकमात्र स्रोत के रूप में उपयोग करने के प्रलोभन से बचना चाहिए।

दूसरा वर्ग "खोज रणनीति संरचना डिजाइन" (Search Strategy Structure Design) से संबंधित है। यह खोज के पीछे के तर्क के बारे में है। अध्ययन इस बात पर जोर देता है कि एक मजबूत खोज एक स्पष्ट, अच्छी तरह से परिभाषित प्रश्न के साथ शुरू होती है, जो अक्सर अध्ययन किए जा रहे जनसंख्या और मापे जा रहे परिणामों जैसे विशिष्ट तत्वों के इर्द-गिर्द व्यवस्थित होती है। शोधकर्ताओं ने पाया कि प्रभावी रणनीतियाँ मुख्य अवधारणाओं को एक साथ समूहित करती हैं और उन अवधारणाओं को कहने के हर संभव तरीके को ढूंढती हैं, जिसमें तकनीकी चिकित्सा शब्दों और रोजमर्रा की भाषा दोनों का उपयोग शामिल है। उन्होंने यह भी रेखांकित किया कि यह प्रक्रिया पुनरावृत्ति (iterative) होनी चाहिए, जिसका अर्थ है कि शोधकर्ताओं को अपनी खोज का परीक्षण करना चाहिए, देखना चाहिए कि क्या परिणाम आ रहे हैं, और फिर जो वे पाते हैं उसके आधार पर अपने प्रश्नों और शब्दों को परिष्कृत करना चाहिए। परीक्षण और सुधार का यह चक्र खोज को बहुत संकीर्ण होने या उन अध्ययनों को चूक जाने से रोकता है जो एक ही विचार को वर्णित करने के लिए अलग-अलग शब्दों का उपयोग करते हैं।

तीसरा वर्ग, "सिंटैक्टिक फॉर्मूलेशन" (Syntactic Formulation), खोज के तकनीकी नियमों को संबोधित करता है। जिस तरह एक वाक्य को अर्थपूर्ण बनाने के लिए व्याकरण के नियमों का पालन करना चाहिए, उसी तरह एक कंप्यूटर खोज को सही ढंग से काम करने के लिए विशिष्ट सिंटैक्स नियमों का पालन करना चाहिए। अध्ययन बताता है कि प्रत्येक डेटाबेस के पास शब्दों को संयोजित करने, "और" या "या" के लिए प्रतीकों का उपयोग करने और विशेष वर्णों को संभालने के लिए अपने स्वयं के अद्वितीय नियमों का सेट होता है। शोधकर्ताओं ने पाया कि इन तकनीकी विवरणों में त्रुटियां आम हैं और इनके कारण खोज प्रासंगिक दस्तावेजों को मिस कर सकती है या हजारों अप्रासंगिक परिणाम वापस ला सकती है। इससे बचने के लिए, उच्च-गुणवत्ता वाली खोजें सही प्रतीकों का उपयोग करती हैं और अक्सर एक डेटाबेस से दूसरे डेटाबेस में खोज को अनुवादित करने के लिए उपकरणों का उपयोग करती हैं, जिससे यह सुनिश्चित होता है कि विभिन्न प्लेटफार्मों पर तर्क सुसंगत बना रहे।

मुख्य खोज के अलावा, चौथा वर्ग, "पूरक खोज" (Supplementary Searching), उस साक्ष्य की तलाश करता है जो शायद छाया में छिपा हो। अध्ययन पहचान करता है कि कई महत्वपूर्ण निष्कर्ष, विशेष रूप से वे जो नाटकीय प्रभाव नहीं दिखाते हैं, कभी भी मानक जर्नल्स में प्रकाशित नहीं होते हैं। इन्हें खोजने के लिए, एक उच्च-गुणवत्ता वाली समीक्षा को केवल डेटाबेस खोजने से आगे जाना चाहिए। इसमें पहले से मिले लेखों की संदर्भ सूचियों की जाँच करना, सम्मेलन पत्रों (conference papers) को देखना, अप्रकाशित नैदानिक परीक्षणों की खोज करना और यहाँ तक कि क्षेत्र के विशेषज्ञों से संपर्क करना शामिल होना चाहिए। लेखक तर्क देते हैं कि इन अतिरिक्त चरणों को छोड़ने से समीक्षा "प्रकाशन पूर्वाग्रह" (publication bias) के प्रति असुरक्षित हो जाती है, जहाँ अंतिम परिणाम केवल उन अध्ययनों को दर्शाता है जो भाग्यशाली थे कि उन्हें प्रकाशित किया गया, न कि साक्ष्य की पूरी वास्तविकता को।

पाँचवाँ वर्ग "सत्यापन" (Validation) है। यह काम पूरा होने से पहले काम की जाँच करने के बारे में है। अध्ययन ने पाया कि सर्वोत्तम अभ्यास में एक सूचना विशेषज्ञ (information specialist) को शामिल करना शामिल है, जो जानकारी खोजने में प्रशिक्षित एक पेशेवर है, जो खोज रणनीति की समीक्षा करे। यह विशेषज्ञ उन त्रुटियों को पकड़ सकता है जो मूल शोधकर्ता चूक सकते हैं। इसके अतिरिक्त, खोज का परीक्षण महत्वपूर्ण लेखों की एक ज्ञात सूची के विरुद्ध किया जाना चाहिए ताकि यह देखा जा सके कि क्या यह उन्हें सफलतापूर्वक खोज पाता है। यदि खोज इन ज्ञात प्रमुख अध्ययनों को खोजने में विफल रहती है, तो यह पर्याप्त संवेदनशील नहीं है और इसे समायोजित करने की आवश्यकता है। यह सत्यापन प्रक्रिया एक सुरक्षा जाल के रूप में कार्य करती है, यह सुनिश्चित करती है कि खोज समीक्षा के लिए आवश्यक महत्वपूर्ण साक्ष्य प्राप्त करने में सक्षम है।

छठा वर्ग "रिपोर्टिंग पारदर्शिता" (Reporting Transparency) पर केंद्रित है कि खोज को कैसे प्रलेखित किया जाता है। अध्ययन इस बात पर जोर देता है कि एक समीक्षा भरोसेमंद होने के लिए, लेखकों को ठीक से लिखना चाहिए कि उन्होंने क्या किया। इसमें उपयोग किए गए प्रत्येक डेटाबेस की सूची, खोज किए जाने की सटीक तिथि और खोज शब्दों की पूरी सूची शामिल है। उन्हें यह भी समझाना चाहिए कि उन्होंने कुछ अध्ययनों को क्यों शामिल या बाहर किया और उन्होंने डुप्लिकेट परिणामों को कैसे हटाया। इस स्तर के विवरण के बिना, अन्य वैज्ञानिक परिणामों को सत्यापित करने के लिए खोज को दोहरा नहीं सकते। शोधकर्ताओं ने पाया कि स्थापित रिपोर्टिंग चेकलिस्ट का पालन करना यह सुनिश्चित करने में मदद करता है कि कोई भी महत्वपूर्ण चरण छूटा न रहे और प्रक्रिया उन सभी के लिए स्पष्ट हो जो अध्ययन को पढ़ रहे हैं।

अंत में, सातवाँ वर्ग "प्रक्रिया अद्यतन" (Process Updating) यह सुनिश्चित करता है कि समीक्षा प्रकाशन तक वर्तमान बनी रहे। क्योंकि हर दिन नए अध्ययन प्रकाशित होते हैं, इसलिए एक खोज जो एक साल पहले एकदम सही थी, वह समीक्षा जारी होने के समय तक पुरानी हो सकती है। अध्ययन अनुशंसा करता है कि नए साक्ष्य को पकड़ने के लिए प्रकाशन से ठीक पहले खोज को फिर से चलाया जाना चाहिए। यह यह भी सुझाव देता है कि अध्ययनों के चयन की प्रक्रिया कम से कम दो शोधकर्ताओं द्वारा स्वतंत्र रूप से की जानी चाहिए ताकि व्यक्तिगत त्रुटियों को कम किया जा सके, और टीम को खोजे गए लेखों की बड़ी संख्या को प्रबंधित करने के लिए सॉफ्टवेयर का उपयोग करना चाहिए।

इन 39 संकेतकों के विकास के बाद, शोधकर्ताओं ने इनका परीक्षण किया। उन्होंने अपने नए चेकलिस्ट को वैज्ञानिक जर्नल्स में प्रकाशित बीस व्यवस्थित समीक्षाओं पर लागू किया। उन्होंने प्रत्येक समीक्षा का मूल्यांकन किया कि क्या वह उनके द्वारा पहचाने गए संकेतकों को पूरा करती है। परिणामों ने दिखाया कि जबकि कुछ समीक्षाएं मजबूत थीं, कई में महत्वपूर्ण कमियां थीं, विशेष रूप रूप से सिंटैक्स के तकनीकी क्षेत्रों और विशेषज्ञ द्वारा खोज को सत्यापित करने के महत्वपूर्ण चरण में। लेखकों ने निष्कर्ष निकाला कि उनकी नई प्रणाली व्यवस्थित समीक्षाओं की गुणवत्ता में सुधार के लिए एक व्यावहारिक और आवश्यक उपकरण प्रदान करती है। इन संकेतकों का उपयोग करके, शोधकर्ता पूर्वाग्रह को कम कर सकते हैं, अपने निष्कर्षों को अधिक पुनरुत्पादक (reproducible) बना सकते हैं, और यह सुनिश्चित कर सकते हैं कि उनके द्वारा एकत्र किया गया साक्ष्य वास्तव में दुनिया के वास्तविक स्वरूप को दर्शाता है। अध्ययन सुझाव देता है कि जर्नल्स को लेखकों को इस प्रणाली का उपयोग एक मानक भाग के रूप में करने की आवश्यकता होनी चाहिए, जिससे यह सुनिश्चित हो सके कि इन महत्वपूर्ण वैज्ञानिक सारांशों की नींव उतनी ही मजबूत है जितने उनके निष्कर्ष।