AISysRev -- LLM-based Tool for Title-abstract Screening
यह शोध पत्र AISysRev को प्रस्तुत करता है, जो एक कंटेनराइज्ड वेब टूल है जो व्यवस्थित समीक्षाओं (systematic reviews) के शीर्षक-सार स्क्रीनिंग चरण को गति देने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जो प्रति मिनट सैकड़ों शोध पत्रों को संसाधित करते हुए परिणामों को वर्गीकृत करता है ताकि उन मामलों को उजागर किया जा सके जिनमें मानवीय हस्तक्षेप की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक बहुत बड़े रहस्य को सुलझाने की कोशिश कर रहे हैं। आपके पास 25,000 समाचार पत्रों की कतरनों (वैज्ञानिक शोध पत्रों) का एक ढेर है, और आपको उनमें से उन कुछ दर्जनों को खोजना है जो वास्तव में आपके केस के सुराग रखते हैं। समस्या क्या है? उन सभी 25,000 कतरनों को पढ़ना सालों का समय ले लेगा, और आप उत्तर खोजने से पहले बोरियत के कारण पागल हो जाएंगे।
यही वह दैनिक संघर्ष है जो सिस्टमैटिक रिव्यू (Systematic Reviews) करने वाले शोधकर्ताओं का है। उन्हें सच खोजने के लिए साहित्य के पहाड़ों को छानना पड़ता है, लेकिन यह प्रक्रिया धीमी, थकाऊ और मानवीय त्रुटि के प्रति संवेदनशील है।
यहाँ AISysRev आता है, वह टूल जिसका वर्णन इस पेपर में किया गया है। इसे एक ऐसे रोबोट के रूप में न देखें जो जासूस की जगह लेता है, बल्कि एक सुपर-पावर्ड, अथक इंटर्न (प्रशिक्षु) के रूप में देखें जो एक मिनट में एक हजार कतरनें पढ़ सकता है और कह सकता है, "हे बॉस, ये 100 काफी आशाजनक लग रहे हैं, लेकिन ये 24,900 शायद बेकार हैं।"
यहाँ बताया गया है कि AISysRev कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. "जादुई फिल्टर" (सेटअप)
सबसे पहले, आप अपने इंटर्न को नियमों का एक सेट देते हैं। पेपर में, इन्हें "समावेशन और अपवर्जन मानदंड" (inclusion and exclusion criteria) कहा जाता है।
- उपमा: कल्पना कीजिए कि आप ऐसी रेसिपी खोज रहे हैं जो "ग्लूटेन-मुक्त" और "30 मिनट से कम समय वाली" हों। आप अपने इंटर्न को कहते हैं: "केवल वही रेसिपी रखें जो इन दो नियमों में फिट बैठती हों।"
- टूल: आप शोध पत्रों के शीर्षक और सारांश (कतरनों) की एक सूची अपलोड करते हैं और अपने नियम टाइप करते हैं।
2. "बुद्धिमान इंटर्न" (LLMs)
AISysRev केवल एक दिमाग का उपयोग नहीं करता; यह अलग-अलग "इंटर्न" (ChatGPT, Gemini, या Mistral जैसे Large Language Models) की एक पूरी टीम को काम पर रख सकता है।
- उपमा: आप एक तेज़, सस्ते इंटर्न को त्वरित स्कैन के लिए कह सकते हैं, या एक धीमे, सुपर-स्मार्ट इंटर्न को गहरी जांच के लिए। आप उन्हें समानांतर (एक साथ) भी काम पर लगा सकते हैं।
- गति: क्योंकि वे मिलकर काम करते हैं, वे प्रति मिनट 100 से 300 शोध पत्रों को प्रोसेस कर सकते हैं। यह एक कप कॉफी बनाने के समय में एक पूरी लाइब्रेरी पढ़ने जैसा है।
3. "काम करने के दो तरीके" (इंटरफेस)
यह टूल आपके पास आपके इंटर्न का उपयोग करने के दो अलग-अलग तरीके देता है, जो इस बात पर निर्भर करता है कि आपके पास कितना समय है:
- "सेफ्टी नेट" मोड: आप इंटर्न से हर एक पेपर को पढ़ने और "हाँ/नहीं/शायद" का वोट देने के लिए कहते हैं। फिर आप उनके सुझावों को देखते हैं। यदि इंटर्न "हाँ" कहता है, तो आप उसकी दोबारा जांच करते हैं। यदि वे "नहीं" कहते हैं, तो भी आप सुनिश्चित होने के लिए एक बार नज़र डाल सकते हैं। यह तब के लिए है जब आपको 100% निश्चित होने की आवश्यकता हो।
- "रैपिड फायर" मोड: इंटर्न शोध पत्रों को इस आधार पर छाँटते हैं कि वे कितने उपयोगी होने की संभावना रखते हैं। आप सूची में सबसे ऊपर से शुरू करते हैं। एक बार जब आप लगातार 10 "नहीं" वाले जवाबों का सामना करते हैं, तो आप रुक सकते हैं! यह "रैपिड रिव्यूज" के लिए है जहाँ गति, हर एक छिपे हुए रत्न को खोजने की तुलना में अधिक महत्वपूर्ण है।
4. शोध पत्रों के "चार बकेट" (श्रेणियाँ)
जब शोधकर्ताओं ने टूल का परीक्षण किया, तो उन्होंने महसूस किया कि शोध पत्र चार अलग-अलग श्रेणियों में आते हैं, जैसे कपड़े छाँटना:
- 🟢 आसान समावेश (स्पष्ट विजेता): वे शोध पत्र जो चिल्लाकर कहते हैं, "मैं बिल्कुल वही हूँ जिसे आप खोज रहे हैं!" AI इन्हें लगभग हर बार सही पहचानता है।
- 🔴 आसान अपवर्जन (स्पष्ट हारने वाले): वे शोध पत्र जो स्पष्ट रूप से किसी और विषय (जैसे चिकित्सा या विमानन) के बारे में हैं जब आप सॉफ्टवेयर इंजीनियरिंग की तलाश कर रहे हैं। AI इन्हें तुरंत बाहर फेंकने में माहिर है, जिससे आपके घंटों बच जाते हैं।
- 🟡 बाउंड्री इंक्लूड्स ( "शायद" वाला ढेर): ये पेचीदा होते हैं। ये संबंधित तो हैं, लेकिन संबंध अस्पष्ट है। AI यहाँ भ्रमित हो सकता है। उदाहरण: "हैकाथॉन" के बारे में एक पेपर में "समय के दबाव" का उल्लेख संक्षिप्त रूप में किया गया है। AI सोच सकता है कि यह प्रासंगिक है, या यह इसे मिस कर सकता है। यहाँ मानव जासूस की अभी भी आवश्यकता है।
- 🟠 बाउंड्री एक्सक्लूड्स ("लगभग" वाला ढेर): ये शोध पत्र आपके विषय के बारे में बात करते हैं लेकिन इस तरह से जो वास्तव में आपके विशिष्ट प्रश्न में मदद नहीं करते। उदाहरण: एक पेपर में "समय के दबाव" का उल्लेख केवल एक पूरी तरह से अलग गणित की समस्या के लिए बैकग्राउंड स्टोरी के रूप में किया गया है। AI कीवर्ड्स से धोखा खा सकता है और इसे रख सकता है, लेकिन एक इंसान देख सकता है कि यह एक डेड एंड (बंद रास्ता) है।
5. यह क्यों महत्वपूर्ण है
AISysRev से पहले, शोधकर्ताओं को दो में से एक को चुनना पड़ता था:
- सब कुछ हाथ से करना: धीमा, महंगा और थकाऊ।
- "ब्लैक बॉक्स" टूल्स का उपयोग करना: व्यावसायिक सॉफ़्टवेयर जो आपके लिए काम करता है, लेकिन आप यह नहीं देख सकते कि उसने क्या रखने या छोड़ने का निर्णय कैसे लिया।
AISysRev अलग है क्योंकि:
- यह ओपन सोर्स है: आप कोड और तर्क को देख सकते हैं (कोई ब्लैक बॉक्स नहीं)।
- यह लचीला है: आप मुफ्त स्थानीय मॉडल या सशुल्क क्लाउड मॉडल का उपयोग कर सकते हैं।
- यह पारदर्शी है: यह आपको AI का कॉन्फिडेंस स्कोर दिखाता है। यदि AI 99% सुनिश्चित है, तो आप उस पर भरोसा करते हैं। यदि वह 51% सुनिश्चित है, तो आप जानते हैं कि आपको करीब से देखना होगा।
निष्कर्ष
AISysRev मानव शोधकर्ता की जगह लेने की कोशिश नहीं कर रहा है। इसके बजाय, यह एक शोधकर्ता को उनकी लाइब्रेरी के लिए एक हाई-स्पीड वैक्यूम क्लीनर देने जैसा है। यह सारा स्पष्ट धूल (अप्रासंगिक शोध पत्र) खींच लेता है और बाकी को व्यवस्थित करता है, जिससे मानव को उन मूल्यवान, पेचीदा वस्तुओं पर ध्यान केंद्रित करने के लिए छोड़ देता है जिन्हें वास्तव में हल करने के लिए मानव मस्तिष्क की आवश्यकता होती है।
यह एक ऐसे कार्य को जो वर्षों का काम था, उसे हफ्तों या दिनों में किए जाने वाले कार्य में बदल देता है, जिससे वैज्ञानिक नई चीजों की खोज करने में अधिक समय बिता सकते हैं और पुरानी चीजों को पढ़ने में कम।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।