Evaluating a Locally Deployed 20-Billion Parameter Large Language Model for Automated Abstract Screening in Systematic Reviews
यह अध्ययन प्रदर्शित करता है कि एक स्थानीय रूप से तैनात 20-बिलियन पैरामीटर वाला LLM, संवेदनशीलता-वर्धित प्रॉम्प्टिंग रणनीति का उपयोग करते हुए, उच्च सटीकता और शून्य डेटा गोपनीयता जोखिमों के साथ व्यवस्थित समीक्षा (सिस्टमैटिक रिव्यू) एब्स्ट्रैक्ट स्क्रीनिंग को महत्वपूर्ण रूप से तेज़ कर सकता है, हालांकि इसका प्रदर्शन डोमेन के अनुसार भिन्न होता है और इसे मानव विशेषज्ञों के साथ एक दूसरे स्क्रीनर के रूप में उपयोग करना सबसे अच्छा है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लाइब्रेरियन हैं जो एक बहुत ही विशिष्ट रीडिंग लिस्ट के लिए एकदम सही किताबें चुनने की कोशिश कर रहे हैं। आपके पास 16,000 नई किताबों (एब्स्ट्रैक्ट्स) का एक पहाड़ आ गया है, और आपको उनमें से उन कुछ दर्जन किताबों को चुनना है जो वास्तव में प्रासंगिक हैं। पारंपरिक रूप से, आपको हर किताब को कवर-टू-कवर पढ़ने के लिए दो लाइब्रेरियन की आवश्यकता होगी, जो कठिन मामलों पर बहस करेंगे, और फिर एक मुख्य लाइब्रेरियन अंतिम निर्णय लेगा। इसमें हफ्तों लग जाते हैं, यह थका देने वाला है, और जब तक आप इसे पूरा करते हैं, तब तक नई किताबें आ चुकी होती हैं।
यह पेपर एक सुपर-स्मार्ट रोबोट लाइब्रेरियन (एक AI) का परीक्षण करने के बारे में है कि क्या वह इस प्रक्रिया को तेज करने में मदद कर सकता है बिना किसी महत्वपूर्ण किताब को छोड़े।
यहाँ उनके प्रयोग की कहानी है, जिसे सरल रूप में विभाजित किया गया है:
1. समस्या: "क्लाउड" बनाम "सेफ रूम"
अधिकांश लोग इस काम के लिए क्लाउड-आधारित AI (जैसे वेबसाइट पर सवाल पूछना) का उपयोग करते हैं। लेकिन चिकित्सा अनुसंधान (मेडिकल रिसर्च) के लिए, यह अपने निजी रोगी नोट्स को भीड़ भरे सार्वजनिक चौक में जोर से पढ़ने जैसा है। यह गोपनीयता के लिए जोखिम भरा है।
- समाधान: शोधकर्ताओं ने अपना खुद का "सेफ रूम" बनाया। उन्होंने अपने कंप्यूटरों पर सीधे एक शक्तिशाली AI (एक 20-बिलियन पैरामीटर मॉडल जिसे GPT-OSS कहा जाता है) स्थापित किया। इस तरह, डेटा उनके भवन से बाहर नहीं जाता है, जिससे पूर्ण गोपनीयता और नियंत्रण सुनिश्चित होता है।
2. रणनीति: "सावधानी बरतना बेहतर है"
शोधकर्ताओं ने रोबोट को एक बहुत ही विशिष्ट नियम दिया: "जब संदेह हो, तो किताब को शामिल करें।"
- क्यों? कल्पना कीजिए कि आप एक दुर्लभ सिक्के की तलाश कर रहे हैं। यदि आप गलती से उस सिक्के को फेंक देते हैं जो शायद वह हो सकता था जिसे आप चाहते थे (एक "फॉल्स नेगेटिव"), तो आप उसे कभी वापस नहीं पा सकते। लेकिन यदि आप गलती से एक नकली सिक्के को रख लेते हैं (एक "फॉल्स पॉजिटिव"), तो आप बाद में उसे देख सकते हैं और फेंक सकते हैं।
- इसलिए, उन्होंने AI को अत्यधिक सतर्क रहने के लिए कहा। एक मानव लाइब्रेरियन को 100 किताबें लाकर यह कहने के लिए कि, "हे, इन्हें चेक करो," बेहतर है, बजाय इसके कि एक भी महत्वपूर्ण किताब को फेंक दिया जाए।
3. परीक्षण: तीन अलग-अलग लाइब्रेरी
उन्होंने इस रोबोट का परीक्षण तीन अलग-अलग "लाइब्रेरी" (सिस्टमैटिक रिव्यूज) पर किया:
- टेक लाइब्रेरी: बाल चिकित्सा सर्जरी (पीडियाट्रिक सर्जरी) में AI के बारे में। (बहुत स्पष्ट नियम: क्या यह एक रोबोट का उपयोग करता है? हाँ/नहीं।)
- डिजिटल रिकॉर्ड्स लाइब्रेरी: अस्पताल के रिकॉर्ड में AI के बारे में। (यह भी बहुत स्पष्ट नियम है।)
- इमोशन लाइब्रेरी: माता-पिता के तनाव और देखभाल करने वालों के बोझ के बारे में। (बहुत अस्पष्ट नियम: क्या यह "तनावपूर्ण" है? इसे परिभाषित करना कठिन है।)
4. परिणाम: रोबोट का प्रदर्शन
रोबोट अविश्वसनीय रूप से तेज़ था। उसने एक इंसान का वह काम 5 घंटों में कर दिया जिसमें इंसान को 26 घंटे लगे। यह लगभग 5 गुना तेज़ है।
लेकिन इसकी सटीकता कितनी थी?
- टेक लाइब्रेरी में: रोबက် एक सुपरस्टार था। उसने 100% प्रासंगिक अध्ययन खोज लिए। उसने एक भी नहीं छोड़ा।
- इमोशन लाइब्रेरी में: यह अच्छा था, लेकिन परफेक्ट नहीं। इसने प्रासंगिक अध्ययनों के लगभग 14% को मिस कर दिया।
- क्यों? क्योंकि "तनाव" और "बोझ" व्यक्तिपरक (subjective) हैं। एक रोबोट ठोस चीजों जैसे "सर्जरी" या "सॉफ्टवेयर" को पहचानने में बहुत अच्छा है, लेकिन वह मानवीय भावनाओं को समझने में संघर्ष करता है।
5. बड़ा ट्विस्ट: रोबोट ने इंसानों को पकड़ लिया!
यहाँ सबसे दिलचस्प बात है। आमतौर पर, हम मानते हैं कि इंसान "गोल्ड स्टैंडर्ड" हैं और रोबोट एक छात्र है। लेकिन इस प्रयोग में, उन्होंने एक ब्लाइंड एक्सपर्ट जज (विशेषज्ञ निर्णायक) को हर बार निर्णय लेने के लिए रखा जब मानव और रोबोट के बीच असहमति हुई।
विशेषज्ञ ने पाया कि इंसान 11 बार गलत थे!
- इंसानों ने महत्वपूर्ण अध्ययनों को हटा दिया था जिन्हें रोबोट ने सही ढंग से बचाया था।
- रोबोट ने 13 महत्वपूर्ण अध्ययनों को हटा दिया था जिन्हें इंसानों ने सही ढंग से बचाया था।
उपमा (Analogy): एक गेट पर दो सुरक्षा गार्डों के बारे में सोचें। एक गार्ड एक इंसान है जो कभी-कभी थक जाता है और एक वीआईपी (VIP) को मिस कर देता है। दूसरा एक रोबोट है जो अत्यधिक सतर्क है लेकिन कभी-कभी एक डिलीवरी ट्रक को भी रोक देता है जिसे वास्तव में आने की अनुमति थी। जब वे मिलकर काम करते हैं, तो वे एक-दूसरे की गलतियों को पकड़ लेते हैं।
6. निष्कर्ष: टीमवर्क, न कि प्रतिस्थापन
शोधकर्ता यह नहीं कह रहे हैं कि "इंसानों को निकाल दो और सारा काम रोबोट को करने दो।" वे कह रहे हैं: "आइए रोबोट को दूसरी जोड़ी आँखों के रूप में उपयोग करें।"
- नया वर्कफ़्लो: एक इंसान एब्स्ट्रैक्ट पढ़ता है। रोबोट भी एब्स्ट्रैक्ट पढ़ता है। यदि वे सहमत हैं, तो बहुत अच्छा! यदि वे असहमत हैं, तो निर्णय लेने के लिए एक वरिष्ठ विशेषज्ञ हस्तक्षेप करता है।
- लाभ: यह गुणवत्ता को उच्च रखता है (क्योंकि रोबोट उन चीजों को पकड़ लेता है जो इंसान मिस कर देते हैं) लेकिन कार्यभार को आधा कर देता है।
सारांश
यह पेपर साबित करता है कि यदि आप एक स्मार्ट AI को अपने निजी "सेफ रूम" में रखते हैं और उसे अत्यधिक सतर्क रहने के लिए कहते हैं, तो वह शोध पत्रों को छाँटने के उबाऊ, समय लेने वाले काम को अविश्वसनीय रूप से तेज़ी से कर सकता है। यह मानवीय भावनाओं को समझने में परफेक्ट नहीं है, लेकिन तकनीकी तथ्यों को पहचानने में अद्भुत है। सबसे अच्छा दृष्टिकोण इंसानों को बदलना नहीं है, बल्कि यह है कि रोबोट और इंसान एक साथ नृत्य करें, एक-दूसरे की गलतियों को पकड़ते हुए यह सुनिश्चित करें कि कोई भी महत्वपूर्ण खोज कभी खो न जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।