Real-World Evaluation of an AI Agent Drafting Translational Impact Summaries
यह अध्ययन प्रदर्शित करता है कि एक ह्यूमन-इन-द-लूप एआई एजेंट नैदानिक विद्वानों (क्लिनिकल स्कॉलर्स) के लिए ट्रांसलेशनल इम्पैक्ट सारांशों को एकत्र करने और ड्राफ्ट करने को प्रभावी ढंग से स्वचालित कर सकता है, जिससे उच्च सटीकता बनाए रखते हुए और अक्सर नियमित प्रक्रियाओं द्वारा छूट जाने वाले गैर-विद्वत्तापूर्ण साक्ष्यों को कैप्चर करते हुए, प्रति विद्वान रिपोर्टिंग कार्यभार को अनुमानित 15 घंटों से घटाकर 14 मिनट कर दिया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा अनुसंधान की दुनिया की कल्पना एक विशाल, हलचल भरे पुस्तकालय के रूप में करें जहाँ वैज्ञानिक लगातार बीमारियों को ठीक करने, समुदायों की मदद करने और पैसे बचाने के बारे में नई किताबें लिख रहे हैं। लेकिन इसमें एक पेंच है: पुस्तकालयाध्यक्षों (जो इन अनुसंधान कार्यक्रमों का प्रबंधन करते हैं) के पास एक बहुत बड़ा, असंभव काम है। उन्हें यह साबित करने की आवश्यकता है कि उनके पुस्तकालय का हर एक वैज्ञानिक वास्तव में वास्तविक दुनिया में बदलाव ला रहा है, न कि केवल फैंसी पेपर लिख रहा है। आमतौर पर, यह करने के लिए, एक पुस्तकालयाध्यक्ष को प्रत्येक वैज्ञानिक के अच्छे कार्यों का एक वाक्य का सारांश लिखने के लिए इंटरनेट खोजने, अनुदान रिकॉर्ड की जाँच करने और समाचार लेख पढ़ने में लगभग 15 घंटे खर्च करने पड़ते हैं। यह एक घास के ढेर में एक विशिष्ट सुई खोजने जैसा है, और फिर उस सुई के बारे में हाथ से एक कविता लिखने जैसा है। यदि कोई वैज्ञानिक नए शहर में चला जाता है या नौकरी बदल लेता है, तो पुस्तकालयाध्यक्ष को खोज फिर से शुरू करनी पड़ती है। यह धीमा, थकाऊ है और सैकड़ों वैज्ञानिकों को ट्रैक करने के लिए काम नहीं करता है।
यहीं पर एक नया प्रकार का सहायक आता है: एक AI एजेंट। इस AI को एक जादुई रोबोट के रूप में नहीं, बल्कि एक सुपर-फास्ट, अथक शोध इंटर्न के रूप में सोचें। यह इंटर्न सेकंडों में हजारों वेबसाइटों, डेटाबेस और समाचार फीडों को स्कैन कर सकता है, जिससे उसे वैज्ञानिक ने क्या किया है, इसके बारे में सुराग मिल सकें। लेकिन यहाँ मोड़ यह है: AI को अंतिम रिपोर्ट सौंपने की अनुमति नहीं है। इसके बजाय, यह एक ड्राफ्ट बनाने वाले (draftsperson) की तरह कार्य करता है। यह सभी साक्ष्य एकत्र करता है और "इम्पैक्ट समरी" (प्रभाव सारांश) का एक कच्चा मसौदा तैयार करता है। फिर एक मानव पुस्तकालयाध्यक्ष काम की जाँच करने के लिए आता है। इंसान को शून्य से शुरुआत नहीं करनी पड़ती; उन्हें बस AI के मसौदे को पढ़ना होता है, कुछ गलतियों को ठीक करना होता है, और कहना होता है, "हाँ, यह सच है," या "नहीं, यह गलत है।" मुख्य प्रश्न जो यह शोध पत्र पूछता है वह यह है: क्या यह मानव-और-AI टीम अकेले काम करने वाले मानव की तुलना में तेजी से और बेहतर तरीके से काम कर सकती है?
सुपर-इंटर्न की कहानी
इस अध्ययन में, इलिनॉय शिकागो विश्वविद्यालय के शोधकर्ताओं ने इस "सुपर-इंटर्न" AI एजेंट को बनाया और इसे एक वास्तविक दुनिया के परिवेश में काम पर लगाया। उन्होंने इसका परीक्षण 10 वैज्ञानिकों (जिन्हें "स्कॉलर्स" कहा गया) पर किया जो एक विशेष करियर-डेवलपमेंट प्रोग्राम का हिस्सा थे। लक्ष्य यह देखना था कि क्या AI उनके प्रभाव सारांश (इम्पैक्ट समरी) के लिए साक्ष्य एकत्र कर सकता है और पहला मसौदा तैयार कर सकता है, जिससे मानव कर्मचारियों को उन भयानक 15 घंटों के मैराथन से बचाया जा सके।
AI एजेंट एक जासूस की तरह काम करता था जिसके पास उपकरणों का एक बहुत ही विशिष्ट सेट था। इसने एक "सीड" (केवल वैज्ञानिक का नाम और वह कहाँ काम करता है) से शुरुआत की और फिर इंटरनेट पर एक व्यापक खोज पर निकल पड़ा। इसने आधिकारिक चिकित्सा डेटाबेस की जाँच की, अनुदान रिकॉर्ड देखे, समाचार साइटों को स्कैन किया और यहाँ तक कि नीति दस्तावेजों की भी छानबीन की। इसने केवल आसान चीजों पर ही नहीं रोका; इसने यह खोजने की भी कोशिश की कि कैसे एक वैज्ञानिक ने स्थानीय समुदाय की मदद की या एक नए कानून को प्रभावित किया (गैर-विद्वत्तापूर्ण साक्ष्य)। एक बार जब इसने ये सभी सुराग एकत्र कर लिए, तो इसने उन्हें एक व्यवस्थित फ़ाइल ("डोजियर") में व्यवस्थित किया और प्रत्येक खोज के लिए एक वाक्य का सारांश लिखा, यह समझाते हुए कि उसने वास्तव में दुनिया की मदद कैसे की।
लेकिन AI को अपने हाल पर नहीं छोड़ा गया था। दो मानव कर्मचारी, जो इस क्षेत्र के विशेषज्ञ हैं, संपादकों के रूप में कार्य करते थे। उन्होंने AI द्वारा पाई गई हर एक चीज़ की जाँच की। प्रत्येक खोज के लिए, उनके पास तीन विकल्प थे:
- स्वीकार करें (Accept): "बेहतरीन! यह बिल्कुल सही है।"
- संशोधित करें (Edit): "करीब है, लेकिन इस विवरण को ठीक करें।"
- अस्वीकार करें (Reject): "नहीं, यह गलत है या महत्वपूर्ण नहीं है।"
उनके पास वे चीजें जोड़ने का भी विकल्प था जो AI ने छोड़ दी थीं, हालांकि AI को इतना व्यापक बनाया गया था कि वह शायद ही कुछ छोड़ता।
उन्हें क्या मिला
परिणाम काफी उत्साहजनक थे। मानव संपादकों ने पाया कि AI की 81.7% खोजें तुरंत उपयोग के योग्य थीं या उनमें केवल मामूली सुधार की आवश्यकता थी। इसका मतलब है कि AI द्वारा खोजी गई हर 100 चीजों में से, इंसानों ने 82 को रखा। यह एक बहुत बड़ी बात है क्योंकि इसका मतलब है कि AI ने जानकारी जुटाने का भारी काम किया।
यहाँ सबसे महत्वपूर्ण हिस्सा है: समय।
- पहले: एक मानव कर्मचारी ने अनुमान लगाया कि एक वैज्ञानिक का प्रभाव रिकॉर्ड शून्य से बनाने में 15 घंटे लगते थे।
- बाद में: AI द्वारा पहला मसौदा तैयार करने के बाद, मानव कर्मचारियों को काम की समीक्षा और सुधार करने के लिए प्रति वैज्ञानिक औसत (median) केवल 14 मिनट की आवश्यकता हुई।
यह एक बहुत बड़ा बदलाव है! इंसान "शिकारी और लेखक" से बदलकर "संपादक और समीक्षक" बन गए। उन्हें घंटों तक खोजने की आवश्यकता नहीं थी; उन्होंने बस AI के काम की जाँच करने में कुछ मिनट बिताए।
AI एक व्यक्ति को खोजने में भी आश्चर्यजनक रूप से अच्छा था। एक साइड टेस्ट में, AI की एक वैज्ञानिक के मुख्य प्रोफाइल पेज को खोजने की क्षमता मैन्युअल रूप से खोजने वाले मानव के लगभग बराबर थी। इसने लगभग 82% बार सही व्यक्ति को खोजा, ठीक वैसे ही जैसे एक मानव करता है।
खामियां और नियम
बेशक, AI पूर्ण नहीं था। लगभग 18% समय, इंसानों को एक खोज को अस्वीकार करना पड़ा। क्यों?
- कमजोर स्रोत: कभी-कभी AI को एक ऐसी वेबसाइट पर जानकारी मिली जो बहुत विश्वसनीय नहीं थी (जैसे किसी आधिकारिक समाचार साइट के बजाय एक रैंडम डायरेक्टरी पेज)।
- प्रभाव का अभाव: कभी-कभी AI ने कुछ ऐसा पाया जो वैज्ञानिक ने किया था, लेकिन वह वास्तव में एक "बड़ा प्रभाव" नहीं था (जैसे किसी वैज्ञानिक का भाषण देना, जो अच्छा है, लेकिन शायद कोई जीवन रक्षक खोज नहीं है)।
- गलत व्यक्ति: कभी-कभी, AI ने समान नामों वाले दो व्यक्तियों के बीच भ्रम पैदा कर दिया।
इंसानों को यह तय करने के लिए अपने विवेक का उपयोग करना था कि कोई खोज "पर्याप्त अच्छी" है या नहीं। शोध पत्र में उल्लेख किया गया कि AI को "उदार" (generous) बनाया गया था—उसने बहुत अधिक खोजा ताकि इंसान खराब चीजों को हटा सकें, बजाय इसके कि AI अच्छी चीजों को मिस कर देता। यह एक स्मार्ट रणनीति है क्योंकि गायब हिस्सों की तलाश करने के बजाय एक लंबी सूची को संपादित करना आसान है।
निर्णय
यह शोध पत्र सुझाव देता है कि मानव-और-AI की टीम मिलकर उस समस्या को हल कर सकती है जो पहले बहुत धीमी थी। AI पहले चरण के लेखक के रूप में कार्य करता है, जो उबाऊ, समय लेने वाली खोज और मसौदा तैयार करने का काम करता है। मनुष्य फिर तथ्यों को सत्यापित करने और अंतिम निर्णय लेने के लिए आते हैं।
इस अध्ययन ने यह साबित नहीं किया कि AI पूर्ण है या यह पूरी तरह से मनुष्यों की जगह ले सकता है। वास्तव में, शोध पत्र का तर्क है कि मानवीय निर्णय अभी भी अत्यंत आवश्यक है क्योंकि AI स्रोतों के साथ गलती कर सकता है या यह समझने में चूक कर सकता है कि "वास्तविक" प्रभाव क्या है। लेकिन अध्ययन यह भी दिखाता है कि इस नए श्रम विभाजन के साथ, वैज्ञानिकों के एक पूरे समूह के प्रभाव को ट्रैक करना संभव हो जाता है। 15 घंटे प्रति व्यक्ति खर्च करने के बजाय, कर्मचारी अब इसे मिनटों में कर सकते हैं, जिससे विज्ञान और समाज में उनके योगदानों पर नज़र रखना संभव हो जाता है। यह एक साइकिल से मोटर वाली साइकिल में अपग्रेड करने जैसा है: आपको अभी भी स्टीयरिंग और पैडल चलाना होगा, लेकिन आप बहुत, बहुत तेज़ी से पहुँचेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।