Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models
यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स के साथ सेल्फ-प्रॉम्पटिंग और क्रॉस-मॉडल कंसेंसस को संयोजित करना वैज्ञानिक साहित्य से पुनरुत्पादक, स्केलेबल डेटा निष्कर्षण को सक्षम बनाता है, जबकि एक व्यावहारिक श्रम विभाजन के माध्यम से विशेषज्ञ निरीक्षण को बनाए रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान पिछले आविष्कारों के एक विशाल पुस्तकालय पर निर्भर करता है, लेकिन उन पुराने शोध पत्रों के भीतर छिपे विशिष्ट तथ्यों को खोजना एक धीमा और उबाऊ काम है। कल्पना कीजिए कि एक शोधकर्ता को यह जानने की आवश्यकता है कि कुछ विशेष परिस्थितियों में हृदय की मांसपेशी का प्रोटीन वास्तव में कैसे व्यवहार करता है। उन्हें दर्जनों लेखों को पढ़ना होगा, जिनमें से कुछ दशकों पुराने हैं, ताकि वे तापमान, रासायनिक सांद्रता और माप विधियों जैसे सूक्ष्म विवरणों को खोज सकें। ये विवरण अक्सर घने टेक्स्ट में दबे होते हैं या तालिकाओं में बिखरे होते हैं, और एक भी विवरण का छूट जाना नए शोध में त्रुटियों का कारण बन सकता है। वर्षों से, वैज्ञानिकों ने आशा की है कि कंप्यूटर प्रोग्राम यह भारी काम कर सकें, लेकिन हाल तक, ये उपकरण इतने भरोसेमंद नहीं थे कि उन्हें इतने नाजुक काम के लिए इस्तेमाल किया जा सके। वे अक्सर महत्वपूर्ण संदर्भ को चूक जाते थे या ऐसे तथ्य गढ़ देते थे जो अस्तित्व में ही नहीं थे।
इंपीरियल कॉलेज लंदन और कैम्ब्रिज विश्वविद्यालय के शोधकर्ताओं द्वारा किए गए एक नए अध्ययन में यह परीक्षण किया गया है कि क्या कृत्रिम बुद्धिमत्ता (AI) की नवीनतम पीढ़ी अंततः इस समस्या को हल कर सकती है। टीम ने केवल कंप्यूटर को एक पेपर पढ़ने के लिए नहीं कहा; उन्होंने कंप्यूटर के साथ एक जूनियर रिसर्च असिस्टेंट की तरह व्यवहार किया जिसे सावधानीपूर्वक प्रशिक्षण और पर्यवेक्षण की आवश्यकता थी। उन्होंने प्रयोगों की एक श्रृंखला स्थापित की ताकि यह देखा जा सके कि ये प्रोग्राम वैज्ञानिक लेखों से विशिष्ट डेटा निकालने में कितने सक्षम हैं—सरल कार्यों से लेकर, जहाँ एक इंसान स्पष्ट निर्देश देता है, जटिल कार्यों तक, जहाँ कंप्यूटर को लेख खुद खोजने पड़ते हैं। इसका लक्ष्य यह मानचित्रित करना था कि ये मशीनें कहाँ सफल होती हैं और उन्हें कहाँ अभी भी एक मानव हाथ के मार्गदर्शन की आवश्यकता है।
शोधकर्ताओं ने एक सीधा चुनौती के साथ शुरुआत की: क्या एक कंप्यूटर अठारह अलग-अलग वैज्ञानिक शोध पत्रों से यह सटीक जानकारी निकाल सकता है कि कैल्शियम हृदय के प्रोटीन से कैसे जुड़ता है? उन्होंने सात सबसे उन्नत कंप्यूटर प्रोग्रामों को निर्देशों का एक विस्तृत, विशेषज्ञ-लिखित सेट दिया और उनसे प्रत्येक प्रयोग के लिए सात विशिष्ट जानकारियाँ खोजने को कहा, जैसे कि उपयोग किया गया जानवर, तापमान और रासायनिक मान। परिणाम आश्चर्यजनक रूप से मजबूत थे। सर्वश्रेष्ठ प्रोग्रामों ने नब्बे प्रतिशत से अधिक बार संख्याओं को सही पाया। वास्तव में, जब कंप्यूटरों से केवल कच्चे नंबर खोजने के लिए कहा गया, तो वे लगभग सौ प्रतिशत बार सही थे। हालाँकि, जब मशीनों को नंबरों के पीछे की कहानी समझने के लिए कहा गया, तो वे संघर्ष करने लगे। वे अक्सर यह पहचानने में विफल रहे कि प्रोटीन का कौन सा संस्करण परीक्षण किया जा रहा था या माप किस विशिष्ट स्थिति में लिया गया था। इससे पता चला कि जबकि कंप्यूटर अंक खोजने में उत्कृष्ट थे, वे अभी भी उस वैज्ञानिक संदर्भ को समझने की प्रक्रिया में थे जो उन अंकों को अर्थपूर्ण बनाता है।
यह देखने के लिए कि क्या कंप्यूटर बिना मानव द्वारा लिखे गए निर्देशों के बेहतर प्रदर्शन कर सकते हैं, शोधकर्ताओं ने प्रोग्रामों को अपने स्वयं के गाइड लिखने दिया। उन्होंने प्रत्येक कंप्यूटर से प्रश्न पूछने के सर्वोत्तम तरीकों की खोज करने और फिर उस कार्य के लिए एक मास्टर निर्देश पत्र तैयार करने को कहा। कंप्यूटरों ने उपयोगी गाइड तो बनाए, लेकिन इन स्व-लिखित निर्देशों का उपयोग करके निकाला गया डेटा, मानव विशेषज्ञ की मूल योजना के पालन की तुलना में थोड़ा कम सटीक था। शीर्ष प्रोग्रामों के लिए यह अंतर छोटा था, लेकिन अन्य प्रोग्रामों के लिए यह बढ़ता गया। इससे संकेत मिला कि हालांकि कंप्यूटर अच्छे प्रश्न पूछना सीख सकते हैं, लेकिन एक मानव विशेषज्ञ अभी भी वैज्ञानिक समस्या की विशिष्ट बारीकियों को समझाने में सर्वश्रेष्ठ होता है।
टीम ने कंप्यूटरों को और आगे बढ़ाया, उन्हें स्वायत्त शोधकर्ता के रूप में कार्य करने के लिए कहा। इस परिदृश्य में, प्रोग्रामों को स्वयं प्रासंगिक वैज्ञानिक शोध पत्र खोजने थे, उन्हें पढ़ना था और बिना किसी मानवीय सहायता के डेटा निकालना था। यहीं पर सिस्टम की सीमा समाप्त हो गई। यहाँ तक कि सबसे उन्नत प्रोग्राम भी उन सही शोध पत्रों में से आधे से अधिक को खोजने में विफल रहे जिन्हें उन्हें खोजना था। उनमें से कुछ ने ऐसे शोध पत्रों के संदर्भ गढ़े जो अस्तित्व में ही नहीं थे, जिसे 'भ्रम' (hallination) की समस्या कहा जाता है, जबकि अन्य सही स्रोतों को खोजने में ही विफल रहे। अध्ययन से पता चला कि जब कंप्यूटर को अपनी जानकारी खुद खोजनी पड़ती है, तो वह बहुत कम विश्वसनीय हो जाता है। यह एक छात्र को रिपोर्ट लिखने के लिए कहने जैसा है लेकिन उसे लाइब्रेरी कार्ड न देना; वे सही किताबों का अनुमान तो लगा सकते हैं, लेकिन उनके शीर्षक बनाने की भी उतनी ही संभावना है।
अध्ययन के अंतिम भाग में यह देखा गया कि इस प्रक्रिया को वास्तविक दुनिया में कैसे लागू किया जाए। शोधकर्ताओं ने एक पद्धति का परीक्षण किया जहाँ उन्होंने कई कंप्यूटरों का उपयोग एक-दूसरे के काम की जाँच करने के लिए किया। उन्होंने पाया कि यदि एक कंप्यूटर गलती करता है, तो दूसरा अक्सर उसे पकड़ लेता है। एक ही कार्य को पाँच बार चलाने और सबसे सामान्य उत्तर लेने से, टीम सटीकता में काफी सुधार कर सकी। उन्होंने यह भी खोजा कि एक ही समस्या पर विभिन्न कंप्यूटरों का काम करना, एक ही कंप्यूटर द्वारा कार्य को पाँच बार दोहराने से भी बेहतर था। इस दृष्टिकोण ने एक सुरक्षा जाल बनाया जहाँ कंप्यूटर कठिन मामलों को मानव समीक्षा के लिए चिह्नित कर सकते थे। अध्ययन ने निष्कर्ष निकाला कि इन उपकरणों का उपयोग करने का सबसे अच्छा तरीका मानव वैज्ञानिकों को बदलना नहीं, बल्कि एक साझेदारी बनाना है। इस नए वर्कफ़्लो में, कंप्यूटर डेटा खोजने और निकालने का दोहराव वाला काम संभालता है, जबकि मानव विशेषज्ञ पेचीदा हिस्सों को सत्यापित करने और मशीनों के बीच किसी भी असहमति को सुलझाने के लिए हस्तक्षेप करता है। श्रम का यह विभाजन वैज्ञानिकों को मानवीय विवेक खोए बिना बड़ी मात्रा में साहित्य को तेजी से संसाधित करने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।