ScienceMeter: Tracking Scientific Knowledge Updates in Language Models
यह शोध पत्र ScienceMeter प्रस्तुत करता है, जो तीन मापदंडों—संरक्षण (preservation), अधिग्रहण (acquisition) और प्रक्षेपण (projection)—के माध्यम से लार्ज लैंग्वेज मॉडल्स में वैज्ञानिक ज्ञान के अपडेट का मूल्यांकन करने के लिए एक ढांचा है—जो यह प्रकट करता है कि वर्तमान अपडेट विधियाँ मौजूदा ज्ञान को बनाए रखने के साथ-साथ नए तथ्यों को प्रभावी ढंग से सीखने और भविष्य की वैज्ञानिक प्रगति का पूर्वानुमान लगाने में संघर्ष करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है जिसने एक निश्चित वर्ष तक लिखी गई लगभग हर किताब पढ़ ली है। यह लाइब्रेरियन उस युग के इतिहास, विज्ञान और पॉप कल्चर के बारे में सवालों के जवाब देने में अद्भुत है। लेकिन इसमें एक पेंच है: दुनिया घूमना बंद नहीं करती। हर दिन नए वैज्ञानिक शोध पत्र (scientific papers) प्रकाशित होते हैं, जो नई खोजों को उजागर करते हैं जिन्हें लाइब्रेरियन ने अभी तक नहीं देखा है। यदि आप इस रोबोट से कल हुए किसी बड़े बदलाव के बारे में पूछते हैं, तो यह आत्मविश्वास के साथ आपको कुछ गलत बता सकता है, या यह बस कह सकता है, "मुझे नहीं पता," क्योंकि इसका मस्तिष्क अतीत में जम गया है। यह आर्टिफिशियल इंटेलिजेंस (AI) के लिए "पुराने ज्ञान" (stale knowledge) की समस्या है। वैज्ञानिक यह figuring out करने की कोशिश कर रहे हैं कि इन रोबोटों को नई जानकारी कैसे दी जाए ताकि वे जो पहले से जानते हैं उसे भूल न जाएं या मनगढ़ंत, गलत तथ्य न बनाने लगें। यह एक छात्र को पाठ्यपुस्तक का नया अध्याय सिखाने जैसा है बिना यह सुनिश्चित किए कि वह पिछले अध्यायों को भूल जाए या खाली जगहों को भरने के लिए अपने स्वयं के फर्जी तथ्य न बना ले।
यहाँ आता है ScienceMeter, एक नया फ्रेमवर्क जिसे वाशिंगटन विश्वविद्यालय के शोधकर्ताओं द्वारा यह परीक्षण करने के लिए बनाया गया है कि हम इन AI दिमागों को ताज़ा वैज्ञानिक ज्ञान के साथ कितनी अच्छी तरह अपडेट कर सकते हैं। शोधकर्ताओं को "नॉलेज मैकेनिक्स" (ज्ञान के मैकेनिक) के रूप में सोचें जो एक हाई-परफॉर्मेंस इंजन को ट्यून करने की कोशिश कर रहे हैं। उन्होंने केवल यह नहीं पूछा, "क्या रोबोट ने नया सीखा?" बल्कि उन्होंने एक तीन-स्तरीय स्ट्रेस टेस्ट बनाया यह देखने के लिए कि क्या रोबोट यह कर सकता है:
- पुरानी चीजों को याद रखना (Preservation): क्या वह वर्षों पहले सीखी गई बुनियादी बातों को भूल गया?
- नई चीजों को सीखना (Acquisition): क्या उसने वास्तव में उन नए शोध पत्रों को समझा जो उसे अभी दिखाए गए थे?
- भविष्य की चीजों का अनुमान लगाना (Projection): क्या वह जो अभी उसने सीखा है, उसका उपयोग एक ऐसी खोज के बारे में स्मार्ट अनुमान लगाने के लिए कर सकता है जो अभी तक हुई ही नहीं है?
इस परीक्षण को चलाने के लिए, उन्होंने कंप्यूटर साइंस से लेकर चिकित्सा तक दस अलग-अलग वैज्ञानिक क्षेत्रों को कवर करने वाला एक विशाल डेटासेट बनाया। उन्होंने वैज्ञानिक ज्ञान को एक टाइमलाइन की तरह माना: "अतीत" के शोध पत्र (जो रोबलेट पहले से जानता था), "नए" शोध पत्र (जो वे उसे सिखाने की कोशिश कर रहे थे), और "भविष्य" के शोध पत्र (जिसकी वे भविष्यवाणी करने की उम्मीद कर रहे थे)। इसके बाद उन्होंने रोबोट के दिमाग को अपडेट करने के लिए पांच अलग-अलग तरीकों का परीक्षण किया, जिसमें बातचीत के दौरान नए शोध पत्रों को बस पढ़ने (inference) से लेकर रोबोट के दिमाग को नए डेटा के साथ फिर से प्रशिक्षित (retraining) करने तक शामिल था।
परिणाम थोड़े वास्तविकता का अहसास कराने वाले थे। सबसे अच्छे तरीके भी एक साथ तीनों काम करने के लिए संघर्ष कर रहे थे। शीर्ष प्रदर्शन करने वाले अपडेट मेथड ने पुराने ज्ञान के 85.9% हिस्से को सुरक्षित रखा, नए ज्ञान के 71.7% को सफलतापूर्वक सीखा, लेकिन केवल 37.7% भविष्य के ज्ञान का अनुमान लगा सका। दूसरे शब्दों में, रोबोट अतीत को याद रखने में काफी अच्छा था, वर्तमान को सीखने में ठीक-ठाक था, लेकिन भविष्य की भविष्यवाणी करने में अभी भी बहुत कमजोर था।
अध्ययन में यह भी पाया गया कि रोबोट का आकार मायने रखता है। बड़े, अधिक शक्तिशाली मॉडल केवल बातचीत के दौरान उन्हें पढ़ने (inference) से ही नई चीजें सीखने में आश्चर्यजनक रूप से अच्छे थे, लगभग एक प्रतिभाशाली छात्र की तरह जो एक बार पाठ्यपुस्तक पढ़कर एक नया विषय सीख सकता है। हालांकि, छोटे मॉडलों को प्रभावी ढंग से नई चीजें सीखने के लिए शुरू से "रिट्रेन" (retrain) करने की आवश्यकता थी; केवल उन्हें नई जानकारी दिखाना पर्याप्त नहीं था।
शायद सबसे दिलचस्प खोज यह थी कि विज्ञान का प्रकार मायने रखता है। उन क्षेत्रों में जहाँ ज्ञान धीरे-धीरे बदलता है, जैसे राजनीति विज्ञान, रोबोटों ने याद रखने और भविष्यवाणी करने में शानदार प्रदर्शन किया। लेकिन मैटेरियल्स साइंस जैसे तेजी से आगे बढ़ने वाले क्षेत्रों में, जहाँ लगातार नई खोजें होती हैं, रोबot जल्दी भ्रमित हो जाते हैं। शोधकर्ता सुझाव देते हैं कि एक क्षेत्र जितना अधिक अस्थिर होगा, AI के लिए अपनी जानकारी को अपडेट रखना और चीजों को आपस में मिलाए बिना रहना उतना ही कठिन होगा।
अंततः, पेपर यह निष्कर्ष निकालता है कि हालांकि हम AI को अपडेट करने में बेहतर हो रहे हैं, लेकिन हमने अभी तक कोड को क्रैक नहीं किया है। ऐसा कोई जादुई बटन नहीं है जो AI को तुरंत नया विज्ञान सीखने, अपने सभी पुराने तथ्यों को बनाए रखने और भविष्य की भविष्यवाणी करने में सक्षम बना दे। शोधकर्ताओं का तर्क है कि एक ऐसा तरीका विकसित करना जो वास्तव में इन तीन लक्ष्यों के बीच संतुलन बना सके, वास्तविक वैज्ञानिक खोज के लिए AI को एक विश्वसनीय साथी बनाने की दिशा में सबसे बड़ी चुनौतियों में से एक है। वे चेतावनी देते हैं कि यदि हम इसे हल नहीं कर सके, तो हमारे AI उपकरण कल के विज्ञान के आत्मविश्वासी विशेषज्ञ बन सकते हैं, जबकि कल की बड़ी खोजों के बारे में पूरी तरह से अनजान रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।