ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models
यह शोधपत्र ForgetBench प्रस्तुत करता है, जो निरंतर ज्ञान संपादन (continual knowledge editing) के तहत बड़े भाषा मॉडलों की दीर्घकालिक विस्मृति गतिशीलता (long-term forgetting dynamics) और प्रतिधारण स्थिरता (retention stability) का व्यवस्थित रूप से मूल्यांकन करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान विधियाँ प्रभावी ज्ञान अपडेट और पहले से प्राप्त जानकारी के संरक्षण के बीच संतुलन बनाने में संघर्ष करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका मस्तिष्क हर सेकंड एक नया तथ्य सीख सकता है, लेकिन हर बार जब आप कुछ नया सीखते हैं, तो आप अनजाने में एक पुरानी याद मिटा देते हैं। यह केवल एक विज्ञान-कथा (sci-fi) का दुःस्वप्न नहीं है; यह उन कृत्रिम बुद्धिमत्ता (AI) के लिए एक बढ़ती हुई चिंता है जिन्हें हम लार्ज लैंग्वेज मॉडल्स (LLMs) कहते हैं। ये डिजिटल मस्तिष्क किताबें पढ़ने और बातचीत करने में अविश्वसनीय रूप से कुशल हैं, लेकिन वे उस चीज़ के साथ संघर्ष करते हैं जो इंसान स्वाभाविक रूप से करते हैं: नई चीज़ों के लिए जगह बनाते समय पुरानी यादों को सुरक्षित रखना। वैज्ञानिकों ने लंबे समय से इस बात का अध्ययन किया है कि मानव स्मृति कैसे काम करती है, जिसे उन्होंने "वर्किंग मेमोरी" (जो आप अभी सोच रहे हैं) और "लॉन्ग-टर्म मेमोरी" (वे तथ्य जिन्हें आपने वर्षों से संजो कर रखा है) में विभाजित किया है। हालाँकि हम जानते हैं कि इन AI मॉडल्स को नए करतब कैसे सिखाए जाएं, लेकिन हम पूरी तरह से यह नहीं समझते कि वे कल जो कुछ भी जानते थे उसे खोए बिना अपने आंतरिक ज्ञान को समय के साथ अपडेट करने के जटिल कार्य को कैसे संभालते हैं। यदि हम चाहते हैं कि AI एक सहायक आजीवन साथी बने, न कि एक विस्मरशील मित्र जिसे लगातार याद दिलाने की आवश्यकता हो, तो हमें यह पता लगाना होगा कि उनकी यादों को कैसे टिकाऊ बनाया जाए।
यहाँ आता है ForgetBench, एक नया "स्ट्रेस टेस्ट" जिसे शोधकर्ताओं द्वारा यह देखने के लिए डिज़ाइन किया गया है कि AI मॉडल वास्तव में कैसे और क्यों चीजें भूल जाते हैं जब उन्हें लगातार अपडेट किया जा रहा होता है। ForgetBench को एक साधारण क्विज़ के रूप में नहीं, बल्कि एक AI के मस्तिष्क के लिए "टाइम-लैप्स कैमरा" के रूप में समझें। केवल यह जाँचने के बजाय कि क्या एक AI को अभी कोई तथ्य पता है, शोधकर्ताओं ने एक ऐसी स्थिति बनाई जहाँ AI को सूचनाओं की एक धारा (stream) सीखनी पड़ती है, एक के बाद एक, जैसे कि एक छात्र एक महीने में हर दिन इतिहास की एक नई परीक्षा दे रहा हो। बड़ा सवाल जो उन्होंने पूछा था वह था: "यदि हम आज इस AI को एक नया तथ्य सिखाते हैं, तो क्या यह उस तथ्य को याद रखेगा जो हमने इसे एक सप्ताह पहले सिखाया था, या नया सबक पुराने वाले को मिटा देगा?"
इसका उत्तर देने के लिए, टीम ने दो अलग-अलग प्रकार की स्मृति चुनौतियाँ बनाईं। पहली चुनौती, जिसे Concept-based QA कहा जाता है, अलग-थलग तथ्यों वाले फ्लैशकार्ड के खेल की तरह है। कल्पना कीजिए कि आप AI को बताते हैं, "डोनाल्ड रोड्रिग्ज 22 वर्ष के हैं," और फिर बाद में, "वास्तव में, डोनाल्ड 79 वर्ष के हैं।" शोधकर्ता यह देखना चाहते थे कि क्या AI उम्र को बदले बिना भ्रमित हुए बिना या अन्य लोगों की उम्र को भूले बिना इसे बदल सकता है। दूसरी चुनौती, Scenario-based QA, बहुत हद तक एक जटिल रोल-प्लेइंग गेम की तरह है। यहाँ, AI को पात्रों के बीच संबंधों को ट्रैक करना होता है, जैसे कि "बिल गेट्स ने किसे फॉलो किया और अंतरिक्ष अन्वेषण के बारे में एक पोस्ट को रिट्वीट किया?" यह परीक्षण करता है कि क्या AI जुड़ी हुई कहानियों के जाल को थामे रख सकता है या क्या नए अपडेट पूरे कहानी को ध्वस्त कर देते हैं।
शोधकर्ताओं ने विभिन्न तरीकों का उपयोग करके कई अलग-अलग AI मॉडल्स पर ये परीक्षण चलाए। उन्होंने जो पाया वह वर्तमान AI की स्थिति के लिए थोड़ा निराशाजनक है: मौजूदा तरीके दोनों के बीच संतुलन बनाने में बहुत खराब हैं। जब मॉडल्स ने नए तथ्य सीखे, तो वे अक्सर पुराने तथ्यों को भूल गए, या वे इतने भ्रमित हो गए कि वे बकवास बातें बनाने लगे। अध्ययन ने इसे एक "फॉरगेटिंग कर्व" (भूलने की वक्र) के माध्यम से मापा, जो ट्रैक करता है कि अधिक नई जानकारी जोड़े जाने पर स्मृति कितनी तेज़ी से धुंधली होती है। उन्होंने पाया कि अधिकांश वर्तमान मॉडल्स के लिए, उनकी स्मृति का "हाफ-लाइफ" (वह समय जब स्मृति आधी रह जाती है) बहुत कम है। दूसरे शब्दों में, AI अभी सीखने में तो बहुत अच्छा है, लेकिन बाद में याद रखने में बहुत बुरा है।
यह पेपर सुझाव देता है कि जबकि हम एक एकल सत्र में AI को नई चीजें सिखाने में बहुत अच्छे हो गए हैं, हमने इस समस्या को हल नहीं किया है कि निरंतर अपडेट के लंबे समय तक उन यादों को सुरक्षित कैसे रखा जाए। शोधकर्ताओं ने केवल एक समस्या ही नहीं ढूँढी; उन्होंने इसे मापने का एक नया तरीका भी प्रदान किया, यह दिखाते हुए कि AI ज्ञान को अपडेट करने के वर्तमान उपकरण एक किताब में नया अध्याय लिखने के लिए पिछले पन्नों को मिटाने के समान हैं। जब तक हम बेहतर "मेमोरी मैकेनिज्म" नहीं बना लेते जो AI को अपने अतीत को खोए बिना बढ़ने की अनुमति दे, तब तक ये डिजिटल मस्तिष्क प्रतिभाशाली तो रहेंगे लेकिन अविश्वसनीय रूप से विस्मरशील बने रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।