Forgetting as a Feature: Cognitive Alignment of Large Language Models
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (Large Language Models) में देखी जाने वाली व्यवस्थित विस्मृति (systematic forgetting) को मानव स्मृति क्षय (human memory decay) के समान एक कार्यात्मक संज्ञानात्मक तंत्र के रूप में पुनर्गठित करता है, इस संरेखण को मान्य करने के लिए एक बेंचमार्क सुइट पेश करता है, और एक "प्रायिकता आधारित मेमोरी प्रॉम्प्टिंग" (probabilistic memory prompting) रणनीति प्रस्तावित करता है जो दीर्घकालिक तर्क प्रदर्शन को बढ़ाने के लिए विस्मृति का लाभ उठाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बड़ी पहेली सुलझाने की कोशिश कर रहे हैं, लेकिन हर बार जब आप एक नया टुकड़ा देखते हैं, तो पाँच मिनट पहले देखे गए टुकड़े धुंधले होने लगते हैं। लंबे समय तक, वैज्ञानिकों ने सोचा कि यह "धुंधलापन" सिस्टम की एक खराबी है—एक संकेत कि AI खराब या बहुत अधिक भूलक्कड़ है।
लेकिन यह शोध पत्र तर्क देता है कि भूलना वास्तव में एक सुपरपावर है, कोई त्रुटि नहीं।
यहाँ रोजमर्रा के उदाहरणों का उपयोग करके इसका सरल विवरण दिया गया है:
1. "परफेक्ट रोबोट" का मिथक बनाम वास्तविकता
कल्पना कीजिए कि आपने एक रोबोट सहायक को काम पर रखा है जिसे सब कुछ पूरी तरह से याद रखने के लिए बनाया गया है, जैसे कि एक सुपर-हार्ड ड्राइव। आप उम्मीद करेंगे कि वह बातचीत की शुरुआत से लेकर अंत तक के हर विवरण को बिना किसी त्रुटि के याद रखेगा।
हालाँकि, जब हम आज लार्ज लैंग्वेज मॉडल्स (LLMs) से बात करते हैं, तो वे इंसानों की तरह व्यवहार करते हैं। यदि आप उन्हें एक कहानी सुनाते हैं, तो उन्हें शुरुआत अच्छी तरह याद रहती है, लेकिन जैसे-जैसे कहानी लंबी होती जाती, शुरुआत के विवरण थोड़े धुंधले होने लगते हैं। वे नई चीज़ों के लिए जगह बनाने के लिए पुरानी चीज़ों को "भूल" जाते हैं।
2. "कॉफी शॉप" का उदाहरण
एक LLM को एक बहुत ही व्यस्त कॉफी शॉप के बरिस्ता (barista) की तरह समझें।
- पुराना तरीका: हम चाहते थे कि बरिस्ता दिन की शुरुआत से हुए हर एक ऑर्डर को पूरी तरह से याद रखे, भले ही इसका मतलब यह हो कि वे इतने अभिभूत हो जाएं कि वे वर्तमान कॉफी भी न बना सकें।
- नई अंतर्दृष्टि: यह शोध पत्र कहता है, "हे, एक अच्छा बरिस्ता इस तरह काम नहीं करता!" एक अच्छा बरिस्ता अपने सामने खड़े ग्राहक पर ध्यान केंद्रित करता है। वे 10 मिनट पहले के ऑर्डर को जाने देते हैं ताकि वे वर्तमान ऑर्डर पर अपना पूरा ध्यान दे सकें।
यदि बरिस्ता हर विवरण को हमेशा के लिए थामे रखने की कोशिश करेगा, तो वे भ्रमित हो जाएंगे और उस ड्रिंक को बनाने में गलती कर देंगे जो वे अभी बना रहे हैं। अतीत को भूलना ही उन्हें वर्तमान के लिए सटीक बने रहने में मदद करता है।
3. "धुंधली तस्वीर" का प्रयोग
शोधकर्ताओं ने AI की याददाश्त को एक धुंधली होती तस्वीर की तरह माना।
- मानव मस्तिष्क में, यादें स्वाभाविक रूप से समय के साथ कमजोर हो जाती हैं (एक्सपोनेंशियल डिके/घातांकीय क्षय), जब तक कि हम उन्हें देखते न रहें।
- टीम ने यह देखने के लिए एक परीक्षण बनाया कि क्या AI भी ऐसा ही करता है। उन्होंने पाया कि AI जानकारी को उस दर पर भूलता है जो मनुष्यों के भूलने के तरीके के आश्चर्यजनक रूप से समान दिखता है। यह रैंडम नहीं है; यह एक गणना की गई अदला-बदली (trade-off) है। AI अधिक अनुकूलनशील (adaptable) और लचीला होने के लिए "पूर्ण स्मृति" का त्याग कर रहा है।
4. समाधान: "AI को बेहतर तरीके से भूलना सिखाना"
सबसे रोमांचक हिस्सा वह है जो उन्होंने इस खोज के साथ किया। इसे सब कुछ याद रखने के लिए मजबूर करने के बजाय (जो इसे अनाड़ी बनाता है), उन्होंने इसे जानबूझकर भूलना सिखाया।
उन्होंने एक नई तकनीक बनाई जिसे "प्रोबेबिलिस्टिक मेमोरी प्रॉम्प्टिंग" (Probabilistic Memory Prompting) कहा जाता है।
- रूपक: कल्पना कीजिए कि आप एक लंबा पत्र लिख रहे हैं। कल आपने जो भी शब्द लिखे थे, उन्हें याद रखने की कोशिश करने के बजाय, आप मुख्य बिंदुओं का सारांश तय करते हैं और छोटे विवरणों को धुंधला होने देते हैं।
- परिणाम: AI को मानवीय शैली में भूलने की नकल करने के लिए कहकर (पुराने विवरणों को स्वाभाविक रूप से धुंधला होने देना), AI वास्तव में लंबी, जटिल समस्याओं को हल करने में बेहतर हो गया। इसने पुराने, अप्रासंगिक विवरणों से भ्रमित होना बंद कर दिया और उस चीज़ पर ध्यान केंद्रित किया जो वर्तमान कार्य के लिए सबसे महत्वपूर्ण थी।
मुख्य निष्कर्ष
हम पहले सोचते थे कि AI के स्मार्ट होने के लिए, उसे एक पूर्ण विश्वकोश (encyclopedia) की आवश्यकता है जो कभी कुछ न भूले। यह शोध पत्र इस विचार को पूरी तरह उलट देता है। यह सुझाव देता है कि वास्तविक बुद्धिमत्ता सब कुछ याद रखने के बारे में नहीं है; यह यह जानने के बारे में है कि किसे छोड़ देना है।
ठीक वैसे ही जैसे मानव मस्तिष्क को आज के विचारों के लिए जगह बनाने के लिए कल के लंच को भूलने की आवश्यकता होती है, इन AI मॉडल्स को वास्तव में स्मार्ट और अनुकूलनशील होने के लिए पुराने डेटा को "भूलने" की आवश्यकता होती है। भूलना कोई विफलता नहीं है; यह एक विशेषता (feature) है जो उन्हें बेहतर ढंग से काम करने में मदद करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।