← नवीनतम पेपर
💻 computer science

Do You Remember? Toward Memory-Centric Multimodal AI

यह शोध पत्र "DoYouRemember" प्रस्तुत करता है, जो एक स्मृति-केंद्रित मल्टीमॉडल AI आर्किटेक्चर है जो मानक वन-शॉट प्रोसेसिंग को एक साझा मैट्रिक्स और स्थानीय EMA अपडेट का उपयोग करने वाली एक पुनर्रचनात्मक स्मृति प्रणाली से बदल देता है, यह प्रदर्शित करते हुए कि LLM हिडन स्टेट्स विजुअल जानकारी को त्याग देते हैं और मतिभ्रम (hallucination) को दोष के बजाय लॉसवी मेमोरी डीकंप्रेशन के एक अंतर्निहित गुण के रूप में पुनर्परिभाषित करते हैं।

मूल लेखक: Xuguang Yu, Weigang Zheng, Minyue Yu

प्रकाशित 2026-07-15
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Xuguang Yu, Weigang Zheng, Minyue Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

क्या आपको याद है? AI जो देखता है उसे क्यों "भूल" जाता है (और हमने इसे कैसे ठीक किया)

कल्पना कीजिए कि आप अपने किसी दोस्त का चेहरा देख रहे हैं। आप अपने मस्तिष्क में एक परफेक्ट, हाई-डेफिनिशन वीडियो फ़ाइल स्टोर नहीं करते हैं। इसके बजाय, आपका मस्तिष्क एक स्नैपशॉट लेता है, उसे कुछ मुख्य विचारों (जैसे मुस्कान का आकार, आँखों का रंग) में संकुचित (compress) करता है, और बाद में, जब आप उन्हें याद करने की कोशिश करते हैं, तो आपका मस्तिष्क उन विचारों के आधार पर एक नया चित्र पुनर्निर्मित (reconstruct) करता है। यह कोई रीप्ले नहीं है; यह एक रचनात्मक पुनर्निर्माण है।

अब, एक सुपर-स्मार्ट AI रोबोट की कल्पना करें जो आपके चेहरे को देखता है, आपको बताता है कि आपको त्वचा की कौन सी स्थिति है, लेकिन फिर तुरंत आपके चेहरे की तस्वीर अपनी मेमोरी से डिलीट कर देता है। आज के सबसे उन्नत AI मॉडल बिल्कुल यही करते हैं। वे छवि को पूरी तरह से "समझते" हैं लेकिन उसके बारे में कुछ भी "याद" नहीं रखते।

DoYouRemember नामक एक नया अध्ययन इसे ठीक करने की कोशिश करता है, जो AI को वास्तव में वह चीज़ याद करना सिखाता है जो वह देखता है, एक ऐसी प्रणाली का उपयोग करके जो मानव स्मृति के काम करने के तरीके की नकल करती है।

बड़ी खोज: समझना ≠\neq याद रखना

शोधकर्ताओं ने एक सरल प्रश्न के साथ शुरुआत की: यदि एक AI किसी छवि का सटीक वर्णन कर सकता है, तो क्या वह अभी भी अपने मस्तिष्क के भीतर उस छवि को "देखता" है?

उन्होंने इसका परीक्षण करने के लिए एक तीन-चरणीय मशीन बनाई:

  1. कंप्रेसर (The Compressor): उन्होंने एक चेहरे की तस्वीर ली और उसे एक छोटे, डिजिटल शॉर्टहैंड में सिकोड़ दिया (जैसे एक 4K मूवी को कुछ टेक्स्ट कोड में बदलना)।
  2. विचारक (The Thinker): उन्होंने त्वचा का विश्लेषण करने के लिए उन कोडों को एक विशाल AI मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) में डाला।
  3. पुनर्निर्माता (The Rebuilder): उन्होंने AI के "विचारों" (उसके आंतरिक हिडन स्टेट्स) को वापस एक तस्वीर में बदलने की कोशिश की।

चौंकाने वाला परिणाम:
जब उन्होंने AI के विचारों से चेहरे को पुनर्गठित करने की कोशिश की, तो उन्हें मिला... स्टैटिक (static)। शुद्ध शोर (noise)।
AI यह बताने में बहुत अच्छा था कि, "इस व्यक्ति के गाल पर लाल चकत्ते हैं," लेकिन इसकी आंतरिक स्मृति में उस चकत्ते के बारे में शून्य रिकवरेबल विजुअल जानकारी थी। यह एक ऐसे अनुवादक की तरह था जो उत्तम अंग्रेजी बोलता है लेकिन मूल फ्रांसीसी शब्दों को पूरी तरह से भूल गया है। AI ने अर्थ को समझा लेकिन चित्र को नष्ट कर दिया।

यह पेपर सिद्ध करता है कि इन AI मॉडलों के लिए, समझना याद रखने के समान नहीं है। AI विजुअल डेटा का उपभोग एक वाक्य बनाने के लिए करता है और फिर विजुअल डेटा को फेंक देता है।

विफल प्रयास: "बैकप्रोपैगेशन" क्यों काम नहीं किया

समाधान खोजने से पहले, टीम ने AI को मेमोरी रखने के लिए मजबूर करने के कई तरीके आजमाए। उन्होंने विभिन्न मेमोरी आर्किटेक्चर का उपयोग किया और बैकप्रोपैगेशन (जो एक शिक्षक द्वारा छात्र के होमवर्क को सुधारने जैसा है, यह गणना करके कि उसने कितनी गलती की) नामक एक मानक प्रशिक्षण पद्धति का उपयोग किया।

उन्होंने निम्नलिखित प्रयास किए:

  • AI को एक साझा मेमोरी बोर्ड पर लिखने के लिए प्रेरित करना।
  • विभिन्न प्रकार के "कॉन्ट्रास्टिव लर्निंग" (AI को समान चीजों को पहचानने के लिए सिखाना) का उपयोग करना।
  • त्रुटि (error) और मेमोरी के बीच के पथ को छोटा करना।

फैसला: हर एक प्रयास विफल रहा। मेमोरी बोर्ड स्थिर (frozen) रहा।

क्यों? पेपर इसे एक गणितीय नियम के साथ समझाता है जिसे वे ग्रेडिएंट कैंसिलेशन (Gradient Cancellation) कहते हैं। कल्पना कीजिए कि 99,000 अलग-अलग लोग एक ही छोटे व्हाइटबोर्ड पर एक साथ लिखने की कोशिश कर रहे हैं। एक व्यक्ति बिल्ली बनाना चाहता है, दूसरा कुत्ता, तीसरा पेड़। यदि वे सभी एक साथ अपने मार्कर चलाते हैं, तो बल एक दूसरे को रद्द कर देते हैं, और बोर्ड खाली रहता है। पेपर दिखाता है कि जब आप मानक तरीकों के साथ साझा मेमोरी को प्रशिक्षित करने की कोशिश करते हैं, तो प्रत्येक छवि से मिलने वाला "धक्का" इतना कमजोर होता है (यह लगभग N\sqrt{N} के कारक से घट जाता है, जहाँ NN छवियों की संख्या है) कि मेमोरी कुछ भी नया नहीं सीख पाती है।

समाधान: "लोकल" मेमोरी ट्रिक

चूंकि "ग्लोबल" शिक्षक (बैकप्रोपैगेशन) समस्या को ठीक नहीं कर सका, इसलिए शोधकर्ताओं ने एक अलग दृष्टिकोण अपनाया जो इस बात से प्रेरित था कि मस्तिष्क में न्यूरॉन्स वास्तव में कैसे जुड़ते हैं: लोकल लर्निंग रूल्स (Local Learning Rules)।

पूरे सिस्टम को खुद को सुधारने के लिए कहने के बजाय, उन्होंने प्रत्येक छवि को 64 कुल स्थानों में से केवल सबसे प्रासंगिक टॉप 8 स्थानों को अपडेट करने दिया। उन्होंने एक्सपोनेंशियल मूविंग एवरेज (EMA) का उपयोग किया, जो पुरानी यादों को मिटाए बिना एक नई याद को धीरे से जगह में समाहित करने जैसा है।

परिणाम:

  • मेमोरी बोर्ड काम कर गया: छवियों को केवल अपने विशिष्ट "स्लॉट्स" को अपडेट करने देने से, मेमोरी बोर्ड विविध बना रहा और धुंधला नहीं हुआ।
  • पुनर्निर्माण बेहतर हुआ: जब उन्होंने इस नए मेमोरी से चेहरों को पुनर्गठित करने की कोशिश की, तो उन्हें स्पष्ट, पहचानने योग्य चेहरे मिले।
    • 10 अनदेखी टेस्ट इमेजेस पर, मेमोरी सिस्टम ने एक रिकंस्ट्रक्शन क्वालिटी स्कोर (LPIPS) 0.123 प्राप्त किया, जो सबसे अच्छे संभव स्कोर (अपर बाउंड) 0.071 के बहुत करीब है।
    • मेमोरी ने सूचना को स्टोर करने के लिए केवल 229,000 पैरामीटर्स का उपयोग किया, जो कि सामान्य रूप से 16 गुना अधिक स्थान लेने वाली जानकारी के लिए बहुत कम है।

"सुपर मेमोरी" का आश्चर्य:
जब उन्होंने मेमोरी बोर्ड को और बड़ा बनाया (इसे 1,024 स्लॉट्स तक बढ़ाया), तो कुछ अद्भुत हुआ। मेमोरी सिस्टम वास्तव में मूल "परफेक्ट" कंप्रेशन विधि से बेहतर हो गया!

  • नए मेमोरी सिस्टम ने अनदेखी छवियों पर 0.056 (LPIPS) स्कोर किया, जो मूल कंप्रेशन स्कोर 0.071 से बेहतर था।
  • क्यों? क्योंकि मूल कंप्रेशन ने "ब्लॉकी" डिजिटल स्टेप्स (क्वांटाइजेशन) का उपयोग किया था, जबकि नए मेमोरी ने स्मूथ, निरंतर संख्याओं का उपयोग किया। पर्याप्त स्लॉट्स के साथ, स्मूथ मेमोरी ब्लॉकी वाले की तुलना में अंतराल को बेहतर ढंग से भर सकती थी।

भविष्य के लिए इसका क्या अर्थ है

पेपर निष्कर्ष निकालता है कि हलुसिनेशन (Hallucinations) (जब AI चीजें बनाता है) एक बग नहीं हैं; वे लॉस़ी (lossy) मेमोरी के काम करने के तरीके का एक फीचर हैं। ठीक वैसे ही जैसे आप किसी चेहरा को याद रख सकते हैं लेकिन आँखों का सटीक शेड गलत कर सकते हैं, एक AI जो जानकारी को कंप्रेस करता है, जब वह याद करने की कोशिश करेगा तो उसे गायब विवरणों का "अनुमान" लगाना ही होगा।

लेखक AI बनाने का एक नया तरीका सुझाते हैं:

  • मेमोरी-सेंट्रिक AI: केवल छवियों को मस्तिष्क में डालने और टेक्स्ट बाहर निकालने के बजाय, हमें ऐसा AI बनाना चाहिए जिसमें एक स्थायी "मेमोरी मैट्रिक्स" हो जिस पर सभी इंद्रियां (दृष्टि, ध्वनि, स्पर्श) लिख सकें।
  • लोकल रूल्स: हमें इस मेमोरी को ग्लोबल सुधारों (बैकप्रोपैगेशन) के साथ प्रशिक्षित करने के बजाय स्थानीय नियमों (जैसे टॉप-8 स्लॉट अपडेट) का उपयोग करना चाहिए जो जैविक मस्तिष्क के सीखने के तरीके की नकल करते हैं।

उन्होंने स्किन हेल्थ इमेजेस (3D स्किन एनालाइजर्स का उपयोग करके जो रोगी की त्वचा की 20 से अधिक प्रकार की तस्वीरें लेते हैं) पर इसका परीक्षण किया। यह डोमेन एकदम सही है क्योंकि इसके लिए चिकित्सा स्थिति को समझने और सटीक विजुअल विवरणों को याद रखने दोनों की आवश्यकता होती है।

संक्षेप में: यह पेपर सिद्ध करता है कि वर्तमान AI बोलने के क्षण में वह जो देखता है उसे "भूल" जाता है। लेकिन मेमोरी को प्रशिक्षित करने के तरीके को बदलकर—ग्लोबल सुधारों के बजाय लोकल, सौम्य अपडेट का उपयोग करके—हम ऐसा AI बना सकते हैं जो वास्तव में याद रख सकता है, पुनर्निर्माण कर सकता है और जो वह देखता है उसे सत्यापित कर सकता है, ठीक वैसे ही जैसे एक इंसान करता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →