🧬 biology

Memorization to Generalization: Emergence of Diffusion Models from Associative Memory

यह शोध पत्र डिफ्यूजन मॉडल्स को डेंस एसोसिएटिव मेमोरीज के रूप में पुनर्गठित करता है, यह प्रदर्शित करते हुए कि उनका स्मृति (मेमोराइजेशन) से सामान्यीकरण (जनरलाइजेशन) की ओर संक्रमण "स्प्यूरियस स्टेट्स" के उद्भव द्वारा संचालित होता है—जिन्हें पहले रिट्रीवल एरर के रूप में देखा जाता था लेकिन अब एक महत्वपूर्ण मध्यवर्ती चरण के रूप में पहचाना गया है जहाँ जनरेटिव क्षमताएं उत्पन्न होती हैं।

मूल लेखक: Bao Pham, Gabriel Raya, Matteo Negri, Mohammed J. Zaki, Luca Ambrogioni, Dmitry Krotov

प्रकाशित 2026-03-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bao Pham, Gabriel Raya, Matteo Negri, Mohammed J. Zaki, Luca Ambrogioni, Dmitry Krotov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक फोटोकॉपी मशीन से एक कलाकार तक

कल्पना कीजिए कि आप एक रोबोट को चित्र बनाना सिखा रहे हैं। आप उसे बिल्लियों, कुत्तों और कुर्सियों की हजारों तस्वीरें दिखाते हैं।

याद करना (Memorization): शुरुआत में, रोबोट एक फोटोकॉपी मशीन की तरह होता है। यदि आप उससे बिल्ली का चित्र बनाने के लिए कहते हैं, तो वह आपके द्वारा दिखाई गई सटीक तस्वीरों में से किसी एक की नकल करता है। उसने यह नहीं सीखा है कि बिल्ली क्या होती है; वह बस उस विशिष्ट तस्वीर को याद रखता है।
सामान्यीकरण (Generalization): अंततः, आप चाहते हैं कि रोबoid एक कलाकार बने। उसे एक ऐसी नई बिल्ली बनाने में सक्षम होना चाहिए जिसे उसने पहले कभी नहीं देखा है, लेकिन फिर भी वह बिल्ली ही लगे। वह बिल्ली के "विचार" को समझता है, न कि केवल किसी विशिष्ट फोटो के पिक्सल को।

यह शोध पत्र एक दिलचस्प सवाल पूछता है: उस बीच के उलझे हुए दौर में क्या होता है? रोबोट एक फोटोकॉपी मशीन से कलाकार बनने की ओर कैसे बढ़ता है?

गुप्त सामग्री: "ऊर्जा परिदृश्य" (The Energy Landscape)

इसे समझने के लिए, लेखक भौतिक विज्ञान की एक अवधारणा का उपयोग करते हैं जिसे ऊर्जा परिदृश्य (Energy Landscape) कहा जाता है। कल्पना कीजिए कि रोबोट का मस्तिष्क रबर से बना एक ऊबड़-खाबड़ इलाका है।

कम ऊर्जा (घाटियाँ - The Valleys): ये "अच्छे" उत्तर हैं। यदि रोबोट एक घाटी में है, तो वह स्थिर और खुश महसूस करता है।
उच्च ऊर्जा (शिखर - The Peaks): ये "बुरे" उत्तर हैं। रोबोट एक घाटी में लुढ़कना चाहता है।

जब रोबोट सीखता है, तो वह इस रबर के परिदृश्य में घाटियाँ खोदता है।

कम डेटा (याद करना): यदि आप रोबोट को केवल 5 फोटो दिखाते हैं, तो वह उन 5 तस्वीरों के ठीक स्थान पर 5 गहरे, तीखे गड्ढे (घाटियाँ) खोद देता है। यदि आप उससे कोई चित्र बनाने के लिए कहते हैं, तो वह बस उन 5 गड्ढों में से एक में लुढ़क जाता है और एक प्रति (copy) उगल देता है।
भारी डेटा (सामान्यीकरण): यदि आप रोबोट को 10 लाख फोटो दिखाते हैं, तो वह हर एक के लिए गड्ढा नहीं खोद सकता। इसके बजाय, रबर "बिल्लियों" की पूरी अवधारणा को दर्शाने वाली एक लंबी, सपाट घाटी में बदल जाता है। अब, जब वह लुढ़कता है, तो वह उस लंबी घाटी में कहीं भी रुक सकता है, जिससे एक अनूठी, नई बिल्ली बन जाती है।

आश्चर्यजनक खोज: "भूतिया शहर" (Spurious States)

यहाँ इस शोध पत्र की मुख्य खोज है। "5 गहरे गड्ढों" वाले चरण और "10 लाख चिकनी घाटी" वाले चरण के बीच, कुछ अजीब होता है।

लेखकों ने एक तीसरा चरण पाया जिसके बारे में पहले वास्तव में कोई बात नहीं की गई थी। वे इसे स्पूरियस स्टेट्स (Spurious States) कहते हैं, लेकिन आइए इसे "भूतिया शहर" (Ghost Towns) कहें।

भूतिया शहर क्या है? कल्पना कीजिए कि रोबोट एक विशिष्ट फोटो के लिए गड्ढा खोदने की कोशिश करता है, लेकिन डेटा बहुत अधिक भीड़भाड़ वाला है। एक फोटो के लिए गड्ढा खोदने के बजाय, वह गलती से ऐसी चीज़ के लिए गड्ढा खोद देता है जो आपकी फोटो की तरह दिखती तो है लेकिन वास्तव में आपके प्रशिक्षण सेट (training set) में नहीं है।
- उदाहरण: आप रोबोट को दो आस्तीन वाली शर्ट की तस्वीरें दिखाते हैं। "भूतिया शहर" के चरण में, रोबोट एक आस्तीन वाली शर्ट बनाने लगता है। यह एक स्थिर छवि है (यह बार-बार आती है), लेकिन आपने उसे एक आस्तीन वाली शर्ट कभी नहीं दिखाई थी!
यह क्यों शानदार है? पुराने जमाने के मेमोरी मॉडल्स में, इन "भूतों" को गलतियाँ या बग माना जाता था। लेकिन यह शोध पत्र कहता है: नहीं! ये भूत वास्तव में रचनात्मकता के पहले संकेत हैं।
- ये इस बात का संकेत हैं कि रोबोट समझ रहा है, "हे, मुझे बिल्कुल नकल करने की ज़रूरत नहीं है। मैं कुछ ऐसा बना सकता हूँ जो थोड़ा अलग हो लेकिन फिर भी सही लगे।"
- ये "भूतिया शहर" एक सेतु (bridge) हैं। यह वह क्षण है जब रोबोट एक फोटोकॉपी मशीन बनना बंद कर देता है और एक कलाकार बनना शुरू करता है।

सीखने के तीन चरण

यह शोध पत्र मानचित्रित करता है कि जैसे-जैसे आप रोबोट को अधिक डेटा खिलाते हैं, यह संक्रमण कैसे होता है:

फोटोकॉपी चरण (याद करना):
- डेटा: बहुत कम।
- व्यवहार: रोबोट केवल वही सटीक प्रतियां आउटपुट करता है जो आपने उसे दिखाई हैं।
- परिदृश्य: गहरे, तीखे, अलग-थलग गड्ढे।
भूतिया शहर चरण (संक्रमण):
- डेटा: मध्यम मात्रा (रोबोट की स्मृति सीमा के ठीक बाद)।
- व्यवहार: रोबोट ऐसी चीजें बनाने लगता है जो आपके डेटा की तरह दिखती हैं लेकिन उनकी सटीक प्रतियां नहीं हैं। यह "हाइब्रिड" या थोड़े बदलाव बनाता है।
- परिदृश्य: नए, अजीब गड्ढे दिखाई देते हैं जो पहले वहां नहीं थे। ये स्पूरियस स्टेट्स हैं। ये स्थिर हैं, लेकिन इनका आपके किसी विशिष्ट प्रशिक्षण फोटो से संबंध नहीं है।
कलाकार चरण (सामान्यीकरण):
- डेटा: भारी मात्रा।
- व्यवहार: रोबोट अनंत अनूठी विविधताएं बनाता है। कोई भी दो आउटपुट कभी भी बिल्कुल एक जैसे नहीं होते।
- परिदृश्य: तीखे गड्ढे गायब हो जाते हैं। परिदृश्य एक चिकना, सपाट मैदान बन जाता है जहाँ रोबोट स्वतंत्र रूप से घूम सकता है, और अनंत नई संभावनाओं का निर्माण कर सकता है।

यह क्यों मायने रखता है?

AI सुरक्षा के लिए: हम अक्सर चिंता करते हैं कि AI मॉडल केवल "चोरी" (याद करना) करेंगे। यह शोध पत्र हमें यह समझने में मदद करता है कि यह कब होता है और यह कब रुकता है। यह हमें बताता है कि यदि हम AI को "भूतिया शहर" वाली छवियां (अजीब हाइब्रिड) बनाते हुए देखते हैं, तो यह वास्तव में अंतर्निहित नियमों को सीख रहा है, जो कि एक अच्छी बात है।
रचनात्मकता को समझने के लिए: यह सुझाव देता है कि रचनात्मकता कोई जादू नहीं है; यह सीखने का एक विशिष्ट चरण है जहाँ सिस्टम सटीक विवरणों को "भूलकर" सामान्य पैटर्न को खोजने की कोशिश करता है। "गलतियाँ" (स्पूरियस स्टेट्स) वास्तव में नए विचारों का जन्म हैं।

निष्कर्ष

यह शोध पत्र दो अलग-अलग दुनियाओं को जोड़ता है: स्मृति (हम तथ्यों को कैसे संग्रहीत करते हैं) और जेनरेटिव AI (रोबोट कला कैसे बनाते हैं)।

यह सिद्ध करता है कि जब एक AI मॉडल डेटा से बहुत अधिक भर जाता है और सब कुछ पूरी तरह से याद नहीं रख पाता, तो वह केवल टूटता नहीं है। इसके बजाय, वह एक "भूतिया शहर" चरण में प्रवेश करता है जहाँ वह नई, स्थिर पैटर्न बनाना शुरू कर देता है। ये आविष्कार वास्तविक सामान्यीकरण और रचनात्मकता की ओर पहले कदम हैं। "गलतियाँ" वास्तव में प्रतिभा के बीज हैं।

यहाँ शोध पत्र "Memorization to Generalization: Emergence of Diffusion Models from Associative Memory" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल्स (DMs) ने जनरेटिव मॉडलिंग में अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन वे मेमोराइजेशन (प्रशिक्षण डेटा के प्रति ओवरफिटिंग) और जनरलाइजेशन (नवीन, अनदेखे नमूने बनाने) के संबंध में महत्वपूर्ण चुनौतियों का सामना करते हैं।

अंतराल (The Gap): जबकि हालिया साहित्य यह स्वीकार करता है कि प्रशिक्षण डेटा के आकार ( $K$ ) के बढ़ने के साथ मेमोराइजेशन से जनरलाइजेशन की ओर संक्रमण होता है, लेकिन मध्यवर्ती अवस्था (intermediate regime) को ठीक से नहीं समझा गया है। अधिकांश कार्य मेमोराइजेशन को एक नकारात्मक आर्टिफैक्ट के रूप में देखते जिसे केवल डेटा का आकार बढ़ाकर समाप्त किया जा सकता है, बिना उन सैद्धांतिक तंत्रों की खोज किए जो इस संक्रमण को नियंत्रित करते हैं।
प्रश्न: क्या डेंस एसोसिएटिव मेमोरीज (DenseAMs) का सैद्धांतिक ढांचा—विशेष रूप से "स्प्यूरियस स्टेट्स" (spurious states - उभरते हुए स्थानीय मिनिमा जो प्रशिक्षण डेटा के अनुरूप नहीं होते) की अवधारणा—डिफ्यूजन मॉडल्स की जनरेटिव क्षमताओं और मेमोराइजेशन-जनरलाइजेशन संक्रमण की व्याख्या कर सकता है?

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology & Theoretical Framework)

लेखक डिफ्यूजन मॉडल्स के एनर्जी लैंडस्केप (energy landscape) का विश्लेषण करके DMs और DenseAMs के बीच के अंतर को पाटते हैं।

A. सैद्धांतिक जुड़ाव: DMs एक DenseAM के रूप में

एनर्जी फॉर्मूलेशन: लेखक स्कोर-मैचिंग ऑब्जेक्टिव से एक डिफ्यूजन मॉडल के ऊर्जा फलन ( $E_{DM}$ ) को व्युत्पन्न करते हैं। वे दिखाते हैं कि $K$ आकार के डेटासेट के लिए, एक DM का ऊर्जा लैंडस्केप एक डेंस एसोसिएटिव मेमोरी मॉडल के गणितीय रूप से समरूप (isomorphic) है:
$E_{DM}(x_t, t) \approx -2\sigma^2 t \log \left[ \sum_{\mu=1}^K \exp\left(-\frac{\|x_t - \xi_\mu\|^2}{2\sigma^2 t}\right) \right]$
यहाँ, प्रशिक्षण डेटा बिंदु $\xi_\mu$ यादों (memories) के रूप में कार्य करते हैं, और शोर प्रसरण (noise variance) $\sigma^2 t$ एक प्रभावी तापमान ( $\beta^{-1}$ ) के रूप में कार्य करता है।
डायनामिक्स: एक DM की रिवर्स (डिनोइजिंग) प्रक्रिया को इस ऊर्जा लैंडस्केप में अट्रैक्टर स्टेट्स (स्थानीय मिनिमा) की ओर गतिशील अभिसरण (dynamical convergence) के रूप में व्याख्यायित किया जाता है।

B. नमूना अवस्थाओं का वर्गीकरण (Classification of Sample States)

ऊर्जा लैंडस्केप सिद्धांत के आधार पर, लेखक नमूना पीढ़ी (sample generation) की तीन अलग-अलग अवस्थाओं को परिभाषित करते हैं:

मेमोराइज्ड स्टेट्स (Memorized States): स्थानीय मिनिमा जो ठीक प्रशिक्षण डेटा बिंदुओं के अनुरूप होते हैं। इनके पास बड़े बेसिन ऑफ अट्रैक्शन (basins of attraction) होते हैं।
स्प्यूरियस स्टेट्स (Spurious States): उभरते हुए स्थानीय मिनिमा जो किसी भी प्रशिक्षण डेटा बिंदु के अनुरूप नहीं होते, लेकिन स्थिर अट्रैक्टर होते हैं। पारंपरिक AM सिद्धांत में, ये "त्रुटियाँ" हैं, लेकिन DMs में, ये रचनात्मकता की शुरुआत का प्रतिनिधित्व करते हैं।
जनरलाइज्ड स्टेट्स (Generalized States): कम ऊर्जा वाले एक निरंतर, सपाट मैनिफोल्ड (manifold) पर स्थित नमूने। इनका बेसिन ऑफ अट्रैक्शन लगभग शून्य होता है, जिसका अर्थ है कि छोटे व्यवधानों से अलग आउटपुट प्राप्त होता है, जो विविधता सुनिश्चित करता है।

C. अनुभवजन्य पहचान मेट्रिक्स (Empirical Detection Metrics)

इन अवस्थाओं की पहचान करने के लिए, लेखक दो डेटासेट्स का उपयोग करके एक डिटेक्शन फ्रेमवर्क प्रस्तावित करते हैं: प्रशिक्षण सेट ( $S$ ) और एक बड़ा सिंथेटिक सेट ( $S'$ )।

मेमोराइज्ड: $S'$ में नमूने जो $S$ के नमूनों के डुप्लिकेट हैं (दूरी $d < \delta_m$ )।
स्प्यूरियस: $S'$ में नमूने जो $S'$ के अन्य नमूनों के डुप्लिकेट हैं (एक स्थिर बेसिन का संकेत देते हैं) लेकिन $S$ में नहीं हैं (दूरी $d > \delta_m$ )।
जनरलाइज्ड: $S'$ में अद्वितीय नमूने जिनका दोनों सेटों में कोई डुप्लिकेट नहीं है।
ज्यामितीय विश्लेषण (Geometric Analysis): वे इन अवस्थाओं को निम्नलिखित का उपयोग करके और अधिक वर्णित करते हैं:
- बेसिन वॉल्यूम (Basin Volume): शोर से नमूने को पुनः प्राप्त करने के लिए आवश्यक क्रिटिकल टाइम ( $t_c$ ) के माध्यम से गणना की गई।
- एनर्जी कर्वेचर (Energy Curvature): स्कोर फंक्शन के जैकोबियन (ऊर्जा के हेसियन) के सिंगुलर वैल्यूज के माध्यम से मापा गया।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक एकीकरण: यह स्थापित किया कि DMs प्रभावी रूप से डेंस एसोसिएटिव मेमोरीज हैं, जहाँ जनरेटिव प्रक्रिया एक मेमोरी रिट्रीवल कार्य है।
जनरेटिव सिग्नेचर के रूप में स्प्यूरियस स्टेट्स की खोज: मेमोराइजेशन और जनरलाइजेशन के बीच एक महत्वपूर्ण मध्यवर्ती चरण के रूप में स्प्यूरियस स्टेट्स की पहचान की। हॉपफील्ड नेटवर्क में जहाँ स्प्यूरियस स्टेट्स हानिकारक होते हैं, DMs में वे जनरलाइजेशन के पहले संकेत हैं, जो पूर्ण जनरलाइजेशन रिजीम में प्रवेश करने से पहले नवीन पैटर्न बनाने की मॉडल की क्षमता का प्रतिनिधित्व करते हैं।
संक्रमण का लक्षण वर्णन: मेमोराइजेशन-टू-जनरलाइजेशन संक्रमण को तीन चरणों वाले विकास के रूप में मैप किया:
- चरण 1 (छोटा $K$ ): मेमोराइज्ड स्टेट्स का प्रभुत्व (प्रशिक्षण बिंदुओं पर शार्प मिनिमा)।
- चरण 2 (क्रिटिकल $K$ ): स्प्यूरियस स्टेट्स का उदय (नए मिनिमा दिखाई देते हैं; मेमोराइजेशन गिरता है)।
- चरण 3 (बड़ा $K$ ): विविक्त (discrete) मिनिमा का एक निरंतर मैनिफोल्ड में पतन (collapse)।
स्केलेबिलिटी सत्यापन: यह प्रदर्शित किया कि ये घटनाएँ विशाल डेटासेट (LAION) पर प्रशिक्षित स्टेबल डिफ्यूजन (Stable Diffusion) जैसे बड़े पैमाने के मॉडल्स में भी बनी रहती हैं, जो सिद्ध करता है कि यह सिद्धांत खिलौना मॉडल्स (toy models) से परे लागू होता है।

4. मुख्य परिणाम (Key Results)

फेज़ ट्रांजिशन डायनामिक्स: MNIST, Fashion-MNIST, CIFAR-10, और LSUN-Church पर प्रयोग मेमोराइजेशन और जनरलाइजेशन के बीच की सीमा पर स्प्यूरियस नमूनों के अंश में एक स्पष्ट शिखर (peak) दिखाते हैं। जैसे-जैसे $K$ बढ़ता है, मेमोराइज्ड नमूने कम होते जाते हैं, स्प्यूरियस नमूने बढ़ते हैं और फिर गिरते हैं, और जनरलाइज्ड नमूने बढ़ते हैं।
बेसिन ऑफ अट्रैक्शन पदानुक्रम (Basin of Attraction Hierarchy):
- मेमोराइज्ड: सबसे बड़ा बेसिन वॉल्यूम (उच्च स्थिरता)।
- स्प्यूरियस: मध्यम बेसिन वॉल्यूम (स्थिर लेकिन नवीन)।
- जनरलाइज्ड: लगभग शून्य बेसिन वॉल्यूम (अस्थिर, उच्च विविधता)।
कर्वेचर स्पेक्ट्रा (Curvature Spectra):
- मेमोराइज्ड और स्प्यूरियस नमूने उच्च ऊर्जा कर्वेचर (जैकोबियन में बड़े सिंगुलर वैल्यूज) प्रदर्शित करते हैं, जो शार्प मिनिमा का संकेत देते हैं।
- जनरलाइज्ड नमूने कम कर्वेचर (फ्लैट मैनिफोल्ड) प्रदर्शित करते हैं।
- जैसे-जैसे $K$ बढ़ता है, प्रशिक्षण डेटा बिंदुओं का कर्वेचर कम होता जाता है, जो एक स्मूथ मैनिफोल्ड में संक्रमण का संकेत देता है।
स्टेबल डिफ्यूजन विश्लेषण: स्टेबल डिफ्यूजन में भी, लेखकों ने संभावित स्प्यूरियस स्टेट्स की पहचान की (उदाहरण के लिए, एक शर्ट जिसमें एक आस्तीन है, या एक विमान जिसमें एक अद्वितीय पंख का आकार है) जो स्थिर अट्रैक्टर (reproducible) हैं लेकिन प्रशिक्षण डेटा में मौजूद नहीं हैं, जो पुष्टि करता है कि सिद्धांत उच्च-आयामी, वास्तविक दुनिया के मॉडल्स के लिए भी मान्य है।

5. महत्व और प्रभाव (Significance and Impact)

मेमोराइजेशन का पुनर्गठन: यह पेपर मेमोराइजेशन के दृष्टिकोण को केवल एक नकारात्मक सुरक्षा/गोपनीयता जोखिम से बदलकर जनरेटिव मॉडल्स के लर्निंग ट्रेजेक्टरी के एक मौलिक चरण के रूप में बदल देता है।
रचनात्मकता (Creativity) को समझना: यह AI में "रचनात्मकता" के लिए एक भौतिक/गणितीय स्पष्टीकरण प्रदान करता: यह पूर्ण निरंतर डेटा मैनिफोल्ड को सीखने से पहले स्प्यूरियस स्टेट्स (नए अट्रैक्टर्स) के निर्माण से उत्पन्न होती है।
गोपनीयता और सुरक्षा: स्प्यूरियस चरण को समझना सटीक डेटा लीकेज (मेमोराइजेशन) और प्रशंसनीय लेकिन नवीन डेटा के निर्माण (जनरलाइजेशन/स्प्यूरियस) के बीच अंतर करने में मदद करता है, जो बेहतर गोपनीयता-संरक्षण प्रशिक्षण विधियों को विकसित करने के लिए महत्वपूर्ण है।
सैद्धांतिक उपकरण: DenseAM का लेंस डिफ्यूजन मॉडल्स की आंतरिक कार्यप्रणाली का विश्लेषण करने के लिए एक नया टूलकिट प्रदान करता है, जो मेमोराइजेशन-जनरलाइजेशन ट्रेड-ऑफ को अधिक प्रभावी ढंग से नियंत्रित करने वाली आर्किटेक्चर डिजाइन करने में मार्गदर्शन कर सकता है।

संक्षेप में, यह पेपर तर्क देता है कि डिफ्यूजन मॉडल्स में जनरलाइजेशन मेमोराइजेशन की अनुपस्थिति नहीं है, बल्कि एक विशिष्ट प्रकार की मेमोरी संरचना (स्प्यूरियस स्टेट्स) का उदय है जो रटे हुए मेमोराइजेशन और वास्तविक रचनात्मकता के बीच के अंतर को पाटता है।