🤖 machine learning

An exact information theory of generalization phase transitions in Bayesian diffusion models

यह शोध पत्र विश्लेषणात्मक रूप से सुलभ बेयसियन इन्फॉर्मेशन रिस्ट्रिक्टेड डिफ्यूजन (BIRD) मॉडल प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि डिफ्यूजन मॉडल स्मृति (मेमोराइजेशन) और सामान्यीकरण (जनरलाइजेशन) के बीच एक सूचना-सैद्धांतिक चरण सीमा (इन्फॉर्मेशन-थ्योरेटिक फेज बाउंड्री) के समीप कार्य करके आयामी अभिशाप (कर्स ऑफ डायमेंशनैलिटी) से बचते हैं, जहाँ पीढ़ी (जेनरेशन) को सूचना को क्रमिक रूप से प्रतिबंधित करके प्राप्त किया जाता है ताकि यह सुनिश्चित हो सके कि पारस्परिक सूचना (म्युचुअल इन्फॉर्मेशन) प्रशिक्षण नमूनों की लॉग संख्या से नीचे बनी रहे।

मूल लेखक: Henry Hunt, Mason Kamb, Surya Ganguli

प्रकाशित 2026-07-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Henry Hunt, Mason Kamb, Surya Ganguli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्ली का चित्र बनाना सिखाने की कोशिश कर रहे हैं। आप उसे केवल कुछ तस्वीरों वाला एक छोटा सा फोटो एल्बम दिखाते हैं। यदि रोबोट बहुत स्मार्ट है और एक ही बार में पूरी तस्वीर देख लेता है, तो वह उस विशिष्ट बिल्ली की मूंछों और फर के पैटर्न को बस याद कर सकता है। बाद में, यदि आप उससे एक नई बिल्ली बनाने के लिए कहते हैं, तो वह विफल हो जाता है क्योंकि वह केवल पुराने वाले की नकल कर रहा है। लेकिन यदि आप उसे दस लाख तस्वीरें दिखाते हैं, तो वह बिल्ली के "विचार" या "अवधारणा" को सीख जाता है।

यहाँ रहस्य है: आधुनिक AI रोबोट (जिन्हें डिफ्यूजन मॉडल कहा जाता है) अपेक्षाकृत छोटे फोटो एल्बमों से अद्भुत, नई छवियां बनाना सीख सकते हैं। वे केवल नकल नहीं करते; वे सामान्यीकरण (generalize) करते हैं। वे "डायमेंशनलिटी का अभिशाध्य" (curse of dimensionality) — वह नियम जो कहता है कि जटिल चीजों को सीखने के लिए आपको डेटा के पहाड़ की आवश्यकता होती है — को कैसे मात देते हैं?

स्टैनफोर्ड के शोधकर्ताओं की एक टीम का सुझाव है कि इसका उत्तर "सीमित दृष्टि" (restricted vision) के खेल में निहित है। वे मॉडल के काम करने के तरीके को देखने का एक नया तरीका प्रस्तावित करते हैं, जिसे BIRD मॉडल (बेयसियन इंफॉर्मेशन रिस्ट्रिक्टेड डिफ्यूजन - Bayesian Information Restricted Diffusion) कहा जाता है।

पिक्सेल डिटेक्टिव गेम (पिक्सेल जासूस का खेल)

कल्पना कीजिए कि छवि का प्रत्येक पिक्सेल एक छोटा जासूस है। एक आदर्श, सैद्धांतिक दुनिया में, एक जासूस पूरी शोर भरी, धुंधली छवि को देख सकता है और तुरंत अनुमान लगा सकता है कि यह प्रशिक्षण एल्बम से कौन सी सटीक फोटो है। यदि वह ऐसा कर सकता है, तो वह डेटा को "याद" (memorize) कर लेता है। लेकिन शोधकर्ताओं ने पाया कि यदि आप जासूस की आँखों पर पट्टी बाँध देते हैं ताकि वह छवि के केवल एक छोटे से हिस्से (जैसे आँख या नाक का कोना) को देख सके, तो खेल बदल जाता है।

जासूस को अब अनुमान लगाना होगा: "क्या यह धुंधला हिस्सा बिल्ली की फोटो से आया है या ट्रक की फोटो से?"

याद करना (Memorization): यदि जासूस के पास बहुत अधिक जानकारी है (एक बड़ा हिस्सा), तो उत्तर आसान है। वह निश्चित रूप से जानता है कि यह बिल्ली है। वह याद कर लेता है।
सामान्यीकरण (Generalization): यदि जासूस के पास बहुत कम जानकारी है (एक छोटा हिस्सा), तो उत्तर कठिन है। वह निश्चित नहीं हो सकता। उसे बिल्लियों और ट्रकों के सामान्य स्वरूप के आधार पर अनुमान लगाना होगा। यहीं पर जादू होता है।

भ्रम का "स्वीट स्पॉट" (The "Sweet Spot" of Confusion)

शोध पत्र का मुख्य निष्कर्ष यह है कि एक सटीक गणितीय रेखा है — एक फेज बाउंड्री (phase boundary) — जो याद करने और सामान्यीकरण करने के बीच होती है। यह तीन चीजों पर निर्भर करता है:

आपके पास कितना डेटा है।
छवि में कितना शोर (noise/धुंधलापन) है।
पिक्सेल को छवि का कितना हिस्सा देखने की अनुमति है (पैच का आकार)।

शोधकर्ताओं ने सिद्ध किया कि यदि पिक्सेल द्वारा देखी गई जानकारी प्रशिक्षण तस्वीरों की संख्या के लघुगणक (logarithm) से अधिक है, तो मॉडल याद करता है। यदि जानकारी कम है, तो वह सामान्यीकरण करता है।

इसे एक पार्टी गेम की तरह समझें। यदि आपके पास 100 मेहमान (प्रशिक्षण डेटा) हैं और आप एक ऐसा सुराग देते हैं जो इतना विशिष्ट है कि वह केवल एक व्यक्ति पर फिट बैठता है, तो हर कोई उस एक व्यक्ति का अनुमान लगा लेता है (याद करना)। लेकिन यदि आप एक अस्पष्ट सुराग देते हैं जो कई लोगों पर फिट बैठता है, तो समूह को उस व्यक्ति के प्रकार को समझने के लिए संघर्ष करना पड़ता है (सामान्यीकरण)। पेपर दिखाता है कि सफल AI जनरेशन इसी भ्रम के किनारे पर होता है, जहाँ सुराग इतने अस्पष्ट होते हैं कि वे धोखाधड़ी (चीटिंग) को रोकने के लिए पर्याप्त होते हैं।

उन्होंने क्या खारिज किया

यह पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि ये मॉडल इसलिए काम करते हैं क्योंकि वे डेटा के अंतर्निहित गणित (empirical score function) को "पूरी तरह से" सीख रहे हैं। पिछले सिद्धांतों ने सुझाव दिया था कि यदि आप केवल पर्याप्त डेटा दे दें, तो मॉडल पूर्ण नियम सीख लेगा। लेखक बताते हैं कि यह पूर्ण नियम वास्तव में याद करने और नए डेटा पर विफल होने की ओर ले जाता है। इसके बजाय, केवल एक छोटे पैच को देखने की "अपूर्णता" ही काम आती है।

उन्होंने इस विचार को भी खारिज कर दिया कि इन मॉडलों को काम करने के लिए घातांकीय (exponentially) रूप से विशाल मात्रा में डेटा की आवश्यकता है। छवियों के कुछ प्रकारों (जैसे प्राकृतिक तस्वीरें जो विभिन्न पैमानों पर समान दिखती हैं) के लिए, वे दिखाते हैं कि आपको ब्रह्मांड के आकार के डेटासेट की आवश्यकता नहीं है। आपको बस डेटा को छवि के आकार से संबंधित एक विशिष्ट, बहुत धीमी दर पर बढ़ने की आवश्यकता है।

वे कितने आश्वस्त हैं?

लेखक अपने सिद्धांत को लेकर बहुत आश्वस्त हैं, लेकिन वे इसे गणित और वास्तविक दुनिया के परीक्षणों के मिश्रण से पुख्ता करते हैं।

गणित: उन्होंने इस "फेज ट्रांजिशन" के अस्तित्व को सिद्ध करने के लिए उन्नत सूचना सिद्धांत (information theory) का उपयोग किया। उन्होंने सटीक सूत्र निकाले जो दिखाते हैं कि याद करने और सामान्यीकरण करने के बीच की रेखा कहाँ स्थित है।
प्रयोग: वे केवल गणित की दुनिया तक सीमित नहीं रहे। उन्होंने CIFAR10, CelebA (चेहरे), MNIST (हस्तलिखित अंक), और FashionMNIST जैसे वास्तविक डेटासेट पर अपने सिद्धांत का परीक्षण किया।
- उन्होंने वास्तविक AI मॉडल (जिन्हें UNets और DiTs कहा जाता है) को डेटा के छोटे उपसमुच्चयों (लगभग 10,000 छवियों) पर प्रशिक्षित किया।
- उन्होंने अपने वास्तविक मॉडल की तुलना अपने "BIRD" सिद्धांत वाले मॉडलों से की।
- परिणाम: प्रशिक्षण के शुरुआती चरणों में (लगभग 30 से 40 एपॉक्स के आसपास), वास्तविक मॉडल सिद्धांत मॉडल के साथ बहुत अच्छी तरह मेल खाते थे, जिनका सहसंबंध स्कोर (r²) 0.85 और 0.93 के बीच था। इसका मतलब है कि सिद्धांत ने सटीक भविष्यवाणी की कि वास्तविक AI क्या कर रहा था।
- उन्होंने मॉडलों के "एन्ट्रॉपी" (भ्रम का एक माप) को भी मापा और पाया कि यह उनके अनुमानित "फेज बाउंड्री" से बिल्कुल मेल खाता है।

मुख्य निष्कर्ष (The Takeaway)

पेपर सुझाव देता है कि नई चीजें बनाने की AI की क्षमता का रहस्य केवल "अधिक डेटा" या "अधिक स्मार्ट दिमाग" नहीं है। यह सूचना प्रतिबंध (information restriction) के बारे में है। AI को एक समय में पहेली के छोटे, धुंधले टुकड़ों को देखने के लिए मजबूर करके, इसे विशिष्ट पहेली के टुकड़ों को याद करने से रोका जाता है और इसके बजाय इसे सामान्य चित्र सीखने के लिए मजबूर किया जाता है।

लेखकों ने पाया कि ये मॉडल स्वाभाविक रूप से इस सीमा को "ट्रैक" करते हैं। जैसे-जैसे छवि निर्माण की प्रक्रिया आगे बढ़ती है (एक शोर भरी धुंध से एक स्पष्ट चित्र तक), मॉडल प्रभावी रूप से यह नियंत्रित करते हैं कि वे कितनी जानकारी का उपयोग करते हैं, जिससे वे कुछ नया बनाने के लिए याद करने की सीमा के ठीक किनारे पर बने रहते हैं। यह एक नाजुक नृत्य है जहाँ "थोड़ा अंधा" होना वास्तव में स्पष्ट रूप से देखने की कुंजी है।

शीर्षक: बेयसियन डिफ्यूजन मॉडल्स में जनरलाइजेशन फेज ट्रांजिशन का एक सटीक सूचना सिद्धांत

समस्या विवरण
जेनरेटिव एआई (Generative AI) में एक मौलिक रहस्य यह है कि डिफ्यूजन मॉडल्स कैसे उच्च-आयामी स्थानों (high-dimensional spaces) पर जटिल वितरणों को सीखने के लिए "कर्स ऑफ डाइमेंशनलिटी" (curse of dimensionality) को दरकिनार करते हैं, बिना केवल उन्हें याद (memorize) किए। सहज रूप से, किसी भी डेटा वितरण के लिए याद रखने (memorization) से सामान्यीकरण (generalization) की ओर संक्रमण करने के लिए डेटा की एक अव्यवहार्य (intractable) मात्रा (जो आयाम के साथ चरघातांकीय/exponential रूप से बढ़ती है) की आवश्यकता होनी चाहिए। जबकि एम्पिरिकल स्कोर मॉडल (जो एक सीमित डेटासेट के सटीक एम्पिरिकल स्कोर का उपयोग करके डिफ्यूजन को रिवर्स करते हैं) को याद करने (memorize करने) के लिए जाना जाता है, प्रशिक्षित न्यूरल डिफ्यूजन मॉडल अक्सर मजबूती से सामान्यीकरण (generalize) करते हैं। मौजूदा सैद्धांतिक दृष्टिकोण विभिन्न आर्किटेक्चर और डेटासेट के लिए प्रशिक्षित गैर-रेखीय (nonlinear) डिफ्यूजन मॉडल्स के लिए यह निर्धारित करने में संघर्ष करते हैं कि याद रखने और सामान्यीकरण के बीच का संक्रमण कब और कहाँ होता है।

कार्यप्रणाली
लेखक बेयसियन इंफॉर्मेशन रिस्ट्रिक्टेड डिफ्यूजन (BIRD) मॉडल्स नामक एक नए वर्ग के विश्लेषणात्मक रूप से सुलभ मॉडल्स पेश करते हैं।

मुख्य अवधारणा: BIRD मॉडल्स में, प्रत्येक पिक्सेल $x$ एक एजेंट के रूप में कार्य करता है जो पूरे इमेज के बजाय शोर वाले इमेज $\phi_t$ के एक प्रतिबंधित, संभवतः स्टोकेस्टिक (stochastic) हिस्से $C_{x,t}$ को देखता है। इसके बाद पिक्सेल पिछले प्रशिक्षण नमूने $\phi \in \mathcal{D}$ का अनुमान लगाने के लिए इष्टतम बेयसियन अनुमान (optimal Bayesian inference) का उपयोग करता है।
तंत्र (Mechanism): मॉडल एक सीमित अवलोकन (restricted observation) के आधार पर डीनॉइज़्ड पिक्सेल मान की गणना प्रशिक्षण सेट पर पोस्टीरियर मीन (posterior mean) के रूप में करता है, जिसे $P_{\text{train}}(\phi | C_{x,t})$ द्वारा भारित (weighted) किया जाता है। उपलब्ध जानकारी को प्रतिबंधित करके (जैसे, केवल एक स्थानीय स्थानिक पैच को देखना), यह "बेयसियन गेसिंग गेम" को कठिन बना देता है, जो सैद्धांतिक रूप से मॉडल को एक एकल प्रशिक्षण बिंदु पर ढहने (collapse होने) से रोकता है।
सैद्धांतिक ढांचा: लेखक सूचना सिद्धांत का उपयोग करके मेमोराइजेशन-जनरलाइजेशन ट्रांजिशन का विश्लेषण करते हैं। वे निम्नलिखित के संयुक्त स्थान (joint space) में एक फेज बाउंड्री (phase boundary) व्युत्पन्न करते हैं:
1. प्रशिक्षण डेटा की मात्रा ( $|\mathcal{D}|$ )|
2. रिवर्स प्रक्रिया में समय/शोर का स्तर ( $t$ या $\sigma_t$ )|
3. सूचना प्रतिबंध की मात्रा (जैसे, पैच साइज $L$ )|
मुख्य मानदंड: संक्रमण तब होता है जब प्रतिबंधित अवलोकन और वास्तविक डेटा वितरण के बीच का म्यूचुअल इंफॉर्मेशन (mutual information) $I(\phi; C_{x,t})$ $I (ϕ; C_{x, t})$ , डेटासेट के आकार के लघुगणक (logarithm) के बराबर होता है: $\ln |\mathcal{D}| = I(\phi; C_{x,t})$ $ln ∣ D ∣ = I (ϕ; C_{x, t})$ ।
- मेमोराइजेशन फेज (Memorization Phase): $I(\phi; C_{x,t}) > \ln |\mathcal{D}|$ (अवलोकन बहुत अधिक सूचनात्मक है; मॉडल प्रशिक्षण बिंदु का सटीक अनुमान लगा लेता है)।
- जनरलाइजेशन फेज (Generalization Phase): $I(\phi; C_{x,t}) < \ln |\mathcal{D}|$ (अवलोकन एक प्रशिक्षण बिंदु को विशिष्ट रूप से पहचानने के लिए अपर्याप्त है; मॉडल संभावनाओं पर औसत निकालता है)।

प्रमुख योगदान

BIRD मॉडल्स की शुरुआत: लेखक एक सामान्य, विश्लेषणात्मक रूप से हल करने योग्य ढांचा पेश करते हैं जो मौजूदा लोकल स्कोर (LS), इक्विवेरिएंट स्कोर (ES), और इक्विवेरिएंट-लोकल स्कोर (ELS) मॉडल्स को समाहित और सामान्यीकृत करता है। इसके लिए किसी स्पष्ट आर्किटेक्चरल धारणा या लर्निंग डायनेमिक्स की आवश्यकता नहीं है, यह केवल सूचना प्रतिबंध के साथ एक सीमित डेटासेट पर बेयसियन अनुमान पर निर्भर करता है।
प्रारंभिक प्रशिक्षण गतिकी (Early Training Dynamics) की भविष्यवाणी: लेखक यह प्रदर्शित करते हैं कि स्थानिक रूप से स्थानीय (spatially local) BIRD मॉडल्स (जहाँ $C_{x,t}$ एक स्थानीय इमेज पैच है) प्रशिक्षित न्यूरल डिफ्यूजन मॉडल्स (UNets और Diffusion Transformers सहित) के प्रशिक्षण के शुरुआती चरणों के व्यवहार का बारीकी से अनुमान लगाते हैं। वे विभिन्न आर्किटेक्चर और डेटासेट (Celeba64, CIFAR10, MNIST, FashionMNIST) पर व्यक्तिगत इमेज आउटपुट पर उच्च भविष्य कहनेवाला सटीकता (median $r^2 \sim 0.85-0.93$ ) प्राप्त करते हैं।
सटीक फेज बाउंड्री थ्योरी: न्यूनतम धारणाओं के तहत, लेखक मेमोराइजेशन-जनरलाइजेशन ट्रांजिशन के लिए एक सटीक सूचना-सैद्धांतिक मानदंड व्युत्पन्न करते हैं। वे सिद्ध करते हैं कि सामान्यीकरण तभी होता है जब प्रतिबंधित अवलोकन और डेटा के बीच का म्यूचुअल इंफॉर्मेशन प्रशिक्षण बिंदुओं की संख्या के लॉग से कम होता है।
क्रिटिकल पैच स्केल और स्पेक्ट्रल अलाइनमेंट: स्थानिक रूप से स्थानीय मॉडल्स के लिए, लेखक एक समय-निर्भर क्रिटिकल पैच स्केल $L_c(t)$ की पहचान करते हैं। वे दिखाते हैं कि इष्टतम जनरेशन मेमोराइजेशन के किनारे के पास होता है, जहाँ पैच स्केल $L$ , क्रिटिकल स्केल $L_c$ का अनुसरण करता है। इसके अतिरिक्त, वे प्रदर्शित करते हैं कि पावर-लॉ (power-law) स्पेक्ट्रल घनत्व ( $P(k) \sim k^{-2-\epsilon}$ ) वाले प्राकृतिक चित्रों के लिए, क्रिटिकल स्केल "स्पेक्ट्रल स्केल" (इष्टतम रैखिक डैनोइज़िंग के पैमाने) के साथ संरेखित होता है।
कर्स ऑफ डाइमेंशनलिटी को दरकिनार करना: यह सिद्धांत प्रकट करता है कि स्केल-इनवेरिएंट (scale-invariant) छवियों ( $\epsilon=0$ ) के लिए, BIRD मॉडल्स को कर्स ऑफ डाइमेंशनलिटी का सामना नहीं करना पड़ता है; आवश्यक डेटासेट का आकार इमेज साइज के साथ स्केल नहीं होना चाहिए। लगभग स्केल-इनवेरिएंट छवियों ( $\epsilon \sim 0.1-0.3$ ) के लिए, डेटा की आवश्यकता $\exp(L_I^\epsilon)$ के रूप में स्केल होती है, जो कि नाइव $\exp(L_I^2)$ आवश्यकता की तुलना में काफी कम घातांकीय (sub-exponential) है।

परिणाम

एम्पिरिकल वैलिडेशन: प्रयोग सैद्धांतिक रूप से अनुमानित ट्रांजिशन के स्थान की पुष्टि करते हैं। सिद्धांत से प्राप्त म्यूचुअल इंफॉर्मेशन कर्व्स, खिलौना (toy) डेटासेट्स और वास्तविक दुनिया के इमेज डेटासेट्स पर देखे गए एंट्रॉपी डेफिसिट (entropy deficit) का बारीकी से अनुसरण करते हैं।
निरंतरता (Consistency): BIRD मॉडल्स और वास्तविक न्यूरल नेटवर्क दोनों ही "कंसिस्टेंट जनरलाइजेशन" प्रदर्शित करते हैं, जहाँ डेटा के अलग-अलग उपसमुच्चयों (subsets) पर प्रशिक्षित मॉडल, समान शोर इनपुट दिए जाने पर लगभग समान आउटपुट उत्पन्न करते हैं।
स्केलिंग लॉ (Scaling Laws): क्रिटिकल पैच स्केल $L_c(\sigma_t)$ को शोर कम होने के साथ (रिवर्स प्रक्रिया में समय आगे बढ़ने के साथ) घटते हुए दिखाया गया है, जो कोर्स-टू-फाइन (coarse-to-fine) जनरेशन प्रक्रिया के अनुरूप है। क्रिटिकल स्केल डेटा के पावर स्पेक्ट्रल डेंसिटी से प्राप्त स्पेक्ट्रल स्केल $L_{\text{spec}}$ के साथ अत्यधिक सह-संबंधित पाया गया है।
विफलता मोड (Failure Modes): पेपर यह स्पष्ट करता है कि यदि पैच स्केल बहुत छोटा है ( $L \ll L_c$ ), तो मॉडल सामान्यीकरण तो करता है लेकिन खराब प्रदर्शन करता है (उच्च डैनोइज़िंग एरर)। यदि पैच स्केल बहुत बड़ा है ( $L > L_c$ ), तो मॉडल प्रशिक्षण डेटा को याद कर लेता है और टेस्ट डेटा पर सामान्यीकरण करने में विफल रहता है।

महत्व
यह पेपर दावा करता है कि यह इस बारे में एक मौलिक अंतर्दृष्टि प्रदान करता है कि जेनरेटिव एआई कर्स ऑफ डाइमेंशनलिटी को कैसे दरकिनार करता है। समस्या को सूचना प्रतिबंध (information restriction) के लेंस के माध्यम से फ्रेम करके, लेखक दिखाते हैं कि सफल जनरेशन केवल आर्किटेक्चरल इंडक्टिव बायस (जैसे स्मूथनेस या लो-डाइमेंशनलिटी) का परिणाम नहीं है, बल्कि यह किसी भी चरण में जनरेटिव प्रक्रिया के लिए उपलब्ध सूचना की सीमा द्वारा मौलिक रूप से संचालित होता है। परिणाम बताते हैं कि जनरेशन "मेमोराइजेशन के किनारे" (edge of memorization) पर होता है, जहाँ सूचना प्रतिबंध को सावधानीपूर्वक ट्यून किया जाता है ताकि मॉडल को विशिष्ट प्रशिक्षण उदाहरणों में ढलने से रोका जा सके, जबकि डेटा वितरण को पुनर्गठित करने के लिए पर्याप्त सूचना बनाए रखी जा सके। यह कार्य विविध डेटा वितरणों और मॉडल वर्गों के लिए मेमोराइजेशन-जनरलाइजेशन ट्रांजिशन का अध्ययन करने के लिए एक नया सैद्धांतिक प्रयोगशाला प्रदान करता है।

पिक्सेल डिटेक्टिव गेम (पिक्सेल जासूस का खेल)

भ्रम का "स्वीट स्पॉट" (The "Sweet Spot" of Confusion)

उन्होंने क्या खारिज किया

वे कितने आश्वस्त हैं?

मुख्य निष्कर्ष (The Takeaway)

इसी तरह के और पेपर