📊 statistics

The two clocks and the innovation window: When and how generative models learn rules

यह शोध पत्र जनरेटिव मॉडल्स में एक महत्वपूर्ण "नवाचार विंडो" (innovation window) की पहचान करता है जो अमूर्त नियमों को सीखने ( $\tau_{\mathrm{rule}}$ ) और प्रशिक्षण डेटा को याद करने ( $\tau_{\mathrm{mem}}$ ) के बीच के लौकिक अंतराल द्वारा परिभाषित है, और यह प्रदर्शित करता है कि इस विंडो का अस्तित्व और अवधि डिफ्यूजन और ऑटोरेग्रेसिव दोनों आर्किटेक्चर में डेटासेट के आकार, नियम की जटिलता और मॉडल की क्षमता पर निर्भर करती है।

मूल लेखक: Binxu Wang, Emma Lucia Byrnes Finn, Bingbin Liu

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Binxu Wang, Emma Lucia Byrnes Finn, Bingbin Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चित्रों के आधार पर चित्र बनाना सिखा रहे हैं, जो नियमों के एक सख्त सेट का पालन करते हैं, जैसे कि "प्रत्येक चित्र में लाल बिंदुओं की संख्या सम (even) होनी चाहिए।" आप रोबोट को अध्ययन करने के लिए उदाहरण चित्रों का एक सीमित स्टैक देते हैं।

यह शोध पत्र रोबोट के मस्तिष्क के भीतर चल रहे एक दिलचस्प खींचतान की जांच करता है जो सीखते समय होता है। लेखकों ने पाया कि रोबोट एक साथ सब कुछ नहीं सीखता है; इसके बजाय, यह दो अलग-अलग घड़ियों पर काम करता है जो अलग-अलग गति से चलती हैं।

यहाँ उन दो घड़ियों और उनके बीच की "जादुई खिड़की" की कहानी दी गई है।

दो घड़ियाँ

घड़ी 1: "नियम सीखने वाला" (τrule)
यह घड़ी मापती है कि रोबोट अंततः खेल के तर्क (logic) को कब समझ जाता है।

क्या होता है: शुरुआत में, रोबोट केवल अनुमान लगा रहा होता है। फिर, अचानक, यह ऐसे चित्र बनाने लगता है जो "लाल बिंदुओं की सम संख्या" के नियम का पूरी तरह से पालन करते हैं। इसने अमूर्त अवधारणा (abstract concept) को सीख लिया है।
इसे क्या धीमा करता है: नियम जितना जटिल होगा, यह घड़ी उतनी ही धीमी चलेगी। यदि नियम में केवल 2 के बजाय 10 बिंदुओं के समूहों की जाँच करना शामिल है, तो रोबक को इसे समझने में बहुत अधिक समय लगेगा। यह एक जटिल शतरंज की रणनीति सीखने बनाम प्यादे की चाल सीखने जैसा है।

घड़ी 2: "फोटोकॉपी करने वाला" (τmem)
यह घड़ी मापती है कि रोबोट कब अपने प्रशिक्षण स्टैक में देखे गए सटीक चित्रों की नकल करना शुरू कर देता है।

क्या होता है: अंततः, रोबोट रचनात्मक होने के बजाय केवल उन्हीं विशिष्ट उदाहरणों की नकल करने लगता है जो आपने उसे दिए थे। यदि आप उससे एक नया चित्र मांगते हैं, तो वह अपनी मेमोरी से एक पुराना चित्र निकाल लेता है।
इसे क्या नियंत्रित करता है: आश्चर्यजनक रूप से, इस घड़ी को इससे फर्क नहीं पड़ता कि नियम कितना कठिन है। इसके बजाय, यह इस बात से संचालित होती है कि आपने रोबोट को कितने उदाहरण दिए। आपके द्वारा दिए गए प्रशिक्षण चित्रों का स्टैक जितना बड़ा होगा, रोबोट को उन्हें कॉपी करना शुरू करने में उतना ही अधिक समय लगेगा। यह एक ऐसे छात्र की तरह है जिसे किसी विशिष्ट पुस्तक को शब्द-दर-शब्द याद करने से पहले एक पूरी लाइब्रेरी पढ़नी पड़ती है।

"नवाचार की खिड़की" (The Innovation Window)

यहाँ सबसे रोमांचक हिस्सा है: अंतराल (The Gap)।

घड़ी 1 और घड़ी 2 के बीच एक विशिष्ट अवधि होती है।

घड़ी 1 से पहले: रोबोट भ्रमित है और गलतियाँ कर रहा है।
घड़ी 1 और घड़ी 2 के बीच (नवाचार की खिड़की): रोबोट नियमों को पूरी तरह से समझता है और नए, वैध चित्र बना सकता है जिन्हें उसने पहले कभी नहीं देखा है। वह वास्तव में रचनात्मक हो रहा है।
घड़ी 2 के बाद: रोबोट रचनात्मक होना बंद कर देता है और केवल प्रशिक्षण डेटा की फोटोकॉपी करने लगता है।

इस "नवाचार की खिड़की" का आकार आपके सेटअप पर निर्भर करता है:

यदि नियम बहुत कठिन है: रोबोट नियम सीखने (घड़ी 1 धीमी) में इतना लंबा समय लेता है कि वह तर्क को समझने से पहले ही उदाहरणों को याद करना (घड़ी 2) शुरू कर देता है। खिड़की बंद हो जाती है, और रोबोट कभी भी रचनात्मक नहीं हो पाता।
यदि आप इसे अधिक डेटा देते हैं: रोबोट को याद करने में अधिक समय लगता है (घड़ी 2 धीमी हो जाती है), लेकिन वह नियम को उसी गति से सीखता है। यह खिड़की को चौड़ा कर देता है, जिससे रोबोट को कॉपी करना शुरू करने से पहले रचनात्मक होने के लिए अधिक समय मिलता है।

रोबोट का मस्तिष्क कैसे बदलता है

लेखकों ने यह देखने के लिए रोबोट के "मस्तिष्क" (विशेष रूप से उस गणितीय परिदृश्य/landscape को जो वह बनाता है) के अंदर झाँका कि क्या हो रहा था:

प्रारंभिक चरण: रोबोट वैध पिक्सेल जैसे दिखने वाले बिंदु बनाना सीखता है (Boolean cube के करीब पहुँचना)।
नियम सीखना: रोबोट सभी सही उत्तरों के लिए अपने मस्तिष्क में एक "घाटी" (valley) बनाता है। कोई भी चित्र जो नियमों का पालन करता है, उसे इस घाटी में खींचा जाता है।
याद करना (Memorization): बाद में, रोबोट विशेष रूप से प्रशिक्षण में देखे गए सटीक चित्रों के लिए एक गहरी घाटी खोदता है। ये विशिष्ट चित्र "चिपचिपे" आकर्षण केंद्र (sticky attractors) बन जाते हैं। यदि रोबोट किसी प्रशिक्षण चित्र के पास से शुरू होता है, तो वह उस सटीक छवि की नकल करने में खिंच जाता है, भले ही आस-पास अन्य वैध चित्र मौजूद हों।

क्या यह अन्य रोबोटों पर लागू होता है?

हाँ! लेखकों ने इसे दो अलग-अलग प्रकार के AI पर परखा:

डिफ्यूजन मॉडल (जैसे इमेज जनरेटर): वे इस दो-घड़ी वाले पैटर्न का पालन करते हैं।
ऑटोरिग्रेसिव मॉडल (जैसे टेक्स्ट जनरेटर): वे भी इस पैटर्न का पालन करते हैं, हालांकि वे थोड़ा तेज़ी से सीखते और याद करते हैं।

उन्होंने सुडोकू और गिनती के नियमों जैसे अन्य पहेलियों पर भी इसका परीक्षण किया। वही दो घड़ियाँ दिखाई दीं: पहले रोबोट तर्क सीखता है, फिर वह याद करना शुरू करता है।

मुख्य निष्कर्ष (The Bottom Line)

जेनरेटिव AI केवल एक जादुई बॉक्स नहीं है जो समय के साथ स्मार्ट होता जाता है। यह विशिष्ट चरणों से गुजरता है। पहले यह नियमों को सीखता है, फिर इसके पास सच्ची रचनात्मकता का एक संक्षिप्त क्षण होता है, और अंत में, यह याद रखने (memorization) में स्थिर हो जाता है।

यदि आप चाहते हैं कि एक AI अभिनव (innovative) हो, तो आपको यह सुनिश्चित करना होगा कि "नियम सीखने" की घड़ी, "याद करने" की घड़ी शुरू होने से पहले समाप्त हो जाए। यदि नियम बहुत कठिन हैं, तो रोबोट उन्हें समझने के बजाय आपके उदाहरणों की नकल करना शुरू कर देगा।

तकनीकी सारांश: दो घड़ियाँ और नवाचार विंडो (The Two Clocks and the Innovation Window)

समस्या विवरण (Problem Statement)

सीमित डेटासेट पर प्रशिक्षित जनरेटिव मॉडल एक मौलिक तनाव का सामना करते हैं: उनके प्रशिक्षण उद्देश्य (जैसे, डिफ्यूजन मॉडल में स्कोर-मैचिंग या ऑटोरिग्रेसिव मॉडल में नेक्स्ट-टोकन प्रेडिक्शन) अंतर्निहित जनसंख्या वितरण (population distribution) के बजाय अनुभवजन्य प्रशिक्षण वितरण (empirical training distribution) की ओर अभिसरित (converge) होते हैं। हालांकि यथार्थवाद (realism) को याद रखने (memorization) के माध्यम से प्राप्त किया जा सकता है, लेकिन यह निर्धारित करना कठिन बना रहता है कि क्या एक मॉडल ने वास्तव में वितरण को परिभाषित करने वाले अंतर्निहित नियमों को सीखा है। प्राकृतिक डेटा में, नियम-आधारित सामान्यीकरण (rule-based generalization) और सटीक याद रखने (exact memorization) के बीच अंतर करना चुनौतीपूर्ण है। यह शोध पत्र इस प्रश्न को संबोधित करता है: जनरेटिव मॉडल वास्तव में वितरण के वास्तविक नियमों को कब सीखते हैं, और वे प्रशिक्षण नमूनों (training samples) को कब दोहराना शुरू कर देते हैं?

कार्यप्रणाली (Methodology)

लेखक नियम संतुष्टि (rule satisfaction), नवीनता (novelty) और याद रखने (memorization) को सटीक रूप से मापने के लिए एक नियंत्रित सिंथेटिक ढांचे का उपयोग करते हैं।

कार्य (Task): प्राथमिक परीक्षण आधार बाइनरी छवियों पर ग्रुप-लेवल पैरिटी (group-level parity) है। प्रत्येक छवि को आकार $G$ के समूहों में विभाजित किया जाता है, जहाँ प्रत्येक समूह को एक 'इवन-पैरिटी' (even-parity) बाधा को संतुष्ट करना चाहिए। पैरामीटर $G$ नियम जटिलता (interaction order) के लिए एक प्रत्यक्ष नियंत्रक (knob) के रूप में कार्य करता है।
मॉडल (Models): अध्ययन विभिन्न आकार ( $N$ ) और मॉडल क्षमता वाले डेटासेट पर डिफ्यूजन ट्रांसफॉर्मर (DiT) और ऑटोरिग्रेसिव ट्रांसफॉर्मर (GPT) का उपयोग करता है।
मेट्रिक्स (Metrics):
- नियम सटीकता (Rule Accuracy): नियम बाधा को संतुष्ट करने वाले उत्पन्न नमूनों का अंश।
- याद रखने का अनुपात (Memorization Ratio): प्रशिक्षण डेटा के ठीक मिल जाने वाले (या समूहों के) उत्पन्न नमूनों का अंश।
- नवाचार विंडो (Innovation Window): वह लौकिक अंतराल $[\tau_{rule}, \tau_{mem}]$ जहाँ जनरेशन नियम-वैध (rule-valid) हैं लेकिन याद नहीं किए गए (not memorized) हैं।
गतिक विश्लेषण (Dynamical Analysis): लेखक निम्नलिखित का उपयोग करके प्रशिक्षण गतिकी का विश्लेषण करते हैं:
- प्रति-नमूना अवस्था ट्रैकिंग (अमान्य, नियम-उल्लंघन करने वाला, वैध-नवीन, वैध-याद किया गया)।
- विभिन्न शोर स्तरों ( $\sigma$ ) पर डीनॉयजिंग स्कोर मैचिंग (DSM) लॉस विश्लेषण।
- Boolean हाइपरक्यूब के स्लाइस पर सीखे गए वेक्टर फील्ड और अट्रैक्टर बेसिन (attractor basins) का विज़ुअलाइज़ेशन।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. जनरेटिव ट्रेनिंग की दो घड़ियाँ (The Two Clocks of Generative Training)

यह शोध पत्र जनरेटिव ट्रेनिंग को नियंत्रित करने वाले दो अलग-अलग टाइमस्केल की पहचान करता है:

$\tau_{rule}$ (नियम-सीखने का समय): वह चरण जिस पर उत्पन्न नमूने पहली बार नियम-वैध बनते हैं।
$\tau_{mem}$ (याद रखने का समय): वह चरण जिस पर मॉडल प्रशिक्षण नमूनों को दोहराना शुरू कर देता है।

ये दोनों घड़ियाँ अलग-अलग कारकों द्वारा संचालित होती हैं:

$\tau_{rule}$ , नियम जटिलता ( $G$ ) के साथ निरंतर बढ़ता है (प्रति इकाई वृद्धि पर लगभग एक क्रम की वृद्धि के साथ देरी करता है) और मॉडल क्षमता के साथ घटता है। यह डेटासेट के आकार ( $N$ ) के प्रति काफी हद तक अपरिवर्तित रहता है।
$\tau_{mem}$ , नियम जटिलता के प्रति लगभग अपरिवर्तित है लेकिन डेटासेट के आकार ( $N$ ) के साथ लगभग रैखिक रूप से स्केल करता है ( $\tau_{mem} \approx 35 N^{1.14}$ DiT के लिए)। यह बड़ी मॉडल क्षमता द्वारा भी त्वरित होता है।

2. नवाचार विंडो (The Innovation Window)

अंतराल $[\tau_{rule}, \tau_{mem}]$ को नवाचार विंडो (innovation window) के रूप में परिभाषित किया गया है, जिसके दौरान मॉडल नियम-वैध लेकिन गैर-याद किए गए (नवीन) नमूने उत्पन्न करता है।

चौड़ा होना/संकुचित होना: बड़े डेटासेट (जो याद रखने में देरी करते हैं) के साथ विंडो चौड़ी होती है और उच्च नियम जटिलता (जो नियम सीखने में देरी करती है) के साथ संकुचित होती है।
समापन (Closure): उच्च जटिलता ( $G \ge 9$ ) या छोटे डेटासेट के लिए, $\tau_{rule} \ge \tau_{mem}$ होता है, जिससे नवाचार विंडो पूरी तरह से समाप्त हो जाती है। इन मामलों में, मॉडल केवल तभी नियम सीखता है जब वह पहले से ही डेटा को याद करना शुरू कर चुका होता है, जिसका अर्थ है कि देखी गई सटीकता सामान्यीकरण के बजाय रिट्रीवल (retrieval) द्वारा संचालित है।

3. वेक्टर फील्ड के माध्यम से यांत्रिक अंतर्दृष्टि (Mechanistic Insights via Vector Fields)

DiT मॉडल के सीखे गए स्कोर के विश्लेषण से अनुकूलन परिदृश्य (optimization landscape) में संबंधित विकास का पता चलता है:

प्रारंभिक चरण (Early Phase): मॉडल Boolean हाइपरक्यूब पर जनरेट करना सीखता है, जिससे वर्टिस (vertices) अट्रैक्टर्स में बदल जाते हैं।
$\tau_{rule}$ के आसपास: नियम-वैध नमूनों के लिए अट्रैक्टर्स काफी बढ़ जाते हैं, जिससे नियम-उल्लंघन करने वाले कोने दब जाते हैं। वैध नमूनों (प्रशिक्षण और होल्ड-आउट दोनों) के बेसिन सममित रूप से विस्तारित होते हैं।
$\tau_{mem}$ के आसपास: विशिष्ट प्रशिक्षण नमूनों के बेसिन और अधिक विस्तृत होते हैं, जो पास के होल्ड-आउट वैध क्षेत्रों पर आक्रमण करते हैं। सीखा गया वेक्टर फील्ड होल्ड-आउट नमूनों के लिए एक खराब डीनॉइज़र बन जाता है, जो शोर युक्त नमूनों के वैध नवीन बिंदुओं के करीब होने पर भी, उन्हें याद किए गए प्रशिक्षण बिंदुओं की ओर निर्देशित करता है।
शोर स्केल निर्भरता (Noise Scale Dependence): ये संक्रमण विशिष्ट मध्यवर्ती शोर स्तरों ( $\sigma \in [0.2, 2.0]$ ) पर होते हैं, जो Boolean हाइपरक्यूब पर डेटा बिंदुओं के बीच की ज्यामितीय दूरी के अनुरूप होते हैं।

4. अन्य आर्किटेक्चर और कार्यों में सामान्यीकरण (Generalization to Other Architectures and Tasks)

ऑटोरिग्रेसिव मॉडल (GPT): GPT मॉडल समान दो-घड़ी संरचना प्रदर्शित करते हैं। हालाँकि, वे तुलनीय आकार के DiTs की तुलना में तेजी से सीखते और याद करते हैं, जिसके परिणामस्वरूप छोटी नवाचार विंडो मिलती है। GPT में याद रखने का संक्रमण अधिक अचानक होता है।
अन्य नियम: गतिशीलता अन्य बाइनरी नियमों (जैसे, exact- $K$ $K$ , row- $K$ $K$ ) और कॉम्बिनेटरियल पहेलियों (लैटिन स्क्वायर, सुडोकू) तक विस्तृत है।
- जटिलता का स्वरूप मायने रखता है: जबकि उच्च-डिग्री पैरिटी कठिन है, ग्लोबल काउंट कंस्ट्रेंट्स (exact- $K$ ) तेजी से सीखे जाते हैं, जो यह सुझाव देता है कि बाधा का स्वरूप (मल्टीप्लिकेटिव इंटरैक्शन बनाम एडिटिव सम्स) अकेले ग्लोबलिटी (globality) की तुलना में कठिनाई निर्धारित करता है।
- नेस्टेड कंस्ट्रेंट्स (Nested Constraints): सुडोकू जैसे कार्यों में एनिसोट्रोपिक लर्निंग (पंक्तियाँ कॉलम से पहले सीखी जाती हैं) और साधारण पैरिटी की तुलना में विलंबित वैधता दिखाई देती है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह जनरेटिव मॉडल कब और कैसे वास्तविक नवाचार बनाम याद रखने (memorization) को प्रदर्शित करते हैं, इसका एक एकीकृत और भविष्य कहने वाला विवरण (predictive account) प्रदान करता है।

गतिक स्पष्टीकरण (Dynamical Explanation): यह स्थिर मूल्यांकन से आगे बढ़कर यह समझाता है कि मॉडल जटिल नियमों को सीखने में क्यों विफल होते हैं: नवाचार विंडो तब बंद हो जाती है जब नियम सीखने के लिए आवश्यक समय, डेटा को याद करने के समय से अधिक हो जाता है।
आर्किटेक्चरल सीमाएँ (Architectural Limitations): परिणाम बताते हैं कि वर्तमान डिफ्यूजन आर्किटेक्चर उच्च-क्रम के मल्टीप्लिकेटिव इंटरैक्शन (उच्च $G$ पैरिटी) के साथ संघर्ष करते हैं, जो अमूर्त तर्क नियमों (जैसे, RAVEN मैट्रिसेस) या भौतिक संरक्षण कानूनों (physical conservation laws) को सीखने में उनकी कठिनाइयों का आधार हो सकता है।
आगे के मार्ग (Pathways Forward): लेखक सुझाव देते हैं कि जटिल बाधाओं के लिए नियम सीखने में सुधार के लिए केवल डेटा या मॉडल के आकार को बढ़ाने के बजाय, आर्किटेक्चरल संशोधनों (जैसे, ग्लोबल ब्रॉडकास्टिंग, स्ट्रक्चर्ड मल्टीप्लिकेटिव इंटरैक्शन) या करिकुलम लर्निंग रणनीतियों की आवश्यकता हो सकती है।

यह कार्य वर्तमान जनरेटिव मॉडलों की एक मौलिक सीमा को अलग करता है: उनके इंडक्टिव बायस (inductive biases) उच्च-क्रम के ग्लोबल नियमों के साथ अच्छी तरह से संरेखित नहीं हैं, जिससे जब "नवाचार विंडो" बंद हो जाती है, तो वे याद रखने (memorization) पर निर्भर हो जाते हैं।