📊 statistics

Preventing Model Collapse Under Overparametrization: Optimal Mixing Ratios for Interpolation Learning and Ridge Regression

यह शोध पत्र वास्तविक और कृत्रिम डेटा के पुनरावृत्ति मिश्रणों पर प्रशिक्षित ओवरपैरामीटराइज्ड लीनियर रिग्रेशन के लिए सटीक सामान्यीकरण त्रुटि सूत्र व्युत्पन्न करता है, जो यह प्रकट करता है कि विशिष्ट इष्टतम मिश्रण अनुपात—जैसे कि इंटरपोलेशन के लिए गोल्डन रेशियो का व्युत्क्रम और रिज रिग्रेशन के लिए कम से कम एक-आधा—दीर्घकालिक त्रुटि को न्यूनतम करने और मॉडल कोलैप्स को प्रमाणित रूप से रोकने के लिए आवश्यक हैं।

मूल लेखक: Anvit Garg, Sohom Bhattacharya, Pragya Sur

प्रकाशित 2026-02-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anvit Garg, Sohom Bhattacharya, Pragya Sur

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पेंटिंग करना सिखा रहे हैं।

शुरुआत में, आप रोबोट को असली सूर्यास्त, फूलों और समुद्रों की हजारों तस्वीरें दिखाते हैं। वह खूबसूरती से पेंट करना सीख जाता है। लेकिन फिर, आप आलसी हो जाते हैं। नई असली तस्वीरें दिखाने के बजाय, आप रोबोट को एक चित्र बनाने के लिए कहते हैं, और फिर आप उस पेंटिंग को ही रोबोट को एक नए "असली" सूर्यास्त के उदाहरण के रूप में दिखाते हैं। वह फिर से पेंट करता है, और आप उस नई पेंटिंग को उसे दिखाते हैं।

यदि आप इसे जारी रखते हैं—रोबोट को केवल उसके अपने पिछले काम को दिखाना—तो वह अंततः मतिभ्रम (hallucinate) करने लगेगा। रंग अजीब हो जाएंगे, आकृतियाँ धुंधली हो जाएंगी, और पेंटिंग्स एक धुंधले, विकृत ढेर की तरह दिखने लगेंगी। AI की दुनिया में, इस आपदा को मॉडल कोलैप्स (Model Collapse) कहा जाता है। AI अपने ही नकली डेटा के प्रति इतना जुनूनी हो जाता है कि वह भूल जाता है कि वास्तविकता वास्तव में कैसी दिखती है।

यह शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: क्या हम रोबोट को बचा सकते हैं?

लेखक कहते हैं कि हाँ, लेकिन केवल तभी जब हम एक बहुत ही विशिष्ट नुस्खे का पालन करें। यहाँ उनके निष्कर्षों का सरल उपमाओं के साथ विवरण दिया गया है।

1. समस्या: "इको चैंबर" (Echo Chamber)

कल्पना कीजिए कि रोबोट एक कमरे में दर्पण के साथ है। यदि वह केवल दर्पण को देखता है, तो वह प्रतिबिंब का प्रतिबिंब देखता है। अंततः, छवि इतनी विकृत हो जाती है कि वह पहचानने योग्य नहीं रहती।

सिंथेटिक डेटा (Synthetic Data): रोबोट की अपनी पेंटिंग्स (दर्पण का प्रतिबिंब)।
रियल डेटा (Real Data): दुनिया की वास्तविक तस्वीरें (वास्तविक दृश्य)।
जाल: यदि आप रोबोट को 100% सिंथेटिक डेटा खिलाते हैं, तो वह ढह (collapse) जाएगा। यदि आप उसे 100% रियल डेटा खिलाते हैं, तो वह सुरक्षित है लेकिन महंगा है (आपको लगातार नई तस्वीरें लेनी पड़ती हैं)।

2. समाधान: "गोल्डन रेशियो" कॉकटेल

शोधकर्ताओं ने पाया कि रोबोट को मानसिक रूप से स्वस्थ रखने के लिए, आप केवल वास्तविक और नकली डेटा को बेतरतीब ढंग से नहीं मिला सकते। आपको उन्हें एक परफेक्ट सटीक अनुपात में मिलाना होगा।

उन्होंने पाया कि सबसे बुनियादी प्रकार के AI (जिसे "मिन-नॉर्म इंटरपोलेशन" कहा जाता है) के लिए, जादुई संख्या गोल्डन रेशियो (स्वर्ण अनुपात) का 1 बटा (लगभग 0.618) है।

नुस्खा: आपको हर एक चरण में रोबट को लगभग 62% वास्तविक डेटा और 38% नकली डेटा खिलाना चाहिए।
क्यों?
- यदि आप बहुत अधिक नकली डेटा का उपयोग करते हैं (जैसे, 50/50), तो रोबोट भटकने लगता है और गुणवत्ता धीरे-धीरे कम होने लगती है।
- यदि आप बहुत अधिक वास्तविक डेटा का उपयोग करते हैं (जैसे, 90/10), तो रोबोट सुरक्षित है, लेकिन आप संसाधनों को बर्बाद कर रहे हैं।
- 62% का स्वीट स्पॉट "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) है। यह रोबोट को वास्तविकता से जोड़े रखने के लिए पर्याप्त वास्तविक डेटा है, जबकि नकली डेटा उसके दिमाग को तोड़े बिना उसे तेजी से सीखने में मदद करता है।

3. "गोल्डन रेशियो" का आश्चर्य

संख्या 0.618 कला और प्रकृति में प्रसिद्ध है (यह गोल्डन रेशियो, $\phi$ है)। यह वह अनुपात है जो शंख, सूरजमुखी और पार्थेनन में पाया जाता है।

खोज: लेखकों ने पाया कि वही संख्या जो एक शंख को सुंदर बनाती है, वही AI को पागल होने से भी रोकती है जब वह अपने आउटपुट से सीखता है। यह एक गणितीय संयोग है जो लगभग जादु적인 लगता है: AI को स्थिर रखने के लिए, आपको उसकी यादों को उसके सपनों की तुलना में थोड़ा अधिक वजन देना होगा, विशेष रूप से गोल्डन रेशियो द्वारा।

4. क्या होगा यदि रोबोट "अति-आत्मविश्वासी" हो जाए? (Overparametrization)

आधुनिक AI मॉडल बहुत विशाल होते हैं। उनमें लाखों "न्यूरॉन्स" (पैरामीटर्स) होते हैं, जो उन उदाहरणों की संख्या से कहीं अधिक हैं जिन पर उन्हें प्रशिक्षित किया जाता है। इसे ओवरपैरामीटराइज्ड (overparameterized) होना कहा जाता है।

डर: लोगों को लगा कि क्योंकि ये मॉडल इतने जटिल हैं, इसलिए नकली डेटा खिलाने पर वे तुरंत ढह जाएंगे।
अच्छी खबर: पेपर यह सिद्ध करता है कि इन विशाल, जटिल मॉडलों के लिए भी, यदि आप उस 62% वास्तविक / 38% नकली मिश्रण का पालन करते हैं, तो मॉडल कभी ढहेगा नहीं। यह बिना पागल हुए हमेशा सीखता रहेगा।

5. क्या होगा यदि "रियल डेटा" बदल जाता है?

पेपर ने अधिक जटिल परिदृश्यों को भी देखा:

परिदृश्य A: क्या होगा यदि आप हर बार ताज़ा तस्वीरें नहीं प्राप्त कर सकते, केवल मूल तस्वीरें ही मिल सकती हैं?
- परिणाम: आपको 100% वास्तविक डेटा का उपयोग करना होगा। इस मामले में नकली डेटा बहुत खतरनाक है।
परिदृश्य B: क्या होगा यदि रोबोट हर बार अलग प्रकार के "वास्तविक" डेटा को देखता है (जैसे, आज वह बिल्लियों को देखता है, कल कुत्तों को)?
- परिणाम: जादुई मिश्रण थोड़ा बदल जाता है, लेकिन नियम वही रहता है: वास्तविक डेटा हमेशा बहुमत (कम से कम 50%) में होना चाहिए।

मुख्य निष्कर्ष

यह शोध पत्र AI के भविष्य के लिए एक सर्वाइवल गाइड (survival guide) है। जैसे-जैसे हम AI को AI-जनरेटेड कंटेंट पर प्रशिक्षित करना शुरू कर रहे हैं (जो अभी हो रहा है), हम एक "मतिभ्रम लूप" (hallucination loop) बनाने का जोखिम उठाते हैं जहाँ मॉडल मूर्ख से मूर्ख होता जाता है।

समाधान सरल है:
AI को केवल अपनी ही पूंछ खाने न दें। उसे ताज़ा, वास्तविक दुनिया का डेटा खिलाते रहें। लेकिन, संसाधनों को बर्बाद भी न करें। उस गोल्डन रेशियो का लक्ष्य रखें: लगभग 62% वास्तविक सत्य और 38% सिंथेटिक कल्पना। यदि आप ऐसा करते हैं, तो AI अपना मानसिक संतुलन खोए बिना हमेशा सीख सकता है।

यहाँ गर्ग, भट्टाचार्य और सुर द्वारा लिखित शोध पत्र "Preventing Model Collapse Under Overparametrization: Optimal Mixing Ratios for Interpolation Learning and Ridge Regression" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मॉडल कोलैप्स (model collapse) की समस्या को संबोधित करता है, जो एक ऐसी घटना है जहाँ जनरेटिव मॉडल अपने स्वयं के सिंथेटिक आउटपुट पर बार-बार प्रशिक्षित होने पर प्रदर्शन में गिरावट दिखाने लगते हैं। जबकि पिछले साहित्य (जैसे, शुमैलोव एट अल., 2024) ने यह स्थापित किया था कि मॉडल कोलैप्स कम-आयामी (low-dimensional) सेटिंग्स में या जब वास्तविक डेटा स्थिर होता है और उसे रिफ्रेश नहीं किया जाता, तब होता है, लेकिन ओवरपैरामीटराइज्ड रिजीम (जहाँ फीचर्स की संख्या $p$ , सैंपल्स की संख्या $n$ से अधिक होती है) में इस डायनामिक को समझने में एक महत्वपूर्ण अंतर था।

लेखक इस बात की जांच करते हैं कि क्या हर इटरेशन में ताज़ा वास्तविक डेटा (fresh real data) को सिंथेटिक डेटा के साथ मिलाने से ओवरपैरामीटराइज्ड लीनियर रिग्रेशन में मॉडल कोलैप्स को रोका जा सकता है। विशेष रूप से, वे पूछते हैं:

क्या वास्तविक लेबल के साथ ताज़ा सिंथेटिक लेबल को मिलाने से ओवरपैरामीटराइज्ड लीनियर रिग्रेशन में मॉडल कोलैप्स को कम किया जा सकता है?
दीर्घकालिक प्रेडिक्शन एरर (prediction error) को न्यूनतम करने के लिए वास्तविक-से-सिंथेटिक डेटा का इष्टतम मिश्रण अनुपात (optimal mixing ratio) ( $w$ ) क्या है?

2. कार्यप्रणाली और ढांचा (Methodology and Framework)

लेखक एक "फ्रेश डेटा ऑग्मेंटेशन" ढांचे के तहत दो प्राथमिक एस्टिमेटर्स (estimators) का विश्लेषण करते हैं:

मिनिमम- $\ell_2$ -नॉर्म इंटरपोलेटर्स (Minimum- $\ell_2$ -norm Interpolators): बिना किसी स्पष्ट रेगुलराइजेशन के ओवरपैरामीटराइज्ड मॉडल्स पर ग्रेडिएंट डिसेंट का सीमांत (limit)।
रिज रिग्रेशन (Ridge Regression): स्पष्ट रूप से रेगुलराइज्ड एस्टिमेटर्स।

इटरेटिव सेटअप (The Iterative Setup):
इटरेशन $t$ पर, मॉडल एक भारित मिश्रण (weighted mixture) पर प्रशिक्षित होता है:

ताज़ा वास्तविक रिस्पॉन्स ( $y_t$ ): जो वास्तविक मॉडल $y_t = X\beta + \epsilon_t$ से उत्पन्न होते हैं।
सिंथेटिक रिस्पॉन्स ( $\tilde{y}_t$ ): जो पिछले इटरेशन के एस्टिमेटर $\hat{\beta}_{t-1}$ का उपयोग करके उत्पन्न किए जाते हैं, अर्थात $\tilde{y}_t = X\hat{\beta}_{t-1} + \tilde{\epsilon}_t$ ।

एस्टिमेटर अपडेट नियम है:
$\hat{\beta}_t = (X^\top X)^\dagger X^\top (w y_t + (1-w)\tilde{y}_t)$
$\hat{\beta}_{t,\lambda} = (X^\top X + n\lambda I)^{-1} X^\top (w y_t + (1-w)\tilde{y}_{t,\lambda})$
जहाँ $w \in (0,1)$ वास्तविक डेटा के लिए मिक्सिंग वेट है।

मान्यताएं (Assumptions):

उच्च-आयामी रिजीम (High-Dimensional Regime): $p, n \to \infty$ के साथ $p/n \to \gamma > 1$ ।
कोवेरियेट्स (Covariates): $X = Z\Sigma^{1/2}$ , जहाँ $Z$ के एंट्रीज़ i.i.d. हैं और $\Sigma$ के आइगेनवैल्यू (eigenvalues) बाउंडेड हैं।
सिग्नल (Signal): सिग्नल स्ट्रेंथ $\|\beta\|^2$ एक स्थिरांक $b^*$ में अभिसरित (converge) होती है।
नॉइज़ (Noise): बाउंडेड मोमेंट्स वाले स्वतंत्र गौसियन-जैसे नॉइज़।

3. मुख्य योगदान और सैद्धांतिक परिणाम (Key Contributions and Theoretical Results)

A. जनरलाइजेशन एरर का लक्षण वर्णन (Generalization Error Characterization)

लेखक $t \to \infty$ और $n \to \infty$ के रूप में जनरलाइजेशन एरर (रिस्क) के सटीक एसिम्प्टोटिक फॉर्मूला प्राप्त करते हैं। रिस्क बायस (Bias) और वैरिएंस (Variance) घटकों में विभाजित होता है, जो दोनों ही मिक्सिंग वेट $w$ , रेगुलराइजेशन $\lambda$ , और कोवेरियंस मैट्रिक्स $\Sigma$ के स्पेक्ट्रल गुणों पर निर्भर करते हैं।

B. मिन- $\ell_2$ -नॉर्म इंटरपोलेशन के लिए इष्टतम मिश्रण (Optimal Mixing for Min- $\ell_2$ -Norm Interpolation)

अनरेगुलराइज्ड इंटरपोलेटर ( $\lambda = 0$ ) के लिए:

गोल्डन रेशियो कन्वर्जेंस (Golden Ratio Convergence): लेखक सिद्ध करते हैं कि इष्टतम मिक्सिंग वेट $w^*$ , जो एसिम्प्टोटिक रिस्क को कम करता है, गोल्डन रेशियो के रेसिप्रोकल (व्युत्क्रम) के रूप में अभिसरित होता है:
$w^* = \frac{1}{\phi} = \frac{\sqrt{5}-1}{2} \approx 0.618$
मजबूती (Robustness): यह परिणाम किसी भी फीचर कोवेरियंस मैट्रिक्स $\Sigma$ के लिए मान्य है जिसके आइगेनवैल्यू बाउंडेड हैं, जो पिछले लो-डायमेंशनल निष्कर्षों को ओवरपैरामीटराइज्ड रिजीम तक विस्तारित करता है।
कोलैप्स की रोकथाम (Collapse Prevention): यदि $w = 0$ है (केवल सिंथेटिक डेटा पर प्रशिक्षण), तो रिस्क अनंत की ओर बढ़ जाता है (मॉडल कोलैप्स)। यदि $w > 1/3$ है, तो वैरिएंस इटरेशन के साथ मोनोटोनिक रूप से घटता है, जिससे कोलैप्स रुक जाता है। इष्टतम $w^* \approx 0.618$ न्यूनतम रिस्क तक सबसे तेज़ अभिसरण सुनिश्चित करता है।

C. रिज रिग्रेशन के लिए इष्टतम मिश्रण (Optimal Mixing for Ridge Regression)

रिज रिग्रेशन ( $\lambda > 0$ ) के लिए, विश्लेषण अधिक जटिल है क्योंकि बायस और वैरिएंस दोनों $w$ पर निर्भर करते हैं।

लॉग-कॉन्वेक्सिटी (Log-Convexity): लिमिटिंग रिस्क को $w$ के एक लॉग-कॉन्वेक्स फंक्शन के रूप में सिद्ध किया गया है, जो एक अद्वितीय ग्लोबल मिनिमम की गारंटी देता है।
निचली सीमा (Lower Bound): विभिन्न मॉडल्स (आइसोट्रोपिक, स्पाइक्ड कोवेरियेंस, रैंडम इफेक्ट्स) में, इष्टतम वेट संतुष्ट करता है कि $w^* \geq 0.5$ । इसका तात्पर्य है कि कोलैप्स को रोकने के लिए वास्तविक डेटा को हमेशा सिंथेटिक डेटा की तुलना में अधिक भार दिया जाना चाहिए।
पैरामीटर्स पर निर्भरता:
- जैसे-जैसे $\lambda \to 0$ (इंटरपोलेशन की ओर), $w^* \to 1/\phi \approx 0.618$ ।
- जैसे-जैसे $\lambda \to \infty$ (स्ट्रॉन्ग रेगुलराइजेशन), $w^* \to 1$ (पूरी तरह से वास्तविक डेटा पर निर्भरता)।
- $w^*$ सिग्नल-टू-नॉइज़ रेशियो (SNR) के साथ बढ़ता है।

D. विशिष्ट मॉडल वर्ग (Specific Model Classes)

लेखक ठोस अंतर्दृष्टि प्रदान करने के लिए दो विशिष्ट संरचनात्मक मान्यताओं का विश्लेषण करते हैं:

रैंडम इफेक्ट्स मॉडल (Random Effects Model): जहाँ सिग्नल घटक i.i.d. हैं। इष्टतम मिक्सिंग रेशियो सामान्य सीमाओं ( $w^* \in [0.5, 1]$ ) का पालन करता है।
स्पाइक्ड कोवेरियेंस मॉडल (Spiked Covariance Model): जहाँ कोवेरियंस मैट्रिक्स में कुछ बड़े आइगेनवैल्यू होते हैं। परिणाम पुष्टि करते हैं कि स्पेक्ट्रल ज्योमेट्री इष्टतम वेटिंग को नियंत्रित करती है, लेकिन $w^* \geq 0.5$ की आवश्यकता बनी रहती है।

E. वैकल्पिक सेटिंग्स (Alternative Settings)

लेखक उन परिदृश्यों की खोज करते हैं जहाँ "फ्रेश डेटा" की धारणा को शिथिल किया गया है:

कोई फ्रेश रियल डेटा नहीं (No Fresh Real Data): यदि वास्तविक लेबल स्थिर हैं और केवल सिंथेटिक डेटा को इटरेशन दर इटरेशन जोड़ा जाता है, तो मॉडल कोलैप्स अपरिहार्य है, जब तक कि $w=1$ (कोई सिंथेटिक डेटा उपयोग न किया जाए) न हो।
टाइम-वेरिंग कोवेरियेट्स (Time-Varying Covariates): यदि प्रत्येक इटरेशन में $X$ बदलता है लेकिन ताज़ा लेबल उपलब्ध हैं, तो इष्टतम $w^*$ $\gamma$ पर निर्भर करता है और आम तौर पर नॉन-मोनोटोनिक होता है।
आंशिक फ्रेश लेबल्स (Partial Fresh Labels): यदि केवल कोवेरियेट्स का एक हिस्सा फ्रेश लेबल प्राप्त करता है, तो अत्यधिक ओवरपैरामीटराइज्ड रिजीम ( $\gamma > 2$ ) में मिक्सिंग के बावजूद मॉडल कोलैप्स अपरिहार्य हो सकता है।

4. महत्व और निहितार्थ (Significance and Implications)

सैद्धांतिक सफलता (Theoretical Breakthrough): यह ओवरपैरामीटराइज्ड सेटिंग्स में मॉडल कोलैप्स के पहले कठोर विश्लेषणों में से एक है। यह लो-डायमेंशनल कोलैप्स थ्योरी और आधुनिक हाई-डायमेंशनल डीप लर्निंग प्रथाओं के बीच के अंतर को पाटता है।
व्यावहारिक मार्गदर्शन (Actionable Guidance): यह शोध पत्र चिकित्सकों के लिए एक ठोस, गणितीय रूप से व्युत्पन्न नियम प्रदान करता है: लगभग 62% वास्तविक डेटा को 38% सिंथेटिक डेटा के साथ मिलाएं (इंटरपोलेशन कार्यों के लिए) ताकि दीर्घकालिक त्रुटि को कम किया जा सके। रेगुलराइज्ड मॉडल्स के लिए, वास्तविक डेटा को प्रशिक्षण मिश्रण में कम से कम 50% होना चाहिए।
कोलैप्स का तंत्र (Mechanism of Collapse): विश्लेषण से पता चलता है कि कोलैप्स तब होता है जब सिंथेटिक डेटा हावी हो जाता है और वैरिएंस जमा होने लगता है। "गोल्डन रेशियो" वेटिंग बायस-वैरिएंस ट्रेड-ऑफ को संतुलित करने वाला एक महत्वपूर्ण थ्रेशोल्ड के रूप में कार्य करता है।
सिंथेटिक डेटा की सीमाएं (Limitations of Synthetic Data): परिणाम बताते हैं कि हालांकि सिंथेटिक डेटा सीखने को बढ़ा सकता है, लेकिन यह इटरेटिव ट्रेनिंग लूप में वास्तविक डेटा की जगह नहीं ले सकता, विशेष रूप से उच्च-आयामी रिजीम में।

5. सत्यापन (Validation)

सैद्धांतिक निष्कर्षों को व्यापक सिमुलेशन के माध्यम से सत्यापित किया गया है। विभिन्न कोवेरियंस संरचनाओं (आइसोट्रोपिक, AR(1), स्पाइक्ड) और सैंपल साइज के लिए एम्पिरिकल रिस्क कर्व्स, व्युत्पन्न एसिम्प्टोटिक फॉर्मूला के साथ निकटता से मेल खाते हैं, जो $w^* \approx 0.618$ और $w^* \geq 0.5$ की मजबूती की पुष्टि करते हैं।

निष्कर्ष (Conclusion)

यह शोध पत्र स्थापित करता है कि ओवरपैरामीटराइज्ड लीनियर रिग्रेशन में मॉडल कोलैप्स को एक विशिष्ट मिक्सिंग रणनीति के माध्यम से रोका जा सकता है। इंटरपोलेशन के लिए लगभग 61.8% (गोल्डन रेशियो का रेसिप्रोकल) ताज़ा वास्तविक डेटा को वजन देकर, या रेगुलराइज्ड मॉडल्स के लिए कम से कम 50% वजन देकर, आप यह सुनिश्चित कर सकते हैं कि जनरलाइजेशन एरर सीमित और न्यूनतम रहे, जिससे "कर्स ऑफ रिकर्शन" (curse of recursion) को प्रभावी ढंग से तोड़ा जा सके।