📊 statistics

Generalization of Gibbs and Langevin Monte Carlo Algorithms in the Interpolation Regime

यह शोध पत्र ओवरपैरामीटराइज्ड इंटरपोलेशन रिजीम में गिब्स और लैंग्विन मोंटे कार्लो एल्गोरिदम के लिए डेटा-डिपेंडेंट जनरलाइजेशन बाउंड्स स्थापित करता है, जो यह प्रदर्शित करता है कि लो-टेम्परेचर जनरलाइजेशन हाई-टेम्परेचर ट्रेनिंग एरर्स द्वारा संकेतित होता है और मानक डेटासेट्स पर सटीक टेस्ट एरर प्रेडिक्शन्स के साथ इन बाउंड्स को मान्य करता है।

मूल लेखक: Andreas Maurer, Erfan Mirzaei, Massimiliano Pontil

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andreas Maurer, Erfan Mirzaei, Massimiliano Pontil

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य रहस्य: "परफेक्ट स्टूडेंट" का विरोधाभास (Paradox)

कल्पना कीजिए कि आपके पास एक छात्र (AI एल्गोरिदम) है जो अविश्वसनीय रूप से बुद्धिमान है और जिसके पास हर संभव उत्तर की एक विशाल लाइब्रेरी (एक बहुत बड़ा हाइपोथीसिस स्पेस) तक पहुंच है। आप इस छात्र की एक परीक्षा लेते हैं।

सामान्य मामला: यदि आप छात्र को एक मानक गणित का टेस्ट देते हैं, तो वह कड़ी मेहनत करता है, अभ्यास प्रश्नों (ट्रेनिंग डेटा) पर पूर्ण अंक प्राप्त करता है, और फिर फाइनल परीक्षा (टेस्ट डेटा) में भी अव्वल आता है। यह वही है जो हम चाहते हैं।
"असंभव" मामला: अब, कल्पना कीजिए कि आप वही टेस्ट लेते हैं, लेकिन आप उत्तर कुंजी (answer key) पर बेतरतीब ढंग से बकवास उत्तर लिख देते हैं। आप छात्र से कहते हैं, "इन रैंडम उत्तरों को याद कर लो।" क्योंकि छात्र बहुत बुद्धिमान है और लाइब्रेरी बहुत बड़ी है, वे उन रैंडम उत्तरों को पूरी तरह से याद कर सकते हैं। वे अभ्यास प्रश्नों पर पूर्ण अंक प्राप्त करते हैं। लेकिन जब वे नए रैंडम प्रश्नों के साथ फाइनल परीक्षा देते हैं, तो वे बुरी तरह विफल हो जाते हैं क्योंकि वहां सीखने के लिए कोई पैटर्न नहीं होता।

इसे इंटरपोलेशन रिजीम (Interpolation Regime) कहा जाता है। वैज्ञानिकों के लिए समस्या यह है: आप यह कैसे जानेंगे कि छात्र वास्तव में नियमों को सीख रहा है (और असली परीक्षा पास करेगा) या केवल शोर (noise) को रट रहा है (और फेल हो जाएगा)? आमतौर पर, केवल अभ्यास स्कोर को देखकर आप यह नहीं बता सकते, क्योंकि दोनों ही मामलों में स्कोर परफेक्ट होता है।

पेपर का समाधान: "तापमान" (Temperature) पर नज़र रखना

लेखक यह बताने के लिए एक चतुर तरीका प्रस्तावित करते हैं कि अंतर क्या है, और इसके लिए वे केवल अंतिम स्कोर को नहीं, बल्कि इस बात को देखते हैं कि छात्र कैसे सीखता है। वे भौतिकी (physics) के एक उदाहरण का उपयोग करते हैं जिसे तापमान (Temperature) कहा जाता है।

उच्च तापमान (शोर वाला/आलसी): कल्पना कीजिए कि छात्र विचलित है, लाइब्रेरी में बेतरतीब ढंग से किताबें पलट रहा है। वह किसी विशिष्ट उत्तर पर ध्यान केंद्रित नहीं कर रहा है। उसका अभ्यास स्कोर खराब है क्योंकि वह भ्रमित है।
निम्न तापमान (केंद्रित/सख्त): कल्पना कीजिए कि छात्र अत्यधिक केंद्रित है, और सबसे अच्छा उत्तर खोजने की कोशिश कर रहा है। उसका अभ्यास स्कोर एकदम परफेक्ट हो जाता है।

मुख्य अंतर्दृष्टि (Key Insight):
लेखकों ने खोजा कि आप यह अनुमान लगा सकते हैं कि छात्र वास्तविक परीक्षा में कैसा प्रदर्शन करेगा, यह देखकर कि उच्च तापमान (विचलित होने वाले) चरण के दौरान उसका प्रदर्शन कैसा था।

यदि डेटा वास्तविक (अर्थपूर्ण) है: उच्च तापमान (विचलित अवस्था) के दौरान भी, वे जल्दी ही पैटर्न देखना शुरू कर देंगे। जैसे-जैसे वे अधिक केंद्रित होंगे, उनके अभ्यास स्कोर तेजी से गिरेंगे।
यदि डेटा रैंडम (बकवास) है: उच्च तापमान के दौरान भी, उन्हें कोई पैटर्न दिखाई नहीं देगा। उनके अभ्यास स्कोर लंबे समय तक ऊंचे (खराब) रहेंगे, और वे केवल अंत में जबरदस्ती रटने (लो टेम्परेचर) के समय ही गिरेंगे।

इसलिए, उनके सीखने के सफर का "कर्व के नीचे का क्षेत्र" (area under the curve) उच्च तापमान पर, एक जनरलाइजेशन डिटेक्टर (generalization detector) के रूप में कार्य करता है। यदि छात्र विचलित अवस्था के दौरान कम संघर्ष करता है, तो इसकी संभावना है कि वह वास्तविक नियम सीख रहा है। यदि उसने बहुत संघर्ष किया, तो वह केवल शोर (noise) को रट रहा है।

तकनीकी उपकरण: गिब्स (Gibbs) और लैंग्विन (Langevin)

यह पेपर AI को प्रशिक्षित करने के लिए उपयोग किए जाने वाले विशिष्ट गणितीय उपकरणों पर ध्यान केंद्रित करता है:

गिब्स एल्गोरिदम (Gibbs Algorithm): यह सीखने की प्रक्रिया का एक आदर्श, पूर्ण संस्करण है जहाँ AI उत्तरों को उनकी उपयुक्तता के आधार पर प्रायिकता (probability) देता है।
लैंग्विन मोंटे कार्लो (Langevin Monte Carlo - LMC): यह वास्तविक कंप्यूटरों (जैसे SGLD) में उपयोग किया जाने वाला व्यावहारिक, थोड़ा अस्त-व्यस्त संस्करण है। यह ऐसा है जैसे छात्र लाइब्रेरी में घूम रहा है और किताबों से टकरा रहा है, बजाय इसके कि उसे जादुई रूप से पता हो कि सब कुछ कहाँ है।

लेखक सिद्ध करते हैं कि उनका "तापमान" वाला तरीका पूर्ण गिब्स एल्गोरिदम के लिए काम करता है और महत्वपूर्ण रूप से, यह तब भी स्थिर रहता है जब आप वास्तविक दुनिया के LMC एल्गोरिदम का उपयोग करते हैं।

कैलिब्रेशन ट्रिक (वास्तविकता में इसे काम करने लायक बनाना)

सिद्धांत में, गणित बहुत सुंदर है। व्यवहार में, कंप्यूटर पूर्ण नहीं होते हैं और "तापमान" के माप शोर (noisy) वाले होते हैं। लेखक सटीक सैद्धांतिक सीमा (theoretical bound) की गणना नहीं कर सके क्योंकि इसके लिए असंभव सटीकता की आवश्यकता थी।

इसलिए, उन्होंने एक कैलिब्रेशन ट्रिक का उपयोग किया:

उन्होंने वास्तविक डेटा (MNIST अंक, CIFAR-10 चित्र) पर AI चलाया।
उन्होंने AI को नकली डेटा (रैंडम लेबल्स) पर भी चलाया।
वे जानते हैं कि नकली डेटा के लिए, AI वास्तविक परीक्षा में विफल होगा ही (त्रुटि लगभग 50% होनी चाहिए)।
उन्होंने अपने फॉर्मूले को इस तरह समायोजित किया कि वह नकली डेटा के लिए इस 50% विफलता का सही अनुमान लगा सके।
चूंकि वास्तविक डेटा और नकली डेटा की संरचना समान है (वही चित्र, बस अलग लेबल), इस समायोजन ने वास्तविक डेटा के लिए भी इस सीमा (bound) को बहुत सटीक और सटीक बना दिया।

परिणाम

उन्होंने इसका परीक्षण प्रसिद्ध डेटासेट्स (MNIST, CIFAR-10, SVHN) पर किया।

रैंडम लेबल्स के लिए, उनकी विधि ने सही ढंग से भविष्यवाणी की कि AI विफल हो जाएगा (त्रुटि सीमा को उच्च रखा)।
वास्तविक लेबल्स के लिए, उनकी विधि ने वास्तविक टेस्ट एरर का एक बहुत ही सटीक और सटीक अनुमान दिया।

एक वाक्य में सारांश

यह पेपर दिखाता है कि आप यह अनुमान लगा सकते हैं कि AI वास्तव में सीख रहा है या केवल रट रहा है, यह देखकर कि वह तब कितनी जल्दी सुधार करता है जब वह अभी भी "विचलित" (उच्च तापमान) अवस्था में होता है, और उन्होंने वास्तविक दुनिया के न्यूरल नेटवर्क के लिए इस भविष्यवाणी की गणना करने का एक व्यावहारिक तरीका बनाया है।

तकनीकी सारांश: इंटरपोलेशन रिजीम में गिब्स और लैंग्विन मोंटे कार्लो एल्गोरिदम का सामान्यीकरण

समस्या विवरण
यह शोध पत्र आधुनिक मशीन लर्निंग में "इंटरपोलेशन रिजीम" (interpolation regime) को संबोधित करता है, जहाँ ओवरपैरामीटराइज्ड मॉडल रैंडम लेबल वाले डेटा सहित किसी भी डेटा पर लगभग शून्य प्रशिक्षण त्रुटि (near-zero training error) प्राप्त कर सकते हैं। इस रिजीम में, पारंपरिक परिकल्पना स्थान जटिलता (hypothesis space complexity) और प्रशिक्षण त्रुटि मेट्रिक्स टेस्ट एरर की भविष्यवाणी करने में विफल रहते हैं, जो एक सामान्यीकरण रहस्य (generalization mystery) पैदा करता है। जबकि गिब्स पोस्टीरियर्स (Gibbs posteriors) और लैंग्विन मोंटे कार्लो (LMC) एल्गोरिदम (जैसे कि स्टोकेस्टिक ग्रेडिएंट लैंग्विन डायनेमिक्स - SGLD) व्यापक रूप से उपयोग किए जाते हैं, उनके सामान्यीकरण एरर पर मौजूदा सैद्धांतिक सीमाएँ (theoretical bounds) लो-टेम्परेचर (उच्च इन्वर्स टेम्परेचर $\beta$ ) रिजीम में रिक्त (vacuous) हो जाती हैं, जो इंटरपोलेशन के दौरान विशिष्ट होता है। विशेष रूप से, मानक PAC-Bayesian बाउंड्स $\beta/n$ या $\sqrt{\beta/n}$ के रूप में स्केल होते हैं, जो $\beta > n$ होने पर ढीले (loose) हो जाते हैं, जिससे वे आसान डेटा (सत्य लेबल) और कठिन डेटा (रैंडम लेबल) के बीच अंतर करने में विफल रहते हैं।

कार्यप्रणाली
लेखक गिब्स पोस्टीरियर और उसके सन्निकटन (approximations) के लिए उपयोग किए जाने वाले LMC एल्गोरिदम के लिए डेटा-डिपेंडेंट जनरलाइजेशन बाउंड्स व्युत्पन्न करते हैं। मुख्य सैद्धांतिक नवाचार लॉग-पार्टिशन फंक्शन और गिब्स पोस्टीरियर के लॉग-डेंसिटी के इंटीग्रल रिप्रेजेंटेशन (integral representation) पर आधारित है।

इंटीग्रल रिप्रेजेंटेशन: लेखक सांख्यिकीय यांत्रिकी (statistical mechanics) से एक ज्ञात पहचान (identity) का उपयोग करते हैं (लेम्मा 3.1) ताकि गिब्स पोस्टीरियर $G_\beta$ और प्रायर $\pi$ के बीच रिलेटिव एंट्रॉपी (KL डाइवर्जेंस) को कम तापमान (उच्च $\gamma < \beta$ ) पर गिब्स पोस्टीरियर के मीन ट्रेनिंग एरर के इंटीग्रल के रूप में व्यक्त किया जा सके:
$KL(G_\beta(x), \pi) = \int_0^\beta \left( \mathbb{E}_{g \sim G_\gamma(x)}[\hat{L}(g, x)] - \mathbb{E}_{h \sim G_\beta(x)}[\hat{L}(h, x)] \right) d\gamma$
यह प्रकट करता है कि जनरलाइजेशन बाउंड न केवल अंतिम तापमान $\beta$ पर ट्रेनिंग एरर पर निर्भर करता है, बल्कि 0 से $\beta$ तक के सभी तापमानों पर मीन ट्रेनिंग एरर के प्रक्षेपवक्र (trajectory) पर भी निर्भर करता है।
PAC-Bayesian बाउंड्स: इंटीग्रल रिप्रेजेंटेशन को PAC-Bayesian प्रमेय में प्रतिस्थापित करके, लेखक सिंगल ड्रॉ (single draw) और पोस्टीरियर मीन दोनों के लिए बाउंड्स व्युत्पन्न करते हैं। ये बाउंड्स पूरे तापमान रेंज के लिए मान्य हैं।
मार्कोव प्रक्रियाओं तक विस्तार: विश्लेषण को उन टाइम-होमोजेनियस मार्कोव प्रक्रियाओं (जैसे CLD, MALA, ULA, और SGLD) तक विस्तारित किया गया है जो गिब्स पोस्टीरियर की ओर अभिसरित (converge) होती हैं। "थर्मोडायनामिक्स के दूसरे नियम" (KL डाइवर्जेंस की मोनोटोनिसिटी) का उपयोग करते हुए, लेखक हालिया परिणामों (Harel et al. 2026) को और अधिक सटीक बनाते हैं ताकि संपूर्ण ट्रेनिंग पाथ के साथ मान्य बाउंड्स प्रदान किए जा सकें।
स्थिरता और सन्निकटन: यह शोध पत्र सिद्ध करता है कि ये बाउंड्स रिलेटिव एंट्रॉपी में गिब्स पोस्टीरियर के सन्निकटन के तहत स्थिर (stable) हैं। यह लेखकों को व्यावहारिक LMC एल्गोरिदम पर इन बाउंड्स को लागू करने की अनुमति देता है, बशर्ते कि सन्निकटन त्रुटि (discretization error) को नियंत्रित किया जा सके।

प्रमुख योगदान

गिब्स पोस्टीरियर के लिए डेटा-डिपेंडेंट बाउंड्स: गिब्स पोस्टीरियर या पोस्टीरियर मीन से लिए गए हाइपोथीसीज के लिए हाई-प्रोबेबिलिटी बाउंड्स, जो सभी तापमानों के लिए मान्य हैं। ये बाउंड्स लो-टेम्परेचर रिजीम ( $\beta > n$ ) में सूचनात्मक हैं क्योंकि वे उच्च तापमान पर मीन ट्रेनिंग एरर के 'एरिया अंडर द कर्व' पर निर्भर करते हैं।
मार्कोव प्रक्रियाओं के लिए प्रक्षेपवक्र बाउंड्स (Trajectory Bounds): गिब्स पोस्टीरियर की ओर अभिसरित होने वाली टाइम-होमोजेनियस मार्कोव प्रक्रियाओं के लिए बाउंड्स, जो संपूर्ण ऑप्टिमाइजेशन पाथ के साथ मान्य हैं। ये प्रक्रिया के अभिसरण व्यवहार (convergence behavior) को शामिल करके पिछले परिणामों में सुधार करते हैं।
सन्निकटन के तहत स्थिरता: यह प्रमाण कि बाउंड्स LMC एल्गोरिदम के लिए भी मान्य रहते हैं जो गिब्स पोस्टीरियर का सन्निकटन करते हैं, जिसमें त्रुटि पद (error terms) एल्गोरिदम के वितरण और वास्तविक गिब्स वितरण के बीच रिलेटिव एंट्रॉपी पर निर्भर करते हैं।
व्यावहारिक कैलिब्रेशन स्कीम: केवल ट्रेनिंग डेटा पर आधारित एक ह्यूरिस्टिक कैलिब्रेशन विधि। चूंकि LMC के लिए कठोर सैद्धांतिक बाउंड्स के लिए अव्यवहारिक रूप से छोटे स्टेप साइज़ की आवश्यकता होती है, इसलिए लेखक रैंडम लेबल का उपयोग करके बाउंड को कैलिब्रेट करने का प्रस्ताव देते हैं। वे यह मानकर चलते हैं कि सत्य और रैंडम लेबल के लिए KL डाइवर्जेंस का अनुपात कंप्यूट किए गए "एरिया" टर्म्स ( $A/\bar{A}$ ) के अनुपात के बराबर है। यह वास्तविक डेटा के लिए टाइट, नॉन-ट्रिवियल अपर बाउंड्स की गणना करने की अनुमति देता है।

परिणाम

सैद्धांतिक अंतर्दृष्टि: विश्लेषण यह प्रदर्शित करता है कि लो-टेम्परेचर रिजीम में जनरलाइजेशन, नॉइज़ी (noisier), हाई-टेम्परेचर रिजीम में छोटे ट्रेनिंग एरर द्वारा संकेतित होता है। रैंडम लेबल के लिए, लो $\beta$ पर मीन ट्रेनिंग एरर उच्च बना रहता है, जिससे एक बड़ा इंटीग्रल एरिया और इस प्रकार एक ढीला (loose) बाउंड प्राप्त होता है। सत्य लेबल के लिए, एरर तेजी से गिरता है, जिससे एक छोटा एरिया और टाइट बाउंड प्राप्त होता है।
अनुभवजन्य सत्यापन (Empirical Validation): SGLD के साथ प्रशिक्षित फुली कनेक्टेड न्यूरल नेटवर्क का उपयोग करके MNIST, CIFAR-10, और SVHN डेटासेट्स पर प्रयोगों ने सैद्धांतिक भविष्यवाणियों की पुष्टि की है।
- रैंडम लेबल के लिए, बाउंड्स उच्च टेस्ट एरर (बाइनरी क्लासिफिकेशन के लिए 0.5 के करीब) की सही भविष्यवाणी करते हैं, और एक वैध अपर बाउंड बनाए रखते हैं।
- सत्य लेबल के लिए, कैलिब्रेटेड बाउंड्स वास्तविक टेस्ट एरर के करीब के नॉन-ट्रिवियल अनुमान प्रदान करते हैं।
- कैलिब्रेशन फैक्टर $r$ (रैंडम लेबल डेटा से प्राप्त) सफलतापूर्वक बाउंड को सत्य लेबल के लिए टाइट बनाने के लिए एडजस्ट करता है।
तुलना: लेखक MNIST पर Pérez-Ortiz et al. (2021) के रिस्क सर्टिफिकेट के साथ अपने परिणामों की तुलना करते हैं। उनका दृष्टिकोण समान टेस्ट एरर वाले मॉडल्स के लिए बिना किसी विशेष सेल्फ-सर्टिफाइड ट्रेनिंग एल्गोरिदम की आवश्यकता के, अधिक टाइट सर्टिफिकेट प्रदान करता है।

महत्व
यह शोध पत्र दावा करता है कि यह गिब्स पोस्टीरियर्स के लिए इंटरपोलेशन रिजीम की दुविधा को हल करता है, यह दिखाकर कि जनरलाइजेशन केवल अंतिम ट्रेनिंग एरर पर नहीं, बल्कि विभिन्न तापमानों पर ट्रेनिंग एरर के इतिहास (history) द्वारा निर्धारित होता है। यह लो-टेम्परेचर रिजीम ( $\beta > n$ ) में गिब्स पोस्टीरियर के लिए पहला सूचनात्मक बाउंड प्रदान करता है। इसके अलावा, यह स्थिरता के तहत सन्निकटन और एक व्यावहारिक कैलिब्रेशन विधि स्थापित करके सैद्धांतिक गिब्स पोस्टीरियर्स और व्यावहारिक LMC एल्गोरिदम के बीच के अंतर को पाटता है। लेखक यह भी उल्लेख करते हैं कि हालांकि कैलिब्रेटेड बाउंड्स की टाइटनेस एक प्रायोगिक निष्कर्ष है, यह सुझाव देता है कि अंतर्निहित सिद्धांत SGD तक विस्तृत हो सकता है, जिसे SGLD के ज़ीरो-टेम्परेचर लिमिट के रूप में देखा जाता है।