📊 statistics

Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics

यह शोध पत्र DiMS प्रस्तुत करता है, जो एक विसरित रीमानियन यांत्रिकी-आधारित सैंपलर (dissipative Riemannian mechanics-based sampler) है जो गतिज ऊर्जा, गुरुत्वाकर्षण खिंचाव और घर्षण का उपयोग करके लॉस मिनिमा लेवल सेट्स (loss minima level sets) पर रिपैरामीट्राइजेशन-इनवेरिएंट समाधानों को सटीक रूप से सैंपल करता है, जिससे मौजूदा विधियों की तुलना में बेयसियन अनुमान (Bayesian inference) में अनिश्चितता परिमाणीकरण (uncertainty quantification) में सुधार होता है।

मूल लेखक: Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

मुख्य विचार: "घाटी का तल" खोजना

कल्पना कीजिए कि आप एक न्यूरल नेटवर्क (एक प्रकार का AI) को कोई समस्या हल करने के लिए प्रशिक्षित (train) कर रहे हैं। आप इस प्रशिक्षण प्रक्रिया को एक विशाल, पहाड़ी परिदृश्य में सबसे निचले बिंदु को खोजने के प्रयास के रूप में देख सकते हैं। भूमि की ऊँचाई मॉडल के "त्रुटि" या "लॉस" (loss) को दर्शाती है। आप जितना नीचे जाते हैं, मॉडल उतना ही बेहतर प्रदर्शन करता है।

अतीत में, हम आमतौर पर प्रशिक्षण को तब रोक देते थे जब हमें एक निचला बिंदु (एक एकल समाधान) मिल जाता था। हालाँकि, इस शोध पत्र के लेखक एक महत्वपूर्ण विवरण की ओर इशारा करते हैं: आधुनिक, जटिल AI मॉडलों में, घाटी का "तल" केवल एक बिंदु नहीं है। यह एक विशाल, सपाट और जुड़ा हुआ फर्श है। मॉडल की आंतरिक सेटिंग्स (पैरामीटर्स) को व्यवस्थित करने के लाखों अलग-अलग तरीके हैं जो प्रशिक्षण डेटा पर बिल्कुल समान सटीक स्कोर प्राप्त करते हैं।

समस्या यह है कि अधिकांश विधियाँ या तो:

बेतरतीब ढंग से खोज करती हैं लेकिन वे उस सटीक फर्श तक पहुँचने में विफल हो सकती हैं।
एक छोटे से स्थान पर फंस जाती हैं और बाकी फर्श का पता लगाने में असमर्थ होती हैं।

यह शोध पत्र इस पूरे "परफेक्ट फ्लोर" को कुशलतापूर्वक खोजने के लिए DIMS (डिसिपेटिव मिनिमा सैंपलर) नामक एक नई विधि पेश करता है।

उपमा: घर्षण वाला गोला (The Friction Ball)

DIMS कैसे काम करता है, इसे समझने के लिए कल्पना करें कि एक संगमरमर (marble) इस परिदृश्य पर लुढ़क रहा है।

1. पुराना तरीका (Geodesics):
कल्पना कीजिए कि एक संगमरमर एक पूरी तरह से घर्षण-रहित (frictionless) सतह पर लुढ़क रहा है। यदि आप इसे एक धक्का देते हैं, तो यह घाटी में आगे-पीछे लुढ़कता रहेगा और हमेशा के लिए चलता रहेगा। यह क्षेत्र का अन्वेषण तो करता है, लेकिन यह कभी भी किसी विशिष्ट "उत्तर" को देने के लिए स्थिर नहीं होता। यह विशिष्ट समाधानों के नमूने लेने के लिए बहुत अधिक अराजक (chaotic) है।

2. नया तरीका (DIMS):
लेखक संगमरमर को लुढ़काने का एक स्मार्ट तरीका प्रस्तावित करते हैं। वे दो नए बल पेश करते हैं:

गुरुत्वाकर्षण (Gravity): यह संगमरमर को सबसे निचले संभव बिंदु (न्यूनतम लॉस) की ओर खींचता है।
घर्षण (Friction - गुप्त सामग्री): यह मुख्य है। जैसे-जैसे संगमरमर लुढ़कता है, घर्षण धीरे-धीरे इसकी ऊर्जा को कम कर देता है।

यहाँ जादू है: घर्षण स्थिर नहीं है। यह गति-निर्भर (speed-dependent) है।

यदि संगमरमर तेज़ी से लुढ़क रहा है (उच्च ऊर्जा), तो घर्षण अधिक होता है, जिससे यह जल्दी धीमा हो जाता है।
यदि संगमरमर धीरे लुढ़क रहा है, तो घर्षण हल्का होता है।

परिणाम:
आप संगमरमर को एक ज्ञात अच्छे स्थान पर शुरू करते हैं। आप इसे एक यादृच्छिक "धक्का" (प्रारंभिक वेग) देते हैं। यह परिदृश्य का अन्वेषण करते हुए इधर-उधर लुढ़कता है। घर्षण के कारण, यह अंततः अपनी सारी ऊर्जा खो देता है और पूरी तरह से रुक जाता है। महत्वपूर्ण बात यह है कि भौतिकी के नियमों के कारण, यह हमेशा न्यूनतम लॉस के सटीक "फर्श" पर रुक जाता है।

यह ढलान के बीच में नहीं रुकता; यह ठीक वहीं रुकता है जहाँ मॉडल एकदम सटीक होता है। प्रारंभिक धक्के की दिशा बदलकर, आप संगमरमर को उस परफेक्ट फ्लोर पर अलग-अलग स्थानों पर रोक सकते हैं, जिससे आपको विविध सेट के सटीक समाधान प्राप्त होते हैं।

यह क्यों मायने रखता है? (अनिश्चितता/Uncertainty)

हम कई अलग-अलग समाधान क्यों चाहते हैं जो सभी एक ही सटीक स्कोर रखते हैं?

कल्पना कीजिए कि आप एक छात्र (AI) को 10 तस्वीरों का उपयोग करके बिल्लियों को पहचानना सिखा रहे हैं।

समाधान A सीखता है: "बिल्लियों के कान नुकीले होते हैं।"
समाधान B सीखता है: "बिल्लियों की मूंछें होती हैं।"
समाधान C सीखता है: "बिल्लियों की पूंछ होती है।"

तीनों छात्र उन 10 तस्वीरों पर 100% अंक प्राप्त करते हैं। लेकिन यदि आप उन्हें एक कुत्ते की तस्वीर दिखाते हैं, तो वे असहमत हो सकते हैं।

छात्र A सोच सकता है कि कुत्ता बिल्ली है क्योंकि उसके कान नुकीले हैं।
छात्र B सही कह सकता है कि वह बिल्ली नहीं है क्योंकि उसमें मूंछें नहीं हैं।

यदि आप केवल एक छात्र (पुराना तरीका) चुनते हैं, तो आपको नहीं पता कि आपका AI आश्वस्त है या केवल भाग्यशाली है। लेकिन यदि आप DIMS का उपयोग करके कई अलग-अलग "परफेक्ट" छात्र उत्पन्न करते हैं, तो आप देख सकते हैं कि वे कहाँ सहमत हैं और कहाँ असहमत हैं।

यदि वे सभी एक नई छवि पर सहमत होते हैं, तो AI आश्वस्त (confident) है।
यदि वे बहुत अधिक असहमत होते हैं, तो AI अनिश्चित (uncertain) है।

यह सुरक्षा के लिए अत्यंत महत्वपूर्ण है। यदि कोई AI कार चला रहा है, तो आप चाहते हैं कि उसे पता हो कि वह अनिश्चित है ताकि वह खाई में गिरने के बजाय धीमा हो सके।

"भौतिकी" जो इस जादू के पीछे है

शोध पत्र में कुछ कठिन गणितीय शब्दों का उपयोग किया गया है, लेकिन वे हमारी संगमरमर वाली उपमा से सीधे मेल खाते हैं:

Riemannian Mechanics: यह केवल उस गणित का वर्णन है कि कैसे एक संगमरमर एक वक्र सतह (AI की त्रुटियों के परिदृश्य) पर चलता है, न कि एक सपाट फर्श पर।
Dissipative: इसका अर्थ है "ऊर्जा खोना"। घर्षण वाला शब्द यह सुनिश्चित करता है कि संगमरमर अनंत काल तक उछलता न रहे बल्कि स्थिर हो जाए।
Reparameterization Invariant: यह कहने का एक तकनीकी तरीका है कि भले ही संगमरमर अलग-अलग निर्देशांकों (अलग-अलग आंतरिक सेटिंग्स) पर रुकता है, लेकिन फंक्शन (वास्तविक व्यवहार) समान रूप से अच्छा रहता है।

शोध पत्र वास्तव में क्या दावा करता है

लेखकों ने कई डेटासेट्स (जैसे हस्तलिखित संख्याओं को वर्गीकृत करना या कांच के प्रकारों की पहचान करना) पर इस "घर्षण वाले गोले" की विधि का परीक्षण किया। उन्होंने पाया कि:

यह काम करता है: संगमरमर हमेशा परफेक्ट फ्लोर पर रुकता है, वह ढलान के बीच में नहीं फंसता।
यह मजबूत (robust) है: आपको घर्षण सेटिंग्स को बहुत अधिक बदलने की आवश्यकता नहीं है; यह एक मानक सेटिंग के साथ अच्छी तरह काम करता है।
यह अज्ञात को पहचानने में बेहतर है: जब AI को ऐसे डेटा का सामना करना पड़ता है जो उसने पहले नहीं देखा है (Out-of-Distribution), तो DIMS विधि अन्य विधियों की तुलना में "मुझे नहीं पता" कहने में बहुत बेहतर है। यह अनिश्चितता का अधिक ईमानदार माप प्रदान करता है।

सारांश

AI को प्रशिक्षित करने को एक घाटी के तल को खोजने के रूप में सोचें। अधिकांश विधियाँ एक स्थान पाती हैं और रुक जाती हैं। यह शोध पत्र हमें एक "घर्षण वाला गोला" देता है जो घाटी के पूरे तल में लुढ़कता है, पूरी तरह से स्थिर होने से पहले हर संभावित सटीक समाधान का अन्वेषण करता है। यह हमें यह देखने की अनुमति देता है कि AI क्या जानता है और इससे भी महत्वपूर्ण बात यह है कि वह क्या नहीं जानता है।

तकनीकी सारांश: डोंट स्टॉप मी येट: डिसिपेटिव रिमानियन मैकेनिक्स के माध्यम से सैंपलिंग लॉस मिनिमा

समस्या विवरण
आधुनिक न्यूरल नेटवर्क आमतौर पर ओवरपैरामीटराइज्ड होते हैं, जिसके परिणामस्वरूप लॉस लैंडस्केप्स में ग्लोबल मिनिमा (global minima) अलग-थलग बिंदु नहीं होते, बल्कि पुन: पैरामीट्राइजेशन-इनवेरिएंट (reparameterization-invariant) समाधानों के जुड़े हुए, निरंतर सब-मैनिफोल्ड्स (submanifolds) के रूप में होते हैं। जबकि ये समाधान प्रशिक्षण डेटा पर समान रूप से अच्छा प्रदर्शन करते हैं, वे अनदेखे इनपुट पर विविध कार्यात्मक व्यवहार उत्पन्न कर सकते हैं। अनिश्चितता परिमाणीकरण (uncertainty quantification) के मौजूदा दृष्टिकोण एक द्वंद्व का सामना करते हैं: वे विधियाँ जो लो-लॉस क्षेत्रों को सैंपल करती हैं, अक्सर प्रशिक्षण डेटा के सटीक इंटरपोलेशन (interpolation) को लागू करने में विफल रहती हैं, जबकि पुन: पैरामीट्राइजेशन-इनवेरिएंट सेट तक सीमित विधियाँ अक्सर स्वाभाविक रूप से स्थानीय होती हैं, जो विशिष्ट मिनिमा घाटियों (minima valleys) की खोज करने की क्षमता को सीमित करती हैं। यह शोध पत्र "अच्छे समाधानों" के स्थान को नेविगेट करने की चुनौती को संबोधित करता है ताकि विविध मॉडल सैंपल किए जा सकें जो प्रशिक्षण हानि (training loss) को सख्ती से कम करते हैं और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डेटा पर उच्च भविष्य कहनेवाला अनिश्चितता बनाए रखते हैं।

कार्यप्रणाली: डिसिपेटिव मिनिमा सैम्पर (DIMS)
लेखक डिसिपेटिव मिनिना सैम्पर (DIMS) का प्रस्ताव करते हैं, जो एक ज्योमेट्री-ड्रिवन डायनेमिकल सिस्टम है जिसे लॉस फंक्शन के न्यूनतम स्तर सेट (minimum level sets) से सटीक रूप से सैंपल करने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण रिमानियन मैकेनिक्स और क्लासिकल डिसिपेटिव सिस्टम्स पर आधारित है।

रिमानियन फॉर्मूलेशन: लॉस सरफेस को एक रिमानियन मैनिफोल्ड $(M, g)$ के रूप में माना जाता है जो $\mathbb{R}^{K+1}$ में एम्बेडेड है। मेट्रिक टेंसर $G(\theta)$ को एक पुलबैक मेट्रिक के रूप रूप में परिभाषित किया गया है, $G(\theta) = I_K + \nabla_\theta L(\theta)\nabla_\theta L(\theta)^\top$ , जो पैरामीटर स्पेस में लॉस लैंडस्केप की वक्रता (curvature) को शामिल करता है।
डायनेमिकल सिस्टम: सैंपलिंग प्रक्रिया एक कण (particle) को इस मैनिफोल्ड पर चलते हुए मॉडल करती है। गतिशीलता ऑयलर-लैग्रेंज समीकरणों से प्राप्त दूसरे क्रम के साधारण अवकल समीकरण (ODE) द्वारा नियंत्रित होती है। सिस्टम में शामिल हैं:
- काइनेटिक एनर्जी (Kinetic Energy): $T(\alpha, \dot{\alpha}) = \frac{1}{2}\dot{\alpha}^\top G(\alpha)\dot{\alpha}$ ।
- पोटेंशियल एनर्जी (Potential Energy): $V(\alpha) = \kappa(L(\alpha) - L(\theta^*_{glob}))$ , जो मिनिमा की ओर एक गुरुत्वाकर्षण खिंचाव के रूप में कार्य करता है।
- डिसिपेशन (Dissipation): ऊर्जा संरक्षण को तोड़ने के लिए एक घर्षण पद (friction term) $-\eta(t)\dot{\alpha}$ पेश किया गया है।
स्पीड-डिपेंडेंट फ्रिक्शन: $\eta(t)$ की परिभाषा एक प्रमुख नवाचार है, जो कण की गति (काइनेटिक एनर्जी का वर्गमूल) और वेग तथा ग्रेडिएंट के बीच के कोण के साथ स्केल होती है। यह सुनिश्चित करता है कि जब कण ग्रेडिएंट के विरुद्ध चल रहा हो तो ऊर्जा तेजी से नष्ट हो, जबकि कण को न्यूनतम स्तर सेट (जहाँ ग्रेडिएंट वेग के लंबवत होता है) को न्यूनतम घर्षण के साथ पार करने की अनुमति मिले।
सैंपलिंग प्रक्रिया: सैम्पर एक प्रशिक्षित न्यूनतम $\theta^*$ पर एक कण को एक यादृच्छिक वेग (जो आमतौर पर स्थानीय ज्यामिति का सम्मान करने वाला लाप्लास एप्रोक्सिमेशन है) के साथ इनिशियलाइज़ करता है। ODE को संख्यात्मक रूप से तब तक एकीकृत किया जाता है जब तक कि कण न्यूनतम सब-मैनिफोल्ड $S^*(D)$ पर एक नए बिंदु पर अभिसरित (converge) न हो जाए।

प्रमुख योगदान

मिनिमम सब-मैनिफोल्ड्स के लिए डिटर्मिनिस्टिक सैम्पर: DIMS प्रशिक्षण हानि के विशिष्ट बिंदुओं पर निरंतर जाने का एक तरीका प्रदान करता है। इसे एक ज्योमेट्री-ड्रिवन डायनेमिकल सिस्टम के रूप में तैयार किया गया है जिसमें भौतिक रूप से व्याख्या योग्य हाइपरपैरामीटर्स (घर्षण गुणांक $\eta_0$ ) हैं जो अन्वेषण (exploration) को नियंत्रित करते हैं।
सैद्धांतिक गारंटी: शोध पत्र स्थापित करता है कि प्रस्तावित गतिशीलता सख्त सैडल प्रॉपर्टी (strict saddle property) के तहत न्यूनतम मैनिफोल्ड में अभिसरण करने से पहले लॉस सरफेस की खोज करती है। विशेष रूप से, थ्योरम 1 यह गारंटी देता है कि सिस्टम इक्विलिब्रिया (स्थानीय मिनिमा) के सेट की ओर अभिसरित होता है, जबकि थ्योरम 2 और 3 अभिसरण समय और तय की गई आर्क-लेंथ (arc-length) पर सीमाएं प्रदान करते हैं, जो गैर-तुच्छ अन्वेषण (non-trivial exploration) सुनिश्चित करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक प्रदर्शित करते हैं कि न्यूनतम मैनिफोल्ड पर केंद्रित पोस्टीरियर एप्रोक्सिमेशन अच्छा सामान्यीकरण (generalize) करते हैं। DIMS, लाप्लास-आधारित एप्रोक्सिमेशन (स्टैंडर्ड LA, लीनियरलाइज्ड LA, और रिमानियन LA) की तुलना में भविष्य कहनेवाला प्रदर्शन, कैलिब्रेशन और विशेष रूप से OOD अनिश्चितता परिमाणीकरण में सुधार करता है।

प्रायोगिक परिणाम
विधि का मूल्यांकन रिग्रेशन (Snelson डेटासेट) और क्लासिफिकेशन कार्यों (Banana, UCI डेटासेट्स, MNIST, Fashion MNIST) पर किया गया।

रिग्रेशन: Snelson डेटासेट पर, DIMS सफलतापूर्वक उन समाधानों तक अभिसरित हुआ जो प्रशिक्षण डेटा को पूरी तरह से फिट करते हैं और साथ ही OOD पर उच्च अनिश्चितता प्रदर्शित करते हैं, जबकि रिमानियन लाप्लास एप्रोक्सिमेशन (RLA) उप-इष्टतम स्थितियों से इनिशियलाइज़ होने पर इंटरपोलेशन की गारंटी देने में विफल रहा।
क्लासिफिकेशन: UCI डेटासेट्स पर, DIMS ने RLA और अन्य बेसलाइन की तुलना में प्रतिस्पर्धी या बेहतर नेगेटिव लॉग-लाइक्लीहुड (NLL) और कैलिब्रेशन मेट्रिक्स प्राप्त किए। विशेष रूप से, DIMS विभिन्न डेटासेट्स में एक निश्चित डिफॉल्ट मान के साथ अच्छा प्रदर्शन करने के कारण घर्षण हाइपरपैरामीटर $\eta_0$ के प्रति मजबूत था।
OOD प्रदर्शन: MNIST और Fashion MNIST पर, DIMS ने OOD डिटेक्शन के लिए AUROC स्कोर में अन्य विधियों की तुलना में लगातार बेहतर प्रदर्शन किया, जो इन-डिस्ट्रीब्यूशन और आउट-ऑफ-डिस्ट्रीब्यूशन नमूनों के बीच अंतर करने की बेहतर क्षमता को दर्शाता है।

महत्व और दावे
शोध पत्र दावा करता है कि DIMS न्यूनतम लॉस सब-मैनिफोल्ड्स की ज्यामिति को स्पष्ट रूप से लक्षित करके डीप लर्निंग में अनिश्चितता परिमाणीकरण के लिए एक सिद्धांत-आधारित दृष्टिकोण प्रदान करता है। पारंपरिक अनुमानित पोस्टीरियर्स के विपरीत जो लो-लॉस क्षेत्रों में फैल सकते हैं बिना सटीक डेटा इंटरपोलेशन को लागू किए, DIMS न्यूनतम मैनिफोल्ड तक अभिसरण की गारंटी देता है। लेखक तर्क देते हैं कि यह दृष्टिकोण ऐसे फंक्शन-स्पेस नमल्स को उत्पन्न करने की अनुमति देता है जो प्रशिक्षण डेटा पर सहमत होते हैं लेकिन अन्य स्थानों पर भिन्न होते हैं, जो बेयसियन इन्फरेंस के लिए एक महत्वपूर्ण गुण है। यह कार्य सुझाव देता है कि भौतिकी-प्रेरित, ज्यामिति-जागरूक गतिशीलता ओवरपैरामीटराइज्ड नेटवर्क के जटिल लॉस लैंडस्केप को प्रभावी ढंग से नेविगेट कर सकती है, जो मौजूदा सैंपलिंग और एप्रोक्सिमेशन तकनीकों के लिए एक मजबूत विकल्प प्रदान करती है। लेखक स्वीकार करते हैं कि उच्च-आयामी स्थानों में ODE को हल करने की आवश्यकता के कारण यह विधि कम्प्यूटेशनल रूप से कठिन है, लेकिन उनका तर्क है कि यह ट्रेड-ऑफ बेहतर अनिश्चितता अनुमान प्रदान करता है।