🤖 machine learning

Implicit Bias of Mirror Flow in Homogeneous Neural Networks: Sparse and Dense Feature Learning

यह शोध पत्र एक नवीन संतुलन समीकरण को व्युत्पन्न करके होमोजेनियस न्यूरल नेटवर्क में मिरर फ्लो के अंतर्निहित पूर्वाग्रह (implicit bias) को अभिलक्षित करता है और यह सिद्ध करता है कि भिन्न मिरर मैप्स, हालांकि समान मैक्स-मार्जिन समाधान की ओर अभिसरित होते हैं, फिर भी विरल (sparse) से सघन (dense) सक्रियताओं तक के व्यापक रूप से भिन्न फीचर लर्निंग व्यवहार को प्रेरित कर सकते हैं।

मूल लेखक: Tom Jacobs, Guido Montufar

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tom Jacobs, Guido Montufar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक धुंधले, पहाड़ी परिदृश्य में एक विशिष्ट गंतव्य तक पहुँचने के लिए सबसे अच्छा रास्ता खोजने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह "गंतव्य" डेटा को वर्गीकृत करने का एक आदर्श तरीका है (जैसे बिल्लियों और कुत्तों के बीच अंतर करना), और "रास्ता" वह संख्याओं का समूह (पैरामीटर्स) है जो एक न्यूरल नेटवर्क के भीतर होते हैं जिन्हें कंप्यूटर सीखता है।

वर्षों से, वैज्ञानिकों को पता है कि यदि आप इस पथ को खोजने के लिए मानक विधि (जिसे ग्रेडिएंट डिसेंट कहा जाता है) का उपयोग करते हैं, तो कंप्यूटर केवल कोई भी समाधान नहीं खोजता है; इसकी एक छिपी हुई प्राथमिकता होती है। यह स्वाभाविक रूप से एक ऐसे समाधान की ओर झुकता है जो विभिन्न प्रकार के डेटा के बीच एक विस्तृत संभव "सुरक्षा क्षेत्र" (मार्जिन) बनाता है। इसे एक ऐसे पदयात्री की तरह समझें जो, बिना बताए, हमेशा उस रास्ते को चुनता है जो चट्टान के किनारों से अधिकतम दूरी बनाए रखता है।

यह शोध पत्र एक अधिक उन्नत हाइकिंग तकनीक, मिरर फ्लो (Mirror Flow) की खोज करता है। समतल जमीन पर चलने के बजाय, मिरर फ्लो पदयात्री को एक ऐसे इलाके पर चलने देता है जिसे एक विशेष "मानचित्र" (जिसे मिरर पोटेंशियल कहा जाता है) के आधार पर कटोरे, सैडल (काठी), या ऊबड़-खाबड़ शिखर के आकार में ढाला जा सकता है।

यहाँ लेखकों द्वारा की गई खोजें दी गई हैं, जिन्हें रोजमर्रा की भाषा में अनुवादित किया गया है:

1. अलग-अलग मानचित्र, एक ही गंतव्य (लेकिन अलग-अलग गति)

शोधकर्ताओं ने पाया कि आप पदयात्री को मार्गदर्शन देने के लिए बहुत अलग-अलग मानचित्रों (गणितीय आकृतियों) का उपयोग कर सकते हैं। आश्चर्यजनक रूप से, भले ही मानचित्र पूरी तरह से अलग दिखते हों, वे सभी अंततः आपको उसी "सबसे विस्तृत सुरक्षा क्षेत्र" वाले गंतव्य तक ले जा सकते हैं।

हालाँकि, उनके वहाँ पहुँचने की गति में भारी अंतर होता है।

उपमा: कल्पना कीजिए कि दो पदयात्री एक शिखर तक पहुँचने की कोशिश कर रहे हैं। एक के पास एक मानचित्र है जो एक सुगम, सीधा रास्ता दिखाता है। दूसरे के पास एक मानचित्र है जो एक सुगम सड़क जैसा दिखता है लेकिन उसके बीच में एक छिपा हुआ, विशाल "उभार" है जो उसे लंबे समय तक स्लो मोशन में चलने के लिए मजबूर करता है, इससे पहले कि वह फिर से तेज हो सके।
निष्कर्ष: शोध पत्र दिखाता है कि यदि आप गलत "मानचित्र" चुनते हैं (विशेष रूप से, यदि एक विशेष सेटिंग जिसे $\lambda$ कहा जाता है, बहुत अधिक है), तो कंप्यूटर उस पूर्ण गंतव्य तक पहुँचने में घातांकीय रूप से लंबा समय (exponentially long time) ले सकता है। यह ऐसा है जैसे पदयात्री वर्षों तक एक घाटी में फँसा रहता है इससे पहले कि उसे एहसास हो कि वह आखिरकार बाहर चढ़ सकता है।

2. समाधान का आकार: स्पार्स (Sparse) बनाम डेंस (Dense)

सबसे रोमांचक खोज यह है कि जब वे अंततः पहुँचते हैं, तो समाधान कैसा दिखता है। "मानचित्र" का आकार यह निर्धारित करता है कि अंतिम समाधान स्पार्स (Sparse) होगा या डेंस (Dense)।

स्पार्स लर्निंग (द स्नाइपर): कुछ मानचित्र (जैसे कि उल्लेखित "हाइपरबोलिक एंट्रॉपी") एक स्नाइपर की तरह काम करते हैं। वे न्यूरल नेटवर्क को अपने अधिकांश न्यूरॉन्स को बंद करने और केवल कुछ ही सक्रिय रखने के लिए मजबूर करते हैं जो सारा मुख्य काम करते हैं। यह एक ऐसी टीम की तरह है जहाँ केवल दो लोग सारा काम कर रहे हैं और बाकी आराम कर रहे हैं। यह सरल, कुशल मॉडल बनाने के लिए बेहतरीन है।
डेंस लर्निंग (द कोरस): अन्य मानचित्र (जैसे कि मानक "स्मूथेड होमोजेनियस") एक गायक मंडली (choir) की तरह काम करते हैं। वे सभी न्यूरॉन्स को जागने और भाग लेने के लिए प्रोत्साहित करते हैं, जिससे कार्यभार साझा किया जा सके। हर कोई थोड़ा-थोड़ा गाता है। यह एक ऐसा समाधान बनाता है जहाँ "वेट्स" (न्यूरॉन का महत्व) अधिक समान रूप से फैले होते हैं।

3. हाइक का "संतुलन"

लेखकों ने पदयात्री के चलने के तरीके को समझने के लिए एक नया गणितीय नियम ("बैलेंस इक्वेशन") विकसित किया है।

उपमा: मानक हाइकिंग में, यदि आप एक पहाड़ी पर चढ़ते हैं, तो आप जानते हैं कि आपकी ऊर्जा कैसे बदलती है। लेखकों ने पाया कि इन अजीब, घुमावदार मानचित्रों के लिए भी एक समान नियम है। उन्होंने सिद्ध किया कि मानचित्र कितना भी अजीब क्यों न हो, एक छिपा हुआ "संरक्षित मात्रा" (जैसे कि एक विशिष्ट प्रकार की ऊर्जा) होता है जो पदयात्री के चलते समय संतुलित रहता है। यह नियम उन्हें यह अनुमान लगाने की अनुमति देता है कि पदयात्री अंततः कहाँ पहुँचेगा।

4. "होराइजन" (क्षितिज) फंक्शन

जैसे-जैसे पदयात्री शुरुआती बिंदु से दूर जाता है (जैसे-जैसे कंप्यूटर के नंबर बहुत बड़े होते जाते हैं), इलाका एक विशिष्ट आकार लेने लगता है। लेखक इसे होराइजन फंक्शन कहते हैं।

निष्कर्ष: पदयात्री द्वारा ली जाने वाली अंतिम दिशा पूरी तरह से इस होराइजन के आकार पर निर्भर करती है। यदि मानचित्र को "L1" आकार (एक हीरे की तरह) दिखने के लिए डिज़ाइन किया गया है, तो पदयात्री एक स्पार्स समाधान तक पहुँचता है। यदि यह "L2" आकार (एक वृत्त की तरह) दिखता है, तो पदयात्री एक डेंस समाधान तक पहुँचता है। शोध पत्र प्रशिक्षण समाप्त होने से पहले ही परिणाम का अनुमान लगाने के लिए इस होराइजन की गणना करने का एक तरीका प्रदान करता है।

मुख्य निष्कर्षों का सारांश

चुनाव मायने रखता है: आप अपने AI को प्रशिक्षित करने के लिए विभिन्न गणितीय "मानचित्रों" का चयन कर सकते हैं।
स्पीड ट्रैप: कुछ मानचित्र अच्छे दिखते हैं लेकिन यदि आप सेटिंग्स को सही ढंग से ट्यून नहीं करते हैं, तो वे प्रशिक्षण को अनंत काल तक लंबा (घातांकीय रूप से धीमा) बना सकते हैं।
फीचर कंट्रोल: आप इन मानचित्रों का उपयोग AI को "स्पार्स" (कम सक्रिय भागों का उपयोग करना) या "डेंस" (कई सक्रिय भागों का उपयोग करना) बनने के लिए मजबूर करने के लिए कर सकते हैं, जिससे आपको मॉडल की अंतिम संरचना पर नियंत्रण मिलता है।
एकीकृत दृष्टिकोण: यह शोध पत्र इन सभी अलग-अलग व्यवहारों को एक सिद्धांत में बांधता है, यह दिखाते हुए कि "मानचित्र" की ज्यामिति यह निर्धारित करती है कि AI कितनी तेजी से सीखता है और वह किस प्रकार का "मस्तिष्क" विकसित करता है।

संक्षेप में, यह शोध पत्र हमें न केवल सबसे अच्छा रास्ता खोजने के लिए, बल्कि यह चुनने के लिए भी एक नया टूलकिट देता है कि हम किस प्रकार का रास्ता चलना चाहते हैं, और हमें उन स्पीड बम्प्स के बारे में सावधान करता है जिन्हें हम अनजाने में पैदा कर सकते हैं।

तकनीकी सारांश: होमोजेनियस न्यूरल नेटवर्क में मिरर फ्लो का इम्पलिसिट बायस (Implicit Bias)

समस्या विवरण (Problem Statement)

यह शोध पत्र होमोजेनियस न्यूरल नेटवर्क में मिरर फ्लो (mirror flow) के इम्पलिसिट रेगुलराइजेशन (इम्पलिसिट बायस) के संबंध में एक एकीकृत सिद्धांत के अभाव को संबोधित करता है। यह स्थापित तथ्य है कि सेपरेबल डेटा पर प्रशिक्षित होमोजेनियस न्यूरल नेटवर्क पर ग्रेडिएंट फ्लो, $L_2$ मैक्स-मार्जिन क्लासिफायर की दिशा में अभिसरण (converge) करता है, लेकिन मिरर फ्लो—जो एक व्यापक वर्ग है जो एक स्ट्रिक्टली कॉन्वेक्स मिरर पोटेंशियल $R$ द्वारा प्रेरित ज्यामिति का उपयोग करके ग्रेडिएंट फ्लो का सामान्यीकरण करता है—का व्यवहार गैर-रैखिक (non-linear) सेटिंग्स में काफी हदता हुआ है।

मिरर फ्लो इम्पलिसिट बायस पर पूर्व कार्य रैखिक मॉडलों या मैट्रिक्स फैक्टराइजेशन जैसे विशिष्ट सेटिंग्स तक सीमित रहे हैं। गैर-रैखिक होमोजेनियस नेटवर्क में इन परिणामों को विस्तारित करने में एक प्रमुख चुनौती मार्जिन की एक उपयुक्त धारणा को परिभाषित करना और मापदंडों (parameters) के विचलन (divergence) के समय एक मैक्स-मार्जिन समाधान की ओर अभिसरण स्थापित करना है (जो एक्सपोनेंशियल-टेल लॉस को शून्य करने के लिए आवश्यक है)। इसके अलावा, यह स्पष्ट नहीं है कि मिरर मैप का चयन (जैसे हाइपरबोलिक एंट्रॉपी बनाम स्मूद् होकर होमोजेनियस पोटेंशियल) सीखे गए क्लासिफायर की ज्यामिति और परिणामी फीचर रिप्रजेंटेशन (स्पार्स बनाम डेंस) को कैसे प्रभावित करता है।

कार्यप्रणाली (Methodology)

लेखक होमोजेनियस न्यूरल नेटवर्क पर मिरर फ्लो की लेट-फेज डायनेमिक्स को चरित्रित करने के लिए एक सैद्धांतिक ढांचा विकसित करते हैं। उनके मुख्य पद्धतिगत योगदान निम्नलिखित हैं:

नया बैलेंस समीकरण (Novel Balance Equation): कॉनवेक्स डुअलिटी और फेनसेल-यंग आइडेंटिटी का उपयोग करते हुए, लेखक मिरर फ्लो के लिए एक नया बैलेंस समीकरण व्युत्पन्न करते हैं। मानक ग्रेडिएंट फ्लो बैलेंस समीकरण के विपरीत, जो लेयर-वाइज स्क्वेर्ड यूक्लिडियन नॉर्म्स को समान करता है, यह नया समीकरण विभिन्न परतों के बीच ड्यूल पोटेंशियल $Q_i(\nabla_i R_i(W_i))$ को जोड़ता है। यहाँ, $Q$ , मिरर पोटेंशियल $R$ का कॉनवेक्स कंजुगेट है।
Q-मार्जिन की परिभाषा: मिरर फ्लो में मार्जिन की अवधारणा को सामान्य करने के लिए, लेखक Q-मार्जिन को परिभाषित करते हैं, जो ड्यूल पोटेंशियल $Q(\nabla R(\theta))$ के माध्यम से दिया गया है। यह ग्रेडिएंट डिसेंट में उपयोग किए जाने वाले $L_2$ -मार्जिन के मिरर एनालॉग के रूप में कार्य करता है।
होराइजन फंक्शन विश्लेषण (Horizon Function Analysis): लेखक एक होराइजन फंक्शन $\phi_\alpha(\theta) = \lim_{\eta \to 0} \eta (\alpha Q(\nabla R(\theta/\eta)))^{1/\alpha}$ के माध्यम से मिरर पोटेंशियल के एसिम्प्टोटिक व्यवहार का विश्लेषण करते हैं। यह फंक्शन बड़े पैरामीटर स्केल्स पर $R$ के लेवल सेट्स की ज्यामिति को कैप्चर करता है और डायनेमिक्स की सीमित दिशा को नियंत्रित करता है।
अभिसरण विश्लेषण (Convergence Analysis): शोध पत्र लॉस (loss) के अभिसरण और $Q$ के विकास (growth) के लिए अभिसरण दरों को स्थापित करता है। यह होमोजेनियस पोटेंशियल (जहाँ $R(\theta) \sim \|\theta\|^p$ ) और नॉन-होमोजेनियस पोटेंशियल (विशेष रूप से हाइपरबोलिक एंट्रॉपी और हाइपरपैरामीटर $\lambda$ द्वारा नियंत्रित स्मूद् होकर होमोजेनियस पोटेंशियल) के बीच अंतर करता है।
KKT कैरेक्टराइजेशन: लेखक सिद्ध करते हैं कि पैरामीटर दिशा वर्गीकरण बाधाओं (classification constraints) के अधीन एक कंस्ट्रेंड ऑप्टिमाइजेशन समस्या के करुश-कुह्न-टकर (KKT) पॉइंट की ओर अभिसरित होती है, जो होराइजन फंक्शन के वर्ग को मिनिमाइज करती है।

मुख्य योगदान (Key Contributions)

1. मैक्स-मार्जिन सॉल्यूशंस का सैद्धांतिक कैरेक्टराइजेशन

यह शोध पत्र होमोजेनियस न्यूरल नेटवर्क के संदर्भ में मिरर फ्लो के लिए पहला मैक्स-मार्जिन कैरेक्टराइजेशन प्रदान करता है।

थ्योरम 4.7 और 4.8: यह दिखाया गया है कि मिरर फ्लो होराइजन फंक्शन $\phi_\alpha$ को मिनिमाइज करने वाले समाधान की दिशा में अभिसरित होता है। स्मूद् होकर होमोजेनियस पोटेंशियल ( $\alpha = p \ge 2$ ) के लिए, यह $L_p$ -जैसे मैक्स-मार्जिन के अनुरूप है। हाइपरबोलिक एंट्रॉपी ( $\alpha = 1$ ) के लिए, यह $L_1$ मैक्स-मार्जिन के अनुरूप है।
बैलेंस इक्वेशन (लेम्मा 3.1): लेयर-वाइज सेपरेबल मिरर मैप्स के लिए एक संरक्षित मात्रा (conserved quantity) व्युत्पन्न की गई है, जो परतों के बीच ड्यूल पोटेंशियल के विकास को जोड़ती है।

2. अभिसरण दरें और नॉन-होमोजेनिटी (Convergence Rates and Non-Homogeneity)

अध्ययन से पता चलता है कि मिरर पोटेंशियल में नॉन-होमोजेनिटी की डिग्री अभिसरण की गति को महत्वपूर्ण रूप से प्रभावित करती है।

थ्योरम 4.6: लॉस और $Q$ के विकास के लिए अभिसरण दरें होमोजेनिटी डिग्री $\alpha$ पर निर्भर करती हैं। बड़ा $\alpha$ मल्टीप्लिकेटिव लॉगरिदमिक फैक्टर द्वारा अभिसरण को धीमा कर सकता है।
एक्सपोनेंशियल स्लोडाउन (लेम्मा 4.10): नॉन-होमोजेनियस पोटेंशियल (जैसे हाइपरबोलिक एंट्रॉपी जिसमें $\lambda$ पैरामीटर है) के लिए, Q-मार्जिन को एसिम्प्टोटिक होराइजन फंक्शन के साथ संरेखित (align) करने के लिए आवश्यक समय नेटवर्क विड्थ $n$ के सापेक्ष एक्सपोनेंशियल रूप से लंबा हो सकता है यदि $\lambda$ बड़ा है। विशेष रूप से, हाइपरबोलिक एंट्रॉपी के लिए संरेखण में $\Omega(\exp(\sqrt{\lambda n} L))$ समय लगता है। इसका तात्पर्य यह है कि यदि हाइपरपैरामीटर्स को सही ढंग से ट्यून नहीं किया गया है, तो सैद्धांतिक मैक्स-मार्जिन समाधान तक पहुँचना व्यावहारिक रूप से असंभव हो सकता है।

3. स्पार्स बनाम डेंस फीचर लर्निंग (Sparse vs. Dense Feature Learning)

शोध पत्र प्रदर्शित करता है कि मिरर मैप की ज्यामिति सीखे गए फीचर रिप्रजेंटेशन की स्पर्सिटी (sparsity) को निर्धारित करती है।

थ्योरम 4.9: एक टू-लेयर नेटवर्क में, मिरर मैप का चयन अलग-अलग ऑप्टिमाइजेशन लैंडस्केप की ओर ले जाता है:
- हाइपरबोलिक एंट्रॉपी ( $\alpha=1$ ): यह नेटवर्क को स्पार्स समाधानों की ओर झुकाता है, जिससे कम न्यूरॉन्स सक्रिय होते हैं। ऑप्टिमाइजेशन समस्या प्रभावी रूप से प्रभावी वेट्स पर $L_1$ -टाइप नॉर्म को मिनिमाइज करती है।
- स्मूद् होकर होमोजेनियस पोटेंशियल ( $\alpha \ge 2$ ): यह नेटवर्क को डेंस समाधानों की ओर झुकाता है, जिससे होमोजेनियस वेट मैग्नीट्यूड के साथ अधिक न्यूरॉन्स सक्रिय होते हैं।
एम्पिरिकल वैलिडेशन: सिंथेटिक स्टूडेंट-टीचर सेटअप और CIFAR-10 (VGG-16) पर प्रयोग इन सैद्धांतिक भविष्यवाणियों की पुष्टि करते हैं। हाइपरबोलिक एंट्रॉपी स्पार्स वेट डिस्ट्रीब्यूशन देती है, जबकि स्मूद् पोटेंशियल डेंस डिस्ट्रीब्यूशन देते हैं।

4. मॉडुलैरिटी और NTK के निहितार्थ (Modularity and NTK Implications)

मॉडुलैरिटी: फ्रेमवर्क लेयर-वाइज अलग-अलग मिरर मैप्स तक विस्तारित होता है, जो परिणामी कंस्ट्रेंड ऑप्टिमाइजेशन समस्या में एक मॉडुलर संरचना दिखाता है।
RKBS बनाम RKHS: लेखक नोट करते हैं कि परिणामी मैक्स-मार्जिन कैरेक्टराइजेशन को आमतौर पर रिप्रोडसिंग कर्नेल हिल्बर्ट स्पेस (RKHS) फ्रेमवर्क (जैसा कि मानक न्यूरल टेंगेंट कर्नेल थ्योरी में होता है) के भीतर कैप्चर नहीं किया जा सकता है, बल्कि इसके लिए ऑब्जेक्टिव की नॉन-यूक्लिडियन ज्यामिति के कारण रिप्रोडसिंग कर्नेल बानैक स्पेस (RKBS) की आवश्यकता होती है।

परिणाम (Results)

सिंथेटिक प्रयोग: स्टूडेंट-टीचर सेटअप में, अलग-अलग मिरर मैप्स (ग्रेडिएंट डिसेंट, हाइपरबोलिक एंट्रॉपी, $p=3$ स्मूद्) अलग-अलग मैक्स-मार्जिन दिशाओं की ओर अभिसरित हुए। $p=3$ और मानक ग्रेडिएंट डिसेंट की तुलना में हाइपरबोलिक एंट्रॉपी में काफी कम सक्रिय न्यूरॉन्स देखे गए।
हाइपरपैरामीटर संवेदनशीलता: प्रयोगों ने पुष्टि की कि नॉन-होमोजेनिटी पैरामीटर $\lambda$ के बड़े मान मॉडल को उचित प्रशिक्षण समय के भीतर सैद्धांतिक मैक्स-मार्जिन समाधान तक पहुँचने से रोकते हैं, जिससे सीखा गया रिप्रजेंटेशन मानक ग्रेडिएंट डिसेंट के करीब रहता है।
विज़न टास्क: CIFAR-10 पर, हाइपरबोलिक एंट्रॉपी ने ग्रेडिएंट डिसेंट और स्मूद् पोटेंशियल की तुलना में थोड़ी उच्च वैलिडेशन एक्यूरेसी प्राप्त की। वेट प्रूनिंग प्रयोगों ने दिखाया कि हाइपरबोलिक एंट्रॉनी के साथ प्रशिक्षित मॉडल प्रूनिंग के प्रति अधिक मजबूत (स्पार्स रिप्रजेंटेशन के अनुरूप) थे, जबकि स्मूद् पोटेंशियल कम मजबूत थे।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह होमोजेनियस न्यूरल नेटवर्क में स्पार्स और डेंस फीचर लर्निंग पर एक एकीकृत दृष्टिकोण प्रदान करता है। यह रेखांकित करता है कि:

मिरर मैप्स ऑप्टिमाइजेशन डायनेमिक्स को आकार देते हैं: मिरर पोटेंशियल का चुनाव केवल एक संख्यात्मक उपकरण नहीं है, बल्कि यह मौलिक रूप से इम्पलिसिट बायस को बदल देता है, जिससे नेटवर्क को विशिष्ट ज्यामितीय समाधानों (स्पार्स बनाम डेंस) की ओर निर्देशित किया जाता है।
सिद्धांत पर व्यावहारिक बाधाएं: हालांकि सैद्धांतिक मैक्स-मार्जिन समाधान मौजूद हैं, लेकिन नॉन-होमोजेनियस मिरर्स के लिए अभिसरण दरें अत्यधिक धीमी हो सकती हैं। यह सुनिश्चित करने के लिए कि सैद्धांतिक बायस वास्तव में प्राप्त हो, हाइपरपैरामीटर (विशेष रूप से $\lambda$ ) चुनने के लिए ठोस मार्गदर्शन प्रदान करता है।
ग्रेडिएंट फ्लो का सामान्यीकरण: परिणाम ग्रेडिएंट फ्लो के क्लासिकल अंडरस्टैंडिंग को एक व्यापक परिवार के एल्गोरिदम तक विस्तारित करते हैं, यह दिखाते हुए कि "मैक्स-मार्जिन" सिद्धांत बना रहता है, लेकिन इसकी ज्यामिति मिरर पोटेंशियल के होराइजन फंक्शन द्वारा परिभाषित होती है।

लेखक विनम्रतापूर्वक नोट करते हैं कि सामान्य पोटेंशियल के लिए $\alpha < 2$ रिजीम तक इन परिणामों का विस्तार करना और परिमित लर्निंग रेट और अर्ली स्टॉपिंग के प्रभावों को समझना भविष्य के कार्य के लिए खुले प्रश्न बने हुए हैं।