🤖 machine learning

Black-Box Assisted Regression: Phase Transitions and Minimax Optimality

यह शोधपत्र ब्लैक-बॉक्स असिस्टेड नॉनपैरामेट्रिक रिग्रेशन का एक फाइनाइट-सैंपल मिनिमैक्स कैरेक्टराइजेशन स्थापित करता है, जो इष्टतम जोखिम (ऑप्टिमल रिस्क) में एक फेज ट्रांजिशन को प्रकट करता है और एक "सेफ रेसिडुअल एस्टिमेटर" प्रस्तावित करता है जो एक निश्चित प्रेडिक्टर को अनुकूल रूप से सुधारता है जबकि केवल ब्लैक-बॉक्स की तुलना में प्रदर्शन में किसी भी गिरावट की गारंटी देता है।

मूल लेखक: Yan Zhou

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yan Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए शहर में रास्ता खोजने की कोशिश कर रहे हैं। आपके पास दो उपकरण हैं:

एक स्थानीय विशेषज्ञ (द ब्लैक बॉक्स): एक दोस्त जो शहर को अच्छी तरह जानता है लेकिन कुछ विशिष्ट सड़कों के बारे में थोड़ा गलत हो सकता है। आप उसका नक्शा नहीं देख सकते और न ही उसकी राय बदल सकते हैं; आप केवल उससे दिशा-निर्देश मांग सकते हैं।
एक नया नक्शा (द लेबल डेटा): आपके द्वारा स्वयं एकत्र किए गए ताज़ा, सटीक नोट्स का एक छोटा सा ढेर, लेकिन वे बहुत कम हैं।

समस्या यह है: आप इन दोनों को बिना स्थिति को बिगाड़े कैसे मिला सकते हैं?

यदि आप आँख मूंदकर अपने दोस्त पर भरोसा करते हैं, तो आप उन सड़कों पर भटक सकते हैं जहाँ वह गलत है। लेकिन यदि आप उसे अनदेखा करते हैं और अपने नोट्स के छोटे से ढेर से पूरा शहर सीखने की कोशिश करते हैं, तो आप तुरंत रास्ता भटक सकते हैं क्योंकि आपके पास पर्याप्त जानकारी नहीं है।

यह शोध पत्र इसी समस्या को "सेफ रेसिडुअल एस्टीमेशन" (Safe Residual Estimation) नामक एक विधि का उपयोग करके हल करता है। यह कैसे काम करता है, इसका सरल अवधारणाओं में विवरण यहाँ दिया गया है:

1. "फेज़ ट्रांज़िशन" (द टिपिंग पॉइंट - निर्णायक मोड़)

लेखकों ने एक महत्वपूर्ण "टिपिंग पॉइंट" की खोज की है जो दो चीजों पर निर्भर करता है:

आपका दोस्त कितना अच्छा है: उनके दिशा-निर्देशों में कितनी त्रुटि है? (इसे हम $\delta$ कहते हैं)।
आपके पास कितने नोट्स हैं: आपके पास कितना नया डेटा है? (इसे हम $n$ कहते हैं)।

एक जादुई दहलीज (threshold) है जहाँ रणनीति बदल जाती है:

यदि आपका दोस्त बहुत अच्छा है (उनकी त्रुटि बहुत कम है) और आपके पास बहुत कम नोट्स हैं, तो सबसे अच्छा काम यह है कि बस अपने दोस्त की बात सुनें। उन्हें अपने छोटे से नोट्स के साथ "सुधारने" की कोशिश करना आपको केवल भ्रमित करेगा और स्थिति को बदतर बना देगा।
यदि आपका दोस्त खराब है (उनकी त्रुटि बहुत बड़ी है) या आपके पास बहुत सारे नोट्स हैं, तो आपको अपने दोस्त के विशिष्ट निर्देशों को अनदेखा करना चाहिए और अपने नोट्स का उपयोग करके अपना स्वयं का रास्ता बनाना चाहिए।

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि एक "सुरक्षित क्षेत्र" (safe zone) है जहाँ आप स्वचालित रूप से इन दोनों रणनीतियों के बीच स्विच कर सकते हैं।

2. समाधान: "सेफ रेसिडुअल" (Safe Residual) विधि

अपने दोस्त की सलाह और अपने नोट्स को किसी जटिल तरीके से मिलाने (जैसे दो रंगों को मिलाना) के बजाय, लेखक एक सरल, दो-चरणीय "सेफ्टी चेक" प्रणाली का प्रस्ताव करते हैं:

चरण A: "अंतर" को सीखें (द रेसिडुअल)
शुरुआत से ही पूरे शहर को सीखने के बजाय, आप केवल यह सीखते हैं कि आपका दोस्त कहाँ गलत था।

कल्पना कीजिए कि आपका दोस्त कहता है, "लाइब्रेरी 5th और मेन पर है।"
आपके नोट्स कहते हैं, "वास्तव में, यह 5ly और ओक पर है।"
आप पूरे शहर को फिर से सीखने की कोशिश नहीं करते। आप केवल छोटा सा सुधार सीखते हैं: "मेन से ओक की ओर बढ़ें।"
महत्वपूर्ण बात: आप शून्य सुधार के साथ शुरू करते हैं। शुरुआत में, आपका उत्तर बिल्कुल वही होता है जो आपके दोस्त ने कहा था। आप उत्तर को तभी बदलना शुरू करते हैं जब आपके नोट्स आपको एक मजबूत संकेत देते हैं।

चरण B: "सेफ्टी स्विच" (होल्डआउट सिलेक्शन)
सबसे महत्वपूर्ण हिस्सा यह है। आपके पास "टेस्ट नोट्स" (वैलिडेशन डेटा) का एक छोटा ढेर है जिसका उपयोग आपने अभी तक सीखने के लिए नहीं किया है।

आप इन टेस्ट नोट्स के लिए अपने दोस्त से दिशा-निर्देश मांगते हैं।
आप अपने "दोस्त + सुधार" (Friend + Correction) टीम से उन्हीं स्थानों के लिए दिशा-निर्देश मांगते हैं।
नियम: यदि आपकी "दोस्त + सुधार" टीम टेस्ट नोट्स पर अधिक सटीक है, तो आप उनका उपयोग करते हैं। यदि वे बदतर (या समान रूप से खराब) हैं, तो आप तुरंत वापस केवल अपने दोस्त की बात सुनने पर स्विच कर जाते हैं।

यह सुनिश्चित करता है कि आप कभी भी ऐसी स्थिति में न फंसें जहाँ आप अपने दोस्त को अकेले सुनने की तुलना में बदतर स्थिति में हों। यह "नेगेटिव ट्रांसफर" (negative transfer) को रोकता है—जो कि मदद करने की कोशिश में गलती करने का एक तकनीकी तरीका है।

3. उन्हें बस मिला क्यों नहीं देते? (ज्यामितीय सादृश्य)

आप सोच सकते हैं, "क्यों न मैं अपने दोस्त की सलाह का 50% और अपने नोट्स का 50% ले लूँ?"
लेखक इसे एक ज्यामितीय रूपक (geometric metaphor) का उपयोग करके समझाते हैं:

मिक्सिंग (एन्सेम्बलिंग): कल्पना कीजिए कि आपका दोस्त और आपके नोट्स एक रेखा पर दो बिंदु हैं। यदि आप उन्हें मिलाते हैं, तो आप केवल उस सीधी रेखा पर चलने के लिए मजबूर हैं जो उनके बीच है। यदि सत्य कहीं और है (रेखा से बाहर), तो आप कभी भी वहां तक नहीं पहुँच पाएंगे।
रेसिडुअल करेक्शन: रेखा पर चलने के बजाय, आप अपने दोस्त के स्थान से शुरू करते हैं और सत्य को खोजने के लिए सभी दिशाओं में देखते हैं। आप विशिष्ट त्रुटियों को ठीक करने के लिए आवश्यक किसी भी दिशा में जाने के लिए स्वतंत्र हैं, न कि केवल दो बिंदुओं के बीच एक सीधे पथ पर बंधे हुए।

4. वास्तविक दुनिया का प्रमाण

लेखकों ने इस विचार का परीक्षण दो तरीकों से किया:

सिंथेटिक मैथ (कृत्रिम गणित): उन्होंने नकली डेटा बनाया जहाँ उन्हें सटीक उत्तर पता था। उन्होंने दिखाया कि उनकी विधि उनके द्वारा अनुमानित सटीक "टिपिंग पॉइंट" से पूरी तरह मेल खाती है। जब दोस्त अच्छा था, तो वे दोस्त के साथ रहे। जब दोस्त खराब था, तो वे डेटा की ओर स्विच कर गए।
वास्तविक AI कार्य: उन्होंने इस पद्धति का उपयोग वास्तविक दुनिया के इमेज रिकग्निशन (बिल्लियों और कुत्तों की पहचान करना) और टेक्स्ट विश्लेषण (समाचार लेखों को छाँटना) पर किया।
- उन्होंने एक शक्तिशाली प्री-ट्रेंड AI (एक बहुत ही स्मार्ट दोस्त की तरह) को "ब्लैक बॉक्स" के रूप में उपयोग किया।
- उन्होंने इसे बहुत कम मात्रा में नया डेटा (few-shot learning) दिया।
- परिणाम: उनके "सेफ रेसिडुअल" (Safe Residual) पद्धति ने लगातार अन्य तरीकों से बेहतर प्रदर्शन किया। यह केवल AI का उपयोग करने से बेहतर था, AI को शुरू से प्रशिक्षित करने की कोशिश करने से बेहतर था, और दोनों को केवल औसत निकालने से भी बेहतर था। सबसे महत्वपूर्ण बात यह है कि यह कभी भी मूल AI से खराब प्रदर्शन नहीं करता था, भले ही नया डेटा बहुत शोर वाला (noisy) या दुर्लभ हो।

सारांश

यह शोध पत्र हमें शक्तिशाली AI उपकरणों का उपयोग करने के लिए एक सरल नियम सिखाता है: विशेषज्ञ को बदलने की कोशिश न करें; बस उनकी छोटी गलतियों को सुधारना सीखें। और सबसे महत्वपूर्ण बात यह है कि एक सेफ्टी स्विच रखें जो आपको तुरंत विशेषज्ञ पर भरोसा करने के लिए वापस जाने की अनुमति दे यदि उन्हें सुधारने का आपका प्रयास विफल हो जाता है। यह गारंटी देता है कि आप सुधारने की कोशिश में कभी भी पीछे नहीं हटेंगे।

तकनीकी सारांश: ब्लैक-बॉक्स असिस्टेड रिग्रेशन: फेज ट्रांज़िशन और मिनिमैक्स ऑप्टिमलिटी

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र ब्लैक-बॉक्स असिस्टेड नॉन-पैरामीट्रिक रिग्रेशन को संबोधित करता है, जो एक ऐसी स्थिति है जहाँ एक लर्नर के पास लक्षित वितरण (target distribution) से एक छोटा लेबल वाला डेटासेट $\mathcal{D}_n = \{(x_i, y_i)\}_{i=1}^n$ होता है, लेकिन उसके पास सोर्स डेटा, मॉडल पैरामीटर्स, या किसी प्री-ट्रेंड फाउंडेशन मॉडल को फाइन-ट्यून करने की क्षमता तक पहुँच नहीं होती है। इसके बजाय, लर्नर केवल एक निश्चित ब्लैक-बॉक्स प्रेडिक्टर $f_0: \mathcal{X} \to \mathbb{R}$ को क्वेरी कर सकता है।

मुख्य सांख्यिकीय चुनौती यह है कि $f_0$ का लक्षित वितरण पर एरर अज्ञात है। लक्षित रिग्रेशन फंक्शन $f^*$ को यह माना गया है कि:
$\|f^* - f_0\|_{L^2(P_X)} \le \delta$
जहाँ $\delta \ge 0$ एक अज्ञात प्रायर एरर रेडियस (prior error radius) है। लक्ष्य एक एस्टिमेटर $\hat{f}$ का निर्माण करना है जो MSE रिस्क $R(\hat{f}, f^*) = \mathbb{E}[\|\hat{f} - f^*\|_{L^2(P_X)}^2]$ को कम करे और नो नेगेटिव ट्रांसफर (no negative transfer) की गारंटी दे—अर्थात, अंतिम प्रेडिक्टर $f_0$ के उपयोग से काफी खराब प्रदर्शन नहीं करना चाहिए, भले ही $f_0$ अत्यधिक बायस्ड हो या लेबल वाला डेटा बहुत कम हो।

2. कार्यप्रणाली: सेफ रेसिडुअल एस्टिमेटर (The Safe Residual Estimator)

लेखक एक सेफ रेसिडुअल एस्टिमेटर प्रस्तावित करते हैं जो लर्निंग टास्क को एक फिक्स्ड प्रायर के चारों ओर रेसिडुअल करेक्शन (residual correction) को अनुमानित करने में विभाजित करता है। यह विधि $f^*(x) = f_0(x) + r^*(x)$ के अपघटन (decomposition) पर कार्य करती है, जहाँ $r^*$ अज्ञात रेसिड्यूल है।

प्रक्रिया सैंपल स्प्लिटिंग का उपयोग करके सिलेक्ट-एंड-एस्टिमेट (Select-and-Estimate) रणनीति का पालन करती है:

डेटा स्प्लिटिंग: लेबल वाले डेटा को एक ट्रेनिंग सेट $\mathcal{D}_{tr}$ और एक वैलिडेशन सेट $\mathcal{D}_{val}$ में विभाजित किया जाता है।
रेसिड्यूअल लर्निंग: एक रेसिड्यूल मॉडल $\hat{r}$ $\overset{r}{^}$ को रेसिड्यूल्स $y - f_0(x)$ $y - f_{0} (x)$ के स्क्वेर्ड एरर को कम करने के लिए $\mathcal{D}_{tr}$ $D_{t r}$ पर प्रशिक्षित किया जाता है।
- मुख्य कार्यान्वयन विवरण: न्यूरल नेटवर्क कार्यान्वयन के लिए, रेसिड्यूल हेड को जीरो-इनिशियलाइज (zero-initialized) किया जाता है। यह सुनिश्चित करता है कि ट्रेनिंग की शुरुआत में, $\hat{r} \equiv 0$ हो, और प्रेडिक्टर बिल्कुल $f_0$ के समान हो। मॉडल केवल तभी प्रायर से विचलित होता है जब डेटा एक मजबूत सिग्नल प्रदान करता है।
सेफ सिलेक्शन: एल्गोरिदम होल्ड-आउट वैलिडेशन सेट $\mathcal{D}_{val}$ $D_{v a l}$ पर दो उम्मीदवारों का मूल्यांकन करता है:
- उम्मीदवार A: ब्लैक-बॉक्स प्रायर $f_0$ ।
- उम्मीदवार B: सुधारा गया प्रेडिक्टर $f_0 + \hat{r}$ ।
- अंतिम एस्टिमेटर $\hat{f}_{safe}$ उस उम्मीदवार को चुनता है जिसमें वैलिडेशन लॉस कम होता है:
  $\hat{f}_{safe}(x) = f_0(x) + \hat{\alpha} \cdot \hat{r}(x), \quad \text{जहाँ } \hat{\alpha} = \mathbb{I}[L_{val}(f_0 + \hat{r}) < L_{val}(f_0)]$

यह बाइनरी सिलेक्शन मैकेनिज्म नेगेटिव ट्रांसफर को रोकने के लिए डिज़ाइन किया गया है। यदि सीखा गया करेक्शन वैलिडेशन डेटा द्वारा समर्थित नहीं है (जैसे शोर या उच्च आयामीता के कारण), तो एस्टिमेटर $f_0$ पर वापस आ जाता है।

3. मुख्य योगदान और सैद्धांतिक परिणाम

A. मिनिमैक्स लोअर बाउंड्स और फेज ट्रांज़िशन

यह शोध पत्र इस समस्या के लिए एक फाइनाइट-सैंपल मिनिमैक्स लोअर बाउंड स्थापित करता है। थ्योरम 5.4 सिद्ध करता है कि अग्रणी रिस्क टर्म दो मात्राओं में से न्यूनतम द्वारा शासित होता है:
$\text{Risk} \gtrsim \min\left( \delta^2, \, n^{-\frac{2\beta}{2\beta+d}} \right)$
जहाँ $\beta$ रेसिड्यूल क्लास (Hölder class) का स्मूथनेस पैरामीटर है और $d$ इनपुट डायमेंशन है।

यह परिणाम एक क्रिटिकल फेज ट्रांज़िशन की पहचान करता है जो थ्रेशोल्ड $\delta_c(n) \asymp n^{-\frac{\beta}{2\beta+d}}$ पर स्थित है:

प्रायर-डोमिनेटेड रिजीम ( $\delta \ll \delta_c(n)$ ): ब्लैक-बॉक्स एरर कम है। इष्टतम रिस्क इर्रिड्यूसिबल बायस $\delta^2$ द्वारा सीमित है। डेटा से सीखना प्रायर में महत्वपूर्ण सुधार नहीं कर सकता।
सैंपल-डोमिनेटेड रिजीम ( $\delta \gg \delta_c(n)$ ): ब्लैक-बॉक्स बायस्ड है। इष्टतम रिस्क मानक नॉन-पैरामीट्रिक रेट $n^{-\frac{2\beta}{2\beta+d}}$ का अनुसरण करता है, क्योंकि डेटा को करेक्शन को संचालित करना होगा।

B. सेफ रेसिड्यूअल एस्टिमेटर की ऑप्टिमलिटी

लेखक सिद्ध करते हैं (थ्योरम 5.5 और कोरोलरी 5.6) कि सेफ रेसिड्यूअल एस्टिमेटर इस मिनिमैक्स लोअर बाउंड को निम्नलिखित तक प्राप्त करता है:

एक एडिटिव वैलिडेशन-सिलेक्शन कॉस्ट $O(1/n)$ के क्रम में।
सैंपल स्प्लिटिंग के कारण एक कांस्टेंट इन्फ्लेशन फैक्टर $(1-\rho)^{-\frac{2\beta}{2\beta+d}}$ (जहाँ $\rho$ वैलिडेशन फ्रैक्शन है)।

महत्वपूर्ण रूप से, एस्टिमेटर एक ओरेकल इनइक्वेलिटी (Oracle Inequality) (थ्योरम 5.7) को संतुष्ट करता है:
$\text{Err}(\hat{f}_{safe}) \le (1+\gamma) \min\left( \text{Err}(f_0), \text{Err}(f_0 + \hat{r}) \right) + \frac{C \log(1/\delta')}{n_{val}}$
यह "सेफ्टी" गारंटी को औपचारिक रूप देता: चयनित प्रेडिक्टर दोनों उम्मीदवारों में से बेहतर के लगभग उतना ही अच्छा प्रदर्शन करता है, जो यह सुनिश्चित करता है कि ब्लैक-बॉक्स प्रायर के सापेक्ष कोई नेगेटिव ट्रांसफर न हो (केवल फाइनाइट-सैंपल वैलिडेशन कॉस्ट को छोड़कर)।

C. लीनियर एनसेम्बलिंग पर ज्यामितीय लाभ

शोध पत्र तर्क देता है कि लीनियर एनसेम्बलिंग ( $f_0$ और एक स्क्रैच एस्टिमेटर का भारित संयोजन) ज्यामितीय रूप से सीमित है। ऐसे एनसेम्बल प्रायर और स्क्रैच एस्टिमेटर के बीच एक एफाइन लाइन सेगमेंट (affine line segment) तक सीमित होते हैं। इसके विपरीत, रेसिड्यूअल एस्टिमेटर फंक्शन स्पेस में $f_0$ के केंद्र में एक बॉल (ball) के भीतर खोज करता है। यह रेसिड्यूअल मेथड को प्रायर के चारों ओर हाई-फ्रीक्वेंसी करेक्शन कैप्चर करने की अनुमति देता है, जिसे लीनियर एनसेम्बल एक्सेस नहीं कर सकते।

4. प्रयोगात्मक परिणाम

सिंथेटिक रिग्रेशन

1D और हाई-डायमेंशनल ( $d=20$ ) सिंथेटिक डेटा पर प्रयोग सैद्धांतिक फेज ट्रांज़िशन की पुष्टि करते हैं:

नेगेटिव ट्रांसफर की रोकथाम: उन रेगिम्स में जहाँ ब्लैक-बॉक्स परफेक्ट ( $\delta=0$ ) है लेकिन डेटा नॉइज़ी है, "रॉ रेसिड्यूअल" (हमेशा $f_0 + \hat{r}$ का उपयोग करना) ओवरफिटिंग से ग्रस्त होता है। सेफ रेसिड्यूअल सफलतापूर्वक $f_0$ पर वापस आता है (फॉलबैक रेट > 60%), जिससे रिस्क काफी कम हो जाता है।
हाई-डायमेंशनल रोबस्टनेस: सीमित सैंपल्स के साथ उच्च आयामों में, "स्क्रैच" एस्टिमेटर्स कर्से ऑफ डायमेंशनिटी (curse of dimensionality) से जूझते हैं। सेफ रेसिड्यूअल एस्टिमेटर अनुकूलित होता है, और जब रेसिड्यूल विश्वसनीय रूप से सीखा नहीं जा सकता, तो यह ब्लैक-बॉक्स पर वापस चला जाता है, जिससे स्थिरता बनी रहती है जहाँ अन्य तरीके विफल हो जाते हैं।

रियल-वर्ल्ड क्लासिफिकेशन (विज़न और NLP)

हालांकि सैद्धांतिक गारंटी स्क्वेर्ड-लॉस रिग्रेशन के लिए हैं, लेखक इस मैकेनिज्म का परीक्षण क्लासिफिकेशन टास्क पर करते हैं:

CIFAR-100 (CLIP): सेफ रेसिड्यूअल मेथड लगातार ज़ीरो-शॉट बेसलाइन, स्क्रैच ट्रेनिंग और वैलिडेशन-ट्यून्ड वेटेड एनसेम्बल्स से बेहतर प्रदर्शन करता है। विशेष रूप से, कम सैंपल साइज ( $n=200$ ) पर, वेटेड एनसेम्बल्स वैलिडेशन नॉइज़ के कारण कोलैप्स हो जाते हैं, जबकि सेफ रेसिड्यूअल मेथड मजबूत बना रहता है।
AG News (Qwen3-8B): अल्ट्रा-लो सैंपल रिजीम ( $n=16$ ) में, यह विधि 75.2% सटीकता प्राप्त करती है, जो ब्लैक-बॉक्स बेसलाइन (74.1%) से बेहतर है और वेटेड एनसेम्बल्स (71.2%) को काफी पीछे छोड़ देती है जो नेगेटिव ट्रांसफर से प्रभावित होते हैं।

5. महत्व और दावे

शोध पत्र का दावा है कि यह ब्लैक-बॉक्स असिस्टेड रिग्रेशन में प्रायर क्वालिटी और सैंपल कॉम्प्लेक्सिटी के बीच ट्रेड-ऑफ का पहला फाइनाइट-सैंपल मिनिमैक्स कैरेक्टराइजेशन प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

सैद्धांतिक कठोरता (Theoretical Rigor): सटीक फेज ट्रांज़िशन $\delta_c(n)$ की पहचान करना और यह सिद्ध करना कि एक सरल, सेफ सिलेक्शन स्ट्रैटेजी मिनिमैक्स ऑप्टिमल रेट प्राप्त करती है।
सुरक्षा गारंटी (Safety Guarantee): एक ओरेकल इनइक्वेलिटी के माध्यम से "नो नेगेटिव ट्रांसफर" को औपचारिक रूप देना, यह सुनिश्चित करना कि फाउंडेशन मॉडल का लाभ उठाना ब्लैक-बॉक्स के अकेले उपयोग के बेसलाइन से प्रदर्शन को कम नहीं करता है।
व्यावहारिक मैकेनिज्म (Practical Mechanism): यह प्रदर्शित करना कि जीरो-इनिशियलाइजेशन के साथ मिलकर होल्डआउट सिलेक्शन, जटिल ट्रांसफर लर्निंग या फाइन-ट्यूनिंग के मुकाबले एक मजबूत, कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है, विशेष रूप से फ्यू-शॉट और हाई-डायमेंशनल सेटिंग्स में।

लेखक स्पष्ट रूप से कहते हैं कि उनके औपचारिक गारंटी रैंडम डिजाइन धारणाओं के तहत स्क्वेर्ड-लॉस रिग्रेशन पर लागू होते हैं। क्लासिफिकेशन प्रयोगों को इस प्रमाण के रूप में प्रस्तुत किया गया है कि प्रायर क्वालिटी और करेक्शन कॉम्प्लेक्सिटी के बीच गुणात्मक ट्रेड-ऑफ व्यावहारिक सेटिंग्स में भी फैलता है, न कि केवल क्रॉस-एन्ट्रॉपी लॉस के लिए मिनिमैक्स रेट का प्रमाण के रूप में।