💬 NLP

When and How Unlabeled Data Provably Improve In-Context Learning

यह शोध पत्र सैद्धांतिक रूप से यह प्रदर्शित करता है कि जबकि एकल-परत रैखिक अटेंशन मॉडल बिना लेबल वाले डेटा का उपयोग करने में विफल रहते हैं, मल्टीलेयर या लूप वाले ट्रांसफॉर्मर इन-कॉन्टेक्स्ट लर्निंग में सुधार कर सकते हैं क्योंकि वे स्पष्ट रूप से एक्सपेक्टेशन मैक्सिमाइजेशन (Expectation Maximization) के समान पुनरावृत्ति अनुमानकों (iterative estimators) का निर्माण करते हैं, जो एक ऐसी क्षमता है जो ऑफ-द-शेल्फ फाउंडेशन मॉडल्स पर लागू होने पर सेमी-सुपरवाइज्ड टैबुलर लर्निंग के लिए महत्वपूर्ण प्रदर्शन लाभों में परिवर्तित हो जाती है।

मूल लेखक: Yingcong Li, Xiangyu Chang, Muti Kara, Xiaofeng Liu, Amit Roy-Chowdhury, Samet Oymak

प्रकाशित 2026-01-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yingcong Li, Xiangyu Chang, Muti Kara, Xiaofeng Liu, Amit Roy-Chowdhury, Samet Oymak

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "When and How Unlabeled Data Provably Improve In-Context Learning" का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके किया गया विवरण दिया गया है।

बड़ी तस्वीर: "स्मार्ट अनुमान लगाने" का खेल

कल्पना कीजिए कि आप एक जासूस हैं जो किसी रहस्य को सुलझाने की कोशिश कर रहे हैं। आपके पास एक नोटबुक (प्रॉम्प्ट) है जो सुरागों से भरी हुई है।

सुराग: कुछ सुरागों के बगल में स्पष्ट उत्तर लिखे हैं (जैसे, "यह उंगलियों के निशान बटलर के हैं")। ये लेबल वाला डेटा (labeled data) है।
रहस्य: आपके पास एक नया सबूत (एक क्वेरी) है और आपको अनुमान लगाना है कि अपराधी कौन है।
लापता जानकारी: वास्तविक दुनिया में, अक्सर आपके पास बहुत सारे सुराग होते हैं, लेकिन उनमें से कई के पास अभी तक उत्तर नहीं लिखा गया है (जैसे, "यह पदचिह्न... [खाली]")। यह अनलेबल डेटा (unlabeled data) है।

इन-कॉन्टेक्स्ट लर्निंग (ICL) एक सुपर-स्मार्ट जासूस (एक ट्रांसफार्मर मॉडल) की तरह है जो आपकी नोटबुक को देखता है और नए रहस्य को सुलझाने के लिए पैटर्न को समझने की कोशिश करता है, बिना खुद को फिर से प्रशिक्षित (retrain) किए।

शोध पत्र एक सरल प्रश्न पूछता है: क्या यह जासूस केवल उन सुरागों को देखकर स्मार्ट हो सकता है जिनके उत्तर नहीं लिखे गए हैं?

मुख्य खोज: गहराई मायने रखती है

शोधकर्ताओं ने पाया कि उत्तर पूरी तरह से इस बात पर निर्भर करता है कि जासूस की सोचने की प्रक्रिया कितनी "गहरी" है। उन्होंने दो प्रकार के जासूसों का परीक्षण किया:

1. एक-परत वाला जासूस (The "Surface Reader")

कल्पना कीजिए कि एक जासूस जो नोटबुक को केवल एक बार सरसरी निगाह से देखता है।

वे क्या करते हैं: वे उत्तरों वाले सुरागों को देखते हैं, उनका औसत निकालते हैं, और एक अनुमान लगाते हैं।
समस्या: यदि वे बिना उत्तर वाले सुरागों का ढेर देखते हैं, तो वे उन्हें पूरी तरह से अनदेखा कर देते हैं। उनके लिए, एक खाली पन्ना सिर्फ एक खाली पन्ना है।
शोध का निष्कर्ष: गणितीय रूप से, एक सिंगल-लेयर मॉडल लेबल वाले सुरागों का उपयोग करने का सही तरीका सीख लेता है, लेकिन वह अनलेबल डेटा में छिपी जानकारी के प्रति अंधा (blind) होता है। यह एक पहेली को हल करने की कोशिश करने जैसा है जबकि आप आधे टुकड़ों को अनदेखा कर रहे हैं, भले ही वे टुकड़े वहीं मेज पर रखे हों।

2. बहु-परत वाला जासूस (The "Deep Thinker")

अब, एक ऐसे जासूस की कल्पना करें जो नोटबुक को देख सकता है, एक मोटा अनुमान लगा सकता है, फिर से देख सकता है, अपने अनुमान को सुधार सकता है, और फिर से देख सकता है। यह एक मल्टी-लेयर (multi-layer) या लूप वाला (looped) मॉडल है।

वे क्या करते हैं: वे खाली सुरागों का उपयोग पहेली के आकार को समझने में मदद के लिए करते हैं।
- चरण 1: वे लेबल वाले सुरागों के आधार पर एक खाली सुराग के लिए उत्तर का अनुमान लगाते हैं।
- चरण 2: वे उस अनुमान को ऐसे मानते हैं जैसे कि वह वास्तविक हो और पूरे समूह की समझ को बेहतर बनाने के लिए उसका उपयोग करते हैं।
- चरण 3: वे इस प्रक्रिया को दोहराते हैं, हर बार गुजरने के साथ और भी स्मार्ट होते जाते हैं।
शोध का निष्कर्ष: ये गहरे मॉडल प्रभावी रूप से "खाली जगहों को भरने" में सक्षम हैं। वे अनलेबल डेटा को उपयोगी जानकारी में बदल देते हैं, जिससे वे पूर्ण समाधान (बेयस-ऑप्टिमल क्लासिफायर) के बहुत करीब पहुँच जाते हैं।

जादुई तंत्र: "पॉलीनोमियल लैडर" (Polynomial Ladder)

गहरा जासूस वास्तव में यह कैसे करता है? शोध पत्र इसे पॉलीनोमियल्स (polynomials) की एक गणितीय अवधारणा का उपयोग करके समझाता है।

उपमा: अनलेबल डेटा को एक सीढ़ी (ladder) के रूप में सोचें।
- एक 1-लेयर मॉडल केवल नीचे के पायदान (पहले कदम) पर खड़ा हो सकता है। वह ऊपर नहीं पहुँच सकता।
- एक मल्टी-लेयर मॉडल सीढ़ी चढ़ सकता है। प्रत्येक परत एक नया पायदान जोड़ती है।
- शोध पत्र सिद्ध करता है कि केवल कुछ परतों (या लूप्स) के साथ, मॉडल इतनी ऊँचाई तक चढ़ सकता है कि वह एक जटिल संरचना (एक उच्च-डिग्री पॉलीनोमियल) बना सके जो लेबल और अनलेबल डेटा को पूरी तरह से जोड़ती है।
परिणाम: मॉडल एक प्रसिद्ध एल्गोरिदम जिसे एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) कहा जाता है, जैसा दिखने लगता है। यह सांख्यिकी में उपयोग किया जाने वाला एक मानक तरीका है जहाँ आप एक गायब मान का अनुमान लगाते हैं, अपने मॉडल को अपडेट करने के लिए उस अनुमान का उपयोग करते हैं, और फिर से अनुमान लगाते हैं। शोध पत्र दिखाता है कि डीप ट्रांसफॉर्मर अनिवार्य रूप से इस "अनुमान लगाओ और जाँचो" चक्र को स्वचालित रूप से कर रहे हैं, बिना इसके कि उन्हें इसके लिए स्पष्ट रूप से प्रोग्राम किया गया हो।

वास्तविक दुनिया के डेटा के लिए "लूपिंग" ट्रिक

शोधकर्ताओं ने केवल सिद्धांत तक ही सीमित नहीं रहना चाहा। वे देखना चाहते थे कि क्या यह वास्तविक डेटा पर काम करता है, विशेष रूप से टेबुलर फाउंडेशन मॉडल्स (Tabular Foundation Models) पर (AI मॉडल जो एक्सेल शीट जैसे स्प्रेडशीट-नुमा डेटा को संभालने के लिए डिज़ाइन किए गए हैं)।

प्रयोग: उन्होंने एक प्री-ट्रेन्ड मॉडल (TabPFN) लिया और उसे कुछ गायब उत्तरों वाला एक छोटा डेटासेट दिया।
रणनीति (LoopTabFM): मॉडल को केवल एक बार चलाने के बजाय, उन्होंने इसे चलाया, गायब उत्तरों के लिए इसके "सॉफ्ट गेस" (soft guesses) लिए, उन अनुमानों को वापस नोटबुक में जोड़ा, और मॉडल को फिर से चलाया। उन्होंने इसे कुछ बार (लूपिंग) किया।
परिणाम: इस सरल "लूपिंग" रणनीति ने वास्तविक दुनिया के डेटासेट पर मॉडल की सटीकता में काफी सुधार किया। इसने साबित कर दिया कि मॉडल को अपने ही अनुमानों को "दोबारा पढ़ने" देने से, वह अनलेबल डेटा का लाभ उठाकर बहुत अधिक स्मार्ट हो सकता है।

मुख्य निष्कर्षों का सारांश

एक परत पर्याप्त नहीं है: यदि आपके पास केवल एक उथला (shallow) मॉडल है, तो अनलेबल डेटा जोड़ना बेकार है। मॉडल उसे अनदेखा कर देगा।
गहराई ही कुंजी है: अनलेबल डेटा के मूल्य को अनलॉक करने के लिए आपको एक गहरा मॉडल (या मॉडल को लूप करने की क्षमता) की आवश्यकता होती है।
यह आत्म-शिक्षण (Self-Teaching) जैसा है: गहरे मॉडल स्वाभाविक रूप से "गायब लेबल का अनुमान लगाने और फिर से सीखने" की प्रक्रिया की नकल करते हैं, जिससे वे उपलब्ध हर सूचना का उपयोग कर पाते हैं।
वास्तविक दुनिया का प्रमाण: यह केवल गणित नहीं है; यह स्प्रेडशीट डेटा पर काम करता है। मॉडल को कुछ बार लूप करके, आप अधिक लेबल वाला डेटा प्राप्त किए बिना बेहतर परिणाम प्राप्त कर सकते हैं।

संक्षेप में, शोध पत्र सिद्ध करता है कि गहराई AI को अनलेबल डेटा में छिपे पैटर्न को "देखने" की अनुमति देती है, जिससे खाली सुरागों के ढेर को एक सुलझे हुए रहस्य में बदल दिया जाता है।

तकनीकी सारांश: अनलेबल डेटा (Unlabeled Data) कब और कैसे प्रमाणिक रूप से इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning) में सुधार करता है

समस्या विवरण (Problem Statement)

यह शोध पत्र ट्रांसफॉर्मर्स की सेमी-सुपरवाइज्ड इन-कॉन्टेक्स्ट लर्निंग (SS-ICL) करने की क्षमताओं की जांच करता है। विशेष रूप से, यह उस परिदृश्य को संबोधित करता है जहाँ एक मॉडल को फीचर-लेबल जोड़ों $(x_i, y_i)$ वाले डेटासेट के साथ प्रॉम्प्ट किया जाता है, लेकिन कुछ लेबल गायब (0 पर सेट) होते हैं। लक्ष्य केवल दिए गए कॉन्टेक्स्ट का उपयोग करके एक क्वेरी फीचर $x$ के लेबल की भविष्यवाणी करना है, बिना मॉडल के पैरामीटर्स को अपडेट किए।

लेखक एक मानक सेटिंग पर ध्यान केंद्रित करते हैं जहाँ प्रदर्शन (demonstrations) एक बाइनरी गौसियन मिक्सचर मॉडल (GMM) से लिए गए हैं। इस सेटिंग में, $x_i \sim \mathcal{N}(\mu y_i, \sigma^2 I)$ है, जहाँ टास्क मीन $\mu$ को एक प्रायर डिस्ट्रीब्यूशन से सैंपल किया गया है। केंद्रीय प्रश्न यह है: ट्रांसफॉर्मर अनलेबल डेटा से इन-कॉन्टेक्स्ट लर्निंग कब और कैसे कर सकते हैं?

कार्यप्रणाली (Methodology)

यह अध्ययन SS-ICL सेटिंग के तहत ऑप्टिमाइज़ेशन लैंडस्केप और एक्सप्रेसिविटी (expressivity) का विश्लेषण करने के लिए एक कठोर सैद्धांतिक ढांचे का उपयोग करता है।

डेटा मॉडल: इनपुट प्रॉम्प्ट में $n$ प्रदर्शन शामिल हैं जहाँ $m$ लेबल देखे गए हैं ( $y_i \in \{-1, 1\}$ ) और $n-m$ गायब हैं ( $y_i = 0$ )। क्वेरी $x$ और उसका वास्तविक लेबल $y$ भी इसी तरह उत्पन्न किए जाते हैं।
मॉडल आर्किटेक्चर: लेखक लीनियर अटेंशन (linear attention) मॉडल्स का विश्लेषण करते हैं, जो तंत्र $att(Z; W) = (ZW_q W_k^\top Z^\top) M Z W_v$ द्वारा परिभाषित है। वे सिंगल-लेयर और मल्टी-लेयर (या लूप वाले) वेरिएंट्स दोनों का अध्ययन करते हैं।
सैद्धांतिक दृष्टिकोण:
- सिंगल-लेयर विश्लेषण: लेखक स्क्वेयर्ड लॉस के साथ प्रशिक्षित सिंगल-लेयर लीनियर अटेंशन मॉडल के लिए लॉस लैंडस्केप के ग्लोबल मिनिमम की विशेषता बताते हैं।
- मल्टी-लेयर विश्लेषण: वे जांच करते हैं कि कैसे गहरे नेटवर्क (या लूप वाले सिंगल नेटवर्क) जटिल एस्टिमेटर्स (estimators) का निर्माण कर सकते हैं। वे एस्टिमेटर्स के रूप में एम्पिरिकल कोवेरियेंस मैट्रिक्स $X^\top X$ के बहुपद (polynomials) के रूप में उनके रूप को व्युत्पन्न करते हैं।
- शास्त्रीय एल्गोरिदम से संबंध: शोध पत्र सीखे गए अटेंशन मैकेनिज्म और शास्त्रीय सेमी-सुपरवाइज्ड एल्गोरिदम, विशेष रूप से एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) और बलीफ प्रोपेगेशन (Belief Propagation) के बीच संबंध स्थापित करता है।

मुख्य योगदान (Key Contributions)

1. सिंगल-लेयर लीनियर अटेंशन की सीमाएं

शोध पत्र सिद्ध करता है कि सिंगल-लेयर लीनियर अटेंशन मॉडल अनलेबल डेटा का उपयोग करने में विफल रहते हैं, भले ही डेटा में फीचर डिस्ट्रीब्यूशन के बारे में जानकारी हो।

थ्योरम 1: आइसोट्रोपिक टास्क प्रायर के तहत, इष्टतम सिंगल-लेयर लीनियर अटेंशन मॉडल सुपरवाइज्ड प्लग-इन (SPI) एस्टिमेटर $\hat{\mu}_s = \frac{1}{|I|} \sum_{i \in I} y_i x_i$ को रिकवर करता है।
निहितार्थ: मॉडल प्रभावी रूप से अनलेबल सैंपल्स (जहाँ $y_i=0$ है) को अनदेखा कर देता है। सैद्धांतिक विश्लेषण दिखाता है कि मेटा-लर्निंग सेटिंग (रैंडम टास्क के ऊपर औसत निकालना) में, अनलेबल डेटा का सैंपल कोवेरियेंस आइडेंटिटी मैट्रिक्स के स्केलर मल्टीपल में अभिसरित (converge) होता है, जिससे सिंगल-लेयर मॉडल को कोई टास्क-विशिष्ट सिग्नल नहीं मिलता है।

2. गहराई (Depth) सेमी-सुपरवाइज्ड लर्निंग को सक्षम बनाती है

सिंगल-लेयर मॉडल्स के विपरीत, मल्टी-लेयर (या लूप वाले) लीनियर अटेंशन प्रभावी रूप से अनलेबल डेटा का लाभ उठा सकते हैं।

पॉलिनोमियल एक्सप्रेसिविटी: लेखक दिखाते हैं कि एक $L$ -लेयर लीनियर अटेंशन मॉडल निम्नलिखित रूप के एस्टिमेटर्स को लागू कर सकता है:
$\hat{\mu} = \sum_{i=0}^{K} a_i (X^\top X)^i X^\top y$
जहाँ $K = O(3^L)$ है। यह मॉडल को एम्पिरिकल कोवेरियेंस मैट्रिक्स के उच्च-डिग्री वाले बहुपदों (polynomials) का निर्माण करने की अनुमति देता है।
लॉगारिदमिक डेप्थ पर्याप्तता: चूंकि व्यक्त किए जा सकने वाले बहुपदों की डिग्री गहराई के साथ तेजी से बढ़ती है, इसलिए इष्टतम सेमी-सुपरवाइज्ड एस्टिमेशन के लिए आवश्यक उच्च-डिग्री मोनोमियल्स (monomials) को दर्शाने के लिए लॉगारिदमिक डेप्थ ( $O(\log K)$ ) पर्याप्त है।
थ्योरम 3 और 4: जैसे-जैसे नमूनों की संख्या $n \to \infty$ होती है, मल्टी-लेयर अटेंशन मॉडल इष्टतम सेमी-सुपरवाइज्ड एस्टिमेटर (विशेष रूप से कोवेरियेंस मैट्रिक्स के टॉप आइजनवेक्टर पर प्रोजेक्शन) को अनुमानित कर सकते हैं, जिससे बेयस-ऑप्टिमल लिमिट के करीब क्लासिफिकेशन एरर प्राप्त होता है।

3. तंत्र: EM और बलीफ प्रोपेगेशन

शोध पत्र इस बात की व्याख्या प्रदान करता है कि ये मॉडल अनलेबल डेटा का उपयोग कैसे करते हैं:

लेबल प्रोपेगेशन: मल्टी-लेयर नेटवर्क में लेबल्स का पुनरावृत्त अपडेट (iterative update) एक्सपेक्टेशन-मैमाइजेशन (EM) एल्गोरिदम की नकल करता है। प्रत्येक लेयर एक "स्यूडो-लेबलिंग" स्टेप (Expectation) और उसके बाद टास्क मीन का पुनर्मूल्यांकन (Maximization) करती है।
सॉफ्टमैक्स बनाम लीनियर: जबकि लीनियर अटेंशन एक लीनियर EM-स्टाइल अपडेट लागू करता है, सॉफ्टमैक्स अटेंशन एक नॉन-लीनियर, सिमिलैरिटी-वेटेड अपडेट लागू करता है जो बलीफ प्रोपेगेशन के समान है।

4. टैबुलर फाउंडेशन मॉडल्स के लिए अनुप्रयोग

लूपिंग से प्रदर्शन में सुधार होने के सैद्धांतिक निष्कर्ष से प्रेरित होकर, लेखक LoopTabFM का प्रस्ताव करते हैं, जो अनलेबल डेटा के लिए सॉफ्ट स्यूडो-लेबल्स उत्पन्न करने के लिए ऑफ-द-शेल्फ टैबुलर फाउंडेशन मॉडल्स (जैसे TabPFN) को पुनरावृत्त रूप से लागू करता है।

एल्गोरिदम: मॉडल को एक लूप में चलाया जाता है जहाँ अनलेबल डेटा को सॉफ्ट लेबल्स दिए जाते हैं, उन्हें प्रॉम्प्ट में जोड़ा जाता है, और मॉडल का पुनर्मूल्यांकन किया जाता है। सबसे अच्छे इटरेशन को चुनने के लिए एक वैलिडेशन रिस्क मेट्रिक का उपयोग किया जाता है।
अनुभवजन्य सत्यापन: वास्तविक दुनिया के टैबुलर डेटासेट पर प्रयोगों से पता चलता है कि यह लूपिंग रणनीति सिंगल-पास इन्फरेंस की तुलना में टेस्ट एक्यूरेसी में काफी सुधार करती है, विशेष रूप से फ्यू-शॉट सेटिंग्स में।

परिणाम (Results)

सैद्धांतिक परिणाम

सिंगल-लेयर: प्रदर्शन केवल सुपरवाइज्ड SPI एस्टिमेटर के समान है। अनलेबल नमूनों की संख्या बढ़ाने से सटीकता में सुधार नहीं होता है (चित्र 1b, 1c)।
मल्टी-लेयर: प्रदर्शन गहराई के साथ सुधरता है। एक 2-लेयर मॉडल, 1-लेयर मॉडल की तुलना में काफी बेहतर प्रदर्शन करता है और SSPI-1 एस्टिमेटर (कोवेरियेंस के पहले पावर का उपयोग करने वाला एक सेमी-सुपरवाइज्ड प्लग-इन) के प्रदर्शन के करीब पहुँच जाता है। एक 5-लेयर मॉडल SSPI- $\infty$ (टॉप आइजनवेक्टर का उपयोग करने वाला) के करीब पहुँच जाता है, जो एसिम्प्टोटिक रिजीम में बेयस-ऑप्टिमल एरर के बहुत करीब है।
आर्किटेक्चर तुलना: प्रयोगों में (चित्र 2c), ट्रांसफॉर्मर्स (MLP + Softmax) लीनियर अटेंशन से बेहतर प्रदर्शन करते हैं, जो बदले में सॉफ्टमैक्स-ओनली अटेंशन से बेहतर है। हालांकि, सभी आर्किटेक्चर $n$ बढ़ने के साथ बेयस-ऑप्टिमल कर्व की ओर अभिसरित होते हैं।

अनुभवजन्य परिणाम (Empirical Results)

सिंथेटिक डेटा: GMMs पर प्रयोग पुष्टि करते हैं कि 2-लेयर और 5-लेयर लीनियर अटेंशन मॉडल अनलेबल नमूनों की संख्या बढ़ने के साथ 1-लेयर मॉडल्स की तुलना में उच्च सटीकता प्राप्त करते हैं।
वास्तविक दुनिया का डेटा: OpenML डेटासेट्स पर TabPFN-v2 का उपयोग करते हुए, LoopTabFM एल्गोरिदम (पुनरावृत्त स्यूडो-लेबलिंग) ने विशिष्ट डेटासेट्स (जैसे OpenML ID 1464) पर बेसलाइन (सिंगल-पास) की तुलना में 19.38% तक सापेक्ष सुधार हासिल किया। औसतन, विधि ने 6.35% का सापेक्ष सुधार दिखाया। अधिकांश लाभ पहले दो इटरेशन के भीतर हुए।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि यह ट्रांसफॉर्मर्स में सेमी-सुपरवाइज्ड इन-कॉन्टेक्स्ट लर्निंग का पहला सैद्धांतिक लक्षण वर्णन प्रदान करता है। इसका प्राथमिक महत्व है:

अंतराल को पाटना: यह समझाता है कि हालिया "मेनी-शॉट" ICL (जिसमें अक्सर अनलेबल या कमजोर रूप से लेबल किया गया डेटा शामिल होता है) की अनुभवजन्य सफलताएँ क्यों काम करती हैं: गहराई मॉडल को बिना पैरामीटर अपडेट के EM जैसे सेमी-सुपरवाइज्ड एल्गोरिदम को स्पष्ट रूप से निष्पादित करने की अनुमति देती है।
संसाधन के रूप रूप में गहराई: यह स्थापित करता है कि गहराई केवल प्रतिनिधित्व क्षमता के लिए नहीं है, बल्कि कॉन्टेक्स्ट विंडो में अनलेबल डेटा से सिग्नल निकालने के लिए भी महत्वपूर्ण है।
व्यावहारिक रणनीति: यह मौजूदा फाउंडेशन मॉडल्स की सेमी-सुपरवाइज्ड क्षमताओं को बढ़ाने के लिए एक सरल, पैरामीटर-मुक्त रणनीति (लूपिंग) का प्रस्ताव करता है, जो दर्शाता है कि अधिकांश सैद्धांतिक लाभ प्राप्त करने के लिए "हल्की मात्रा में गहराई/लूपिंग पर्याप्त है"।

लेखक सीमाओं को स्वीकार करते हुए नोट करते हैं कि उनके मुख्य सैद्धांतिक परिणाम लीनियर अटेंशन के लिए विशिष्ट हैं और सामान्य नॉन-आइसोट्रोपिक डेटा के लिए इष्टतम सेमी-सुपरवाइज्ड एस्टिमेटर एक खुला प्रश्न बना हुआ है। वे यह भी देखते हैं कि जबकि लूपिंग मदद करती है, शोर या क्लास असंतुलन के कारण प्रदर्शन विशिष्ट वास्तविक दुनिया के डेटासेट्स पर गिर सकता है, जो भविष्य के कार्य में डेटा-अवेयर लूपिंग एल्गोरिदम की आवश्यकता का सुझाव देता है।