📊 statistics

Fisher Rank Inflation: A Spectral Signature of Memorization under Label Noise

यह शोध पत्र "फिशर रैंक इन्फ्लेशन" (Fisher Rank Inflation) की पहचान करता है, जो अंतिम-परत ग्रेडिएंट स्पेक्ट्रा (last-layer gradient spectra) के प्रभावी रैंक में एक क्षणिक विस्तार है, जो एक विश्वसनीय स्पेक्ट्रल सिग्नेचर के रूप में स्वच्छ संरचनाओं को सीखने से दूषित लेबल को याद करने (memorizing corrupted labels) के संक्रमण को चिह्नित करता है, जिससे टेस्ट प्रदर्शन में गिरावट आने से पहले शोर वाले उदाहरणों और लेबल भ्रष्टाचार की गंभीरता का पता लगाया जा सकता है।

मूल लेखक: Satwik Bathula, Anand A. Joshi

प्रकाशित 2026-07-15

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Satwik Bathula, Anand A. Joshi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्लियों और कुत्तों को पहचानना सिखा रहे हैं। आप उसे तस्वीरों का एक बहुत बड़ा ढेर देते हैं, लेकिन किसी ने चुपके से कुत्तों की तस्वीरों पर "CAT" और बिल्लियों की तस्वीरों पर "DOG" लिख दिया है। इसे लेबल नॉइज़ (label noise) कहा जाता है।

आमतौर पर, हम सोचते हैं कि रोबोट बस भ्रमित हो जाएगा और बेतरतीब ढंग से अनुमान लगाने लगेगा। लेकिन यह शोध पत्र सुझाव देता है कि रोबोट के दिमाग के अंदर कुछ बहुत अधिक दिलचस्प हो रहा है। शोधकर्ताओं ने एक विशिष्ट "स्पेक्ट्रल सिग्नेचर" (spectral signature) की खोज की है—रोबोट की मस्तिष्क तरंगों के कंपन का एक अनूठा पैटर्न—जो हमें ठीक से बताता है कि रोबोट कब वास्तविक नियमों को सीखना बंद कर देता है और रट (memorize) लेना शुरू कर देता है। वे इस घटना को फिशर रैंक इन्फ्लेशन (Fisher Rank Inflation) कहते हैं।

"गुब्बारे" का प्रभाव: सीखना बनाम रटना

रोबोट की सीखने की प्रक्रिया को गुब्बारा फुलाने की तरह समझें।

प्रारंभिक चरण (संरचना सीखना): शुरुआत में, रोबोट समझदार होता है। वह सभी बिल्ली की तस्वीरों और सभी कुत्ते की तस्वीरों को देखता है और सामान्य पैटर्न (कान, पूंछ, फर) पाता है। वह अपने ज्ञान को करीने से व्यवस्थित करता है। शोध के गणित में, "प्रभावी रैंक" (effective rank - जो यह मापता है कि रोबोट की सोच कितनी फैली हुई है) कम और स्थिर होती है। यह एक छोटे, कसे हुए गुब्बारे की तरह है।
मध्य चरण (इन्फ्लेशन/सूजन):ette: फिर, रोबोट नकली लेबल का सामना करने लगता है। इन असंभव उदाहरणों को फिट करने के बजाय, रोबोट उन्हें अनदेखा करने के बजाय, अपने दिमाग को उन अजीब, अनछुए दिशाओं में जबरदस्ती खींचने की कोशिश करता जिनकी उसे पहले कभी आवश्यकता नहीं थी।
- सिग्नेचर: यहीं पर जादू होता है। रोबोट का आंतरिक "गुब्बारा" अचानक फूल (inflate) जाता है। शोध पत्र दिखाता है कि रोबोट के अंतिम-परत ग्रेडिएंट्स (last-layer gradients - वे संकेत जो उसे बदलाव करने के लिए बताते हैं) का "प्रभावी रैंक" अस्थायी रूप से विस्तारित (expand) होता है। यह फूल जाता है और एक शिखर (peak) तक पहुँचता है।
- कारण: नकली लेबल गुब्बारे में हवा पंप करने की तरह काम करते हैं, लेकिन विशेष रूप से रोबोट के दिमाग के "लो-एनर्जी" या अनछुए हिस्सों में। इससे संकेतों की "एंट्रॉपी" (या अराजकता) बढ़ जाती है।
अंतिम चरण (पतन/कोलैप्स): एक बार जब रोबोट नकली लेबल को पूरी तरह से रट लेता है, तो वह खींचना बंद कर देता है। गुब्बारा पिचक जाता है। "प्रभावी रैंक" सिकुड़ जाती है और फिर से स्थिर हो जाती है, भले ही अब रोबोट नकली डेटा के बारे में पूरी तरह से गलत हो।

शोध पत्र दिखाता है कि यह इन्फ्लेशन-कोलैप्स प्रक्षेपवक्र (inflation–collapse trajectory) विभिन्न रोबोट मस्तिष्क (architectures) और विभिन्न फोटो सेट (datasets) में लगातार होता है।

गुब्बारे को कौन फुला रहा है? (दोषी कौन है?)

आप सोच सकते हैं: "क्या पूरा रोबोट फूल रहा है, या केवल वे हिस्से जो नकली फोटो से जुड़े हैं?"

शोधकर्ताओं ने लीव-वन-आउट एट्रिब्यूशन (Leave-One-Out Attribution) नामक एक चतुर तकनीक का उपयोग किया। कल्पना कीजिए कि आप रोबोट के दिमाग से एक एकल फोटो निकाल रहे हैं, और देख रहे हैं कि क्या गुब्बारा सिकुड़ता है।

निष्कर्ष: जब उन्होंने एक नकली लेबल वाली फोटो हटाई, तो गुब्बारा बहुत सिकुड़ गया। जब उन्होंने एक असली लेबल वाली फोटो हटाई, तो इसमें बहुत कम बदलाव आया।
साक्ष्य: जिस क्षण गुब्बारा सबसे बड़ा होता है (शिखर-रैंक क्षण), इन्फ्लेशन में सबसे अधिक योगदान देने वाले शीर्ष 100 फोटो लगभग पूरी तरह से नकली थे।
- सिंथेटिक नकली लेबल वाले प्रयोगों में, शीर्ष 100 योगदानकर्ता, रोबोट मॉडल के आधार पर, 69.2% से 96.2% तक नकली थे।
- प्राकृतिक रूप से होने वाली मानवीय त्रुटियों (CIFAR-10N डेटासेट से) के परीक्षण में, शीर्ष 100 योगदानकर्ता 94.4% ± 1.9% नकली थे।

यह सुझाव देता है कि रटना (memorization) भ्रष्ट उदाहरणों द्वारा संचालित होता है, न कि पूरे समूह द्वारा। नकली लेबल ही रोबोट के दिमाग की उन अनछुए दिशाओं में वह अतिरिक्त "हवा" डाल रहे हैं।

क्या यह केवल "कठिन" फोटो हैं?

एक संशयवादी कह सकता है: "शायद रोबोट केवल कठिन फोटो के साथ संघर्ष कर रहा है, न कि नकली लेबल के साथ।" इसकी जांच करने के लिए, शोधकर्ताओं ने एक कंट्रोल ग्रुप बनाया:

सामान्य साफ फोटो: आसान, सही लेबल।
कठिन साफ फोटो: सही लेबल, लेकिन सीखने में बहुत कठिन (उच्च लॉस)।
रटे हुए भ्रष्ट फोटो: नकली लेबल, लेकिन रोबोट ने उन्हें पहले ही पूरी तरह से रट लिया है (कम लॉस)।

परिणाम: "कठिन साफ" (Hard Clean) फोटो ने गुब्बारे को फुलाने का काम नहीं किया। उन्होंने लगभग कुछ भी योगदान नहीं दिया। हालांकि, "रटे हुए भ्रष्ट" (Memorized Corrupted) फोटो ही थे जिन्होंने भारी इन्फ्लेशन को प्रेरित किया। यह साबित करता है कि यह घटना लेबल भ्रष्टाचार (label corruption) के बारे में है, न कि केवल कठिनाई के बारे में।

शोर (Noise) कितना बुरा है?

शोध पत्र ने यह भी जांचा कि क्या गुब्बारे का आकार इस बात पर निर्भर करता है कि कितने नकली लेबल हैं।

0% शोर (साफ ट्रेनिंग) के साथ, शिखर प्रभावी रैंक 28.88 ± 1.95 थी।
60% शोर (60% लेबल नकली हैं) के साथ, शिखर प्रभावी रैंक आसमान छूकर 97.09 ± 1.78 तक पहुँच गई।

आप जितने अधिक नकली लेबल जोड़ेंगे, गुब्बारा उतना ही बड़ा होगा। शोध पत्र का सुझाव है कि ऐसा इसलिए है क्योंकि अधिक नकली लेबल का अर्थ है अधिक उदाहरण जो मस्तिष्क की उन कमजोर, अनछुए दिशाओं में भिन्नता (variance) इंजेक्ट करते हैं।

इसका क्या अर्थ है?

शोध पत्र का तर्क है कि फिशर रैंक इन्फ्लेशन (Fisher Rank Inflation) एक विश्वसनीय संकेत है कि एक डीप नेटवर्क शोर को रट रहा है।

समय (Timing): इन्फ्लेशन अक्सर रोबोट के टेस्ट स्कोर गिरने से पहले शुरू हो जाता है। यह ऐसा है जैसे रोबोट के वास्तव में फेल होने से पहले ही गुब्बारे को खिंचते हुए देखना।
सार्वभौमिकता (Universality): यह छोटे CNN, ResNet और यहाँ तक कि विजन ट्रांसफॉर्मर (Vision Transformers) में भी होता है (हालांकि ट्रांसफॉर्मर में सिग्नल थोड़ा कमजोर होता है)। यह सिंथेटिक शोर और वास्तविक मानवीय गलतियों, दोनों के साथ होता है।

शोध पत्र क्या दावा नहीं करता है:

यह दावा नहीं करता है कि यह हर स्थिति में ओवरफिटिंग को रोकने के लिए एक आदर्श, सार्वभौमिक उपकरण है। शोध पत्र नोट करता है कि "लीड टाइम" (यह कितनी जल्दी चेतावनी देता है) आर्किटेक्चर के अनुसार भिन्न होता है।
यह यह नहीं कहता कि यह एक जेनेरिक "नॉइज़ी लेबल डिटेक्टर" है जो सभी अन्य तरीकों से बेहतर काम करता है। वास्तव में, कुछ मॉडलों के लिए, मानक लॉस-आधारित तरीके अभी भी वैश्विक स्तर पर सभी खराब लेबल खोजने में बेहतर हो सकते हैं। शोध पत्र इस बात पर जोर देता है कि यह रटने का एक स्पेक्ट्रल सिग्नेचर है, न कि अनिवार्य रूप से डेटा को साफ करने के लिए कोई जादुई समाधान।
यह दावा नहीं करता कि यह सिद्धांत हर संभव प्रकार के शोर या हर विशाल मॉडल के लिए सिद्ध है। गणित स्थानीय स्नैपशॉट (चेकपॉइंट्स) और प्रथम-क्रम सन्निकटन (first-order approximations) पर आधारित है, जो कन्वोल्यूशनल मॉडलों के लिए बहुत अच्छी तरह से काम करता है लेकिन ट्रांसफॉर्मर के लिए थोड़ा कम सटीक है।

संक्षेप में, शोध पत्र सुझाव देता है कि जब एक रोबोट नकली लेबल को रटना शुरू करता है, तो उसका आंतरिक गणित एक बहुत ही विशिष्ट तरीके से "फूल" जाता है। इस इन्फ्लेशन पर नज़र रखकर, हम देख सकते हैं कि रोबोट कब सीखना बंद करता है और रटना शुरू करता है, इससे बहुत पहले कि वह वास्तव में फेल होना शुरू करे।

तकनीकी सारांश: फिशर रैंक इन्फ्लेशन (Fisher Rank Inflation): लेबल नॉइज़ के तहत मेमोरीज़ेशन का एक स्पेक्ट्रल सिग्नेचर

समस्या विवरण (Problem Statement)

लेबल नॉइज़ (label noise) के साथ प्रशिक्षित डीप न्यूरल नेटवर्क एक विशिष्ट लर्निंग ट्राजेक्टरी प्रदर्शित करते हैं: वे पहले स्वच्छ उदाहरणों (clean examples) के बीच साझा किए गए संरचित पैटर्न को सीखते हैं और उसके बाद उन दूषित लेबल्स को याद (memorize) करते हैं जो अंतर्निध डेटा वितरण के विपरीत होते हैं। जबकि मौजूदा शोध ने ट्रेनिंग/टेस्ट लॉस, प्रेडिक्शन डायनेमिक्स या रिप्रेजेंटेशन ज्योमेट्री जैसे मेट्रिक्स का उपयोग करके यह व्यापक रूप से स्पष्ट किया है कि मेमोरीज़ेशन कब होता है, इस बात को समझने में एक अंतर है कि दूषित उदाहरण (corrupted examples) इस संक्रमण के दौरान ट्रेनिंग ग्रेडिएंट्स की स्पेक्ट्रल संरचना को कैसे पुनर्गठित करते हैं। विशेष रूप से, यह समझना कि स्ट्रक्चर लर्निंग से मेमोरीज़ेशन की ओर बढ़ते समय ग्रेडिएंट कोवेरियेंस (gradient covariance) का वैश्विक ज्यामितीय दृश्य (global geometric view) कैसे विकसित होता है, अभी भी अनछुआ है।

कार्यप्रणाली (Methodology)

लेखक प्रति-उदाहरण ट्रेनिंग सैंपल्स के लास्ट-लेयर ग्रेडिएंट्स से प्राप्त सेंटर्ड फिशर-ग्रेडिएंट स्कैटर मैट्रिक्स (centered Fisher-gradient scatter matrix) के स्पेक्ट्रल विश्लेषण का प्रस्ताव करते हैं।

मुख्य परिभाषाएँ (Core Definitions)

सेंटर्ड फिशर-ग्रेडिएंट स्कैटर ( $S$ ): मान लीजिए $g_i$ उदाहरण $i$ के अंतिम एफीन लेयर (affine layer) का वेक्टरकृत ग्रेडिएंट है। लेखक सेंटर्ड ग्रेडिएंट $\bar{g}_i = g_i - \mu$ को परिभाषित करते हैं, जहाँ $\mu$ औसत ग्रेडिएंट है। स्कैटर मैट्रिक्स $S = \sum \bar{g}_i \bar{g}_i^\top$ है।
इफेक्टिव रैंक (Effective Rank): पेपर एंट्रॉपी इफेक्टिव रैंक का उपयोग करता है, जिसे $er(S) = \exp(H(S))$ के रूप में परिभाषित किया गया है, जहाँ $H(S)$ , $S$ के नॉर्मलाइज्ड आइजनवैल्यूज़ की स्पेक्ट्रल एंट्रॉपी है। यह मीट्रिक उन प्रभावी दिशाओं की संख्या को मापता है जिनमें ग्रेडिएंट वेरिएंस वितरित होता है।
लीव-वन-आउट (LOO) एट्रिब्यूशन: यह पहचानने के लिए कि कौन से उदाहरण रैंक परिवर्तन को संचालित करते हैं, लेखक $\Delta_i = er(S) - er(S_{-i})$ को परिभाषित करते हैं, जहाँ $S_{-i}$ उदाहरण $i$ को हटाने और पुनः सेंट्रिंग करने के बाद गणना किया गया स्कैटर मैट्रिक्स है। एक सकारात्मक $\Delta_i$ यह दर्शाता है कि उदाहरण रैंक इन्फ्लेशन में योगदान देता है।

सैद्धांतिक ढांचा (Theoretical Framework)

लेखक तीन अनुभवजन्य अवलोकनों को समझाने के लिए एक स्पेक्ट्रल सिद्धांत विकसित करते हैं:

रैंक इन्फ्लेशन (Rank Inflation): लेबल करप्शन फिशर-ग्रेडिएंट के इफेक्टिव रैंक को बढ़ाता है।
करप्टेड एनरिचमेंट (Corrupted Enrichment): दूषित नमूने (corrupted samples) रैंक इन्फ्लेशन में स्वच्छ नमूनों की तुलना में अधिक योगदान देते हैं।
सिग्नल वीकनिंग (Signal Weakening): मेमोरीज़ेशन पूरा होने के बाद एट्रिब्यूशन सिग्नल कम हो जाता है।

सिद्धांत यह प्रतिपादित करता है कि करप्टेड लेबल्स फिशर-ग्रेडिएंट स्कैटर की लो-एनर्जी या पहले से अप्रयुक्त आइजन-डायरेक्शन्स (eigendirections) में कोवेरियेंस मास इंजेक्ट करते हैं। इससे स्पेक्ट्रल एंट्रॉपी बढ़ती है, जिससे इफेक्टिव रैंक का इन्फ्लेशन होता है। लेखक एक फर्स्ट-ऑर्डर LOO एट्रिब्यूशन फॉर्मूला निकालते हैं जो दिखाता है कि वे उदाहरण जिनके ग्रेडिएंट "रैंक-बढ़ाने वाले" आइजन-डायरेक्शन्स के साथ संरेखित (aligned) हैं (जहाँ स्पेक्ट्रल सेंसिटिविटी कोएफिशिएंट $\beta_k > 0$ है), रैंक इन्फ्लेशन में सबसे अधिक योगदान देते हैं। वे आगे यह भी सिद्ध करते हैं कि एक बार जब नॉर्मलाइज्ड ग्रेडिएंट स्पेक्ट्रम स्थिर (post-memorization) हो जाता है, तो व्यक्तिगत एट्रिब्यूशन सिग्नल लुप्त हो जाते हैं।

प्रयोगात्मक सेटअप (Experimental Setup)

इस घटना का मूल्यांकन निम्नलिखित के माध्यम से किया गया है:

डेटासेट्स: CIFAR-10, CIFAR-100 (सिंथेटिक सिमेट्रिक लेबल करप्शन के साथ), और CIFAR-10 (प्राकृतिक रूप से उत्पन्न मानव एनोटेशन त्रुटियों के साथ)।
आर्किटेक्चर: SmallCNN, ResNet18, और विजन ट्रांसफॉर्मर (ViT)।
प्रोटोकॉल: ट्रेनिंग की निगरानी "पीक-रैंक एपोक" (जहाँ इफेक्टिव रैंक अधिकतम होता है) को पहचानने के लिए की जाती है। इस चेकपॉइंट पर, सैंपल-लेवल एनरिचमेंट का विश्लेषण करने के लिए LOO योगदानों की गणना की जाती है।

मुख्य योगदान (Key Contributions)

फिशर रैंक इन्फ्लेशन की पहचान: पेपर लेबल नॉइज़ के तहत प्रशिक्षण के दौरान होने वाले एक क्षणिक (transient) विस्तार की पहचान करता है, जो विशेष रूप से मेमोरीज़ेशन चरण के दौरान होता है और मेमोरीज़ेशन फिट होने के बाद समाप्त हो जाता है।
स्पेक्ट्रल मैकेनिज्म की व्याख्या: लेखक एक सैद्धांतिक व्युत्पत्ति प्रदान करते हैं जो यह बताती है कि करप्टेड लेबल्स कमजोर या नए आइजन-डायरेक्शन्स में स्पेक्ट्रल मास फैलाकर इफेक्टिव रैंक को कैसे बढ़ाते हैं, जिससे स्पेक्ट्रल एंट्रॉपी बढ़ती है।
सैंपल-लेवल एट्रिब्यूशन: एक फर्स्ट-ऑर्डर LOO एट्रिब्यूशन फ्रेमवर्क व्युत्पन्न किया गया है, जो उन स्थितियों को स्थापित करता है जिनमें करप्टेड उदाहरण स्वच्छ उदाहरणों की तुलना में बड़े रैंक योगदान प्रदर्शित करते हैं। सिद्धांत यह भी बताता है कि नॉर्मलाइज्ड स्पेक्ट्रम के स्थिर होने के कारण मेमोरीज़ेशन के बाद यह सिग्नल कमजोर हो जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): इस घटना को कई आर्किटेक्चर और डेटासेट्स (प्राकृतिक मानव त्रुटियों सहित) पर सत्यापित किया गया है, जो यह दर्शाता है कि फिशर रैंक इन्फ्लेशन सिंथेटिक नॉइज़ जनरेशन का आर्टिफैक्ट नहीं बल्कि मेमोरीज़ेशन का एक मजबूत स्पेक्ट्रल सिग्नेचर है।

प्रयोगात्मक परिणाम (Experimental Results)

इन्फ्लेशन-कोलैप्स ट्राजेक्टरी (Inflation-Collapse Trajectory): सभी सेटिंग्स में, फिशर इफेक्टिव रैंक एक सुसंगत पथ प्रदर्शित करता है: यह शुरुआती ट्रेनिंग के दौरान बढ़ता है, मेमोरीज़ेशन के संक्रमण के दौरान चरम (peak) पर पहुँचता है, और ट्रेनिंग जारी रहने पर कोलैप्स हो जाता है।
करप्टेड एग्जांपल एनरिचमेंट: पीक-रैंक चेकपॉइंट पर, उच्चतम रैंक-योगदान देने वाले नमूनों में करप्टेड उदाहरणों का अनुपात अत्यधिक होता है।
- सिंथेटिक नॉइज़: टॉप-100 रैंक योगदानकर्ताओं में, नॉइजी लेबल्स का अंश 69.2% (ViT on CIFAR-10) से लेकर 96.2% (SmallCNN on CIFAR-10) तक है।
- ह्यूमन नॉइज़: CIFAR-10N (प्राकृतिक मानव त्रुटियों) पर, करप्टेड उदाहरण शीर्ष-100 योगदानकर्ताओं में 94.4% हैं, जबकि वे डेटासेट का केवल ~40% हैं।
गंभीरता पर निर्भरता (Severity Dependence): पीक फिशर इफेक्टिव रैंक का परिमाण लेबल करप्शन की गंभीरता के साथ मोनोटोनिक रूप से बढ़ता है। क्लीन ट्रेनिंग के तहत, पीक रैंक ~28.9 है, जो 60% करप्शन पर 97.1 तक बढ़ जाता है।
समय (Timing): कई सेटिंग्स में, फिशर रैंक इन्फ्लेशन का प्रारंभ दृश्यमान टेस्ट डिग्रेडेशन (test degradation) से पहले होता है, जो बताता है कि यह जनरलाइजेशन फेलियर के स्पष्ट होने से पहले ही मेमोरीज़ेशन की शुरुआत को पकड़ लेता है।
आर्किटेक्चर अंतर: हालांकि यह घटना सार्वभौमिक है, एट्रिब्यूशन सिग्नल की शक्ति भिन्न होती है। कनवल्शनल मॉडल (SmallCNN, ResNet) फर्स्ट-ऑर्डर स्पेक्ट्रल एट्रिब्यूशन और सटीक LOO योगदान के बीच मजबूत संरेखण (Spearman correlation > 0.96) दिखाते हैं, जबकि विजन ट्रांसफॉर्मर में कमजोर सिग्नल दिखता है, जो सुझाव देता है कि ट्रांसफॉर्मर्स में हायर-ऑर्डर प्रभाव अधिक प्रमुख हो सकते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह लेबल नॉइज़ के तहत मेमोरीज़ेशन के एक विशिष्ट स्पेक्ट्रल सिग्नेचर के रूप में फिशर रैंक इन्फ्लेशन को स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

डायनेमिक्स को ज्योमेट्री से जोड़ना: यह लास्ट-लेयर फिशर-ग्रेडिएंट स्पेक्ट्रम की गतिशीलता को करप्टेड लेबल्स को फिट करने की विशिष्ट प्रक्रिया से जोड़ता है, जो लॉस-आधारित विश्लेषणों का एक ज्यामितीय दृष्टिकोण प्रदान करता है।
कठिनाई और करप्शन के बीच अंतर करना: एक "क्लीन-डिफिकल्टी कंट्रोल" प्रयोग के माध्यम से, लेखक प्रदर्शित करते हैं कि फिशर रैंक इन्फ्लेशन केवल "कठिन" या दुर्लभ स्वच्छ उदाहरणों द्वारा नहीं, बल्कि मेमोरीज़्ड लेबल करप्शन द्वारा संचालित होता है (जो नगण्य रैंक योगदान दिखाते हैं)।
नॉइज़ सोर्स के प्रति मजबूती: प्राकृतिक रूप से उत्पन्न मानव त्रुटियों (CIFAR-10N) के तहत इस घटना की निरंतरता यह सुझाव देती है कि यह तंत्र विशिष्ट सिंथेटिक नॉइज़ मॉडल का आर्टिफैक्ट नहीं है, बल्कि यह कैप्चर करता है कि डीप नेटवर्क असंगत सुपरविजन को कैसे प्रोसेस करते हैं।
सीमाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि फिशर रैंक इन्फ्लेशन मेमोरीज़ेशन का एक स्पेक्ट्रल सिग्नेचर है, न कि अनिवार्य रूप से एक सार्वभौमिक ऑनलाइन स्टॉपिंग रूल या पूर्ण ग्लोबल सेपरेशन प्रदर्शन वाला जेनेरिक नॉइजी-लेबल डिटेक्टर (AUROC मान मध्यम, जैसे ~0.6–0.8 हैं)। सैद्धांतिक परिणाम फिक्स्ड चेकपॉइंट्स पर स्थानीय स्पेक्ट्रल कथन हैं, और फर्स्ट-ऑर्डर एट्रिब्यूशन अनुमान ViT जैसे उच्च-क्षमता वाले मॉडल्स के लिए कम सटीक है।