📊 statistics

Measuring the Symmetry--Data Exchange Rate

यह अन्वेषणात्मक अध्ययन इस व्यापक रूप से उद्धृत दावे को चुनौती देता है कि स्थापत्य समरूपता पूर्वधारणाएं (architectural symmetry priors) नमूना जटिलता (sample complexity) को |G| के कारक से कम करती हैं, यह पाते हुए कि जबकि गलत संरेखित बाधाएं सक्रिय रूप से हानिकारक हैं और सैद्धांतिक विनिमय दर दिशात्मक रूप से सुसंगत है, ऑग्मेंटेशन-आधारित बेसलाइन की तुलना में कथित लाभ तब समाप्त हो जाता है जब टेस्ट-टाइम कंप्यूटेशन को समान रखा जाता है, जिसमें प्राथमिक मात्रात्मक निष्कर्ष पद्धतिगत सीमाओं के कारण अनिर्णायक बने रहते हैं।

मूल लेखक: Ahmed M. Adly

प्रकाशित 2026-06-02

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ahmed M. Adly

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को घूमते हुए पहिए पर एक विशिष्ट पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं। उस पैटर्न का एक गुप्त नियम है: यदि आप पहिए को एक निश्चित मात्रा में घुमाते हैं, तो चित्र बिल्कुल वैसा ही दिखता है। इस नियम को सममिति (Symmetry) कहा जाता है।

AI की दुनिया में, एक लंबे समय से चली आ रही थ्योरी है कि यदि आप एक ऐसा रोबोट बनाते हैं जो शुरुआत से ही इस नियम को जानता है (यानी, इस सममिति को उसके दिमाग में हार्ड-कोड कर दिया गया है), तो उसे कार्य सीखने के लिए उतने उदाहरणों की आवश्यकता नहीं होगी। थ्योरी कहती है: "यदि पहिए में $N$ समान हिस्से हैं, तो आपको केवल $1/N$ डेटा की आवश्यकता होनी चाहिए।"

यह शोध पत्र यह देखने के लिए एक नियंत्रित प्रयोग है कि क्या वास्तव में यह थ्योरी सच है, और यह मापने के लिए कि आप वास्तव में कितना डेटा बचाते हैं।

यहाँ शोधकर्ताओं द्वारा किए गए कार्यों और उनकी खोजों का सरल उपमाओं के साथ विवरण दिया गया है:

1. प्रयोग: "पैटल" (Petal) गेम

शोधकर्ताओं ने AI के लिए एक साधारण वीडियो गेम बनाया।

कार्य: AI एक वृत्त को देखता है जिसमें "पैटल्स" (फूल की पंखुड़ियों की तरह) हैं। पंखुड़ियाँ काले और सफेद रंग के बीच बदलती रहती हैं।
परिवर्तनीय (Variable): उन्होंने पंखुड़ियों की संख्या बदली (2, 3, 4, से लेकर 12 तक)।
लक्ष्य: AI को वृत्त के एक यादृच्छिक (random) स्थान के रंग का अनुमान लगाना था।

उन्होंने यह देखने के लिए तीन प्रकार के "दिमाग" (मॉडल्स) का परीक्षण किया कि कौन सबसे तेजी से सीखता है:

द सिमिट्री एक्सपर्ट (The Symmetry Expert): एक ऐसा दिमाग जिसे विशेष रूप से रोटेशन के नियम को समझने के लिए बनाया गया है।
द "रॉन्ग" एक्सपर्ट (The "Wrong" Expert): एक ऐसा दिमाग जिसे रोटेशन के नियम को समझने के लिए बनाया गया है, लेकिन नियम थोड़ा गलत है (जैसे किसी गोल छेद में चौकोर खूँटा फिट करने की कोशिश करना)।
द नॉर्मल ब्रेन (The Normal Brain): एक मानक मस्तिष्क जिसमें कोई विशेष नियम नहीं है, बस कच्ची कंप्यूटिंग शक्ति है।

2. बड़ी खोज: "एक्सचेंज रेट"

शोधकर्ता यह जानना चाहते थे कि: सिमिट्री एक्सपर्ट, नॉर्मल ब्रेन की तुलना में कितना डेटा बचाता है?

उन्हें एक "डेटा एक्सचेंज रेट" मिला।

थ्योरी: यदि पहिए में 12 हिस्से हैं, तो एक्सपर्ट को 12 गुना कम डेटा की आवश्यकता होनी चाहिए।
परिणाम: सिमिट्री एक्सपर्ट को वास्तव में बहुत कम डेटा की आवश्यकता थी। उच्चतम जटिलता (12 पंखुड़ियों) पर, नॉर्मल ब्रेन को सीखने के लिए 6,400 उदाहरणों की आवश्यकता थी, जबकि सिमिट्री एक्सपर्ट को केवल 400 की। यह 16 गुना का अंतर है!
एक पेंच (The Catch): सटीक संख्या बिल्कुल "12" नहीं थी। यह इतना करीब था कि यह कहा जा सके कि थ्योरी दिशात्मक रूप से सही है (यह काम करता है), लेकिन सटीक गणित थोड़ा अस्पष्ट है। शोधकर्ता इसे एक "एक्सप्लोरेटरी" (अन्वेषणात्मक) खोज कहते हैं, जिसका अर्थ है कि वे आश्वस्त हैं कि यह काम करता है, लेकिन सटीक संख्या को निर्धारित करने के लिए उन्हें और अधिक परीक्षणों की आवश्यकता है।

3. सबसे महत्वपूर्ण निष्कर्ष: "गलत होना, कुछ न होने से भी बुरा है"

यह इस शोध पत्र का सबसे मजबूत और आश्चर्यजनक परिणाम है।

उन्होंने सिमिट्री एक्सपर्ट (सही नियम) की तुलना "रॉन्ग" एक्सपर्ट (गलत नियम) से की।

अंतर्ज्ञान (Intuition): आप सोच सकते हैं, "यदि गलत एक्सपर्ट सिर्फ एक थोड़ा सा टूटा हुआ सिमिट्री एक्सपर्ट है, तो यह नॉर्मल ब्रेन के लगभग बराबर होना चाहिए, शायद उससे थोड़ा ही बदतर।"
वास्तविकता: रॉंग एक्सपर्ट, बिना किसी नियम के होने की तुलना में भी बदतर था।
उपमा: कल्पना कीजिए कि आप एक डांस सीख रहे हैं।
- नॉर्मल ब्रेन: आप शिक्षक को देखते हैं और उनकी नकल करते हैं। इसमें समय लगता है, लेकिन आप सीख जाते हैं।
- सिमिट्री एक्सपर्ट: आपको बताया जाता है, "डांस हर 4 बीट्स के बाद दोहराया जाता है।" आप तुरंत सीख जाते हैं।
- रॉन्ग एक्सपर्ट: आपको बताया जाता है, "डांस हर 4.7 बीट्स के बाद दोहराया जाता है।" आप अपनी पूरी ऊर्जा उस लय को फिट करने में लगा देते हैं जो अस्तित्व में ही नहीं है। आप भ्रमित हो जाते हैं और बिना किसी निर्देश के सीखने की तुलना में धीमे सीखते हैं।

सीख: केवल एक "प्रतिबंध" या "नियम" होना ही पर्याप्त नहीं है। नियम का सही होना आवश्यक है। एक गलत नियम आपको सक्रिय रूप से नुकसान पहुँचाता है।

4. "अगमेंटेशन" ट्रिक बनाम वास्तविक आर्किटेक्चर

AI में एक सामान्य ट्रिक है जिसे "डेटा अगमेंटेशन" (Data Augmentation) कहा जाता है। एक स्मार्ट दिमाग बनाने के बजाय, आप नॉर्मल ब्रेन को प्रशिक्षण के दौरान उसी तस्वीर को 12 अलग-अलग बार घुमाकर दिखाते हैं, इस उम्मीद में कि वह पैटर्न को समझ लेगा।

परीक्षण: शोधकर्ताओं ने इस ट्रिक को आजमाया। उन्होंने नॉर्मल ब्रेन को प्रशिक्षण के दौरान सभी घुमाए गए संस्करण दिखाए, लेकिन अंत में उसे केवल एक तस्वीर का उपयोग करके अनुमान लगाने को कहा।
परिणाम: यह ट्रिक पूरी तरह से विफल रही। नॉर्मल ब्रेन पैटर्न को नहीं सीख सका, भले ही उसके पास बहुत सारा अतिरिक्त डेटा था।
ट्विस्ट: हालांकि, यदि वे नॉर्मल ब्रेन को अनुमान लगाने के ठीक उसी क्षण सभी 12 घुमाए गए चित्रों को देखने देते (न कि केवल प्रशिक्षण के दौरान), तो इसने सिमिट्री एक्सपर्ट के समान प्रदर्शन किया।
अर्थ: "सिमिट्री" का लाभ कोई जादू नहीं है; यह इस बारे में है कि दिमाग जानकारी को कैसे प्रोसेस करता है। यदि आप अनुमान लगाते समय "रोटेशन एवरेजिंग" करने के लिए मजबूर करते हैं, तो विशेष आर्किटेक्चर की आवश्यकता नहीं होती है। लेकिन यदि आप इसे केवल प्रशिक्षण के दौरान करते हैं, तो विशेष आर्किटेक्चर अनिवार्य है।

5. इसका क्या अर्थ है (और क्या नहीं)

लेखक अपने अध्ययन की सीमाओं के बारे में बहुत ईमानदार हैं:

यह एक लैब टेस्ट है: उन्होंने एक नकली, पूर्ण 2D गेम का उपयोग किया। वास्तविक दुनिया का डेटा (जैसे बिल्लियों की तस्वीरें या शेयर बाजार) अव्यवस्थित और अपूर्ण होता है। यह अध्ययन साबित करता है कि गणित एक साफ लैब में काम करता है, लेकिन हमें अभी यह नहीं पता कि यह वास्तविक दुनिया में कैसे अनुवादित होता है।
यह डेटा के बारे में है, गति के बारे में नहीं: सिमिट्री एक्सपर्ट ने जरूरी नहीं कि तेजी से सोचा; उसे बस सीखने के लिए कम उदाहरणों की आवश्यकता थी। इसने "डेटा" बचाया, "कंप्यूटर समय" नहीं।
यह अन्वेषणात्मक (Exploratory) है: लेखक स्वीकार करते हैं कि उन्होंने संख्याओं को बेहतर ढंग से फिट करने के लिए अपने गणित में बदलाव किया। वे इस बात के प्रति आश्वस्त हैं कि दिशा (सिमिट्री मदद करती है, गलत सिमिट्री नुकसान पहुँचाती है) सही है, लेकिन वे सटीक संख्याओं की पुष्टि करने के लिए एक पूर्व-पंजीकृत योजना के साथ प्रयोग को फिर से चलाना चाहते हैं।

सारांश

यह शोध पत्र एक मैकेनिक द्वारा एक नए इंजन पार्ट का परीक्षण करने जैसा है।

क्या यह काम करता है? हाँ, सिमिट्री इंजन मानक इंजन की तुलना में बहुत कम ईंधन (डेटा) का उपयोग करता है।
क्या यह कोई भी नियम है? नहीं। यदि आप नियम को उल्टा (गलत सिमिट्री) स्थापित करते हैं, तो इंजन एक मानक इंजन की तुलना में खराब चलता है।
क्या यह जादू है? नहीं। यह इस बारे में है कि इंजन ईंधन को कैसे प्रोसेस करता है। यदि आप अंत में ईंधन को उसी तरह प्रोसेस करते हैं, तो आपको विशेष इंजन पार्ट की आवश्यकता नहीं है।

मुख्य सबक: नियम होना तभी मददगार है जब वह नियम वास्तव में सत्य हो। एक गलत नियम, बिना किसी नियम के होने की तुलना में अधिक खतरनाक होता है।

यहाँ "Measuring the Symmetry–Data Exchange Rate" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है, जो पूरी तरह से लेखकों की आवाज़, दायरे और दावों का पालन करता है।

समस्या विवरण (Problem Statement)

इक्विवैरिएंस थ्योरी (Equivariance theory) यह भविष्यवाणी करती है कि एक आर्किटेक्चरल सिमेट्री प्रायर (एक समूह $G$ के तहत इनवेरिएंस या इक्विवैरिएंस) को शामिल करने से सैंपल कॉम्प्लेक्सिटी (sample complexity) में $|G|$ के कारक से कमी आती है। हालांकि यह व्यापक रूप से उद्धृत किया जाता है, लेकिन इस भविष्यवाणी को एक स्केलिंग लॉ (scaling law) के रूप में मापा नहीं जाता है, जिसमें उन कन्फाउंडिंग फैक्टर्स (confounding factors) को नियंत्रित किया जा सके जो स्ट्रक्चरल प्रायर को प्रभावी क्षमता (effective capacity) में कमी, इम्प्लिसिट डेटा ऑग्मेंटेशन (implicit data augmentation), या रेगुलराइजेशन से अलग करते हैं। अधिकांश अनुभवजन्य अध्ययन निश्चित सैंपल साइज पर सटीकता के अंतर या एकल ऑपरेटिंग पॉइंट्स पर दक्षता अनुपात की रिपोर्ट करते हैं, जो सैंपल-कॉम्प्लेक्सिटी स्केलिंग लॉ को ट्रेस करने या "एलाइनमेंट" (सही सिमेट्री) को "कन्स्ट्रेंट" (समान शक्ति वाला कोई भी अन्य प्रतिबंध) से अलग करने में विफल रहते हैं। यह शोध इस पद्धतिगत अंतराल को संबोधित करता है: "संरचना मदद करती है" के गुणात्मक दावे को सिमेट्री और डेटा के बीच एक कैलिब्रेटेड, फाल्सिफिएबल (falsifiable) एक्सचेंज रेट में कैसे बदला जाए।

कार्यप्रणाली (Methodology)

लेखक एक नियंत्रित, सिंथेटिक 2-D कार्य का निर्माण करते हैं जहाँ सिमेट्री ग्रुप सटीक रूप से ज्ञात है और इसका क्रम (order) $n$ एक स्वतंत्र पैरामीटर है।

कार्य (The Task): इनपुट एक एनुलस (annulus) से लिए गए हैं और एक वैकल्पिक कोणीय पैटर्न $1[\cos(n\theta) > 0]$ के आधार पर लेबल किए गए हैं। सिमेट्री ग्रुप साइक्लिक ग्रुप $C_n$ (क्रम $n$ ) है, जहाँ $n \in \{1, 2, 3, 4, 6, 8, 12\}$ । कार्य को गैर-तुच्छ (non-trivial) बनाया गया है, जिसमें कोई कोऑर्डिनेट-आधारित शॉर्टकट नहीं है।
मॉडल परिवार (Model Families): पाँच मॉडल परिवार एक समान फुली-कनेक्टेड आर्किटेक्चर (1,185 पैरामीटर्स) साझा करते हैं ताकि मैच की गई क्षमता सुनिश्चित हो सके:
1. इक्विवैरिएंट (उपचार/Treatment): $C_n$ इनवेरिएंस को निर्माण द्वारा लागू करने के लिए ऑर्बिट पूलिंग (n घुमाए गए कॉपियों के आउटपुट का औसत) का उपयोग करता है।
2. गलत-ग्रुप (नियंत्रण/Control): समान ऑर्बिट पूलिंग आर्किटेक्चर का उपयोग करता है, लेकिन रोटेशन एंगल्स को एक इरैशनल फैक्टर ( $0.7\times$ सही पीरियड) से मिसअलाइन्ड (misaligned) रखा गया है। यह "एलाइनमेंट" को "कन्स्ट्रेंट" से अलग करता है क्योंकि यह ऑर्बिट साइज और कंप्यूट को समान रखते हुए सिमेट्री मैच को नष्ट कर देता है।
3. ऑग्मेंटेड (Augmented): एक अनकन्स्ट्रेंड नेटवर्क जिसे सभी $n$ रोटेटेड कॉपियों पर प्रशिक्षित किया गया है (लॉस में लॉजिट्स का औसत लेकर), लेकिन टेस्ट टाइम पर सिंगल-इनपुट फॉरवर्ड पास का उपयोग करता है।
4. वैनिला (Vanilla): एक मानक अनकन्स्ट्रेंड नेटवर्क।
5. रेगुलराइज्ड (Regularized): एक वैनिला नेटवर्क जिसमें ऑर्बिट पूलिंग द्वारा हटाए गए डिग्री ऑफ फ्रीडम के बराबर L2 वेट डिके (weight decay) का उपयोग किया गया है।
मेट्रिक (Metric): अध्ययन $N_{target}$ को मापता है, जो 5 में से 3 सीड्स के लिए 80% वैलिडेशन एक्यूरेसी तक पहुँचने के लिए आवश्यक न्यूनतम सैंपल साइज है।
एस्टिमेटर (The Estimator): इस कन्फाउंड को संबोधित करने के लिए कि $n$ के साथ कार्य की कठिनाई बढ़ती है (जिससे सभी मॉडल्स के लिए एब्सोल्यूट स्लोप पॉजिटिव होता है), लेखक एक रिलेटिव एक्सचेंज रेट $\beta_{diff}$ पेश करते हैं। यह $\log_2(N_{vanilla}^{target} / N_{treatment}^{target})$ का $\log_2(n)$ के विरुद्ध ढलान (slope) है। सैद्धांतिक रूप से, यदि सिमेट्री सैंपल कॉम्प्लेक्सिटी को $|G|$ से कम करती है, तो यह ढलान $+1$ होनी चाहिए।
अनुमान (Inference): अध्ययन एक नॉन-पैरामीट्रिक पेयर्स बूटस्ट्रैप (10,000 रिसेम्पलिंग्स) और ट्रीटमेंट-बनाम-कंट्रोल तुलनाओं के लिए एक जॉइंट पेयरवाइज बूटस्ट्रैप का उपयोग करता है। एक पूर्व-निर्धारित फेलियर टैक्सोनॉमी परिणामों को वर्गीकृत करती है (जैसे, कोई लाभ नहीं, रेगुलराइजेशन कोलैप्स, ऑग्मेंटेशन स्पष्टीकरण, या वास्तविक सिग्नल)।

मुख्य योगदान (Key Contributions)

एक कन्फाउंड-फ्री मेजरमेंट मेथोडोलॉजी: रिलेटिव एक्सचेंज-रेट एस्टिमेटर का परिचय, जो साझा कार्य-कठिनाई स्केलिंग को रद्द करता है, जिससे $|G|$ के सैद्धांतिक अनुमान का परीक्षण संभव होता है। इसे "गलत-ग्रुप" कंट्रोल के साथ जोड़ा गया है जो 'एलाइनमेंट' को सामान्य 'कन्स्ट्रेंट' से अलग करता है, और ओवरलैपिंग कॉन्फिडेंस इंटरवल को संभालने के लिए जॉइंट पेयरवाइज बूटस्ट्रैप का उपयोग किया गया है।
अनुमानित दर (The Estimated Rate): नियंत्रित कार्य पर, इक्विवैरिएंट मॉडल $\beta_{diff} = 1.28$ का पॉइंट एस्टीमेट देता है। यह साइन और ऑर्डर ऑफ मैग्नीट्यूड में $1.0$ के सैद्धांतिक अनुमान के अनुरूप है। हालाँकि, लेखक इस बात पर जोर देते हैं कि सटीक संख्यात्मक मान खोजपूर्ण (exploratory) है; गुणात्मक दिशा ही मजबूत निष्कर्ष है।
एलाइनमेंट को कन्स्ट्रेंट से अलग करना: "गलत-ग्रुप" कंट्रोल (समान आकार का मिसअलाइन्ड ऑर्बिट) पाया गया कि बिना किसी कन्स्ट्रेंट के भी खराब है ( $\beta_{diff} \approx -0.77$ ), जो दर्शाता है कि मिसअलाइन्ड स्ट्रक्चरल प्रायर सक्रिय रूप से हानिकारक होते हैं, न कि केवल अनुपयोगी।
आर्किटेक्चर बनाम ऑग्मेंटेशन: अध्ययन पाता है कि केवल ट्रेनिंग-टाइम ऑग्मेंटेशन (बिना टेस्ट-टाइम ऑर्बिट एवरेजिंग के) उस लक्ष्य सटीकता तक नहीं पहुँच पाता जहाँ इक्विवैरिएंट मॉडल सफल होता है। हालाँकि, एक CPU रेप्लिकेशन दिखाता है कि ऑग्मेंटेड मॉडल में टेस्ट-टाइम ऑर्बिट एवरेजिंग जोड़ने से यह इक्विवैरिएंट मॉडल के बिट-आइडेंटिकल (bit-identical) हो जाता है। अतः, गैप एसिमेट्रिक टेस्ट-टाइम कंप्यूटेशन पर निर्भर है, न कि आर्किटेक्चर की बिना शर्त श्रेष्ठता पर।
पुनरुत्पादकता (Reproducibility): पूरा प्रयोग (5,600 रन) कोड, कॉन्फ़िगरेशन हैश और सभी प्रति-रन रिकॉर्ड के साथ जारी किया गया है, जो एक सिंगल GPU पर ~90 मिनट में चलता है।

परिणाम (Results)

एक्सचेंज रेट: प्राथमिक एस्टिमेटर $\beta_{diff} = 1.28$ $β_{d i f f} = 1.28$ देता है।
- सिंगल-लेवल पर्सेंटाइल बूटस्ट्रैप CI $[+0.92, +2.05]$ है (शून्य को छोड़कर)।
- अधिक रूढ़वादी दो-स्तरीय बूटस्ट्रैप (सीड्स और ग्रुप साइज को रिसेम्पलिंग करना) $[-0.63, +1.72]$ का CI देता है, जिसमें शून्य शामिल है।
- $\sqrt{2}$ -स्पेस वाली ग्रिड पर एक फाइनर- $N$ रेप्लिकेशन ने अनिर्णायक परिणाम ( $\beta_{diff} = -0.82$ , वाइड CI) दिया, जो ग्रिड डिस्क्रीटाइजेशन के प्रति संवेदनशीलता को उजागर करता है।
कंट्रोल्स:
- गलत-ग्रुप कंट्रोल जॉइंट पेयरवाइज तुलनाओं में वैनिला बेसलाइन से काफी खराब है (CI $[+0.79, +3.26]$ ), जो पुष्टि करता है कि लाभ सही एलाइनमेंट से आता है, न कि केवल कन्स्ट्रेंट की उपस्थिति से।
- रेगुलराइज्ड बेसलाइन वैनिला की तुलना में कोई लाभ नहीं दिखाती ( $\beta_{diff} \approx -0.04$ ), जिससे यह खारिज होता है कि प्रभावी डिग्री ऑफ फ्रीडम में कमी मुख्य तंत्र नहीं है।
- ऑग्मेंटेड मॉडल (केवल ट्रेनिंग-टाइम) $n \ge 3$ के लिए लक्ष्य सटीकता प्राप्त करने में विफल रहता है, जबकि इक्विवैरिएंट मॉडल सफल होता है।
मजबूती (Robustness): रिलेटिव रेट स्थिर रहता है (88-97% शुद्ध मान बनाए रखता है) जब 30% तक ट्रेनिंग लेबल्स को एसिमेट्रिक नॉइज़ के साथ दूषित किया जाता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र स्पष्ट रूप से खुद को एक एक्सप्लोरेटरी स्टडी (खोजपूर्ण अध्ययन) के रूप में फ्रेम करता है, न कि एक कन्फर्मेटरी मेजरमेंट के रूप में। लेखक अपने दावों को लेकर विनम्र हैं:

कोई सार्वभौमिक स्थिरांक नहीं (No Universal Constant): रिपोर्ट किया गया दर एक विशिष्ट कार्य, लक्ष्य सटीकता और स्केलिंग मॉडल पर आधारित एक ऑपरेशनल अनुमान है, न कि एक सार्वभौमिक सूचना-सैद्धांतिक स्थिरांक।
गुणात्मक दिशा (Qualitative Direction): प्राथमिक योगदान गुणात्मक दिशा (सकारात्मक, सिद्धांत के अनुरूप ऑर्डर ऑफ मैग्नीट्यूड) और "गलत-ग्रुप" निष्कर्ष (मिसअलाइड कन्स्ट्रेंट्स हानिकारक हैं) है। सटीक संख्यात्मक मान ($1.28$) को निर्णायक माप नहीं माना जाता है क्योंकि एस्टिमेटर का उपयोग खोजपूर्ण (post-hoc) है और रूढ़िवादी कॉन्फिडेंस इंटरवल में शून्य शामिल है।
पद्धतिगत हस्तांतरण (Methodological Transfer): फ्रेमवर्क (रिलेटिव-रेट एस्टिमेटर, गलत-ग्रुप कंट्रोल, जॉइंट पेयरवाइज बूटस्ट्रैप, फेलियर टैक्सोनॉमी) को सिमेट्री के अलावा किसी भी पैरामीटराइजेबल इंडक्टिव बायस की शक्ति को मापने के लिए एक हस्तांतरणीय उपकरण के रूप में प्रस्तुत किया गया है।
सीमाएँ (Limitations): अध्ययन स्वीकार करता है कि कार्य सिंथेटिक और 2-D है, सिमेट्री सटीक है (अनुमानित या लेटेंट नहीं), और थ्योरी के साथ तुलना में कर्नेल/रैंडम-फीचर थ्योरी और फाइनाइट-विड्थ ReLU MLPs के बीच बेमेल है। "FLOP-न्यूट्रल" दावा भी सूक्ष्म है: जबकि कुल ट्रेनिंग FLOPs लगभग मेल खाते हैं, इक्विवैरिएंट मॉडल अधिक प्रति-सैंपल कंप्यूट और मेमोरी ओवरहेड लेता है।

लेखक निष्कर्ष निकालते हैं कि "गलत-ग्रुप" परिणाम सबसे स्वच्छ और सबसे विश्वसनीय निष्कर्ष है, जबकि मुख्य संख्या को कन्फर्मेटरी माने जाने के लिए भविष्य के बाहरी, रजिस्टर्ड रेप्लिकेशन की आवश्यकता है।