Small Experiments, Cheaper Decisions: A Case Study in Staged Promotion for Micro-Pretraining
यह शोध पत्र एक केस स्टडी प्रस्तुत करता है जो यह प्रदर्शित करता है कि लघु, विषम माइक्रो-प्रीट्रेनिंग (micro-pretraining) रन का उपयोग करने वाला एक चरणबद्ध पदोन्नति प्रोटोकॉल (staged promotion protocol) हाइपरपैरामीटर कॉन्फ़िगरेशनों को प्रभावी ढंग से फ़िल्टर कर सकता है और अनफ़िल्टर्ड निरंतरता रणनीतियों की तुलना में कुल प्रयोगात्मक लागत को 12% से 56% तक कम कर सकता है, जबकि यह स्वीकार करता है कि परिणाम वैश्विक इष्टतमता (global optimality) के दावे के बजाय एक सीमित लागत-आवंटन निष्कर्ष का प्रतिनिधित्व करते हैं।