24008 पेपर
यह शोध पत्र FINCH को प्रस्तुत करता है, जो एक लॉस-एडेप्टिव (loss-adaptive) लर्निंग रेट शेड्यूल है जो फाइन-ट्यूनिंग ऑब्जेक्टिव में बिना किसी बदलाव के प्रशिक्षण लॉस के आधार पर लर्निंग रेट को गतिशील रूप से समायोजित करके लार्ज लैंग्वेज मॉडल्स में कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करता है, जिससे कार्य प्रदर्शन को बनाए रखते हुए फॉरगेटिंग में महत्वपूर्ण कमी प्राप्त होती है।
यह शोध पत्र एक नवीन डबल-बेयसियन संभाव्य ढांचे (double-Bayesian probabilistic framework) को प्रस्तुत करता है जो स्टोकेस्टिक ग्रेडिएंट डिसेंट के लिए एक इष्टतम लर्निंग रेट को सैद्धांतिक रूप से व्युत्पन्न करता है, और व्यापक प्रयोगों के माध्यम से यह प्रदर्शित करता है कि यह दृष्टिकोण विभिन्न कार्यों में न्यूरल नेटवर्क प्रशिक्षण को प्रभावी ढंग से बढ़ाता है।
यह शोध पत्र इन्टेंट-कंट्रोल्ड पार्शियल ऑप्टिमल ट्रांसपोर्ट (IC-POT) प्रस्तुत करता है, जो एक नवीन ढांचा है जो ग्लोबल मास रिजेक्शन को साइड इन्फॉर्मेशन पर आधारित पॉइंटवाइज, इन्टेंट-ड्रिवन रिजेक्शन कॉस्ट से बदलकर पार्शियल ऑप्टिमल ट्रांसपोर्ट का सामान्यीकरण करता है, जिससे पॉजिटिव-अनलेबल लर्निंग और मल्टी-मोडल सैटेलाइट डेटा विश्लेषण जैसे अनुप्रयोगों में अधिक संरचित और विश्वसनीय मिलान सक्षम होता है।
यह शोध पत्र यह प्रदर्शित करता है कि कॉन्टेक्स्टुअल मल्टी-आर्म्ड बैंडिट्स में संदर्भों (contexts) को निष्क्रिय रूप से प्राप्त करने के बजाय, सक्रिय रूप से यह चुनना कि किन संदर्भों का नमूना लिया जाए, संदर्भ वितरण (context distribution) के आधार पर आवंटन रणनीति को अनुकूलित करके वर्स्ट-केस सिंपल रिग्रेट दरों में महत्वपूर्ण सुधार करता है, जिसमें एक प्रस्तावित एल्गोरिदम उन इष्टतम दरों को प्राप्त करता है, भले ही वितरण शुरुआत में अज्ञात हो।
यह शोध पत्र "टेल एनीलिंग" (Tail Annealing) का प्रस्ताव करता है, जो एक विधि है जो मानक फ्लो मैचिंग (Flow Matching) मॉडलों के लिए भारी-पूंछ वाले (heavy-tailed) डेटा को एक प्रबंधनीय सीमा में संकुचित करने हेतु कोऑर्डिनेट-वाइज सॉफ्ट-लॉग ट्रांसफॉर्म लागू करती है, जिससे बिना किसी आर्किटेक्चरल बदलाव या भारी-पूंछ वाले बेस डिस्ट्रीब्यूशन के, उन्हें पावर-लॉ डिस्ट्रीब्यूशन को सटीक रूप से जेनरेट करने में सक्षम बनाया जा सके।
यह शोधपत्र "क्लिप्ड लीनियर लॉटरी" (Clipped Linear Lottery) का प्रस्ताव देकर मौजूदा आंशिक लॉटरी चयन तंत्रों की अस्थिरता को संबोधित करता है, जो एक सुचारू, लिप्सचिट्ज़-निरंतर (Lipschitz-continuous) डिज़ाइन है जो वास्तविक दुनिया के पीअर रिव्यू डेटा पर विकल्पों की तुलना में इष्टतम रिग्रेट बाउंड्स और बेहतर प्रदर्शन प्राप्त करते हुए छोटे स्कोर परिवर्तनों के प्रभाव को न्यूनतम करता है।
यह शोध पत्र बड़े मॉडलों से ग्राफ न्यूरल नेटवर्क में कॉम्बिनेटरियल ऑप्टिमाइज़ेशन ज्ञान के कुशल डिस्टिलेशन (distillation) के लिए एक कठोर पर्याप्त शर्त स्थापित करता है, यह प्रदर्शित करते हुए कि सफलता तब सुनिश्चित होती है जब लक्षित आर्किटेक्चर अंतर्निहित डायनेमिक प्रोग्रामिंग समाधान के साथ एल्गोरिद्मिक रूप से संरेखित होता है और स्रोत मॉडल लीनियर रिप्रेजेंटेशन हाइपोथेसिस (linear representation hypothesis) को संतुष्ट करता है।
यह शोधपत्र इवोट्रेस (EvoTrace), जो विकासवादी कोडिंग ट्रेसेस का एक डेटासेट है, और इवोरिप्ले (EvoReplay), जो एक रिप्ले-आधारित कार्यप्रणाली है, को प्रस्तुत करता है, जिससे यह प्रकट होता है कि विकासवादी कोडिंग एजेंटों में प्रदर्शन लाभ अक्सर वास्तविक एल्गोरिद्मिक नवाचार के बजाय री-ट्यूनिंग या मौजूदा ज्ञान के पुन: उपयोग जैसे विविध तंत्रों से उत्पन्न होते हैं, जैसा कि कोड लाइनों के बार-बार होने वाले नियतात्मक चक्रण (deterministic cycling) से प्रमाणित होता है।
यह शोध पत्र प्रीट्रेनिंग और लीनियर प्रोबिंग का एक विश्लेषणात्मक उच्च-आयामी मॉडल प्रस्तुत करता है जो इष्टतम प्रतिनिधित्व आकार (representation sizes) की पहचान करने के लिए सटीक सामान्यीकरण त्रुटि व्यंजक (generalization error expressions) व्युत्पन्न करता है, जिससे यह पता चलता है कि जब प्रीट्रेनिंग डेटा प्रचुर मात्रा में हो लेकिन डाउनस्ट्रीम डेटा कम हो तो अधिकतम संकुचित प्रतिनिधित्व सबसे अच्छे होते हैं, जबकि सीमित प्रीट्रेनिंग डेटा के साथ उच्च-आयामी प्रतिनिधित्व बेहतर प्रदर्शन करते हैं।
यह शोधपत्र एक "सैंपल-स्केच-सॉल्व" (Sample-Sketch-Solve) प्रतिमान प्रस्तावित करता है जो डेटा को संकुचित करने और संरचना को नियमित करने के लिए एक नियमित कार्टेशियन ग्रिड स्केच का उपयोग करता है, जिससे सुचारू वितरणों के बीच वर्ग वसरस्टीन दूरी (squared Wasserstein distance) का -योगात्मक त्रुटि के साथ अनुमान लगाना संभव हो जाता है, जिसकी समय जटिलता पारंपरिक विधियों की तुलना में काफी बेहतर है, विशेष रूप से और आयामों के लिए।