23609 पेपर
यह शोध पत्र पुनरावर्ती कनवल्शनल न्यूरल नेटवर्क (recurrent convolutional neural networks) को प्रशिक्षित करने के लिए एक अवकलनीय ढांचे (differentiable framework) को प्रस्तुत करता है जो चौड़ाई, गहराई और समय के संयुक्त लागतों को अनुकूलित करता है, जिससे यह पता चलता है कि संसाधन संबंधी बाधाएं विविध कम्प्यूटेशनल आर्किटेक्चर को कैसे आकार देती हैं और मानव प्रतिक्रिया समय के साथ कैसे सह-संबद्ध होती हैं।
यह शोध पत्र "BBT-spectral" प्रस्तुत करता है, जो एक इंजीनियरिंग-केंद्रित क्वांटाइजेशन विधि है जो वेट मैट्रिसेस (weight matrices) पर इन्फ्लुएंस-एडेप्टिव वॉल्श-हैडमार्ड रोटेशन्स (influence-adaptive Walsh-Hadamard rotations) और एनर्जी-बेस्ड रीस्केलिंग (energy-based rescaling) लागू करता है, जो विभिन्न मॉडल आर्किटेक्चर में अत्यधिक लो-बिट (W2A16) LLM क्वांटाइजेशन में परप्लेक्सिटी (perplexity) को महत्वपूर्ण रूप से कम करता है और इंटेल उपकरणों के साथ हार्डवेयर अनुकूलता सुनिश्चित करता है।
यह शोध पत्र एक अर्ध-पर्यवेक्षित (semi-supervised), दो-चरणीय प्रशिक्षण ढांचे का प्रस्ताव करता है जो प्रचुर मात्रा में अनलेबल डेटा का उपयोग करके हल्के विशेषज्ञ डिफ्यूजन मॉडलों को एक सामान्यज्ञ मॉडल में संकुचित (distill) करता है, जिससे उन सांख्यिकीय गारंटियों के साथ कुशल बहु-उद्देश्यीय शिक्षण प्राप्त होता है जो सामान्यज्ञ के बजाय केवल विशेषज्ञों की जटिलता पर निर्भर करते हैं।
यह शोध पत्र ECR-Net को प्रस्तुत करता है, जो एक जैव-प्रेरित (bio-inspired) ढांचा है जो डेटा-जनरेटिंग प्रक्रियाओं को गतिशील जीन नियामक नेटवर्क (Gene Regulatory Networks) के रूप में मॉडल करने के लिए विकासवादी खोज (evolutionary search) का उपयोग करता है, जिससे अनुकूलनशील कारण संरचनाओं (adaptive causal structures) की खोज संभव होती है जो पर्यावरणीय परिवर्तनों के जवाब में विकसित होती हैं और गैर-स्थिर प्रणालियों में सामान्यीकरण (generalization) में सुधार करती हैं।
यह शोधपत्र एक निरंतर-गहराई वाले क्षेत्र सिद्धांत (कंटीन्यूअस-डेप्थ फील्ड थ्योरी) ढांचे का प्रस्ताव करता है जो ट्रांसफॉर्मर एक्टिवेशन पैचिंग को स्थानीयकृत स्रोत प्रविष्टियों (लोकलाइज्ड सोर्स इंसर्शन) के रूप में मॉडल करता है और ग्रीन-फंक्शन प्रतिक्रियाओं के माध्यम से डाउनस्ट्रीम व्यवहारिक परिवर्तनों की भविष्यवाणी करता है, जिससे मैकेनिस्टिक हस्तक्षेपों को व्यवस्थित करने और अनुमान लगाने के लिए संवेदनशीलताओं और प्रसारित क्षेत्रों की एक गणितीय भाषा स्थापित होती है।
यह शोध पत्र इस पारंपरिक दृष्टिकोण को चुनौती देता है कि अधिक डेटा के साथ एपिस्टेमिक अनिश्चितता (epistemic uncertainty) समाप्त हो जाती है, यह प्रदर्शित करते हुए कि ओवरपैरामीटराइज्ड न्यूरल नेटवर्क में, समरूपताओं (symmetries) और रेडंडेंट रिप्रेजेंटेशन्स (redundant representations) के कारण होने वाली नॉन-आइडेंटिफिएबिलिटी (non-identifiability), अंतर्निहित फलन (underlying function) के पूरी तरह से पहचाने जाने के बावजूद भी निरंतर पैरामीटर अनिश्चितता की ओर ले जाती है, एक ऐसी घटना जिसका लेखकों ने सैद्धांतिक रूप से विश्लेषण किया है और वन-हिडन-लेयर ReLU नेटवर्क्स में अनुभवजन्य रूप से (empirically) प्रमाणित किया है।
यह शोध पत्र न्यूरल कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन पॉलिसियों के लिए एक कंस्ट्रेंट-एंकोर्ड एट्रिब्यूशन पद्धति प्रस्तुत करता है जो LP-रिलैक्सेशन ड्यूल्स के माध्यम से निर्णयों को विघटित करती है, कॉम्बिनेटोरियल फिजिबिलिटी मॉडल्स का उपयोग करके काउंटरफैक्टुअल्स को प्रमाणित करती है, और बोनफेरोनी-करेक्टेड PAC टेस्ट्स के साथ पर्याप्त स्पष्टीकरण आकारों को सीमित करती है, जो कई समस्या डोमेन में प्रॉक्सी ग्रेडिएंट्स की तुलना में काफी उच्च सटीकता प्रदर्शित करती है।
यह शोध पत्र एक लेटेंट क्यू-बैरियर शील्डिंग (Latent Q-Barrier Shielding) फ्रेमवर्क प्रस्तावित करता है जो आउट-ऑफ-डिस्ट्रीब्यूशन शिफ्ट्स के तहत सुरक्षित इन-कॉन्टेक्स्ट सुदृढीकरण शिक्षण (in-context reinforcement learning) को बढ़ाता है, जो टेस्ट-टाइम पैरामीटर अपडेट की आवश्यकता के बिना संदर्भ का अनुमान लगाकर और भविष्य की लागतों एवं शेष सुरक्षा बजटों के आधार पर कार्यों को फ़िल्टर करके किया जाता है, जिससे कई बेंचमार्क में बेहतर रिवॉर्ड-सेफ्टी ट्रेडऑफ़ प्राप्त होता है।
यह शोधपत्र लेबल-एनटीके (Label-NTK) और रेसिडुअल-एनटीके (Residual-NTK) संरेखण की अवधारणाओं को पेश करता है ताकि ओवर-पैरामीटराइज्ड न्यूरल नेटवर्क के लिए एक अधिक सटीक, स्पेक्ट्रम-निर्भर अभिसरण सीमा (convergence bound) प्राप्त की जा सके जो व्यावहारिक प्रशिक्षण गतिकी से बेहतर मेल खाती है और शास्त्रीय वर्स्ट-केस परिणामों में सुधार करती है।
यह शोध पत्र डीप इमेज प्रायर के लिए एक सिद्धांत-आधारित स्व-संदर्भित अर्ली स्टॉपिंग फ्रेमवर्क प्रस्तावित करता है जो विभिन्न इनवर्स इमेजिंग समस्याओं में सटीक शोर स्तर अनुमानों की आवश्यकता के बिना ओवरफिटिंग का मजबूती से पता लगाने और निकट-इष्टतम पुनर्निर्माण प्रदर्शन प्राप्त करने के लिए छद्म स्व-संदर्भित छवियों का निर्माण करता है।