21965 पेपर
यह शोध पत्र यह प्रदर्शित करके सुपर मारियो ब्रदर्स वर्ल्ड 1-1 के मानक डिज़ाइन की शैक्षणिक प्रभावकारिता को अनुभवजन्य रूप से मान्य करता है कि एक मोंटे कार्लो सुदृढीकरण लर्निंग एजेंट केवल तभी बेहतर शिक्षण दक्षता और शून्य विनाशकारी विफलताओं को प्राप्त करता है जब स्तर के खंडों को यादृच्छिक क्रम के बजाय उनके मूल, प्रगतिशील क्रम में प्रस्तुत किया जाता है।
यह शोध पत्र प्रदर्शित करता है कि आवर्ती तंत्रिका नेटवर्क (recurrent neural networks) स्वाभाविक रूप से एक "एंटी-कोलैप्स्ड" (anti-collapsed) शासन में उभरकर लंबी दूरी के सीखने के अभिशाप (curse of long-range learning) पर विजय प्राप्त कर सकते हैं, जहाँ प्रशिक्षण गतिकी में भारी-पूंछ वाले उतार-चढ़ाव (heavy-tailed fluctuations) अल्प समय-पैमानों की ओर ऑप्टिमाइज़र के खिंचाव को संतुलित करते हैं, जिसके परिणामस्वरूप एक एकल स्पेक्ट्रल घातांक (spectral exponent) द्वारा नियंत्रित स्मृति का पावर-लॉ क्षय (power-law decay) होता है।
यह शोध पत्र यह प्रदर्शित करता है कि स्क्रैचपैड में मध्यवर्ती अवस्थाओं (intermediate states) को लिखने के लिए प्रशिक्षित बड़े भाषा मॉडल वास्तव में उन लिखित अवस्थाओं का उपयोग बाद के तर्क चरणों के लिए कारण इनपुट (causal inputs) के रूप में करते हैं, न कि केवल मानवीय पठनीयता के लिए उन्हें उत्पन्न करते हैं।
यह शोध पत्र LLM सुदृढीकरण शिक्षण (reinforcement learning) में प्रशिक्षण-अनुमान अंतराल (training-inference mismatch) को अस्थिरता के एक महत्वपूर्ण कारण के रूप में पहचानता है और एक नया ढांचा प्रस्तावित करता है जिसे मोनोटोनिक इन्फरेंस पॉलिसी अपडेट (MIPU) कहा जाता है, ताकि यह सुनिश्चित किया जा सके कि प्रशिक्षण में सुधार सीधे बेहतर अनुमान प्रदर्शन में परिवर्तित हो सके।
यह शोध पत्र उन्नत बहुपद-समय (polynomial-time) पूर्वानुमान एल्गोरिदम प्रस्तुत करता है जो कम-आयामी और अनिश्चित-आयामी दोनों परिणाम स्थानों में अज्ञात उद्देश्यों वाले डाउनस्ट्रीम एजेंटों के लिए उप-रैखिक (sublinear) स्वैप रिग्रेट प्राप्त करते हैं, जो कार्यों की संख्या और समय के संदर्भ में रिग्रेट निर्भरता के मामले में पूर्व सीमाओं से काफी बेहतर प्रदर्शन करते हुए घातीय रनटाइम (exponential runtimes) से बचते हैं।
यह शोध पत्र प्रकट करता है कि AdamW जैसे एल्गोरिदम में फिक्स्ड-क्लॉक ऑप्टिमाइज़र मेमोरी, शफल ऑर्डर (shuffle order) को एक नगण्य द्वितीय-क्रम के प्रभाव से बदलकर फाइन-ट्यूनिंग शोर (fine-tuning noise) के एक प्रमुख प्रथम-क्रम के स्रोत के रूप में ऊपर उठा देती है, जिससे इस परिवर्तनशीलता के सटीक और फिट-मुक्त परिमाणीकरण को सक्षम बनाया जा सके ताकि A/B तुलनाओं की विश्वसनीयता में सुधार किया जा सके।
यह शोध पत्र बाइलेवल ऑप्टिमाइज़ेशन (bilevel optimization) के दृष्टिकोण से न्यूरल आर्किटेक्चर सर्च (NAS) का एक संरचित अवलोकन प्रस्तुत करता है, जो मौजूदा विधियों को सैंपलिंग-आधारित और सिद्धांत-आधारित दृष्टिकोणों में वर्गीकृत करता है और एक नवीन सहायक गणितीय प्रोग्रामिंग ढांचे की वकालत करता है जो पारंपरिक सैंपलिंग विधियों की तुलना में बेहतर सटीकता और दक्षता प्राप्त करने के लिए सेकंड-ऑर्डर जानकारी का लाभ उठाता है।
यह शोध पत्र CliffordSTF प्रस्तुत करता है, जो एक नवीन अंतर-परमाणु विभव (interatomic potential) है जो मल्टीवेक्टर्स को सममित-ट्रेसलेस टेंसर ट्रैक्स (symmetric-traceless tensor tracks) के साथ युग्मित करके मानक ज्यामितीय बीजगणित मॉडलों की दिशात्मक अशुद्धि पर विजय प्राप्त करता है, जिससे क्लेबश-गोर्डन गुणांकों (Clebsch–Gordan coefficients) या विग्नर- मैट्रिसेस (Wigner- matrices) पर निर्भर किए बिना आणविक और उत्प्रेरक बेंचमार्क में बल दिशा और ऊर्जा भविष्यवाणी में अत्याधुनिक प्रदर्शन प्राप्त होता है।
यह शोध पत्र STEMGym प्रस्तुत करता है, जो यह प्रदर्शित करता है कि स्वायत्त स्कैनिंग ट्रांसमिशन इलेक्ट्रॉन माइक्रोस्कोपी में, उन्नत अनुकूली नेविगेशन रणनीतियों को अपनाने के बजाय धारणा पाइपलाइन (perception pipeline) को अनुकूलित करने से काफी अधिक डोज़ दक्षता प्राप्त होती है, जिससे यह पुनर्परिभाषित होता है कि मशीन लर्निंग प्रयासों को प्राथमिकता कहाँ दी जानी चाहिए।
यह शोध पत्र इस बात का विवरण देता है कि कैसे आधुनिक एआई मॉडलों का उपयोग अंततः स्टिफन काज़मार्स द्वारा 1937 में प्रस्तावित एक मौलिक स्टोकेस्टिक ग्रेडिएंट डिसेंट पद्धति, काज़मार्स एल्गोरिदम की वर्स्ट-केस जटिलता (worst-case complexity) को निर्धारित करने के लिए किया गया था।