28284 पेपर
यह शोध पत्र "कन्वर्जेंस गैप" (convergence gap) डायग्नोस्टिक को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि इंस्ट्रक्शन-ट्यून्ड लैंग्वेज मॉडल्स अपने प्रीट्रेन्ड समकक्षों की तुलना में फॉरवर्ड पास के दौरान अपने नेक्स्ट-टोकन प्रेडिक्शन्स को बाद में स्थिर करते हैं, जो मुख्य रूप से लेट एमएलपी (late MLP) लेयर्स में होने वाली गणनाओं द्वारा संचालित होता है।
यह शोध पत्र एक प्रथम-विचलन क्रॉस-पैचिंग डायग्नोस्टिक के माध्यम से यह प्रदर्शित करता है कि निर्देश-ट्यून किए गए मॉडल व्यवहार उत्पन्न करने के लिए अपने स्वयं के पोस्ट-ट्रेन अपस्ट्रीम स्टेट्स और लेट-लेयर स्टैक्स के बीच एक सहक्रियात्मक अंतःक्रिया पर निर्भर करते हैं, न कि ऐसी लेट लेयर्स पर जो विभिन्न प्रशिक्षण इतिहासों में स्वतंत्र रूप से या पोर्टेबली कार्य करती हों।
यह शोध पत्र मल्टी-लेयर ट्रांसफॉर्मर्स के लिए स्पेक्ट्रम-अनुकूलित पोस्ट हॉक सामान्यीकरण सीमाएं (post hoc generalization bounds) व्युत्पन्न करता है जो स्पेक्ट्रल जटिलता और आयाम एवं गहराई कारकों के बीच संतुलन बनाने के लिए सीखे गए सिंगुलर-वैल्यू प्रोफाइल्स का लाभ उठाते हैं, जो मौजूदा नॉर्म-आधारित दृष्टिकोणों की तुलना में अधिक सटीक गारंटी प्रदान करते हैं।
यह शोध पत्र फ्लक्स मैचिंग (Flux Matching) का परिचय देता है, जो एक नवीन जनरेटिव मॉडलिंग प्रतिमान है जो कंजर्वेटिव वेक्टर फील्ड्स की आवश्यकता को शिथिल करके स्कोर-आधारित मॉडलों का सामान्यीकरण करता है, जिससे इंडक्टिव बायस (inductive biases) को शामिल करने में अधिक लचीलापन और तेज़ सैंपलिंग एवं व्याख्या योग्य डायनेमिक्स जैसे अनुप्रयोगों को सक्षम बनाया जा सके।
यह शोध पत्र एक ऐसा प्रथम सैद्धांतिक ढांचा प्रदान करता है जो यह प्रदर्शित करता है कि मानक सॉफ्टमैक्स ट्रांसफॉर्मर (softmax Transformers) उनके लेयरवाइज फॉरवर्ड पास को एक नवीन भारित सॉफ्टमैक्स टेम्पोरल डिफरेंस (weighted softmax temporal difference) एल्गोरिदम के समान मानकर इन-कॉन्टेक्स्ट सुदृढीकरण शिक्षण (in-context reinforcement learning) को लागू करते हैं, जो उनके अभिसरण गुणों (convergence properties) और प्रीट्रेनिंग के दौरान इष्टतम मापदंडों के उद्भव दोनों की व्याख्या करता है।
CellScientist एक द्वि-स्थान पदानुक्रमित ढांचा (dual-space hierarchical framework) है जो वर्चुअल सेल मॉडल्स के क्लोज्ड-लूप परिशोधन को सक्षम बनाता है, जो उच्च-स्तरीय परिकल्पना और निम्न-स्तरीय कार्यान्वयन स्थानों के बीच निष्पादन विसंगतियों को व्यवस्थित रूप से रूट करके लक्षित, ऑडिट योग्य मॉडल संशोधनों को उत्पन्न करता है, न कि केवल साधारण कोड सुधारों को।
यह शोध पत्र "Mage" को पेश करता है, जो एक बहु-अक्षीय मूल्यांकन प्रोटोकॉल है जो यह प्रकट करता है कि LLM-जनित गेम दृश्यों के लिए कंपाइल-पास दरें भ्रामक हैं, यह प्रदर्शित करते हुए कि जबकि प्रत्यक्ष प्राकृतिक भाषा-से-कोड पीढ़ी उच्च रनटाइम सफलता प्रदान करती है, कार्यात्मक रूप से निष्ठावान और डोमेन-अनुपालन योग्य निष्पादन योग्य आर्टिफैक्ट्स उत्पन्न करने के लिए इनपुट को मध्यवर्ती निरूपणों पर संरचनात्मक रूप से अनुकूलित करना आवश्यक है।
यह शोध पत्र MISA का प्रस्ताव करता है, जो एक मिक्सचर-ऑफ-एक्सपर्ट्स दृष्टिकोण है जो DeepSeek Sparse Attention में गणनात्मक रूप से महंगे मल्टी-हेड इंडेक्सर को एक हल्के राउटर से बदल देता है ताकि प्रति क्वेरी केवल कुछ ही हेड्स को सक्रिय किया जा सके, जिससे लंबी-संदर्भ (long-context) वाली कार्यों पर मूल पद्धति के तुलनीय सटीकता प्राप्त करते हुए इन्फरेंस लेटेंसी और मेमोरी लागत को काफी कम किया जा सके।
StreamPhy एक एंड-टू-एंड फ्रेमवर्क है जो एक डेटा-अनुकूली एनकोडर (data-adaptive encoder), एक संरचित स्टेट-स्पेस मॉडल (structured state-space model) और एक अभिव्यंजक FT-FiLM डिकोडर को एकीकृत करके अनियमित विरल मापों (irregular sparse measurements) से उच्च-आयामी भौतिक गतिकी (high-dimensional physical dynamics) के कुशल, वास्तविक समय और सटीक अनुमान को सक्षम बनाता है, जो सटीकता और अनुमान गति दोनों में मौजूदा विधियों से बेहतर प्रदर्शन करता है।
यह शोध पत्र एक सेमीकंडक्टर कंपनी के भीतर मशीन लर्निंग इंजीनियरिंग टीमों के सहयोग और संचार संबंधी चुनौतियों का एक गुणात्मक अध्ययन प्रस्तुत करता है, जिसमें 16 आवर्ती समस्याओं—विशेष रूप से अस्पष्ट भूमिकाओं और जिम्मेदारियों—की पहचान की गई है और हार्डवेयर-बाधित वातावरणों में इन समस्याओं को कम करने के लिए प्रथाएं प्रस्तावित की गई हैं।