🤖 Category

cs.LG

24939 पेपर

🤖 machine learning

Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning

यह शोध पत्र एक ऐसा प्रथम सैद्धांतिक ढांचा प्रदान करता है जो यह प्रदर्शित करता है कि मानक सॉफ्टमैक्स ट्रांसफॉर्मर (softmax Transformers) उनके लेयरवाइज फॉरवर्ड पास को एक नवीन भारित सॉफ्टमैक्स टेम्पोरल डिफरेंस (weighted softmax temporal difference) एल्गोरिदम के समान मानकर इन-कॉन्टेक्स्ट सुदृढीकरण शिक्षण (in-context reinforcement learning) को लागू करते हैं, जो उनके अभिसरण गुणों (convergence properties) और प्रीट्रेनिंग के दौरान इष्टतम मापदंडों के उद्भव दोनों की व्याख्या करता है।

Zixuan Xie, Xinyu Liu, Claire Chen, Shuze Daniel Liu, Rohan Chandra, Shangtong Zhang2026-05-11
🤖 machine learning

CellScientist: Dual-Space Hierarchical Orchestration for Closed-Loop Refinement of Virtual Cell Models

CellScientist एक द्वि-स्थान पदानुक्रमित ढांचा (dual-space hierarchical framework) है जो वर्चुअल सेल मॉडल्स के क्लोज्ड-लूप परिशोधन को सक्षम बनाता है, जो उच्च-स्तरीय परिकल्पना और निम्न-स्तरीय कार्यान्वयन स्थानों के बीच निष्पादन विसंगतियों को व्यवस्थित रूप से रूट करके लक्षित, ऑडिट योग्य मॉडल संशोधनों को उत्पन्न करता है, न कि केवल साधारण कोड सुधारों को।

Mengran Li, Bo Li, Jiaying Wang, Wenbin Xing, Yixuan Dong, Chengyang Zhang, Hongliang Zhang, Yuzhong Peng, Jinlin Wu, Bo (…)2026-05-11
🤖 machine learning

Mage: Multi-Axis Evaluation of LLM-Generated Executable Game Scenes Beyond Compile-Pass Rate

यह शोध पत्र "Mage" को पेश करता है, जो एक बहु-अक्षीय मूल्यांकन प्रोटोकॉल है जो यह प्रकट करता है कि LLM-जनित गेम दृश्यों के लिए कंपाइल-पास दरें भ्रामक हैं, यह प्रदर्शित करते हुए कि जबकि प्रत्यक्ष प्राकृतिक भाषा-से-कोड पीढ़ी उच्च रनटाइम सफलता प्रदान करती है, कार्यात्मक रूप से निष्ठावान और डोमेन-अनुपालन योग्य निष्पादन योग्य आर्टिफैक्ट्स उत्पन्न करने के लिए इनपुट को मध्यवर्ती निरूपणों पर संरचनात्मक रूप से अनुकूलित करना आवश्यक है।

Hugh Xuechen Liu, Kıvanç Tatar2026-05-11
🤖 machine learning

MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference

यह शोध पत्र MISA का प्रस्ताव करता है, जो एक मिक्सचर-ऑफ-एक्सपर्ट्स दृष्टिकोण है जो DeepSeek Sparse Attention में गणनात्मक रूप से महंगे मल्टी-हेड इंडेक्सर को एक हल्के राउटर से बदल देता है ताकि प्रति क्वेरी केवल कुछ ही हेड्स को सक्रिय किया जा सके, जिससे लंबी-संदर्भ (long-context) वाली कार्यों पर मूल पद्धति के तुलनीय सटीकता प्राप्त करते हुए इन्फरेंस लेटेंसी और मेमोरी लागत को काफी कम किया जा सके।

Ruijie Zhou, Fanxu Meng, Yufei Xu, Tongxuan Liu, Guangming Lu, Muhan Zhang, Wenjie Pei2026-05-11
🤖 machine learning

StreamPhy: Streaming Inference of High-Dimensional Physical Dynamics via State Space Models

StreamPhy एक एंड-टू-एंड फ्रेमवर्क है जो एक डेटा-अनुकूली एनकोडर (data-adaptive encoder), एक संरचित स्टेट-स्पेस मॉडल (structured state-space model) और एक अभिव्यंजक FT-FiLM डिकोडर को एकीकृत करके अनियमित विरल मापों (irregular sparse measurements) से उच्च-आयामी भौतिक गतिकी (high-dimensional physical dynamics) के कुशल, वास्तविक समय और सटीक अनुमान को सक्षम बनाता है, जो सटीकता और अनुमान गति दोनों में मौजूदा विधियों से बेहतर प्रदर्शन करता है।

Panqi Chen, Yifan Sun, Shikai Fang, Xiao Fu, Lei Cheng2026-05-11
🤖 machine learning

Exploring CoCo Challenges in ML Engineering Teams: Insights From the Semiconductor Industry

यह शोध पत्र एक सेमीकंडक्टर कंपनी के भीतर मशीन लर्निंग इंजीनियरिंग टीमों के सहयोग और संचार संबंधी चुनौतियों का एक गुणात्मक अध्ययन प्रस्तुत करता है, जिसमें 16 आवर्ती समस्याओं—विशेष रूप से अस्पष्ट भूमिकाओं और जिम्मेदारियों—की पहचान की गई है और हार्डवेयर-बाधित वातावरणों में इन समस्याओं को कम करने के लिए प्रथाएं प्रस्तावित की गई हैं।

A. Azamnouri, M. Haug, L. Woltmann, M. Fritz, J. Bogner, S. Wagner2026-05-11
💬 NLP

Unsolvability Ceiling in Multi-LLM Routing: An Empirical Study of Evaluation Artifacts

यह अनुभवजन्य अध्ययन प्रकट करता है कि मल्टी-एलएलएम (multi-LLM) रूटिंग में रिपोर्ट की गई "असमाधान सीमाएं" (unsolvability ceilings) काफी हद तक जज पूर्वाग्रह और ट्रंकेशन (truncation) जैसे मूल्यांकन आर्टिफैक्ट्स द्वारा बढ़ा दी गई हैं, जो राउटर प्रशिक्षण संकेतों को विकृत करते हैं और महत्वपूर्ण अवसर लागतों (opportunity costs) की ओर ले जाते हैं, जिससे लागत-गुणवत्ता व्यापार-ऑफ (cost-quality tradeoffs) का सटीक आकलन करने के लिए अधिक विश्वसनीय मूल्यांकन प्रोटोकॉल आवश्यक हो जाते हैं।

Saloni Garg, Amit Sagtani2026-05-11
🔢 mathematics

Have Graph -- Will Lift? The Case for Higher-Order Benchmarks

यह विचार पत्र टोपोलॉजिकल डीप लर्निंग में बेंचमार्क की वर्तमान कमी को दूर करने के लिए नए, नेटिव उच्च-क्रम (higher-order) डेटासेट के विकास का समर्थन करता है, और यह तर्क देता है कि केवल लिफ्टेड ग्राफ डेटासेट पर निर्भर रहना इस क्षेत्र को आगे बढ़ाने के लिए अपर्याप्त है।

Bastian Rieck2026-05-11
💬 NLP

The Proxy Presumption: From Semantic Embeddings to Valid Social Measures

यह शोध पत्र कंस्ट्रक्ट वैलिडिटी प्रोटोकॉल (CVP) और काउंटरफैक्चुअल न्यूट्रलाइजेशन को पेश करके कम्प्यूटेशनल सोशल साइंस में "प्रॉक्सी प्रिजम्प्शन" को संबोधित करता है, जो सिमेंटिक एम्बेडिंग्स को कठोरता से मान्य करता है, जिससे यह सुनिश्चित होता है कि वे विषय या शैली जैसे भ्रमित करने वाले गुणों के बजाय सामाजिक कंस्ट्रक्ट्स को मापते हैं।

Baishi Li, Ta Yu, Kelvin J. L. Koa, Ke-Wei Huang2026-05-11
🤖 machine learning

SR2^2-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning

यह शोध पत्र SR2^2-LoRA का प्रस्ताव करता है, जो क्लास-इन्क्रीमेंटल लर्निंग के लिए एक नवीन पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग विधि है, जो सिंगुलर वैल्यू अलाइनमेंट के माध्यम से इंटर-लेयर संबंधों के ड्रिफ्ट को सैद्धांतिक रूप से प्रदर्शित करके और व्यावहारिक रूप से प्रतिबंधित करके कैटास्ट्रोफिक फॉरगेटिंग (विनाशकारी विस्मृति) को कम करता है।

Fengqiang Wan, Yipeng Lin, Kan Lv, Yang Yang2026-05-11