cs.LG पेपर | Gist.Science

The Effect of Mini-Batch Noise on the Implicit Bias of Adam

यह शोध पत्र एक सैद्धांतिक ढांचा प्रस्तुत करता है जो यह प्रदर्शित करता है कि मिनी-बैच शोर (mini-batch noise) एडम (Adam) के मोमेंटम हाइपरपैरामीटर्स के निहित पूर्वाग्रह (implicit bias) को मौलिक रूप से बदल देता है, जिससे यह स्पष्ट होता है कि जबकि मानक $(\beta_1, 0.999)$ विन्यास छोटे बैचों के लिए इष्टतम है, बड़े बैचों के लिए एंटी-रेगुलराइजेशन (anti-regularization) से बचने और सामान्यीकरण (generalization) में सुधार करने के लिए $\beta_1$ को $\beta_2$ के करीब समायोजित करने की आवश्यकता होती है।

Matias D. Cattaneo, Boris Shigida2026-05-11

🤖 machine learning

Bayesian Conformal Prediction as a Decision Risk Problem

यह शोध पत्र बेयसियन कॉन्फॉर्मल प्रेडिक्शन (BCP) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो कॉन्फॉर्मल प्रेडिक्शन को निर्णय-जोखिम अनुकूलन समस्या के रूप में सूत्रबद्ध करता है ताकि मॉडल मिसस्पेसिफिकेशन (model misspecification) के तहत भी सीमित-नमूना कवरेज गारंटी के साथ कुशल, संभावित रूप से विलगित (disjoint) उच्चतम पश्च घनत्व (Highest Posterior Density) भविष्यवाणी सेट उत्पन्न किए जा सकें।

Fanyi Wu, Veronika Lohmanova, Samuel Kaski, Michele Caprio2026-05-11

🤖 machine learning

Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts

यह शोध पत्र CaRE का प्रस्ताव करता है, जो 300 से अधिक कार्यों के अत्यंत लंबे टास्क अनुक्रमों को प्रभावी ढंग से संभालने के लिए एक द्वि-स्तरीय रूटिंग मिक्सचर-ऑफ-एक्सपर्ट्स तंत्र का उपयोग करने वाला एक स्केलेबल कॉन्टिनुअल लर्निंग फ्रेमवर्क है, जिसके साथ मूल्यांकन के लिए चुनौतीपूर्ण OmniBenchmark-1K डेटासेट का परिचय भी दिया गया है।

Meng Lou, Yunxiang Fu, Yizhou Yu2026-05-11

🧬 biology

Path Integration and Object-Location Binding Emerge in an Action-Conditioned Predictive Sequence Network

यह शोध पत्र प्रदर्शित करता है कि 2D दृश्यों में अनुक्रमिक टोकन की भविष्यवाणी करने के लिए प्रशिक्षित एक रिकरेंट न्यूरल नेटवर्क स्वतः ही पाथ इंटीग्रेशन और डायनेमिक ऑब्जेक्ट-लोकेशन बाइंडिंग तंत्र विकसित कर लेता है, जो लचीले इन-कॉन्टेक्स्ट लर्निंग और नवीन दृश्यों के सुदृढ़ पूर्वानुमान को सक्षम बनाता है।

Linda Ariel Ventura, Victoria Bosch, Tim C Kietzmann, Sushrut Thorat2026-05-11

🤖 machine learning

Manifold Random Features

यह शोध पत्र मैनिफोल्ड रैंडम फीचर्स (MRFs) को प्रस्तुत करता है, जो एक नवीन प्रतिमान (पैराडाइम) है जो सामान्य मैनिफोल्ड्स पर द्वि-चर (bi-variate) फलनों के धनात्मक, परिबद्ध (bounded), निरंतर सन्निकटन उत्पन्न करने के लिए मैनिफोल्ड विविक्तीकरण (discretization) और ग्राफ रैंडम फीचर्स का लाभ उठाता है, जबकि विविक्त (discrete) और निरंतर रैंडम फीचर्स के बीच एक गहरा सैद्धांतिक संबंध स्थापित करता है और लीनियर-अटेंशन ट्रांसफॉर्मर्स जैसे अनुप्रयोगों के लिए गॉसियन कर्नेल सन्निकटन को सरल बनाता है।

Ananya Parashar, Derek Long, Dwaipayan Saha, Krzysztof Choromanski2026-05-11

🔬 condensed matter

Theory of Optimal Learning Rate Schedules and Scaling Laws for a Random Feature Model

यह शोध पत्र अनुकूल नियंत्रण सिद्धांत (optimal control theory) का उपयोग करके रैंडम फीचर मॉडल्स के लिए इष्टतम लर्निंग रेट शेड्यूल्स को सैद्धांतिक रूप से व्युत्पन्न और मान्य करता है, जो विशिष्ट "आसान" और "कठिन" प्रशिक्षण चरणों की पहचान करता है जो यह निर्धारित करते हैं कि मानक बेंचमार्क की तुलना में पॉलीनोमियल डिके या वॉर्मअप-स्टेबल-डिके रणनीतियाँ बेहतर प्रदर्शन प्रदान करती हैं।

Blake Bordelon, Francesco Mori2026-05-11

🤖 machine learning

SOCKET: SOft Collision Kernel EsTimator for Sparse Attention

यह शोध पत्र SOCKET को प्रस्तुत करता है, जो एक नवीन स्पार्स अटेंशन मैकेनिज्म है जो कुशल, मेमोरी-लाइट टोकन चयन को सक्षम करने के लिए पारंपरिक हार्ड लोकैलिटी-सेंसिटिव हैशिंग को एक संभाव्य सॉफ्ट कोलिजन कर्नेल से बदल देता है और लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के दौरान FlashAttention की तुलना में 1.5x तक अधिक थ्रूपुट प्राप्त करता है।

Sahil Joshi, Agniva Chowdhury, Wyatt Bellinger, Amar Kanakamedala, Ekam Singh, Hoang Anh Duy Le, Aditya Desai, Anshumali (…)2026-05-11

💬 NLP

Flexible Entropy Control in RLVR with a Gradient-Preserving Perspective

यह शोध पत्र एक नवीन डायनेमिक क्लिपिंग तंत्र का प्रस्ताव देकर 'वेरिफिएबल रिवार्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) में एंट्रॉपी कोलैप्स को संबोधित करता है, जो पॉलिसी एंट्रॉपी को सटीक रूप से नियंत्रित करने के लिए एक ग्रेडिएंट-प्रिजर्विंग परिप्रेक्ष्य का लाभ उठाता है, जिससे समयपूर्व अति-आत्मविश्वास को रोका जा सके और एलएलएम (LLM) तर्क प्रदर्शन को बढ़ाया जा सके।

Kun Chen, Peng Shi, Fanfan Liu, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao2026-05-11

📊 statistics

Exponential Sample Complexity Separation between Flat and Hierarchical Agentic Theorem Provers

यह शोध पत्र प्रदर्शित करता है कि पदानुक्रमित (hierarchical) थ्योरम प्रूवर, शिक्षक ट्रेस (teacher traces) से पुन: प्रयोज्य प्रमाण संरचनाओं को सीखकर, फ्लैट प्रूवर्स की तुलना में सैंपल कॉम्प्लेक्सिटी (sample complexity) में घातीय कमी प्राप्त करते हैं, जिससे वे फ्लैटेड निरूपणों (flattened representations) में निहित कठिन उप-प्रमाणों की अनावश्यक पुनरावृत्ति से बच जाते हैं।

Sho Sonoda, Shunta Akiyama, Yuya Uezato2026-05-11

🤖 machine learning

Amortized Molecular Optimization via Group Relative Policy Optimization

यह शोध पत्र AMORTIX को प्रस्तुत करता है, जो एक एमोर्टाइज्ड (amortized) ग्राफ ट्रांसफार्मर मॉडल है जो विविध संरचनात्मक बाधाओं और प्रारंभिक संरचनाओं में प्रशिक्षण को स्थिर करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (Group Relative Policy Optimization) का उपयोग करके, बिना इन्फरेंस-टाइम ओरकल कॉल्स के, कुशल, सिंगल-पास मॉलिक्यूलर ऑप्टिमाइजेशन प्राप्त करता है।

Muhammad bin Javaid, Hasham Hussain, Ashima Khanna, Berke Kisin, Jonathan Pirnay, Alexander Mitsos, Dominik G. Grimm, Ma (…)2026-05-11

← पिछला अगला →