cs.LG पेपर | Gist.Science

On the global convergence of gradient descent for wide shallow models with bounded nonlinearities

यह शोध पत्र यह सिद्ध करके कि सभी गैर-वैश्विक लघुतम (non-global minimizers) अस्थिर हैं, सीमित गैर-रैखिकता (bounded nonlinearities) और वेक्टर आउटपुट वेट्स वाले वाइड शैलो न्यूरल नेटवर्क के लिए निरंतर-समय ग्रेडिएंट डिसेंट की वैश्विक अभिसरण (global convergence) को स्थापित करता है, जिससे ReLU और स्केलर-आउटपुट सिग्मॉइड नेटवर्क पर पिछले परिणामों का विस्तार मल्टी-हेड अटेंशन लेयर्स को सम्मिलित करने के लिए किया गया है।

Romain Petit, Clarice Poon, Gabriel Peyré2026-05-12

🤖 machine learning

Locking Pretrained Weights via Deep Low-Rank Residual Distillation

यह शोधपत्र DLR-Lock को प्रस्तुत करता है, जो एक रक्षा तंत्र है जो मानक MLPs को डीप लो-रैंक रेसिडुअल नेटवर्क्स से बदलकर ओपन-वेट लैंग्वेज मॉडल्स को अनधिकृत फाइन-ट्यूनिंग से सुरक्षित करता है, जो मॉडल के प्रदर्शन को बनाए रखते हुए अनुकूलनशील हमलावरों के लिए निषेधात्मक मेमोरी और ऑप्टिमाइज़ेशन बाधाएं उत्पन्न करने हेतु इन्फरेंस-ट्रेनिंग विषमता (inference-training asymmetry) का लाभ उठाता है।

Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi2026-05-12

🤖 machine learning

Elucidating Representation Degradation Problem in Diffusion Model Training

यह शोध पत्र "रिप्रेजेंटेशन डिग्रेडेशन" (प्रतिनिधित्व क्षरण) को डिफ्यूजन मॉडल्स में एक प्रमुख प्रशिक्षण बाधा के रूप में पहचानता है जो बेमेल लक्ष्य रिकवरेबिलिटी (पुनर्प्राप्ति क्षमता) के कारण होता है और एलुसिडेटेड रिप्रेजेंटेशन डिफ्यूजन (ERD) का प्रस्ताव करता है, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जो सीखने को स्थिर करने और अभिसरण (कन्वर्जेंस) को तेज करने के लिए अनुकूलन प्रयास को गतिशील रूप से पुनर्वितरित करता है।

Zhipeng Yao, Dazhou Li, Zitong Zhang, Durude Mahee, Fan Zhu, Wenbin Zhang, Xinwei He, Yeying Jin, Rui Yu2026-05-12

🔢 mathematics

Fixed-Point Neural Optimal Transport without Implicit Differentiation

यह शोध पत्र एक स्थिर, एकल-नेटवर्क अनुकूलतम परिवहन (ऑप्टिमल ट्रांसपोर्ट) ढांचे को प्रस्तुत करता है जो कांतोरोविच द्वैत (केंटोरोविच ड्यूल) को एक प्रॉक्सिमल फिक्स्ड-पॉइंट समस्या के रूप में पुनर्गठित करता है, जो प्रतिकूल अनुकूलन (एडवर्सरियल ऑप्टिमाइज़ेशन) या निहित अवकलन (इम्प्लिसिट डिफरेंशिएशन) के बिना कुशल प्रशिक्षण को सक्षम बनाता है और विविध उच्च-आयामी कार्यों में परिवहन मानचित्रों को सटीक रूप से पुनर्प्राप्त करता है।

Yesom Park, Eric Gelphman, Stanley Osher, Samy Wu Fung2026-05-12

📊 statistics

Factual recall in linear associative memories: sharp asymptotics and mechanistic insights

यह शोध पत्र रैखिक साहचर्य स्मृतियों (linear associative memories) की भंडारण क्षमता को सटीक रूप से चित्रित करने के लिए सांख्यिकीय भौतिकी का उपयोग करता है, जो यह प्रदर्शित करता है कि मूल प्रणाली के समकक्ष एक विच्छेदित मॉडल (decoupled model) $p_c \log p_c / d^2 = 1/2$ तक साहचर्यों को संग्रहीत कर सकता है और यह प्रकट करता है कि इष्टतम समाधान संरेखणों को व्यापक रूप से बढ़ाने के बजाय प्रतिस्पर्धी आउटपुट की चरम-मान सीमा (extreme-value threshold) से ठीक ऊपर सही स्कोर बढ़ाकर इसे प्राप्त करते हैं।

Alessio Giorlandino, Sebastian Goldt, Antoine Maillard2026-05-12

🤖 machine learning

Muown: Row-Norm Control for Muon Optimization

यह शोध पत्र Muown को पेश करता है, जो एक ड्रॉप-इन ऑप्टिमाइज़र है जो Muon में स्पेक्ट्रल नॉर्म ड्रिफ्ट (spectral norm drift) को रोकने के लिए स्पष्ट रूप से रो-मैग्निट्यूड वेक्टर्स (row-magnitude vectors) को नियंत्रित करता है, जिससे प्रशिक्षण स्थिरता में सुधार होता है, वेट डिके (weight decay) के प्रति संवेदनशीलता कम होती है, और विभिन्न मॉडल स्केल्स पर बेहतर परप्लेक्सिटी (perplexity) प्राप्त होती है।

Kai Lion, Florian Hübler, Bingcong Li, Antonio Orvieto, Niao He2026-05-12

🤖 AI

PhyGround: Benchmarking Physical Reasoning in Generative World Models

यह शोध पत्र PhyGround को प्रस्तुत करता है, जो 250 क्यूरेटेड प्रॉम्प्ट्स, एक 13-नियम वर्गीकरण (taxonomy) और एक विशेषीकृत VLM जज (PhyJudge-9B) से युक्त एक व्यापक बेंचमार्क है, जो बड़े पैमाने पर, गुणवत्ता-नियंत्रित मानव एनोटेशन के माध्यम से जनरेटिव वीडियो मॉडल्स की भौतिक तर्क क्षमताओं का कठोरता से मूल्यांकन और निदान करता है।

Juyi Lin, Arash Akbari, Yumei He, Lin Zhao, Haichao Zhang, Arman Akbari, Xingchen Xu, Zoe Y. Lu, Enfu Nan, Hokin Deng, E (…)2026-05-12

🤖 machine learning

Likelihood scoring for continuations of mathematical text: a self-supervised benchmark with tests for shortcut vulnerabilities

यह शोध पत्र एक स्व-पर्यवेक्षित (self-supervised) बेंचमार्क प्रस्तुत करता है जो यह मूल्यांकन करता है कि क्या गणितीय पाठ के निरंतरता के मॉडल-जनित पूर्वानुमान, केवल संदर्भ-आधारित नियंत्रणों की तुलना में संभावना स्कोर (likelihood scores) में सुधार करते हैं, जो प्रभावी रूप से मॉडल की क्षमताओं और तर्क संबंधी प्रयासों को अलग करता है तथा स्कोरिंग तंत्रों में संभावित शॉर्टकट कमजोरियों की पहचान करता है।

Daniel Ranard2026-05-12

🤖 machine learning

Policy Gradient Methods for Non-Markovian Reinforcement Learning

यह शोधपत्र एक गैर-मार्कोवियन सुदृढीकरण शिक्षण (नॉन-मार्कोवियन रीइन्फोर्समेंट लर्निंग) के लिए एक रिवॉर्ड-केंद्रित ढांचे को प्रस्तुत करता है जो एजेंट स्टेट डायनेमिक्स और कंट्रोल पॉलिसी को संयुक्त रूप से अनुकूलित करता है, एक नवीन पॉलिसी ग्रेडिएंट थ्योरम और ASMPG एल्गोरिदम को स्थापित करता है जिसमें सैद्धांतिक अभिसरण गारंटी और प्रेडिक्टिव बेसलाइन्स की तुलना में बेहतर अनुभवजन्य प्रदर्शन है।

Avik Kar, Siddharth Chandak, Rahul Singh, Soumitra Sinhahajari, Eric Moulines, Shalabh Bhatnagar, Nicholas Bambos2026-05-12

🧬 biology

On periodic distributed representations using Fourier embeddings

यह शोध पत्र आवधिक संकेतों (periodic signals) को दर्शाने में स्केलर कोणीय मापों (scalar angular measures) की सीमाओं को दूर करने के लिए उच्च-आयामी, वास्तविक-मान वाले आवधिक एम्बेडिंग (high-dimensional, real-valued periodic embeddings) का उपयोग करने का प्रस्ताव देता है, विशेष रूप से यह प्रदर्शित करता है कि स्थानिक सिमेंटिक पॉइंटर्स (Spatial Semantic Pointers) ढांचे के भीतर डिरिचलेट और आवधिक गाऊसी कर्नेल (Dirichlet and periodic Gaussian kernels) का निर्माण कैसे किया जाए।

Jakeb Chouinard2026-05-12

← पिछला अगला →