🤖 Category

cs.LG

23609 पेपर

💬 NLP

Model Collapse as Cultural Evolution

यह शोध पत्र पुनरावृत्त शिक्षण सिद्धांत (iterated learning theory) को लागू करके मॉडल कोलैप्स को एक सांस्कृतिक संचरण घटना के रूप में पुनर्गठित करता है ताकि यह प्रदर्शित किया जा सके कि अनफ़िल्टर्ड सेल्फ-ट्रेनिंग भाषाई संरचनात्मकता (linguistic compositionality) के गैर-एकदिष्ट क्षरण (non-monotonic degradation) का कारण बनती है, जो कई मॉडलों और भाषाओं में मान्य एक ऐसा निष्कर्ष है जो सुदृढ़ सेल्फ-ट्रेनिंग पाइपलाइनों को डिजाइन करने के लिए ठोस सिद्धांत प्रदान करता है।

Dongxin Guo, Jikun Wu, Siu Ming Yiu2026-05-25
💻 computer science

Orbax: Distributed Checkpointing with JAX

यह शोधपत्र Orbax को प्रस्तुत करता है, जो एक मॉड्यूलर, JAX-नेटिव डिस्ट्रिब्यूटेड चेकपॉइंटिंग लाइब्रेरी है जो सिस्टम की जटिलताओं को एब्स्ट्रैक्ट करती है और PyTorch के प्रतिस्पर्धियों की तुलना में काफी तेज़ सेविंग और लोडिंग प्रदर्शन प्रदान करती है।

Colin Gaffney, Shutong Li, Daniel Ng, Anastasia Petrushkina, Niket Kumar, Adam Cogdell, Mridul Sahu, Yaning Liang, Nikhi (…)2026-05-25
🤖 machine learning

The Attribution Contract: Feature Attribution for Generative Language Models

यह शोध पत्र "एट्रिब्यूशन कॉन्ट्रैक्ट" (आरोपण अनुबंध) प्रस्तुत करता है, जो एक वैचारिक ढांचा है जो आउटपुट, पात्र विशेषताओं, जनरेटिव प्रक्रिया, स्थिर स्थितियों और मॉडल स्कोर को स्पष्ट रूप से परिभाषित करके जनरेटिव भाषा मॉडलों के लिए फीचर एट्रिब्यूशन में अस्पष्टताओं को हल करता है, जिससे एट्रिब्यूशन संबंधी असहमतियों को एल्गोरिद्मिक दोषों के बजाय व्याख्यात्मक अनुबंधों के अंतर के रूप में पुनर्गठित किया जाता है।

Giang Nguyen2026-05-25
🤖 machine learning

ThriftAttention: Selective Mixed Precision for Long-Context FP4 Attention

ThriftAttention एक चयनात्मक मिश्रित-परिशुद्धता (mixed-precision) अटेंशन तंत्र है जो गतिशील रूप से केवल महत्वपूर्ण क्वेरी-की (query-key) ब्लॉक्स के एक छोटे अंश को FP16 में कंप्यूट करता है, जबकि शेष को FP4 में प्रोसेस करता है, जिससे लो-बिट इन्फरेंस की दक्षता से समझौता किए बिना पूर्ण FP16 प्रदर्शन के करीब लॉन्ग-कॉन्टेक्स्ट गुणवत्ता को प्रभावी रूप से पुनर्प्राप्त किया जाता है।

Joe Sharratt2026-05-25
📊 statistics

KAPLAN: Kolmogorov-Arnold Prognostic Learnable Activation Networks for Survival Analysis

यह शोध पत्र KAPLAN-HR को प्रस्तुत करता है, जो सर्वाइवल एनालिसिस (survival analysis) के लिए एक B-spline कोलोगोरोव-आर्नोल्ड नेटवर्क (Kolmogorov-Arnold Network) है, जो बिना किसी मैनुअल स्पेसिफिकेशन के जटिल कोवेरिएट इंटरैक्शन (covariate interactions) और समय-परिवर्तित प्रभावों (time-varying effects) को स्वचालित रूप से सीखता है, आयाम-स्वतंत्र अभिसरण दरें (dimension-independent convergence rates) और नैदानिक डेटासेट (clinical datasets) में श्रेष्ठ भविष्य कहनेवाला प्रदर्शन (predictive performance) प्रदान करता है।

Stelios Boulitsakis Logothetis, Angela Wood, Pietro Li ò2026-05-25
🤖 machine learning

The Implicit Bias of Depth: From Neural Collapse to Softmax Codes

यह शोध पत्र यह प्रदर्शित करता है कि गहरे, अनियमित अनकन्स्ट्रेंड फीचर मॉडल्स में, केवल गहराई ही एक अंतर्निहित लो-रैंक बायस (low-rank bias) को प्रेरित करती है जो प्रशिक्षण गतिकी को बदलकर और उच्च-रैंक समाधानों के आकर्षण बेसिन (basin of attraction) को सिकोड़कर, पारंपरिक रूप से देखे जाने वाले न्यूरल कोलैप्स (neural collapse) के बजाय सॉफ्टमैक्स कोड्स को बढ़ावा देती है।

Connall Garrod, Jonathan P. Keating, Christos Thrampoulidis2026-05-25
🤖 machine learning

Dreaming Smoothly and Sample Efficiently with Gradient Penalized Latent Dynamics

यह शोध पत्र GPLD को प्रस्तुत करता है, जो DreamerV3 के लिए एक ग्रेडिएंट-पेनलाइज्ड लेटेंट डायनेमिक्स रेगुलराइज़र है जो रो-वाइज़ जैकोबियन पेनाल्टी के माध्यम से ट्रांज़िशन लर्निंग में स्थानीय सुगमता (local smoothness) को लागू करता है, जिससे निरंतर नियंत्रण वातावरणों (continuous control environments) में सैंपल दक्षता और लर्निंग कंसिस्टेंसी में सुधार होता है।

Romil V. Sonigra (Texas A&M University), P. R. Kumar (Texas A&M University)2026-05-25
📊 statistics

LLM Sparsity Prior for Robust Feature Selection

यह शोध पत्र एलएलएम स्पैरसिटी प्रायर (LSP) को प्रस्तुत करता है, जो एक सुदृढ़ ढांचा है जो विशेष रूप से कम-डेटा वाले परिदृश्यों में, फीचर चयन की सटीकता और नैदानिक प्रासंगिकता में सुधार करने के लिए बेयसियन वेरिएबल सिलेक्शन मॉडल्स में एलएलएम-जनरेटेड वेट्स को गतिशील रूप से एकीकृत करता है, जबकि एडेप्टिव हाइपरपैरामीटर ट्यूनिंग के माध्यम से गलत एलएलएम आउटपुट के जोखिमों को कम करता है।

Caleb Skinner, Yihan Guo, Meng Li2026-05-25
📊 statistics

Robust OT-Guided Generative Residual Domain Adaptation for Bike-Sharing Demand Prediction under Temporal Domain Shift

यह शोधपत्र Gen-ROTDA का प्रस्ताव करता है, जो एक सुदृढ़ इष्टतम परिवहन-निर्देशित जनरेटिव रेसिडुअल डोमेन अनुकूलन ढांचा है जो अवशिष्ट पैटर्न (residual patterns) को स्थानांतरित करके और उच्च-लागत वाले परिवहन मिलानों को छाँटकर टेम्पोरल डोमेन शिफ्ट के तहत बाइक-शेयरिंग मांग की प्रभावी ढंग से भविष्यवाणी करता है, जो शोर वाले और बहु-वर्षीय परिदृश्यों में विभिन्न बेसलाइनों से बेहतर प्रदर्शन करता है।

Yiming Ma2026-05-25
🤖 machine learning

When Determinants Are Not Enough: Private Rare Switching

यह शोध पत्र गॉसियन शोर-प्रेरित गैर-एकदिष्टता (non-monotonicity) के कारण प्राइवेट लीनियर बैंडिट्स में मानक निर्धारक-आधारित दुर्लभ स्विचिंग नियमों की विफलता को संबोधित करने के लिए एक नवीन सामान्यीकृत रेले कोटिएंट-आधारित अपडेट नियम प्रस्तुत करता है जो लॉगरिदमिक पॉलिसी अपडेट और वैध रिग्रेट विश्लेषण को पुनर्स्थापित करता है।

Xingyu Zhou2026-05-25