cs.LG पेपर | Gist.Science

Assign and Add: A Mechanistic Study of Compositional Arithmetic

यह शोध पत्र इस बात की जांच करता है कि कैसे छोटे ट्रांसफॉर्मर वेरिएबल असाइनमेंट और मॉड्यूलर एडिशन (modular addition) की एक नियंत्रित सेटिंग में कंपोजिशनल जनरलाइजेशन (compositional generalization) प्राप्त करते हैं, जो यह प्रकट करता है कि मॉडल प्रत्यक्ष और अप्रत्यक्ष दोनों इनपुट के लिए आंतरिक तंत्रों का पुन: उपयोग करते हैं और अनदेखे संयोजनों तक स्वाभाविक रूप से सामान्यीकरण करने के लिए विशिष्ट शिक्षण चरणों से गुजरते हैं।

Brady Exoo, Alberto Bietti, John Sous2026-06-01

🧬 biology

Scalable Inference-Time Annealing with Surrogate Likelihood Estimators

यह शोध पत्र स्केलेबल इन्फरेंस-टाइम एनीलिंग (SITA) को प्रस्तुत करता है, जो ऊर्जा-आधारित मॉडलों का उपयोग करके तेज़ सरोगेट लाइकलीहुड्स (surrogate likelihoods) प्रदान करता है, जिससे बड़े आणविक प्रणालियों के लिए मौजूदा इन्फरेंस-टाइम एनीलिंग तकनीकों की जटिलता को दूर करते हुए, पेप्टाइड्स पर बिना किसी महंगी डाइवर्जेंस गणना के अत्याधुनिक सैंपलिंग प्रदर्शन प्राप्त किया जा सके।

Daniel Peñaherrera, Rishal Aggarwal, David Ryan Koes2026-06-01

🤖 machine learning

On Efficient Scaling of GNNs via IO-Aware Layers Implementations

यह शोध पत्र तीन प्रमुख लेयर परिवारों—SpMM, रिडक्शन (reduction), और अटेंशन (attention)—के लिए I/O-जागरूक GPU कर्नल कार्यान्वयन प्रस्तावित करके ग्राफ न्यूरल नेटवर्क में मेमोरी एक्सेस बाधाओं को संबोधित करता है, जो मौजूदा फ्रेमवर्क की तुलना में विविध ग्राफ संरचनाओं में महत्वपूर्ण गति वृद्धि और मेमोरी कमी प्राप्त करते हैं।

Daria Fomina, Daniil Krasylnikov, Alexey Boykov, Andrey Dolgovyazov, Vyacheslav Zhdanovskiy, Fedor Velikonivtsev2026-06-01

🤖 machine learning

How can embedding models bind concepts?

यह शोध पत्र इस बात की जांच करता है कि क्यों रिकवरेबल ऑब्जेक्ट इंफॉर्मेशन (recoverable object information) होने के बावजूद CLIP जैसे विजन-लैंग्वेज मॉडल्स कॉन्सेप्ट बाइंडिंग (concept binding) में संघर्ष करते हैं, जो यह प्रकट करता है कि उनके उच्च-जटिलता वाले बाइंडिंग फंक्शन्स सामान्यीकरण (generalization) में बाधा डालते हैं, जबकि पर्याप्त डेटा के साथ प्रशिक्षित नियंत्रित ट्रांसफार्मर मॉडल्स कम-जटिलता वाले मल्टीप्लिकेटिव इंटरैक्शन (multiplicative interactions) सीखते हैं जो व्यवस्थित बाइंडिंग (systematic binding) को सक्षम करते हैं।

Arnas Uselis, Darina Koishigarina, Seong Joon Oh2026-06-01

🤖 machine learning

On the Relationship Between Activation Outliers and Feature Death in Sparse Autoencoders

यह शोध पत्र स्पार्स ऑटोएनकोडर्स (sparse autoencoders) में फीचर डेथ (feature death) के प्राथमिक कारण के रूप में डायमेंशन-लेवल एक्टिवेशन आउटलेयर्स (dimension-level activation outliers) की पहचान करता है, यह प्रदर्शित करते हुए कि उच्च आउटलेयर गंभीरता प्री-एक्टिवेशन्स (pre-activations) को स्थायी रूप से नकारात्मक मानों की ओर स्थानांतरित कर देती है और विभिन्न मॉडलों में इस समस्या को समाप्त करने के लिए एक प्रभावी समाधान के रूप में मीन-सेंटरिंग (mean-centering) का प्रस्ताव करता है।

Elana Simon, Etowah Adams, James Zou2026-06-01

🧬 biology

Chem-PerturBridge: a harmonized compendium of small molecule perturbation transcriptomic effects

यह शोध पत्र Chem-PerturBridge को प्रस्तुत करता है, जो 37,000 यौगिकों और 136 कोशिकीय संदर्भों में 1.25 मिलियन से अधिक ट्रांसक्रिप्टोमिक नमूनों का एक सामंजस्यपूर्ण संग्रह है, जो कठोर क्रॉस-डेटासेट सहमति विश्लेषण को सक्षम बनाता है और मौजूदा बेसलाइन की तुलना में यौगिक प्रतिनिधित्व शिक्षण मॉडलों में महत्वपूर्ण सुधार करता है।

Artur Szałata, Olga Novitskaia, Maiia Shulman, Matthew Mella, Altynbek Zhubanchaliyev, Fabian J. Theis2026-06-01

🤖 machine learning

Value Functions as Supermartingale Certificates

यह शोध पत्र एक सैद्धांतिक संबंध स्थापित करता है जो यह दर्शाता है कि $\omega$ -रेगुलर गुणों को संतुष्ट करने वाली नीतियों के लिए वैल्यू फंक्शन (value functions), स्ट्रीट सुपरमार्टिंगेल प्रमाणपत्रों (Streett supermartingale certificates) को एनकोड करते हैं, जिससे औपचारिक सत्यापन (formal verification) और सुदृढीकरण लर्निंग (reinforcement learning) के बीच एक सेतु बनता है ताकि परिमित (finite), गणनीय अनंत (countably infinite) और निरंतर (continuous) अवस्था स्थानों में सिद्धांत-आधारित प्रमाण-संश्लेषण (principled certificate synthesis) को सक्षम किया जा सके।

Alessandro Abate, Daniel Contro, Mirco Giacobbe, Agustín Martínez-Suñé, Diptarko Roy2026-06-01

🧬 biology

Automated Prediction of Postoperative Pancreatic Fistula Using Preoperative Computed Tomography

यह शोध पत्र एक स्वचालित, एंड-टू-एंड डीप लर्निंग पाइपलाइन प्रस्तुत करता है जो पोस्टऑपरेटिव अग्नाशय फिस्टुला (pancreatic fistula) के जोखिम की भविष्यवाणी और स्तरीकरण करने के लिए प्रीऑपरेटिव सीटी स्कैन का उपयोग करता है, जो बेहतर नैदानिक निर्णय लेने में सहायता के लिए कई 3D आर्किटेक्चरों में आशाजनक प्रदर्शन प्रदर्शित करता है।

Ashok Choudhary, Chris Varghese, Leo Y. Li-Han, Frank G. Lee, Ellen L. Larson, Elizabeth B. Habermann, Cornelius A. Thie (…)2026-06-01

📊 statistics

The Dynamic-Probabilistic Consistency Gap in Chaotic Surrogate Modeling

यह शोध पत्र एक "डायनेमिक-प्रोबेबिलिस्टिक कंसिस्टेंसी गैप" की पहचान करता है जहाँ अराजक गतिशील प्रणालियों (chaotic dynamical systems) के लिए मानक संभाव्य प्रशिक्षण उद्देश्य भौतिक गतिकी को खराब करते हैं या अनिश्चितता को स्थानीय स्पर्शरेखा व्यवहार (local tangent behavior) से अलग कर देते हैं, और KAFFEE का प्रस्ताव करता है, जो एक डिफरेंशिएबल एक्सटेंडेड कलमन फ़िल्टर ढांचा है जो संभावना मूल्यांकन (likelihood evaluation) को स्थानीय जैकोबियन-संचालित सहप्रसरण वृद्धि (local Jacobian-driven covariance growth) के साथ संरेखित करके इसे हल करता है।

Andre Herz, Matthijs Pals, Daniel Durstewitz, Georgia Koppe2026-06-01

🤖 machine learning

Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization

यह शोधपत्र संरचनात्मक रूप से समान तर्क संबंधी कार्यों (reasoning tasks) पर ट्रांसफॉर्मर अटेंशन हेड्स की लर्निंग डायनेमिक्स की जांच करता है, जो यह प्रकट करता है कि सफल लर्निंग में विशिष्ट पोजीशनल और सिम्बोलिक तंत्रों का उद्भव शामिल है, जहाँ बाद वाला तंत्र पूर्व की तुलना में लंबी अनुक्रमों (sequences) के प्रति बेहतर मजबूती और सामान्यीकरण प्रदर्शित करता है।

Felipe Urrutia, Juan José Alegría, Cinthia Sanchez Macias, Jorge Salas, Cristian B. Calderon, Cristobal Rojas2026-06-01

← पिछला अगला →