cs.LG

Structural Interpretations of Protein Language Model Representations via Differentiable Graph Partitioning

यह शोध पत्र SoftBlobGIN को प्रस्तुत करता है, जो एक हल्का, प्लग-एंड-प्ले फ्रेमवर्क है जो प्रोटीन लैंग्वेज मॉडल रिप्रेजेंटेशन को कॉन्टैक्ट ग्राफ्स पर प्रोजेक्ट करता है ताकि व्याख्यात्मक, स्ट्रक्चर-अवेयर फंक्शनल सबस्ट्रक्चर्स को सीखा जा सके, जो अंतर्निहित लैंग्वेज मॉडल को पुन: प्रशिक्षित किए बिना एंजाइम वर्गीकरण और बाइंडिंग-साइट डिटेक्शन पर प्रदर्शन में महत्वपूर्ण सुधार करता है और ऑडिट योग्य जैविक स्पष्टीकरण प्रदान करता है।

AESOP: Adversarial Execution-path Selection to Overload Deep Learning Pipelines

यह शोध पत्र AESOP को प्रस्तुत करता है, जो डीप लर्निंग इन्फरेंस पाइपलाइनों की गतिशील संरचना का लाभ उठाकर रणनीतिक रूप से निष्पादन पथों (execution paths) का चयन करके सिस्टम संसाधनों को ओवरलोड करता है, जिससे सिंगल-मॉडल हमलों की तुलना में काफी अधिक कंप्यूटेशनल और लेटेंसी इन्फ्लेशन प्राप्त होता है और संरक्षकों को थ्रूपुट पतन या भारी डेटा हानि में से किसी एक को चुनने के लिए मजबूर करता है।

SURGE: Surrogate Gradient Adaptation in Binary Neural Networks

यह शोध पत्र SURGE का प्रस्ताव करता है, जो एक नया सीखने योग्य ग्रेडिएंट क्षतिपूर्ति ढांचा (learnable gradient compensation framework) है, जिसमें एक डुअल-पाथ ग्रेडिएंट कॉम्पेन्सेटर और एक एडेप्टिव ग्रेडिएंट स्केलर शामिल है, ताकि समानांतर फुल-प्रिसिजन सहायक शाखाओं के माध्यम से ग्रेडिएंट प्रवाह को अलग करके बाइनरी न्यूरल नेटवर्क में ग्रेडिएंट मिसमैच और सूचना की हानि को संबोधित किया जा सके, जिससे विभिन्न कार्यों में अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।

Test-Time Personalization: A Diagnostic Framework and Probabilistic Fix for Scaling Failures

यह शोध पत्र एक टेस्ट-टाइम पर्सनलाइजेशन फ्रेमवर्क पेश करता है जो सैंपलिंग और कैंडिडेट चयन के माध्यम से इन्फरेंस को स्केल करता है, एक एकीकृत स्केलिंग लॉ के माध्यम से यूजर-लेवल कोलैप्स और क्वेरी-लेवल रिवॉर्ड हैकिंग की पहचान करके मानक रिवॉर्ड मॉडल की विफलताओं का निदान करता है, और इन समस्याओं को प्रभावी ढंग से कम करने तथा निरंतर प्रदर्शन लाभ प्राप्त करने के लिए एक संभाव्य व्यक्तिगत रिवॉर्ड मॉडल का प्रस्ताव करता है।

Finite Volume-Informed Neural Network Framework for 2D Shallow Water Equations: Rugged Loss Landscapes and the Importance of Data Guidance

यह शोध पत्र "डेटा-गाइडेड FVM-PINN" प्रस्तुत करता है, जो एक ऐसा ढांचा है जो उथले जल समीकरणों (shallow water equations) में केवल भौतिकी-आधारित प्रशिक्षण की विफलता को संबोधित करने के लिए मानक स्ट्रोंग-फॉर्म अवशेष (strong-form residual) को एक अवकलनीय परिमित-आयतन हानि (differentiable finite-volume loss) से प्रतिस्थापित करता है, जो यह प्रदर्शित करता है कि ऊबड़-खाबड़ लॉस लैंडस्केप्स (rugged loss landscapes) से निपटने और नेटवर्क को तुच्छ समाधानों में ढहने से रोकने के लिए विरल अवलोकन संबंधी डेटा भी महत्वपूर्ण है।

DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism

DisagMoE एक नवीन Mixture-of-Experts प्रशिक्षण प्रणाली है जो अटेंशन और फीड-फॉरवर्ड परतों को एक मल्टी-स्टेज पाइपलाइन के साथ अलग-अलग GPU समूहों में विघटित करके बड़े पैमाने के क्लस्टर्स पर दक्षता को बढ़ाती है, जिससे ऑल-टू-ऑल संचार बाधाओं को दूर करने के लिए संचार और गणना को प्रभावी ढंग से ओवरलैप किया जाता है और 1.8x तक प्रशिक्षण गति वृद्धि प्राप्त की जाती है।

When and How to Canonize: A Generalization Perspective

यह शोध पत्र एक सैद्धांतिक ढांचा स्थापित करता है जो यह प्रदर्शित करता है कि कैनोनाइज्ड (canonized) मॉडलों का सामान्यीकरण प्रदर्शन (generalization performance) कैनोनाइजेशन पद्धति की नियमितता पर महत्वपूर्ण रूप से निर्भर करता है, जो यह सिद्ध करता है कि हिल्बर्ट कर्व सीरियलाइजेशन (Hilbert curve serialization), घातांकीय लेक्सिकोग्राफिकल सॉर्टिंग (exponential lexicographical sorting) की तुलना में बहुपद जटिलता (polynomial complexity) और बेहतर सीमाएं प्रदान करता है, जिससे पॉइंट क्लाउड प्रोसेसिंग में इसकी अनुभवजन्य सफलता के लिए पहला औपचारिक औचित्य प्राप्त होता है।

ACSAC: Adaptive Chunk Size Actor-Critic with Causal Transformer Q-Network

यह शोध पत्र ACSAC का प्रस्ताव करता है, जो एक एडेप्टिव चंक साइज़ एक्टर-क्रिटिक विधि है जो स्टेट-डिपेंडेंट एक्सपेक्टेड रिटर्न्स के आधार पर इष्टतम एक्शन चंक साइज़ को गतिशील रूप से चुनने के लिए एक कॉज़ल ट्रांसफॉर्मर Q-नेटवर्क का उपयोग करती है, जिससे फिक्स्ड चंक साइज़ की सीमाओं को दूर किया जा सके और लॉन्ग-होराइज़न, स्पार्स-रिवॉर्ड मैनिपुलेशन टास्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त किया जा सके।

A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions

Backbone-Equated Diffusion OOD via Sparse Internal Snapshots

यह शोध पत्र निष्पक्ष डिफ्यूजन-आधारित OOD डिटेक्शन के लिए एक Mutualized Backbone-Equated प्रोटोकॉल प्रस्तुत करता है और कैनोनिकल फीचर स्नैपशॉट्स (Canonical Feature Snapshots) का प्रस्ताव करता है, जो एक ऐसी विधि है जो यह प्रदर्शित करती है कि कम-शोर (low-noise) स्तरों पर फ्रोजन डिफ्यूजन बैकबोन से प्राप्त स्पार्स आंतरिक सक्रियण (sparse internal activations), पूर्ण डिनोइजिंग प्रक्षेपवक्र (full denoising trajectories) की आवश्यकता के बिना अत्यधिक प्रतिस्पर्धी OOD डिटेक्शन के लिए पर्याप्त हैं।