🤖 Category

cs.LG

25111 पेपर

🤖 machine learning

Revealing Modular Gradient Noise Imbalance in LLMs: Calibrating Adam via Signal-to-Noise Ratio

यह शोध पत्र MoLS को प्रस्तुत करता है, जो बड़े भाषा मॉडलों (large language models) में ग्रेडिएंट शोर असंतुलन (gradient noise imbalance) को संबोधित करने के लिए मॉड्यूल-स्तरीय सिग्नल-टू-नॉइज़ अनुपात (module-level signal-to-noise ratios) का अनुमान लगाकर एडम ऑप्टिमाइज़र (Adam optimizer) को स्वचालित रूप से कैलिब्रेट करने की एक विधि है, जिससे बिना किसी मैनुअल ट्यूनिंग के अभिसरण गति (convergence speed) और सामान्यीकरण (generalization) में सुधार होता है।

Ziqing Wen, Zhouyang Liu, Jiahuan Wang, Ping Luo, Li Shen, Dongsheng Li, Tao Sun2026-05-08
🤖 machine learning

Reward Shaping and Action Masking for Compositional Tasks using Behavior Trees and LLMs

यह शोध पत्र मास्किंग रिवॉर्ड बिहेवियर ट्री (MRBT) को प्रस्तुत करता है, जो एक न्यूरोसिंबोलिक फ्रेमवर्क है जो विभिन्न वस्तुओं वाले कंपोजिशनल कार्यों के लिए बड़े भाषा मॉडल (LLMs) और SMT सॉल्वर का लाभ उठाकर स्वचालित रूप से सत्यापन योग्य, मॉड्यूलर और रिएक्टिव रिवॉर्ड शेपिंग और एक्शन मास्किंग फंक्शन उत्पन्न करता है, जिससे सुदृढीकरण शिक्षण (reinforcement learning) की दक्षता और सफलता दर में महत्वपूर्ण सुधार होता है।

Nicholas Potteiger, Ankita Samaddar, Taylor T. Johnson, Xenofon Koutsoukos2026-05-08
🤖 machine learning

Retrieval from Within: An Intrinsic Capability of Attention-Based Models

यह शोध पत्र INTRA को प्रस्तुत करता है, जो एक एकल अटेंशन-आधारित एनकोडर-डिकोडर मॉडल के भीतर रिट्रीवल (retrieval) और जनरेशन (generation) को एकीकृत करने वाला एक फ्रेमवर्क है, जो इसे अपने आंतरिक निरूपणों (internal representations) से पूर्व-एनकोड किए गए साक्ष्यों को सीधे रिट्रीव और पुन: उपयोग करने में सक्षम बनाकर पारंपरिक अलग-अलग रिट्रीवल-ऑगमेंटेड जनरेशन पाइपलाइनों से बेहतर प्रदर्शन करने में सक्षम बनाता है।

Elad Hoffer, Yochai Blau, Ron Banner, Daniel Soudry, Boris Ginsburg2026-05-08
📊 statistics

Ratio-based Loss Functions

यह शोध पत्र प्रतिगमन कार्यों (regression tasks) के लिए अनुपात-आधारित हानि फलनों (loss functions) का एक व्यवस्थित सर्वेक्षण प्रदान करता है जो पूर्ण अंतरों के बजाय सापेक्ष त्रुटियों पर ध्यान केंद्रित करते हैं, और भविष्य के अनुसंधान तथा नए हानि फलनों के विकास के लिए एक आधार स्थापित करने हेतु उनके मौलिक गणितीय गुणों का विश्लेषण करता है।

Lena Helgerth, Andreas Christmann2026-05-08
🤖 machine learning

Do Neural Operators Forget Geometry? The Forgetting Hypothesis in Deep Operator Learning

यह शोध पत्र "जियोमेट्रिक फॉरगेटिंग हाइपोथीसिस" (Geometric Forgetting Hypothesis) प्रस्तुत करता है, जो यह प्रदर्शित करता है कि डीप न्यूरल ऑपरेटर्स अपनी मार्कोवियन संरचना के कारण डोमेन ज्योमेट्री को क्रमिक रूप से खो देते हैं, जिससे प्रदर्शन में गिरावट आती है, और ज्यामितीय निष्ठा (geometric fidelity) को बहाल करने तथा स्थिरता में सुधार करने के लिए एक हल्के मेमोरी इंजेक्शन तंत्र का प्रस्ताव करता है।

Yanming Xia, Angelica I. Aviles-Rivero2026-05-08
🤖 machine learning

QuadraSHAP: Stable and Scalable Shapley Values for Product Games via Gauss-Legendre Quadrature

यह शोधपत्र QuadraSHAP प्रस्तुत करता है, जो एक संख्यात्मक रूप से स्थिर और स्केलेबल विधि है जो घातांकीय गठबंधन योग (exponential coalition summation) को गॉस-लेजेंड्रे क्वाड्रचर (Gauss-Legendre quadrature) के माध्यम से हल किए जाने योग्य एक सटीक या लगभग सटीक एक-आयामी समाकल (one-dimensional integral) में परिवर्तित करके उत्पाद खेलों (product games) के लिए शापली मानों (Shapley values) की गणना करता है, जिससे न्यूनतम नोड्स के साथ उच्च परिशुद्धता और कुशल समानांतर प्रदर्शन प्राप्त होता है।

Majid Mohammadi, Grigory Reznikov, Pavel Sinitcyn, Krikamol Muandet, Siu Lun Chau2026-05-08
📊 statistics

Tuning Derivatives for Causal Fairness in Machine Learning

यह शोध पत्र निरंतर संरक्षित गुणों (continuous protected attributes) के लिए अनुकूलित एक नवीन कारण निष्पक्षता (causal fairness) ढांचे को प्रस्तुत करता है, जो पाथ-विशिष्ट आंशिक डेरिवेटिव्स (path-specific partial derivatives) के माध्यम से सांख्यिकीय और भविष्य कहनेवाला समानता (Statistical and Predictive Parity) को औपचारिक रूप देता है, जिससे ऐसे निष्पक्ष भविष्यवक्ताओं का निर्माण सक्षम होता है जो भेदभावपूर्ण पथों से स्वतंत्रता और वैध व्यावसायिक प्रभावों के संरक्षण के बीच संतुलन बनाए रखते हैं।

Filip Edström, Guilherme W. F. Barros, Tetiana Gorbach, Xavier de Luna2026-05-08
💬 NLP

Beyond Steering Vector: Flow-based Activation Steering for Inference-Time Intervention

यह शोध पत्र FLAS को प्रस्तुत करता है, जो एक फ्लो-आधारित एक्टिवेशन स्टीयरिंग विधि है जो मॉडल एक्टिवेशन को ट्रांसपोर्ट करने के लिए एक सामान्य, कॉन्सेप्ट-कंडीशन्ड वेलोसिटी फील्ड को सीखता है, जिससे यह पूर्ववर्ती दृष्टिकोणों की प्रतिबंधात्मक धारणाओं को दूर करते हुए AxBench पर मौजूदा स्टीयरिंग तकनीकों और इन-कॉन्टेक्स्ट प्रॉम्प्टिंग दोनों से बेहतर प्रदर्शन करता है।

Zehao Jin, Ruixuan Deng, Junran Wang, Xinjie Shen, Chao Zhang2026-05-08
🤖 machine learning

VARS-FL: Validation-Aligned Client Selection for Non-IID Federated Learning in IoT Systems

यह शोध पत्र VARS-FL का प्रस्ताव करता है, जो IoT सिस्टम में non-IID फेडरेटेड लर्निंग के लिए एक क्लाइंट चयन ढांचा है, जो सर्वर-साइड वैलिडेशन लॉस रिडक्शन को एक हिस्ट्री-अवेयर रेप्यूटेशन स्कोर में एकत्रित करके अभिसरण (convergence) और स्थिरता में सुधार करता है, और Edge-IIoTset डेटासेट पर FedAvg और Oort जैसे मौजूदा तरीकों से बेहतर प्रदर्शन करता है।

Mohamed Lakas, Mohamed Amine Ferrag2026-05-08
🤖 machine learning

VisMMOE: Exploiting Visual-Expert Affinity for Efficient Visual-Language MoE Offloading

VisMMoE एक बड़े पैमाने के विजन-लैंग्वेज मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल्स के लिए एक कुशल ऑफलोडिंग सिस्टम है जो टोकन प्रूनिंग और प्रेडिक्टिव ऑर्केस्ट्रेशन के माध्यम से विजुअल-एक्सपर्ट एफिनिटी का लाभ उठाकर मेमोरी-प्रतिबंधित प्लेटफॉर्म पर इन्फरेंस प्रदर्शन में महत्वपूर्ण सुधार करता है।

Cheng Xu, Xiaofeng Hou, Jiacheng Liu, Chao Li2026-05-08