cs.LG

Topological Neural Operators

यह शोधपत्र टोपोलॉजिकल न्यूरल ऑपरेटर्स (TNOs) को प्रस्तुत करता है, जो एक सिद्धांत-आधारित ढांचा है जो सेल कॉम्प्लेक्स (cell complexes) तक न्यूरल ऑपरेटर्स का विस्तार करता है, जिसमें क्रॉस-डायमेंशनल इंटरैक्शन को मॉडल करने और भौतिक संरक्षण नियमों को बनाए रखने के लिए डिस्क्रीट एक्सटीरियर कैलकुलस (Discrete Exterior Calculus) का लाभ उठाया गया है, जिससे अनियमित ज्यामिति (irregular geometries) पर आंशिक अंतर समीकरणों (partial differential equations) को हल करने में उत्कृष्ट सटीकता प्राप्त होती है।

Rethinking the Divergence Regularization in LLM RL

यह शोध पत्र डाइवर्जेंस रेगुलराइज्ड पॉलिसी ऑप्टिमाइजेशन (DRPO) का प्रस्ताव करता है, जो LLMs के लिए एक नवीन RL विधि है जो पूर्ववर्ती डाइवर्जेंस-आधारित दृष्टिकोणों में उपयोग किए जाने वाले हार्ड ग्रेडिएंट मास्किंग को एक सुचारू, एडवांटेज-वेटेड क्वाड्रेटिक रेगुलराइज़र से बदल देता है ताकि निरंतर सुधारात्मक संकेत प्रदान किए जा सकें और प्रशिक्षण स्थिरता में सुधार किया जा सके।

Hermes: Accelerating Long-Latency Load Requests via Perceptron-Based Off-Chip Load Prediction

यह शोध पत्र हर्मिस (Hermes) का प्रस्ताव करता है, जो एक ऐसी तकनीक है जो अनुमानित ऑफ-चिप लोड्स के लिए मुख्य मेमोरी से सीधे डेटा को स्पेक्युलेटिव रूप से प्राप्त करने हेतु एक हल्के पर्सि्ट्रॉन-आधारित प्रेडिक्टर का उपयोग करती है, जिससे क्रिटिकल पाथ से ऑन-चिप कैश एक्सेस लेटेंसी को हटाया जा सकता है और प्रोसेसर के प्रदर्शन में महत्वपूर्ण सुधार किया जा सकता है।

A fuzzy adaptive evolutionary-based feature selection and machine learning framework for single and multi-objective body fat prediction

Twin: Tuning Learning Rate and Weight Decay of Deep Homogeneous Classifiers without Validation

यह शोध पत्र "Twin" को प्रस्तुत करता है, जो एक वैलिडेशन-मुक्त पाइपलाइन है जो मार्जिन-मैक्सिमाइजेशन डायनेमिक्स और एक एम्पिरिकल स्केलिंग लॉ का लाभ उठाता है ताकि डेटा रिजीम के आधार पर ट्रेनिंग लॉस या पैरामीटर नॉर्म्स के अनुसार हाइपरपैरामीटर्स का चयन करके डीप होमोजेनियस क्लासिफायर के लिए लर्निंग रेट और वेट डिके को प्रभावी ढंग से ट्यून किया जा सके।

Graph-Dictionary Signal Model for Sparse Representations of Multivariate Data

यह शोध पत्र एक नवीन ग्राफ-डिक्शनरी सिग्नल मॉडल और एक संगत द्विपद प्रिमल-डुअल लर्निंग फ्रेमवर्क प्रस्तुत करता है ताकि मल्टीवेरिएट डेटा से स्पार्स ग्राफ संरचनाओं का अनुमान लगाया जा सके, जो मौजूदा बेसलाइन की तुलना में सिंथेटिक ग्राफ पुनर्निर्माण और मस्तिष्क गतिविधि वर्गीकरण कार्यों दोनों में उत्कृष्ट प्रदर्शन प्रदर्शित करता है।

Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations

यह शोध पत्र AdaGrad, RMSProp, और Adam अनुकूलन एल्गोरिदम के निरंतर-समय स्वरूपों को प्रथम-क्रम समाकल-अवकल समीकरणों (first-order integro-differential equations) के रूप में प्रस्तावित करता है और संख्यात्मक सिमुलेशन, स्थिरता विश्लेषण और अभिसरण अध्ययनों के माध्यम से उनकी सटीकता को सत्यापित करता है।

Should You Use Your Large Language Model to Explore or Exploit?

यह शोध पत्र अन्वेषण (exploration) और दोहन (exploitation) कार्यों के लिए पृथक रूप से बड़े भाषा मॉडलों (LLMs) का व्यवस्थित मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि दोहन में LLMs को सरल रैखिक प्रतिगमन (linear regression) द्वारा पीछे छोड़ दिया जाता है, फिर भी वे बड़े, अर्थपूर्ण क्रिया स्थानों (action spaces) के अन्वेषण में मूल्य प्रदान करते हैं।

Multi-Objective Preference Optimization: Improving Human Alignment of Generative Models

यह शोध पत्र मल्टी-ऑब्जेक्टिव प्रिफरेंस ऑप्टिमाइज़ेशन (MOPO) को प्रस्तुत करता है, जो एक कंस्ट्रेंड KL-रेगुलराइज्ड फ्रेमवर्क है जो जनरेटिव मॉडल्स को कई, अक्सर परस्पर विरोधी मानवीय उद्देश्यों के साथ संरेखित करता है, जो एक प्राथमिक लक्ष्य को अधिकतम करते हुए माध्यमिक उद्देश्यों पर सुरक्षा थ्रेशोल्ड लागू करता है, जिससे स्केलरलाइज्ड रिवार्ड्स पर निर्भर किए बिना पारेटो-ऑप्टिमल प्रदर्शन प्राप्त किया जाता है।

Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization

यह शोध पत्र यह तर्क देता है कि ओवरपैरामीटराइज्ड नेटवर्क के सामान्यीकरण (जनरलाइजेशन) को समझने के लिए नॉर्म मिनिमाइजेशन और शार्पनेस रिडक्शन के बीच गतिशील व्यापार-संतुलन का विश्लेषण करना आवश्यक है, यह प्रदर्शित करते हुए कि लर्निंग रेट्स इन दोनों पूर्वाग्रहों के बीच मध्यस्थता करते हैं और न ही अकेले इनमें से कोई भी सामान्यीकरण त्रुटि को कम करने के लिए पर्याप्त है।