cs.LG

Contrastive Neural Algorithmic Reasoning for Graph Coloring

यह शोध पत्र ग्राफ कलरिंग के लिए एक कंट्रास्टिव लर्निंग फ्रेमवर्क प्रस्तावित करता है जो हस्तांतरणीय ज्यामितीय एम्बेडिंग्स सीखता है जहाँ समान-रंग वाले नोड्स संरेखित होते हैं और आसन्न नोड्स विचलित होते हैं, जिससे ग्राफ के आकार और वितरणों में प्रभावी सामान्यीकरण सक्षम होता है और कम-संघर्ष वाले कलरिंग उत्पन्न होते हैं जो ग्रीडी दृष्टिकोणों के बराबर या उनसे बेहतर होते हैं।

FFR: Forward-Forward Learning for Regression

यह शोध पत्र FFR को प्रस्तुत करता है, जो ऑर्डिनल कॉम्पिटिटिव गुडनेस (ordinal competitive goodness), एक स्ट्रैटिफाइड लैडर आर्किटेक्चर और पदानुक्रमित भविष्यवाणी (hierarchical prediction) का उपयोग करके रिग्रेशन कार्यों के लिए जैविक रूप से संभावित फॉरवर्ड-फॉरवर्ड एल्गोरिदम को अनुकूलित करने वाला पहला ढांचा है, जो काफी कम मेमोरी और कम्प्यूटेशनल लागत के साथ बैकप्रोपैगेशन के निकट सटीकता प्राप्त करता है।

Value-Aware Stochastic KV Cache Eviction for Reasoning Models

q0: Primitives for Hyper-Epoch Pretraining

यह शोध पत्र "हाइपर-एपॉक प्रीट्रेनिंग" (q0) को प्रस्तुत करता है, जो एक ढांचा है जो चक्रीय शेड्यूलिंग (cyclic scheduling), चेन डिस्टिलेशन (chain distillation) और एक सीखे हुए प्रायर (learned prior) के माध्यम से एक एकल मॉडल को प्रशिक्षित करने के बजाय मॉडलों की एक विविध आबादी को एकत्रित करने की ओर स्थानांतरित होता है, जिससे पारंपरिक मल्टी-एपॉक ट्रेनिंग की तुलना में काफी अधिक डेटा दक्षता और कम वैलिडेशन लॉस प्राप्त होता है।

Using Reward Uncertainty to Induce Diverse Behaviour in Reinforcement Learning

यह शोध पत्र एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का प्रस्ताव करता है जो रिवॉर्ड अनिश्चितता को रिवॉर्ड फंक्शन के एक वितरण के रूप में मानकर उद्देश्य को पुनर्गठित करके एजेंट के विविध और नियंत्रणीय व्यवहार को स्वाभाविक रूप से प्रेरित करता है, जिससे पारंपरिक एंट्रॉपी रेगुलराइजेशन या ह्यूरिस्टिक विधियों में निहित प्रदर्शन-विविधता ट्रेड-ऑफ को समाप्त किया जा सके।

Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

मानव सीखने की प्रक्रिया से प्रेरित होकर, यह शोध पत्र लार्ज लैंग्वेज मॉडल्स के लिए एक "स्लीप" (नींद) प्रतिमान प्रस्तावित करता है जो "नॉलेज सीडिंग" (ज्ञान बीजारोपण) डिस्टिलेशन और सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) के माध्यम से अनसुपरवाइज्ड "ड्रिमिंग" (सपनों) की दो-चरणीय प्रक्रिया के जरिए अल्पकालिक स्मृतियों को दीर्घकालिक मापदंडों में समेकित करके निरंतर सीखने और आत्म-सुधार को सक्षम बनाता है।

Neuron Populations Exhibit Divergent Selectivity with Scale

GottBERT: a pure German Language Model

यह शोध पत्र GottBERT को प्रस्तुत करता है, जो OSCAR डेटासेट पर प्री-ट्रेन किया गया पहला जर्मन एकल-भाषा RoBERTa मॉडल है, जो मौजूदा जर्मन और बहुभाषी मॉडलों की तुलना में विभिन्न NLP कार्यों में प्रतिस्पर्धी प्रदर्शन प्रदर्शित करता है, साथ ही यह भी नोट करता है कि कॉर्पस फ़िल्टरिंग का परिणामों पर न्यूनतम प्रभाव पड़ा।

Federated Learning via Variational Bayesian Inference: Personalization, Sparsity and Clustering

यह शोध पत्र तीन नवीन व्यक्तिगत फेडरेटेड लर्निंग दृष्टिकोणों—pFedBayes, sFedBayes, और cFedBayes—को प्रस्तुत करता है जो क्रमशः ग्लोबल प्रायर्स (global priors), स्पैरसिटी (sparsity), और क्लाइंट क्लस्टरिंग (client clustering) के माध्यम से हेट्रोजेनियस और सीमित डेटा के कारण होने वाले प्रदर्शन ह्रास को कम करने के लिए वेरिएशनल बेयसियन इन्फरेंस का लाभ उठाते हैं, जबकि मिनिमैक्स ऑप्टिमल जनरलाइजेशन एरर बाउंड्स (minimax optimal generalization error bounds) प्राप्त करते हैं।

Discovering Nonlinear Static Relationships in Unlabeled Dataset using Autoencoder with Ordered Variance

यह शोध पत्र एक ऑर्डर्ड वेरिएन्स वाले ऑटोएन्कोडर (AEO) और इसके रेज़नेट-आधारित विस्तार (RAEO) को प्रस्तुत करता है, जो अनसुपरवाइज्ड मॉडल एक्सट्रैक्शन और रियल-टाइम ऑप्टिमाइज़ेशन के लिए अनलेबल डेटासेट में लेटेंट डाइमेंशनैलिटी को व्यवस्थित रूप से निर्धारित करने और नॉनलीनियर स्टैटिक संबंधों को खोजने के लिए वेरिएन्स-आधारित रेगुलराइजेशन का उपयोग करते हैं।