cs.LG

Is Memorization Helpful or Harmful? Prior Information Sets the Threshold

यह शोध पत्र यह प्रदर्शित करता है कि ओवरपैरामीटराइज्ड लीनियर बेयसियन मॉडलों में, क्या इष्टतम सामान्यीकरण (optimal generalization) के लिए स्मृति (memorization/near-interpolation) की आवश्यकता होती है या यह ओवरफिटिंग को दंडित (penalize) करता है (शोर-स्तर की प्रशिक्षण त्रुटि), यह शोर के स्तर में विशिष्ट थ्रेशोल्ड द्वारा निर्धारित होता है जो पूर्व वितरण (prior distribution) के फिशर सूचना और विचरण मापदंडों (variance parameters) के सापेक्ष होता है।

What Does Preference Learning Recover from Pairwise Comparison Data?

यह शोध पत्र कंडीशनल प्रेफरेंस डिस्ट्रीब्यूशन (CPRD) को औपचारिक रूप देकर पेयरवाइज प्रेफरेंस लर्निंग को समझने के लिए एक डेटा-केंद्रित आधार स्थापित करता है ताकि यह सटीक रूप से निर्धारित किया जा सके कि ब्रैडली-टेरी मॉडल कब उपयुक्त है और मार्जिन एवं कनेक्टिविटी को नमूना दक्षता (सैंपल एफिशिएंसी) को नियंत्रित करने वाले प्रमुख कारकों के रूप में पहचाना जा सके।

Weight Decay Improves Language Model Plasticity

यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडलों के प्रीट्रेनिंग के दौरान वेट डिके (weight decay) बढ़ाने से उनकी डाउनस्ट्रीम प्लास्टिसिटी और फाइन-ट्यूनिंग प्रदर्शन में वृद्धि होती है, भले ही इसके परिणामस्वरूप प्रीट्रेनिंग वैलिडेशन लॉस अधिक हो जाए, क्योंकि यह रैखिक रूप से विभाज्य (linearly separable) निरूपणों को बढ़ावा देता है और अटेंशन मैकेनिज्म को नियमित (regularize) करता है।

Protein Language Model Embeddings Improve Generalization of Implicit Transfer Operators

यह शोध पत्र PLaTITO प्रस्तुत करता है, जो प्रोटीन लैंग्वेज मॉडल एम्बेडिंग्स को शामिल करके मॉलिक्यूलर डायनेमिक्स के लिए ट्रांसफ़रेबल इमप्लिसिट ट्रांसफर ऑपरेटर्स की डेटा दक्षता और आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण को बढ़ाता है, जिससे इक्विलिब्रियम सैंपलिंग बेंचमार्क में अत्याधुनिक प्रदर्शन प्राप्त होता है।

Provably Convergent Actor-Critic for MARL through Risk-aversion

यह शोधपत्र रिस्क-अवर्स क्वांटल रिस्पॉन्स इक्विलिब्रिया (RQE) को पेश करके और एक नवीन सिंगल-टाइमस्केल एक्टर-क्रिटिक एल्गोरिदम के माध्यम से, जो परिमित-नमूना गारंटी के साथ वैश्विक अभिसरण (ग्लोबल कन्वर्जेंस) प्राप्त करना सिद्ध करता है, सामान्य-रचना (जनरल-सम) मार्कोव गेम्स में स्थिर नीतियों को खोजने की कम्प्यूटेशनल जटिलता को संबोधित करता है।

The Information Geometry of Softmax: Probing and Steering

Quantifying Error Propagation and Model Collapse in Diffusion Models

यह शोध पत्र सिंथेटिक डेटा पर प्रशिक्षित स्कोर-आधारित डिफ्यूजन मॉडल्स में संचित विचलन (accumulated divergence) पर पहला सैद्धांतिक निचला और ऊपरी स्तर (lower and upper bounds) प्रदान करता है, जो यह स्पष्ट करता है कि मॉडल कोलैप्स के शासन (regimes) स्कोर अनुमान त्रुटियों और प्रत्येक पुनर्र्वtraining दौर में उपयोग किए गए ताज़ा डेटा के अनुपात पर कैसे निर्भर करते हैं।

Position: Evaluation of ECG Representations Must Be Fixed

यह स्थिति पत्र (position paper) तर्क देता है कि वर्तमान ईसीजी (ECG) रिप्रजेंटेशन लर्निंग बेंचमार्क बहुत संकीर्ण और त्रुटिपूर्ण हैं, यह प्रदर्शित करते हुए कि उचित मूल्यांकन पद्धतियां अक्सर यह दर्शाती हैं कि रैंडम एनकोडर्स अत्याधुनिक प्री-ट्रेनिंग मॉडलों के बराबर प्रदर्शन करते हैं, और संरचनात्मक हृदय रोग तथा रोगी-स्तरीय पूर्वानुमान को शामिल करने हेतु मूल्यांकन के विस्तार की तत्काल आवश्यकता पर प्रकाश डालते हैं।

On the "Induction Bias" in Sequence Models

यह शोध पत्र यह प्रदर्शित करता है कि, रिकरेंट न्यूरल नेटवर्क के विपरीत जो अनुक्रम लंबाई (sequence lengths) के माध्यम से अवस्था-ट्रैकिंग तंत्र (state-tracking mechanisms) को प्रभावी ढंग से साझा करते हैं, ट्रांसफॉर्मर को अवस्था-स्थान (state-space) और लंबाई बढ़ने के साथ काफी अधिक प्रशिक्षण डेटा की आवश्यकता होती है और भार साझाकरण (weight sharing) की कमी के कारण वे लंबाई के पार सामान्यीकरण करने में विफल रहते हैं, जो उनकी अवस्था-ट्रैकिंग क्षमताओं में मौलिक इन-डिस्ट्रीब्यूशन सीमाओं को प्रकट करता है।

IAPO: Information-Aware Policy Optimization for Token-Efficient Reasoning

यह शोध पत्र IAPO का प्रस्ताव करता है, जो एक सूचना-सैद्धांतिक (information-theoretic) पोस्ट-ट्रेनिंग फ्रेमवर्क है, जो कंडीशनल म्यूचुअल इंफॉर्मेशन के आधार पर टोकन-वार एडवांटेज असाइन करके टोकन-कुशल तर्क (token-efficient reasoning) को अनुकूलित करता है, जिससे सटीकता में सुधार या उसे बनाए रखते हुए इन्फरेंस लागत में 36% तक की कमी आती है।