cs.LG पेपर | Gist.Science

MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference

MemDecay एक प्रशिक्षण-मुक्त (training-free), क्षेत्र-जागरूक (region-aware) KV कैश इविक्शन पॉलिसी है जो LLM एजेंट संदर्भों की सिमेंटिक संरचना का लाभ उठाकर विभिन्न टोकन क्षेत्रों को विशिष्ट प्रतिधारण प्राथमिकताएं (retention priorities) और क्षय दरें (decay rates) आवंटित करती है, जो महत्वपूर्ण जानकारी को संरक्षित करने और मेमोरी बाधाओं के तहत इन्फरेंस सटीकता बनाए रखने में मौजूदा रिसेंसी- या अटेंशन-आधारित बेसलाइनों की तुलना में काफी बेहतर प्रदर्शन करती है।

Venkatesha Matam, Keon Kim2026-07-14

🤖 machine learning

Sharp Concentration Bounds for Bundle-Valued Statistics on Manifolds

यह शोधपत्र मैनिफोल्ड्स (manifolds) पर बंडल-मान वाले सांख्यिकी के ट्रांसपोर्टेड एम्पीरिकल मीन्स (transported empirical means) के लिए गैर-एसिम्प्टोटिक (non-asymptotic), आयाम-मुक्त एकाग्रता सीमाएं (dimension-free concentration bounds) स्थापित करता है, जो एक मौलिक बायस-वैरिएंस ट्रेड-ऑफ को प्रकट करता है जहाँ वक्रता-प्रेरित होलोनोमी (curvature-induced holonomy), मानक स्टोकेस्टिक उतार-चढ़ाव के साथ मिलकर एक अपरिहार्य त्रुटि तल (irreducible error floor) उत्पन्न करती है।

Swagatam Das, Vaclav Snasel2026-07-14

🤖 machine learning

AutoNorm: Understanding Adaptive Normalization in Transformers through Differentiable Gating

यह शोध पत्र ट्रांसफॉर्मर्स में एडेप्टिव नॉर्मलाइजेशन की अनुकूलन चुनौतियों की जांच करता है, जो यह प्रकट करता है कि गमबेल-सॉफ्टमैक्स गेटिंग (Gumbel-Softmax gating) स्टेशनरी कार्यों पर उच्च ग्रेडिएंट वेरिएंस से ग्रस्त है, और ऑटोनॉर्म-एस (AutoNorm-S) का प्रस्ताव करता है, जो गेट-फ्रीजिंग का उपयोग करने वाली एक स्थिर प्रशिक्षण रणनीति है जो एनएलपी (NLP) और विजन बेंचमार्क दोनों में प्रतिस्पर्धी या बेहतर प्रदर्शन प्राप्त करती है।

Piyush Kaushik Bhattacharyya, Divyanshu Rai, Swastik Singh, Kumar Aakash, Ayush Ranjan, Krutika Verma2026-07-14

🤖 machine learning

End-to-End Real-Time Drone-Based Person Detection Framework Using Deep Learning

यह शोध पत्र ड्रोन-आधारित निगरानी के लिए एक एंड-टू-एंड रियल-टाइम व्यक्ति पहचान फ्रेमवर्क प्रस्तुत करता है जो ऊंचाई में बदलाव के कारण होने वाले स्केल परिवर्तनों को प्रभावी ढंग से संभालने के लिए VisDrone2019 डेटासेट पर प्रशिक्षित YOLOv8-nano मॉडल का लाभ उठाता है, जिससे 16 और 25 मीटर के बीच की ऊंचाइयों पर 41 FPS से अधिक की विश्वसनीय पहचान प्राप्त होती है।

Payel Sarmah, Ayush Ranjan, Piyush Kaushik Bhattacharyya, Anil Kr. Shaw, Pradip Kr. Das2026-07-14

🤖 machine learning

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

यह शोध पत्र M+Adam का प्रस्ताव करता है, जो एक नवीन ऑप्टिमाइज़र है जो लो-प्रिसिजन ट्रेनिंग की पूरक विफलता मोड (complementary failure modes) को दूर करने के लिए योगात्मक (additive) और गुणात्मक (multiplicative) अपडेट को संयोजित करता है, जिससे केवल BF16, FP8, और FP4 मास्टर वेट्स का उपयोग करके LLaMA-शैली के मॉडलों का स्थिर और सटीक प्रशिक्षण सक्षम होता है।

Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar2026-07-14

🤖 machine learning

modelDNA: Calibrated Lineage Verification and Merge Decomposition from Sampled Weight Fingerprints

यह शोध पत्र modelDNA प्रस्तुत करता है, जो एक ऐसा टूल है जो आंशिक HTTP रीड्स से प्राप्त कैलिब्रेटेड फिंगरप्रिंट्स का उपयोग करके मॉडल वंशावली (lineage) को सत्यापित करता है और वेट मर्जेस (weight merges) को डिकम्पोज़ करता है, जिससे पूर्ण मॉडल डाउनलोड की आवश्यकता के बिना बेंचमार्क पर सटीक परिणाम प्राप्त होते हैं।

Muhammad Awais Bin Adil, Saad Aamir2026-07-14

📊 statistics

Demixing Sparse Signals from Nonlinear Observations using Generalized Non-convex Regularization

यह शोध पत्र सीमित, गैर-रेखीय और हेवी-टेल्ड (heavy-tailed) शोर वाले अवलोकनों से विरल सिग्नल युग्मों (sparse signal pairs) को पुनर्प्राप्त करने के लिए एक अभिसारी वैकल्पिक एल्गोरिदम (convergent alternating algorithm) के साथ एक सुदृढ़, गैर-उत्तल नियमितीकरण ढांचे (robust, non-convex regularization framework) का प्रस्ताव करता है, जो ओरकल-स्तर की सांख्यिकीय सटीकता प्राप्त करता है और सैद्धांतिक गारंटियों एवं अनुभवजन्य प्रयोगों दोनों में उत्तल और ग्रीडी बेसलाइन से बेहतर प्रदर्शन करता है।

Raziyeh Takbiri2026-07-14

🤖 machine learning

Auditing Construct Overlap in Explainable Machine Learning: Evidence from Burnout-Depression Prediction Across Student Cohorts

यह शोध पत्र यह प्रदर्शित करता है कि बर्नआउट (burnout) और अवसाद (depression) की भविष्यवाणी करने वाले व्याख्यात्मक मशीन लर्निंग मॉडलों में स्पष्ट रूप से सुदृढ़ और स्थिर जोखिम पदानक्रम (risk hierarchies), सह-संबंधित भविष्यवक्ताओं (predictors) और परिणामों के बीच निर्माण ओवरलैप (construct overlap) के बड़े पैमाने पर कृत्रिम परिणाम हैं, जो अवशिष्ट प्रयोगों (residualization experiments) के माध्यम से प्रकट होता है कि जब साझा विचरण (shared variance) को हटा दिया जाता है, तो भविष्य कहनेवाला प्रदर्शन ढह जाता है।

Alireza Dehghan, Negin Ashrafi2026-07-14

🔬 materials science

Answer-Conditioned Chain-of-Thought Distillation for Few-Shot Industrial Vision with Small VLMs

यह शोध पत्र औद्योगिक विज़ुअल निरीक्षण के फ्यू-शॉट (few-shot) कार्यों के लिए छोटे विज़न-लैंग्वेज मॉडल्स को तेज़ी से अनुकूलित करने हेतु 'आंसर-कंडीशन्ड चेन-ऑफ-थॉट डिस्टिलेशन' का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि सही लेबल पर आधारित तर्क उत्पन्न करना, न्यूनतम डेटा पर प्रशिक्षित होने पर, डायरेक्ट फाइन-ट्यूनिंग और यहाँ तक कि GPT-4.1 जैसे बड़े मॉडल्स की तुलना में भी काफी बेहतर प्रदर्शन करता है।

Shubham Rao2026-07-14

🤖 machine learning

On the modality gap and the contrastive loss in multi-modal representation learning

यह शोध पत्र CLIP-शैली के कंट्रास्टिव लर्निंग में मोडैलिटी गैप (modality gap) को स्वतंत्र एनकोडर के साथ InfoNCE ऑब्जेक्टिव की लो-टेम्परेचर विफलता के रूप में पहचानता है और xNCE का प्रस्ताव देता है, जो एक संशोधित लॉस फंक्शन है जिसमें इंट्रा-मोडैलिटी नेगेटिव्स (intra-modality negatives) शामिल हैं जो रिट्रीवल एक्यूरेसी से समझौता किए बिना ज़ीरो-शॉट क्लासिफिकेशन प्रदर्शन में सुधार करते हुए इस गैप को समाप्त करता है।

Fabian Mager, Hiba Nassar, Lars Kai Hansen2026-07-14

← पिछला अगला →