🤖 Category

cs.LG

23662 पेपर

📊 statistics

Multi-Head Attention as Ensemble Nadaraya-Watson Estimation: Variance Reduction, Decorrelation, and Optimal Head Diversity

यह शोधपत्र एक कठोर सांख्यिकीय ढांचे को स्थापित करता है जो यह सिद्ध करता है कि मल्टी-हेड अटेंशन, नदरया-वाट्सन अनुमानकों (Nadaraya-Watson estimators) के एक डिकोरिलेटेड एन्सेम्बल के रूप में कार्य करता है, जहाँ हेड डाइवर्सिटी इंडेक्स यह परिमाणीकरण करता है कि कैसे ऑर्थोगोनल प्रोजेक्शन सबस्पेस वेरिएन्स को कम करते हैं और माध्य वर्ग त्रुटि (mean squared error) को न्यूनतम करने के लिए इष्टतम आर्किटेक्चरल स्केलिंग लॉज़ को निर्धारित करते हैं।

Ernest Fokoué2026-05-21
🤖 machine learning

Modality-Decoupled Online Recursive Editing

यह शोध पत्र M-ORE को प्रस्तुत करता है, जो एक मोडैलिटी-डिकपल्ड ऑनलाइन रिकर्सिव एडिटर है जो टेक्स्ट और विजुअल घटकों के लिए अलग-अलग लोकैलिटी सांख्यिकी (locality statistics) बनाए रखकर और क्रॉस-मोडल संघर्ष एवं इंटर-एडिट हस्तक्षेप को कम करने के लिए एक निश्चित ऑर्थोगोनल लो-रैंक सबस्पेस में निरंतर अपडेट करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के कुशल और विश्वसनीय लाइफलोंग एडेप्टेशन को सक्षम बनाता है।

Siyuan Li, Youyuan Zhang, Fangming Liu, Jing Li2026-05-21
🤖 machine learning

Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages

यह शोध पत्र इंट्रोस्पेक्टिव ट्रेनिंग (IXT) को प्रस्तुत करता है, जो एक थिंकिंग रिवॉर्ड मॉडल से प्राप्त प्राकृतिक भाषा फीडबैक का उपयोग करके LLM विकास के सभी चरणों में ट्रेनिंग डेटा को प्रीफिक्स-कंडीशन करता है, जिससे कंप्यूट दक्षता में महत्वपूर्ण सुधार होता है और मानक प्रशिक्षण दृष्टिकोणों की तुलना में गणित और कोड में बेहतर प्रदर्शन प्राप्त होता है।

Brandon Cui, Ximing Lu, Jaehun Jung, Syeda Nahida Akter, Hyunwoo Kim, Yuxiao Qu, David Acuna, Shrimai Prabhumoye, Yejin (…)2026-05-21
💻 computer science

Adaptive Probe-based Steering for Robust LLM Jailbreaking

यह शोध पत्र अडैप्टिव प्रोब-आधारित स्टीयरिंग (Adaptive Probe-based Steering) का परिचय देता है, जो एक सुदृढ़ जेलब्रेकिंग विधि है जो आदर्श स्टीयरिंग वेक्टर्स का अनुमान लगाने के लिए मॉडल एक्सट्रैक्शन का लाभ उठाती है और एक्टिवेशन सांख्यिकी के आधार पर स्टीयरिंग स्ट्रेंथ को अनुकूल रूप से ट्यून करती है, जिससे बिना किसी मैनुअल ट्यूनिंग या अतिरिक्त प्रॉम्प्ट्स के सुदृढ़ (fortified) LLMs के हानिकारक स्कोर को 6% से बढ़ाकर 70% तक काफी बढ़ा दिया जाता है।

Junxi Chen, Junhao Dong, Xiaohua Xie2026-05-21
🤖 machine learning

FusionCell: Cross-Attentive Fusion of Layout Geometry and Netlist Topology for Standard-Cell Performance Prediction

FusionCell एक नवीन ड्यूल-मोडैलिटी डीप लर्निंग फ्रेमवर्क है जो स्टैंडर्ड-सेल प्रदर्शन मेट्रिक्स के अत्यधिक सटीक और तीव्र पूर्वानुमान को प्राप्त करने के लिए टोपोलॉजी-गाइडेड क्रॉस-अटेंशन मैकेनिज्म के माध्यम से रूटेड लेआउट ज्योमेट्री और नेटलिस्ट टोपोलॉजी को एकीकृत करता है, जो मौजूदा बेसलाइन्स और पारंपरिक सिमुलेशन विधियों से काफी बेहतर प्रदर्शन करता है।

Haoyi Zhang, Kairong Guo, Bojie Zhang, Yibo Lin, Runsheng Wang2026-05-21
🤖 machine learning

Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers

यह शोध पत्र एक प्लग-एंड-प्ले फ्रेमवर्क प्रस्तुत करता है जो मॉड्यूलर पॉपुलेशन कंप्यूटेशन और बिट-शिफ्ट स्केलिंग के माध्यम से महत्वपूर्ण नॉनलीनियर ऑपरेटर्स (जैसे कि सॉफ्टमैक्स और नॉर्मलाइजेशन) के स्पाइक-फ्रेंडली एप्रोक्सिमेशन को लागू करके बड़े भाषा मॉडल (LLMs) के लिए ट्रेनिंग-मुक्त ANN-टू-SNN रूपांतरण को सक्षम बनाता है, जिससे फाइन-ट्यूनिंग के बिना मूल मॉडलों के लगभग समान सटीकता प्राप्त होती है।

Xinzhe Yuan (IASM, Harbin Institute of Technology), Xiang Peng (IASM, Harbin Institute of Technology), Bin Gu (School of (…)2026-05-21
🤖 machine learning

Closed-form predictive coding via hierarchical Gaussian filters

यह शोध पत्र पदानुक्रमित गॉसियन फिल्टरों पर आधारित एक क्लोज्ड-फॉर्म प्रेडिक्टिव कोडिंग फ्रेमवर्क प्रस्तुत करता है जो प्रिसिजन-वेटेड मैसेज पासिंग को पुनर्स्थापित करता है, जिससे गहरे नेटवर्क बिना पुनरावृत्ति अनुमान (iterative inference) या वैश्विक त्रुटि संकेतों के सक्रियण (activations), भार (weights) और अनिश्चितताओं को एक साथ सीखने में सक्षम होते हैं, जिससे वे बैकप्रोपैगेशन की दक्षता से मेल खाते हुए ऑनलाइन और डेटा-कुशल कार्यों में उत्कृष्ट प्रदर्शन करते हैं।

Aleksandrs Baskakovs, Sylvain Estebe, Kenneth Enevoldsen, Kristoffer Nielbo, Chris Mathys, Nicolas Legrand2026-05-21
🤖 machine learning

Spectral Unforgetting: Post-Hoc Recovery of Damaged Capabilities Without Retraining

यह शोध पत्र DG-Hard को प्रस्तुत करता है, जो एक पोस्ट-हॉक स्पेक्ट्रल रिपेयर विधि है जो बिना किसी अतिरिक्त डेटा या पुन: प्रशिक्षण के, वेट अपडेट मैट्रिक्स पर डोनोहो-गविश हार्ड सिंगुलर-वैल्यू थ्रेशोल्डिंग लागू करके, कार्य लाभों को सुरक्षित रखते हुए फाइन-ट्यूनिंग द्वारा क्षतिग्रस्त हुई क्षमताओं को पुनर्प्राप्त करता है।

Aarash Abro, Muhammad Tahir2026-05-21
💻 computer science

MedCRP-CL: Continual Medical Image Segmentation via Bayesian Nonparametric Semantic Modality Discovery

MedCRP-CL मेडिकल इमेज सेगमेंटेशन के लिए एक रिप्ले-फ्री कॉन्टिनुअल लर्निंग फ्रेमवर्क है जो क्लिनिकल टेक्स्ट से डायनामिकली सिमेंटिक टास्क ग्रुपिंग खोजने के लिए चाइनीज रेस्टोरेंट प्रोसेस का लाभ उठाता है, जिससे स्ट्रक्चर-अवेयर पैरामीटर आइसोलेशन और नॉलेज ट्रांसफर सक्षम होता है जो मौजूदा बेसलाइन्स से काफी बेहतर प्रदर्शन करता है और मॉडल के आकार तथा फॉरगेटिंग को नाटकीय रूप से कम करता है।

Ziyuan Gao2026-05-21
🤖 machine learning

Mechanisms of Misgeneralization in Physical Sequence Modeling

यह शोध पत्र "भौतिक मिसजनरलाइजेशन" (physical misgeneralization) की पहचान और व्याख्या करता है, जहाँ क्यूरेटेड भौतिक प्रदर्शनों पर प्रशिक्षित जनरेटिव सीक्वेंस मॉडल ऐसे विश्वसनीय व्यक्तिगत प्रक्षेपवक्र (trajectories) उत्पन्न करते हैं जो स्थानीय त्रुटियों के प्रसार के कारण सामूहिक रूप से इच्छित समग्र वितरणों का उल्लंघन करते हैं, और इस विफलता का पूर्वानुमान लगाने तथा इसे कम करने के लिए एक डेटा डेविएशन कर्नेल (data deviation kernel) प्रस्तावित करता है।

Kento Nishi, Raphael Tang, Karun Kumar, Core Francisco Park, Hidenori Tanaka2026-05-21