🤖 machine learning

Native Hierarchical and Compositional Representations with Subspace Embeddings

यह शोध पत्र प्रतिनिधित्व शिक्षण (representation learning) के लिए एक नवीन दृष्टिकोण प्रस्तावित करता है जो पारंपरिक वेक्टर एम्बेडिंग को विभेदक रैखिक उप-स्थानों (differentiable linear subspaces) से बदल देता है, जो ज्यामितीय समावेशन और रैखिक बीजगणितीय संक्रियाओं के माध्यम से पदानुक्रमों, संरचनात्मकता (compositionality) और तार्किक निहितार्थ (logical entailment) की मूल मॉडलिंग को सक्षम बनाता है, जबकि कुशल वेक्टर खोज के साथ अनुकूलता बनाए रखता है।

Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong2026-06-01
🤖 machine learning

Beyond Tokens: Enhancing RTL Quality Estimation via Structural Graph Learning

यह शोध पत्र StructRTL को प्रस्तुत करता है, जो एक नवीन संरचना-जागरूक ग्राफ स्व-पर्यवेक्षित शिक्षण ढांचा है जो कंट्रोल डेटा फ्लो ग्राफ और पोस्ट-मैपिंग नेटलिस्ट से नॉलेज डिस्टिलेशन का लाभ उठाता है ताकि एरिया और डिले जैसे RTL डिज़ाइन गुणवत्ता मेट्रिक्स का अनुमान लगाने में मौजूदा LLM-आधारित तरीकों से काफी बेहतर प्रदर्शन किया जा सके।

Yi Liu, Hongji Zhang, Yiwen Wang, Dimitris Tsaras, Lei Chen, Mingxuan Yuan, Qiang Xu2026-06-01
🤖 machine learning

HUNT: High-Speed UAV Navigation and Tracking in Unstructured Environments via Instantaneous Relative Frames

यह शोध पत्र HUNT प्रस्तुत करता है, जो एक वास्तविक समय का ढांचा (framework) है जो उच्च गति वाले UAVs को केवल तात्कालिक ऑनबोर्ड अवलोकनों (observables) का उपयोग करके, वैश्विक स्थानीयकरण (global localization) की आवश्यकता को समाप्त करते हुए, अनस्ट्रक्चर्ड वातावरण में स्वायत्त रूप से नेविगेट करने और लक्ष्य ट्रैकिंग में निर्बाध रूप से संक्रमण करने में सक्षम बनाता है।

Alessandro Saviolo, Jeffrey Mao, Giuseppe Loianno2026-06-01
🤖 AI

Spectral Collapse Drives Loss of Plasticity in Deep Continual Learning

यह शोध पत्र हेसियन स्पेक्ट्रल कोलैप्स (Hessian spectral collapse) को डीप कॉन्टिनुअल लर्निंग में प्लास्टिसिटी लॉस के मूल कारण के रूप में पहचानता है, NTK डायनेमिक्स को हेसियन कर्वेचर से जोड़ने वाली सैद्धांतिक स्थितियों को व्युत्पन्न करता है, और विभिन्न कार्यों (tasks) में प्लास्टिसिटी को सफलतापूर्वक बनाए रखने के लिए प्रभावी फीचर रैंक संरक्षण और L2 रेगुलराइजेशन के संयोजन का प्रस्ताव करता है।

Arjun Prakash, Naicheng He, Kaicheng Guo, Saket Tiwari, Ruo Yu Tao, Tyrone Serapio, Amy Greenwald, George Konidaris2026-06-01
🤖 machine learning

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

यह शोध पत्र ZO-Finetuner को प्रस्तुत करता है, जो एक लर्निंग-आधारित ज़ीरो-ऑर्डर ऑप्टिमाइज़र है जो एक मेमोरी-कुशल डिज़ाइन के माध्यम से कुशल परटर्बेशन रणनीतियों को स्वचालित रूप से सीखता है, जिससे मौजूदा स्टैटिक ज़ीरो-ऑर्डर विधियों की तुलना में विविध डाउनस्ट्रीम कार्यों में एक-बार प्रति-मॉडल प्रशिक्षण और बेहतर प्रदर्शन सक्षम होता है।

Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang2026-06-01
💬 NLP

Mechanistic Interpretability as Statistical Estimation: A Variance Analysis

यह शोध पत्र तर्क देता है कि मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) मौलिक रूप से एक सांख्यिकीय अनुमान समस्या है जो कॉज़ल मीडिएशन स्कोर्स (causal mediation scores) में उच्च अंतर्निहित विचरण (high intrinsic variance) से ग्रस्त है, जिसके कारण सर्किट डिस्कवरी पाइपलाइन अस्थिर और नाजुक परिणाम उत्पन्न करती हैं जो कठोर सांख्यिकीय सुदृढ़ता और स्थिरता रिपोर्टिंग की ओर बदलाव को आवश्यक बनाती हैं।

Maxime Méloux, François Portet, Maxime Peyrard2026-06-01
🤖 machine learning

Re-examining Low Rank adaptation for private LLM fine-tuning

यह शोध पत्र तर्क देता है कि डिफरेंशियल प्राइवेट SGD में आइसोट्रोपिक नॉइज़ (isotropic noise), LLM ग्रेडिएंट्स की स्वाभाविक लो-रैंक संरचना को बाधित करती है, और गोपनीयता गारंटी से समझौता किए बिना सैंपल दक्षता को महत्वपूर्ण रूप से सुधारने के लिए मूल सिंगुलर-वैल्यू प्रोफाइल को बहाल करने का प्रस्ताव देता है।

Ali Dadsetan, Frank Rudzicz2026-06-01
📊 statistics

PAC-Bayesian Reinforcement Learning Trains Generalizable Policies

यह शोध पत्र सुदृढीकरण लर्निंग (reinforcement learning) के लिए एक नवीन PAC-Bayesian सामान्यीकरण बाउंड (generalization bound) प्रस्तुत करता है जो मिक्सिंग टाइम (mixing time) के माध्यम से मार्कोव निर्भरताओं (Markov dependencies) को ध्यान में रखता है, और PB-SAC का प्रस्ताव करता है, जो निरंतर नियंत्रण कार्यों (continuous control tasks) में प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए गैर-रिक्त सामान्यीकरण प्रमाण (non-vacuous generalization certificates) प्रदान करने के लिए इस बाउंड को अनुकूलित करता है।

Abdelkrim Zitouni, Mehdi Hennequin, Juba Agoun, Ryan Horache, Nadia Kabachi, Omar Rivasplata2026-06-01
📊 statistics

Reinforced sequential Monte Carlo for amortised sampling

यह शोध पत्र रीइन्फोर्स्ड सीक्वेंशियल मोंटे कार्लो (Reinforced Sequential Monte Carlo) प्रस्तुत करता है, जो एक नवीन ढांचा है जो सिंथेटिक और आणविक लक्ष्यों (molecular targets) दोनों के लिए अननॉर्मलाइज्ड वितरणों हेतु स्थिर, ऑफ-पॉलिसी प्रशिक्षण और बेहतर सैंपलिंग सटीकता प्राप्त करने के लिए मैक्सिमम-एन्ट्रॉपी रीइन्फोर्समेंट लर्निंग के माध्यम से प्रशिक्षित एमोर्टाइज्ड न्यूरल सैंपलर को सीक्वेंशियल मोंटे कार्लो विधियों के साथ समन्वित करता है।

Sanghyeok Choi, Sarthak Mittal, Víctor Elvira, Jinkyoo Park, Esmeralda S. Whitammer2026-06-01
📊 statistics

Expert Merging in Sparse Mixture of Experts with Nash Bargaining

यह शोध पत्र NAMEx को प्रस्तुत करता है, जो एक स्पार्स मिक्स्चर ऑफ एक्सपर्ट्स (Sparse Mixture of Experts) के लिए एक नवीन एक्सपर्ट मर्जिंग फ्रेमवर्क है, जो संतुलित सहयोग और त्वरित अभिसरण (convergence) प्राप्त करने के लिए नैश बारगेनिंग (Nash Bargaining) और कॉम्प्लेक्स मोमेंटम का लाभ उठाता है, जो विभिन्न कार्यों और बड़े पैमाने के मॉडलों में उत्कृष्ट प्रदर्शन प्रदर्शित करता है।

Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan (…)2026-06-01