🤖 Category

cs.LG

23292 पेपर

🤖 machine learning

InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization

InfoQuant एक ट्रेनिंग-फ्री पोस्ट-ट्रेनिंग क्वांटाइजेशन विधि है जो पीक सप्रेशन ऑर्थोगोनल ट्रांसफॉर्मेशन (PSOT) और एडेप्टिव आउटलायर-टोकन सिलेक्शन का उपयोग करती है ताकि एक्टिवेशन डिस्ट्रीब्यूशन को एक कॉम्पैक्ट और सुव्यवस्थित रूप में पुनर्गठित किया जा सके, जिससे क्वांटाइजेशन एरर काफी कम हो जाता है और यह मौजूदा लो-बिट LLM डिप्लॉयमेंट बेसलाइन्स से बेहतर प्रदर्शन करता है।

Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang2026-05-27
💻 computer science

ATOM: Instantiating Budget-Controllable Multi-Agent Collaboration via Nucleus-Electron Hierarchy

यह शोध पत्र ATOM को प्रस्तुत करता है, जो एक अनुकूलन योग्य बहु-एजेंट फ्रेमवर्क है जो न्यूक्लियस-इलेक्ट्रॉन पदानुक्रम और कार्य-संचालित सुदृढीकरण शिक्षण (reinforcement learning) का उपयोग करके गतिशील रूप से बजट-नियंत्रणीय सहयोग ग्राफ को स्थापित करता है, जिससे क्वेरी की कठिनाई के साथ कम्प्यूटेशनल संसाधनों को संरेखित करके 30% तक बेहतर टोकन दक्षता के साथ अत्याधुनिक प्रदर्शन प्राप्त होता है।

Xinkui Zhao, Sai Liu, Yifan Zhang, Qingyu Ma, Zewen Lin, Naibo Wang, Guanjie Cheng, Chang Liu, Yueshen Xu2026-05-27
🧬 biology

What Molecular Structure Cannot Tell Us: A Taxonomy of Explainability Gaps in GNN-Based Drug Toxicity Prediction

यह अध्ययन प्रकट करता है कि आणविक संरचना अकेले एसिटाइलसैलिसिलिक एसिड के ज्ञात प्रतिकूल प्रभावों के लगभग केवल 45% की व्याख्या करती है और GNN-आधारित दवा विषाक्तता भविष्यवाणी में व्याख्यात्मकता अंतराल को वर्गीकृत करने के लिए एक चार-श्रेणी वर्गीकरण (टैक्सोनॉमी) प्रस्तुत करता है, जो नियामक सुरक्षा वर्कफ़्लो के लिए महत्वपूर्ण सीमाओं को रेखांकित करता है।

Juergen Dietrich2026-05-27
🤖 machine learning

GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training

यह शोधपत्र GAC का प्रस्ताव करता है, जो एक शोर-जागरूक अनुकूलन मिश्रण नियंत्रक (noise-aware adaptive mixing controller) है, जो ग्रेडिएंट विचरण (gradient variance) और सिग्नल असहमति (signal disagreement) के वास्तविक समय के अनुमानों के आधार पर सुपरवाइज्ड फाइन-ट्यूनिंग और सुदृढीकरण शिक्षण (reinforcement learning) के बीच संतुलन को गतिशील रूप से समायोजित करता है, जिससे न्यूनतम ओवरहेड के साथ विभिन्न डोमेन में हाइब्रिड पोस्ट-ट्रेनिंग प्रदर्शन में सुधार होता है।

Yuelin Hu, Zhenbo Yu, Zhengxue Cheng, Wei Liu, Li Song2026-05-27
🤖 machine learning

Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training

यह शोध पत्र एक मैक्स-विंडो स्केल एस्टीमेशन रणनीति और एक BF16 वॉर्मअप शेड्यूल को पेश करके HiF8 W8A8 क्वांटाइजेशन-अवेयर ट्रेनिंग में दो विशिष्ट विफलता मोड—amax सैचुरेशन और कैटास्ट्रोफिक फॉरगेटिंग—की पहचान और समाधान करता है, जिससे OpenPangu-Embedded-1B मॉडल पर लगभग लॉसलेस प्रदर्शन प्राप्त होता है।

Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun2026-05-27
🤖 machine learning

From Privacy to Generalization: Linear Max-Information Bounds for DP-SGD

यह शोध पत्र DP-SGD के अनुमानित मैक्स-इन्फॉर्मेशन (max-information) पर एक परिमित-नमूना (finite-sample), डेटासेट-आकार-में-रैखिक (linear-in-dataset-size) सीमा स्थापित करता है, जो डिफरेंशियल प्राइवेट डीप लर्निंग मॉडल्स के लिए स्पष्ट PAC-Bayes और सामान्यीकरण सीमाओं (generalization bounds) के व्युत्पत्ति को सक्षम बनाता है।

Christoph H. Lampert, Hossein Zakerinia2026-05-27
🤖 machine learning

Provably Communication-Efficient and Privacy-Preserving Federated Graph Neural Networks

यह शोध पत्र CE-FedGNN को प्रस्तुत करता है, जो एक फेडरेटेड ग्राफ न्यूरल नेटवर्क फ्रेमवर्क है जो प्रमाणित अभिसरण (convergence) और औपचारिक मेट्रिक डिफरेंशियल प्राइवेसी गारंटी प्राप्त करता है, जबकि वितरित ग्राफ लर्निंग परिदृश्यों में संचार लागत को काफी कम करता है और सटीकता बनाए रखता है।

Zhishuai Guo, Wenhan Wu, Chen Chen, Lei Zhang, Olivera Kotevska, Ravi K Madduri2026-05-27
🤖 machine learning

Unified Neural Scaling Laws

यह शोध पत्र एक यूनिफाइड न्यूरल स्केलिंग लॉ (UNSL) पेश करता है, जो एक ऐसा कार्यात्मक रूप है जो मॉडल आकार, डेटा, कंप्यूट, और हाइपरपैरामीटर सहित कई एक साथ आयामों में विविध डीप न्यूरल नेटवर्क के प्रदर्शन को सटीक रूप से मॉडल और एक्सट्रपलेट करता है, और विजन, लैंग्वेज, मैथ, और रिइन्फोर्समेंट लर्निंग कार्यों में सटीकता के मामले में मौजूदा स्केलिंग लॉ से बेहतर प्रदर्शन करता है।

Ethan Caballero, Priyank Jaini, David Krueger, Irina Rish2026-05-27
🤖 machine learning

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization

यह शोध पत्र मॉडल-बेस्ड डिफ्यूजन पॉलिसी ऑप्टिमाइज़ेशन (MBDPO) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो संरचनात्मक मिसअलाइनमेंट को हल करने और स्केलेबल, सुसंगत सुदृढीकरण सीखने (reinforcement learning) को सक्षम करने के लिए खोजे गए प्रक्षेप पथों (trajectories) पर पॉलिसी ऑप्टिमाइज़ेशन को एक डिफ्यूजन प्रक्रिया के रूप में पुनर्गठित करके वर्ल्ड मॉडल्स के भीतर सर्च और पॉलिसी लर्निंग को एकीकृत करता है।

Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu2026-05-27
🤖 machine learning

Two-Parameter Flows for Learning Population Dynamics of Physical Systems

यह शोध पत्र अनलेबल (unlabeled) नमूनों से उच्च-आयामी भौतिक प्रणाली की गतिशीलता सीखने के लिए एक स्केलेबल विधि प्रस्तुत करता है, जो बेस-टू-मार्जिनल ट्रांसपोर्ट (base-to-marginal transports) से अद्वितीय, नियमित भौतिकी-समय वेग (physics-time velocities) प्राप्त करने के लिए टू-पैरामीटर फ्लो (two-parameter flows) का उपयोग करता है, जिससे बिना प्रक्षेपवक्र डेटा (trajectory data) या प्रति-चरण इष्टतम परिवहन कपलिंग (per-step optimal transport couplings) की आवश्यकता के रोटेशन जैसी गैर-ग्रेडिएंट घटनाओं का मॉडलिंग सक्षम होता है।

Paul Schwerdtner, Tobias Blickhan, Benjamin Peherstorfer2026-05-27