🤖 Category

cs.LG

26236 पेपर

🤖 machine learning

On Improving Graph Neural Networks for QSAR by Pre-training on Extended-Connectivity Fingerprints

यह शोध पत्र ग्राफ न्यूरल नेटवर्क को एक्सटेंडेड-कनेक्टिविटी फिंगरप्रिंट्स (ECFPs) पर प्री-ट्रेन करने की एक सामान्य रणनीति का प्रस्ताव और सत्यापन करता है ताकि विविध QSAR कार्यों पर उनके प्रदर्शन में महत्वपूर्ण सुधार किया जा सके, विशेष रूप से मानक बेंचमार्क पर सांख्यिकीय रूप से महत्वपूर्ण लाभ प्रदर्शित करते हुए, जबकि अत्यधिक विषम या जटिल आउट-ऑफ-डिस्ट्रीब्यूशन परिदृश्यों में सीमाओं को भी नोट करता है।

Sam Money-Kyrle, Markus Dablander, Thierry Hanser, Stephane Werner, Charlotte M. Deane, Garrett M. Morris2026-05-12
🔢 mathematics

Kernel-Gradient Drifting Models

यह शोध पत्र "कर्नेल-ग्रेडिएंट ड्रिफ्टिंग" (kernel-gradient drifting) को प्रस्तुत करता है, जो एक वन-स्टेप जनरेटिव फ्रेमवर्क है जो निश्चित विस्थापन (fixed displacements) को कर्नेल-प्रेरित ग्रेडिएंट दिशाओं से बदलकर मानक ड्रिफ्टिंग मॉडलों को मनमाने कर्नेल और गैर-यूक्लिडियन स्थानों के लिए सामान्यीकृत करता है, जिससे प्रीट्रेन्ड डिफ्यूजन मॉडलों से डिस्टिलेशन की आवश्यकता के बिना विविध प्रकार के डेटा पर अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।

Maria Esteban-Casadevall, Jorge Carrasco-Pollo, Max Welling, Jan-Willem van de Meent, Erik J. Bekkers, Floor Eijkelboom2026-05-12
🤖 machine learning

AdaPaD: Adaptive Parallel Deflation for PEFT with Self-Correcting Rank Discovery

AdaPaD एक एडेप्टिव पैरेलल डिफ्लेशन फ्रेमवर्क पेश करता है जो PEFT के लिए, जो स्व-सुधारात्मक त्रुटि अभिसरण (self-correcting error convergence) और गतिशील रैंक खोज (dynamic rank discovery) के साथ रैंक-1 घटकों को एक साथ प्रशिक्षित करता है, मौजूदा LoRA विधियों की तुलना में काफी छोटे एडेप्टर आकारों के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

Barbara Su, Fangshuo Liao, Anastasios Kyrillidis2026-05-12
🤖 machine learning

Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs

यह शोधपत्र FedMITR का प्रस्ताव करता है, जो विजन ट्रांसफॉर्मर्स के लिए एक नवीन वन-शॉट फेडरेटेड लर्निंग फ्रेमवर्क है जो सिमेंटिक रूप से संरेखित सिंथेटिक डेटा उत्पन्न करने के लिए स्पार्स मॉडल इनवर्जन को टोकन रीलेबलिंग रणनीति के साथ जोड़ता है ताकि प्रेडिक्शन रोबस्टनेस को बढ़ाया जा सके, जिससे नॉन-IID सेटिंग्स के तहत बेहतर प्रदर्शन और कड़े जनरलाइजेशन बाउंड्स प्राप्त किए जा सकें।

Li Shen, Xiaolei Hao, Qinglun Li, Xiaochun Cao, Zhifeng Hao, Xun Yang2026-05-12
🤖 machine learning

Reinforce Adjoint Matching: Scaling RL Post-Training of Diffusion and Flow-Matching Models

यह शोध पत्र रीइन्फोर्स एडजॉइंट मैचिंग (RAM) को प्रस्तुत करता है, जो डिफ्यूजन और फ्लो-मैचिंग मॉडल्स के लिए एक स्केलेबल आरएल (RL) पोस्ट-ट्रेनिंग विधि है, जो एक सरल कंसिस्टेंसी लॉस (consistency loss) व्युत्पन्न करके रिवॉर्ड्स के साथ बेहतर अलाइनमेंट प्राप्त करता है जो बिना किसी महंगी एसडीई (SDE) रोलआउट्स, बैकवर्ड एडजॉइंट स्वीप्स, या रिवॉर्ड ग्रेडिएंट्स के प्रीट्रेनिंग लक्ष्यों को ठीक करता है।

Andreas Bergmeister, Stefanie Jegelka, Nikolas Nüsken, Carles Domingo-Enrich, Jakiw Pidstrigach2026-05-12
🔢 mathematics

On the global convergence of gradient descent for wide shallow models with bounded nonlinearities

यह शोध पत्र यह सिद्ध करके कि सभी गैर-वैश्विक लघुतम (non-global minimizers) अस्थिर हैं, सीमित गैर-रैखिकता (bounded nonlinearities) और वेक्टर आउटपुट वेट्स वाले वाइड शैलो न्यूरल नेटवर्क के लिए निरंतर-समय ग्रेडिएंट डिसेंट की वैश्विक अभिसरण (global convergence) को स्थापित करता है, जिससे ReLU और स्केलर-आउटपुट सिग्मॉइड नेटवर्क पर पिछले परिणामों का विस्तार मल्टी-हेड अटेंशन लेयर्स को सम्मिलित करने के लिए किया गया है।

Romain Petit, Clarice Poon, Gabriel Peyré2026-05-12
🤖 machine learning

Locking Pretrained Weights via Deep Low-Rank Residual Distillation

यह शोधपत्र DLR-Lock को प्रस्तुत करता है, जो एक रक्षा तंत्र है जो मानक MLPs को डीप लो-रैंक रेसिडुअल नेटवर्क्स से बदलकर ओपन-वेट लैंग्वेज मॉडल्स को अनधिकृत फाइन-ट्यूनिंग से सुरक्षित करता है, जो मॉडल के प्रदर्शन को बनाए रखते हुए अनुकूलनशील हमलावरों के लिए निषेधात्मक मेमोरी और ऑप्टिमाइज़ेशन बाधाएं उत्पन्न करने हेतु इन्फरेंस-ट्रेनिंग विषमता (inference-training asymmetry) का लाभ उठाता है।

Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi2026-05-12
🤖 machine learning

Elucidating Representation Degradation Problem in Diffusion Model Training

यह शोध पत्र "रिप्रेजेंटेशन डिग्रेडेशन" (प्रतिनिधित्व क्षरण) को डिफ्यूजन मॉडल्स में एक प्रमुख प्रशिक्षण बाधा के रूप में पहचानता है जो बेमेल लक्ष्य रिकवरेबिलिटी (पुनर्प्राप्ति क्षमता) के कारण होता है और एलुसिडेटेड रिप्रेजेंटेशन डिफ्यूजन (ERD) का प्रस्ताव करता है, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जो सीखने को स्थिर करने और अभिसरण (कन्वर्जेंस) को तेज करने के लिए अनुकूलन प्रयास को गतिशील रूप से पुनर्वितरित करता है।

Zhipeng Yao, Dazhou Li, Zitong Zhang, Durude Mahee, Fan Zhu, Wenbin Zhang, Xinwei He, Yeying Jin, Rui Yu2026-05-12
🔢 mathematics

Fixed-Point Neural Optimal Transport without Implicit Differentiation

यह शोध पत्र एक स्थिर, एकल-नेटवर्क अनुकूलतम परिवहन (ऑप्टिमल ट्रांसपोर्ट) ढांचे को प्रस्तुत करता है जो कांतोरोविच द्वैत (केंटोरोविच ड्यूल) को एक प्रॉक्सिमल फिक्स्ड-पॉइंट समस्या के रूप में पुनर्गठित करता है, जो प्रतिकूल अनुकूलन (एडवर्सरियल ऑप्टिमाइज़ेशन) या निहित अवकलन (इम्प्लिसिट डिफरेंशिएशन) के बिना कुशल प्रशिक्षण को सक्षम बनाता है और विविध उच्च-आयामी कार्यों में परिवहन मानचित्रों को सटीक रूप से पुनर्प्राप्त करता है।

Yesom Park, Eric Gelphman, Stanley Osher, Samy Wu Fung2026-05-12
📊 statistics

Factual recall in linear associative memories: sharp asymptotics and mechanistic insights

यह शोध पत्र रैखिक साहचर्य स्मृतियों (linear associative memories) की भंडारण क्षमता को सटीक रूप से चित्रित करने के लिए सांख्यिकीय भौतिकी का उपयोग करता है, जो यह प्रदर्शित करता है कि मूल प्रणाली के समकक्ष एक विच्छेदित मॉडल (decoupled model) pclog⁡pc/d2=1/2p_c \log p_c / d^2 = 1/2 तक साहचर्यों को संग्रहीत कर सकता है और यह प्रकट करता है कि इष्टतम समाधान संरेखणों को व्यापक रूप से बढ़ाने के बजाय प्रतिस्पर्धी आउटपुट की चरम-मान सीमा (extreme-value threshold) से ठीक ऊपर सही स्कोर बढ़ाकर इसे प्राप्त करते हैं।

Alessio Giorlandino, Sebastian Goldt, Antoine Maillard2026-05-12