23164 पेपर
GenSBI एक नया ओपन-सोर्स JAX लाइब्रेरी है जो फ्लो मैचिंग, स्कोर मैचिंग और डीनॉइजिंग डिफ्यूजन मॉडल्स को ट्रांसफार्मर-आधारित आर्किटेक्चर के साथ लागू करता है ताकि JAX का उपयोग करने वाले शोधकर्ताओं के लिए एक नेटिव, एंड-टू-एंड सिमुलेशन-आधारित इन्फरेंस फ्रेमवर्क प्रदान किया जा सके, जिससे मानक बेंचमार्क पर उच्च सटीकता और सुव्यवस्थित पोस्टीरियर्स प्राप्त होते हैं।
यह शोध पत्र शोर विषमता (noise heterogeneity) के कर्नेल मापों के लिए एक अर्ध-पैरामीट्रिक रूप से कुशल, एक-चरणीय अनुमानक (one-step estimator) प्रस्तावित करता है जो एडिटिव नॉइज़ मॉडल्स में प्रथम-चरण प्रतिगमन पूर्वाग्रह (first-stage regression bias) को ठीक करता है, जिससे अवशिष्ट स्वतंत्रता (residual independence) और वितरण संबंधी विषमता के लिए वैध बूटस्ट्रैप-कैलिब्रेटेड परीक्षण और स्पर्शोन्मुख रूप से कुशल विश्वास अंतराल सक्षम होते हैं।
यह शोध पत्र बैच नॉर्मलाइज़ेशन (Batch Normalization) को ग्रेडिएंट स्क्यू (gradient skew) के कारण डायनेमिक स्पार्स ट्रेनिंग (Dynamic Sparse Training) में धीमी अभिसरण (slow convergence) के एक प्राथमिक कारण के रूप में पहचानता है और स्पार्सऑप्ट (SparseOpt) का प्रस्ताव करता है, जो एक स्पर्सिटी-अवेयर ऑप्टिमाइज़र (sparsity-aware optimizer) है जो ResNet मॉडलों पर अभिसरण की गति और सामान्यीकरण (generalization) में महत्वपूर्ण सुधार करता है।
यह शोध पत्र मल्टी-स्टेज LLM पाइपलाइनों के डिटेक्शन (पहचान) और कंडीशनल जनरेशन (सशर्त पीढ़ी) निर्णयों में दो-पैरामीटर अपघटन का प्रस्ताव करता है, जो "डिटेक्शन विदाउट करेक्शन" (सुधार के बिना पहचान) को प्राथमिक विफलता मोड के रूप में पहचानता है जो विविध मॉडलों, बेंचमार्क और विधियों में पहेलीनुमा प्रदर्शन पठारों और उलटफेरों की व्याख्या करता है।
यह शोधपत्र ग्रेडिएंट ट्रांसफॉर्मर (Gradient Transformer) को प्रस्तुत करता है, जो एक डेटा-मुक्त नॉलेज डिस्टिलेशन फ्रेमवर्क है जो सीमित कंप्यूटेशनल संसाधनों वाले संगठनों को निजी डेटा पर फाइन-ट्यून किए गए छोटे भाषा मॉडलों (tiny language models) के अपडेट वेक्टर्स को रूपांतरित करके प्रभावी एलएलएम (LLM) अपडेट वेक्टर्स उत्पन्न करने में सक्षम बनाता है, जिससे संवेदनशील जानकारी को उजागर किए बिना सुरक्षित, बहु-संगठनात्मक सहयोग सुगम होता है।
यह शोध पत्र 32 सारणीबद्ध (tabular) डेटासेट्स और विभिन्न मॉडलों में स्थानीय व्याख्यात्मकता मेट्रिक्स (LIME, SHAP, और फीचर एब्लेशन) की विश्वसनीयता का मूल्यांकन करता है, जो यह प्रकट करता है कि स्पष्टीकरण की गुणवत्ता मॉडल के भविष्य कहनेवाला प्रदर्शन (predictive performance) की तुलना में डेटासेट की जटिलता और फीचर वितरण पर अधिक निर्भर करती है।
यह शोध पत्र सुपरवाइज्ड डिस्ट्रीब्यूशनल रिडक्शन (SDR) का प्रस्ताव करता है, जो एक नवीन एल्गोरिदम है जो ऑप्टिमल ट्रांसपोर्ट को स्पष्ट निर्भरता अधिकतमकरण (explicit dependence maximization) के साथ एकीकृत करता है ताकि कॉम्पैक्ट, लक्ष्य-जागरूक प्रतिनिधित्वों को सीखना, जो आंतरिक डेटा ज्यामिति और भविष्य कहनेवाला संकेत (predictive signal) को एक साथ संरक्षित करते हैं, और साथ ही गाऊसी प्रोसेस मॉडलिंग जैसे डाउनस्ट्रीम कार्यों के लिए अनुकूली, गैर-स्थिर कर्नेल के निर्माण को सक्षम करते हैं।
यह शोध पत्र "पॉइज़न विद स्टाइल" (PwS) को प्रस्तुत करता है, जो एक व्यावहारिक और गुप्त मॉडल पॉइज़निंग हमला है जो कोड लार्ज लैंग्वेज मॉडल्स (CLLMs) को उच्च सफलता दर के साथ असुरक्षित कोड उत्पन्न करने के लिए प्रेरित करने हेतु डेवलपर्स की अंतर्निहित कोड शैलियों का गुप्त ट्रिगर्स के रूप में उपयोग करता है, जबकि मानक बेंचमार्क पर मजबूत प्रदर्शन बनाए रखता है।
यह शोध पत्र एक ऐसी विधि प्रस्तुत करता है जो सॉफ्ट प्रॉम्प्ट्स (soft prompts) को प्राकृतिक भाषा के वर्बलाइज़ेशन (verbalizations) में अनुवादित करती है, यह प्रदर्शित करते हुए कि ये व्याख्या योग्य टेक्स्ट प्रॉम्प्ट्स न केवल मौजूदा ट्रेनिंग-मुक्त दृष्टिकोणों से बेहतर प्रदर्शन करते हैं, बल्कि छोटे ओपन-सोर्स मॉडल्स को ऐसे पोर्टेबल प्रॉम्प्ट्स उत्पन्न करने में सक्षम बनाते हैं जो बड़े क्लोज्ड-एपीआई (closed-API) मॉडल्स पर लागू होने पर मूल सॉफ्ट प्रॉम्प्ट्स और फ्यू-शॉट लर्निंग (few-shot learning) दोनों से बेहतर परिणाम देते हैं।
यह शोध पत्र ट्रिनिटी (Trinity) को प्रस्तुत करता है, जो एक ट्रांसफॉर्मर-आधारित आर्किटेक्चर है जो एक नए सिंथेटिक डेटासेट (RUGDSynth) और एक वास्तविक-विश्व एनोटेटेड डेटासेट (EXTerra) का उपयोग करके क्लास-विशिष्ट सिमेंटिक सेगमेंटेशन और क्लास-एग्नोस्टिक टेरेन सेगमेंटेशन को एकीकृत करता है, ताकि अनस्ट्रक्चर्ड आउटडोर वातावरण के लिए रोबोट-एग्नोस्टिक टेरेन अंडरस्टैंडिंग को सक्षम बनाया जा सके।