23413 पेपर
यह शोध पत्र एक लागत प्रभावी, व्याख्यात्मक मशीन लर्निंग प्रणाली का प्रस्ताव करता है जो ध्वनिक संकेतों के आधार पर एकल मानव रहित विमानों (UAVs) और ड्रोन झुंडों दोनों का पता लगाने और वर्गीकरण करने के लिए रैशनल गॉसियन वेवलेट न्यूरल नेटवर्क का उपयोग करता है, जो विभिन्न वातावरणों में पारंपरिक तरीकों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।
यह शोध पत्र 'स्टेज्ड-कॉम्पिटेंस' (Staged-Competence) का प्रस्ताव देता है, जो एक करिकुलम लर्निंग फ्रेमवर्क है जो प्राथमिकता डेटा को कठिनाई के आधार पर व्यवस्थित करता है और संदर्भ मॉडल (reference model) को प्रगतिशील रूप से अपडेट करता है ताकि सामान्य क्षमताओं को बनाए रखते हुए सुरक्षा संरेखण (safety alignment) के लिए डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) की आउट-ऑफ-डिस्ट्रीब्यूशन मजबूती और जेलब्रेक प्रतिरोधकता में महत्वपूर्ण सुधार किया जा सके।
QAM-W एक संयुक्त 2D कोडबुक क्वांटाइजेशन विधि पेश करता है जो LLM वेट्स के लिए है और जो पेयरवाइज कोऑर्डिनेट संरचनाओं को संरक्षित करने के लिए हैडामार्ड रोटेशन और एक्टिवेशन-अवेयर स्केलिंग का उपयोग करता है, जिससे लगभग 5.5 बिट्स प्रति वेट पर नियर-BF16 परप्लेक्सिटी प्राप्त होती है और पोलर कोडिंग से बेहतर प्रदर्शन करते हुए काफी कम वेट बिट्स के साथ स्मूथक्वांट (SmoothQuant) की गुणवत्ता से मेल खाता है।
यह शोध पत्र इस धारणा को चुनौती देता है कि सही प्रदर्शन (demonstrations) हमेशा इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning) में सहायता करते हैं, यह प्रकट करते हुए कि कार्य-संरक्षण संबंधी व्यवधान (task-preserving perturbations) "संदर्भगत साक्ष्य विस्थापन" (contextual evidence shift) के माध्यम से प्रदर्शन को कम कर सकते हैं, जो यह प्रदर्शित करता है कि उदाहरणों की उपयोगिता इस बात पर निर्भर करती है कि वे संदर्भगत अनुमान (contextual inference) को कैसे प्रभावित करते हैं न कि केवल उनकी शुद्धता पर।
यह शोधपत्र DecoupleGen पेश करता है, जो एक ऐसी विधि है जो दुर्लभ प्रासंगिक पैटर्न के लिए प्रशिक्षण संवर्धन (training augmentation) हेतु अर्थपूर्ण चित्र उत्पन्न करने के लिए टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल को व्यक्तिगत रूप से अनुकूलित करती है, जिससे डेटासेट पूर्वाग्रह को कम करने और असामान्य परिदृश्यों में वस्तु पहचान में सुधार करने में मदद मिलती है।
यह शोध पत्र एनर्जी-गेटेड अटेंशन (Energy-Gated Attention) और मोर्लेट पोजीशनल एनकोडिंग (Morlet Positional Encoding) को पूरक इंडक्टिव बायस (inductive biases) के रूप में प्रस्तावित करता है, जो टोकन सैलिएंस (token salience) को गेट करने और विभिन्न पैमानों पर पोजीशनल इन्फ्लुएंस (positional influence) को एडेप्टिवली लोकलाइज करने को सीखकर, मानक ट्रांसफॉर्मर्स की तुलना में सुपर-एडिटिव (superadditive) प्रदर्शन सुधार प्रदान करते हैं, हालांकि वर्तमान निष्कर्ष छोटे पैमाने के प्रयोगों पर निर्भर हैं जिनके लिए आगे बड़े पैमाने पर सत्यापन की आवश्यकता है।
यह शोधपत्र यह प्रदर्शित करता है कि प्राकृतिक, निरंतर बदलते परिवेशों में, मल्टी-टाइमस्केल सिनैप्टिक कंसोलिडेशन के माध्यम से सक्सेसर फीचर्स को स्थिर करना प्लास्टिसिटी-केंद्रित विधियों से बेहतर प्रदर्शन करता है, जो यह सुझाव देता है कि डीप रीइन्फोर्समेंट लर्निंग में स्थिरता और अनुकूलन के बीच संतुलन बनाने के लिए प्रेडिक्टिव रिप्रेजेंटेशन्स को संरक्षित करना महत्वपूर्ण है।
यह शोध पत्र प्रशिक्षण-मुक्त 'फर्स्ट इफेक्टिव पीक ऑफ इंट्रिन्सिक डायमेंशन' (FEPoID) मानदंड को पेश करके लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucination) का पता लगाने के लिए इष्टतम मध्यवर्ती परतों (intermediate layers) को स्वचालित रूप से चुनने की चुनौती को संबोधित करता है, जो मौजूदा विधियों से लगातार बेहतर प्रदर्शन करता है और जिसे डिटेक्शन संकेतों को बढ़ाने के लिए एक नवीन ट्रंकेशन रणनीति द्वारा और अधिक उन्नत किया गया है।
यह शोध पत्र हिडन-कॉन्वेक्स लॉस (hidden-convex losses) वाले एडवर्सरियल ऑनलाइन लर्निंग के संबंध में खुले प्रश्नोंों को यह सिद्ध करके हल करता है कि ऑनलाइन ग्रेडिएंट डिसेंट (Online Gradient Descent), एक आवश्यक-और-पर्याप्त हेसियन कम्पैटिबिलिटी कंडीशन (Hessary compatibility condition) के तहत इष्टतम रिग्रेट प्राप्त करता है, और साथ ही इसकी विफलता के लिए एक मिलान करने वाला लोअर बाउंड (lower bound) स्थापित करता है तथा इन परिणामों को बैंडिट फीडबैक सेटिंग्स में विस्तारित करता है।
यह शोध पत्र यह सिद्ध करता है कि LeJEPA केवल तभी लेटेंट वर्ल्ड वेरिएबल्स की लीनियर आइडेंटिफिएबिलिटी (linear identifiability) प्राप्त करता है जब अंतर्निहित लेटेंट डिस्ट्रीब्यूशन गॉसियन (Gaussian) हो, जिससे योजना (planning) और कंपोजिशनल जनरलाइजेशन (compositional generalization) को विश्वसनीय रूप से समर्थन देने वाले वर्ल्ड मॉडल्स के निर्माण के लिए एक सैद्धांतिक आधार प्राप्त होता है।