22037 पेपर
यह शोध पत्र इस धारणा को चुनौती देता है कि रीजनिंग मॉडल्स में थिंकिंग टोकन्स वास्तविक सुरक्षा विचार-विमर्श को सक्षम करते हैं, बल्कि यह प्रकट करता है कि इनकार या अनुपालन के परिणाम दृश्यमान सोच शुरू होने से पहले ही काफी हद तक निर्धारित हो जाते हैं, जिसमें सोचने की प्रक्रिया अक्सर वास्तविक संशोधन के बजाय केवल प्रीफिक्स पूर्णता (prefix completion) के रूप में कार्य करती है।
यह शोध पत्र LLM-ACES प्रस्तुत करता है, जो एक क्लोज्ड-लूप फ्रेमवर्क है जो अनुकूलन योग्य डेटा अधिग्रहण और प्रतीकात्मक परिकल्पना निर्माण को निर्देशित करने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जो सीमित, शोर वाले डेटा से शासन करने वाले साधारण साधारण अवकल समीकरणों (ordinary differential equations) को सटीक रूप से और कुशलतापूर्वक पुनर्प्राप्त करने में मौजूदा विधियों से काफी बेहतर प्रदर्शन करता है।
यह शोध पत्र PACE का प्रस्ताव करता है, जो AdamW के लिए एक ऑप्टिमाइज़र रैपर है जो प्रशिक्षण को इटरैट-एवरेज्ड (iterate-averaged) लैंग्वेज मॉडल्स की त्रुटि को कम करने के लिए एक ऑप्टिमल-कंट्रोल समस्या के रूप में मानता है, जो सुपरवाइज्ड फाइन-ट्यूनिंग और प्रीट्रेनिंग कार्यों में सैद्धांतिक अभिसरण गारंटी (theoretical convergence guarantees) और अनुभवजन्य सुधार दोनों को प्रदर्शित करता है।
यह पूर्व-पंजीकृत कारण संबंधी अध्ययन प्रकट करता है कि फ्रंटियर मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल्स में स्पष्ट कार्यात्मक मॉड्यूलरिटी दुर्लभ है और माप के विकल्पों पर अत्यधिक निर्भर है, क्योंकि परीक्षण किए गए छह भाषा परिवारों में से केवल एक ने ही मजबूत, चयनात्मक मॉड्यूलरिटी प्रदर्शित की, जबकि अन्य विभिन्न मेट्रिक्स और कॉर्पोरा में सुसंगत प्रभाव बनाए रखने में विफल रहे।
यह शोध पत्र 'टिपिकल-एक्सेप्टेंस इनवेरिएंस स्क्रीन' (TAIS) को पेश करता है ताकि यह प्रदर्शित किया जा सके कि टेम्परेचर ज़ीरो पर स्पेक्युलेटिव डिकोडिंग सुरक्षा से समझौता नहीं करती है, क्योंकि विविध मॉडल कॉन्फ़िगरेशन और बेंचमार्क पर व्यापक परीक्षण ने टारगेट-ओनली और स्पेक्युलेटिव इन्फरेंस के बीच सुरक्षा परिणामों में कोई सांख्यिकीय रूप से महत्वपूर्ण विचलन प्रकट नहीं किया।
यह शोध पत्र AeroCast को प्रस्तुत करता है, जो गैर-सहकारी हवाई बाधाओं के बहु-मोडल (multi-modal) 3D प्रक्षेप पथों की भविष्यवाणी करने के लिए ट्रांसफॉर्मर एनकोडर और मिश्रण घनत्व नेटवर्क (Mixture Density Networks) को संयोजित करने वाला एक वास्तविक समय का संभाव्य ढांचा है, जो मौजूदा नियतात्मक (deterministic) और आवर्ती (recurrent) विधियों की तुलना में काफी कम विस्थापन त्रुटियां और बेहतर वितरण सटीकता प्राप्त करता है।
यह शोध पत्र यह प्रदर्शित करता है कि स्वायत्त ड्राइविंग सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) एजेंटों में रिवॉर्ड डिज़ाइन उनके आंतरिक अटेंशन पैटर्न को मौलिक रूप से आकार देता है, जहाँ विशिष्ट रिवॉर्ड कॉन्फ़िगरेशन नेविगेशन पथ या टकराव के जोखिमों जैसे दृश्य तत्वों की ओर अटेंशनल रणनीतियों को न केवल नियंत्रित कर सकते हैं बल्कि गुणात्मक रूप से उलट भी सकते हैं, जिससे अटेंशन विश्लेषण को सुरक्षा-महत्वपूर्ण सिस्टम व्यवहार को सत्यापित करने के लिए एक महत्वपूर्ण नैदानिक उपकरण के रूप में स्थापित किया गया है।
यह शोध पत्र प्रदर्शित करता है कि सिंथेटिक अर्थ ऑब्जर्वेशन (पृथ्वी अवलोकन) डेटा के लिए मानक स्वचालित फिडेलिटी मेट्रिक्स अक्सर मानव धारणा और डाउनस्ट्रीम सेगमेंटेशन प्रदर्शन के साथ गलत संरेखित होते हैं, जो यह प्रकट करता है कि वर्तमान मेट्रिक्स भू-स्थानिक अनुप्रयोगों के लिए अविश्वसनीय हैं और उन्हें कार्य उपयोगिता तथा मानव निर्णय पर आधारित मूल्यांकनों द्वारा प्रतिस्थापित किया जाना चाहिए।
TokenMinds एक औद्योगिक-स्तर का सिस्टम है जो PLUM फ्रेमवर्क का विस्तार करता है ताकि एक पूर्व-प्रशिक्षित LLM आर्किटेक्चर के माध्यम से डिस्क्रीट (discrete), सिमेंटिक रूप से ग्राउंडेड यूजर टोकन और डेंस एम्बेडिंग्स दोनों को जनरेट किया जा सके, जो लागत कम करने के लिए लॉन्ग-फॉर्म और शॉर्ट-फॉर्म वीडियो व्यवहारों को सफलतापूर्वक एकीकृत करता है और बड़े पैमाने पर YouTube रैंकिंग सिस्टम में पूरक मूल्य प्रदर्शित करता है।
यह शोध पत्र ATMA को प्रस्तुत करता है, जो एक हाइब्रिड आर्किटेक्चर है जो सॉफ्टमैक्स-आधारित लंबाई की बाधाओं को दूर करने के लिए एक नवीन तीन-चैनल पोलर अटेंशन मैकेनिज्म को गेटेड-डेल्टा कंप्रेशन मेमोरी के साथ जोड़ता है, जिससे निरंतरतापूर्ण परप्लेक्सिटी में कमी और 64K टोकन तक उच्च-सटीकता वाली लंबी दूरी की रिट्रीवल प्राप्त होती है।