26757 पेपर
यह शोध पत्र इस परिकल्पना का प्रस्ताव और सत्यापन करता है कि मनुष्य भविष्य के कार्यों के लिए अनुकूलित होने हेतु "प्रॉस्पेक्टिव कम्प्रेशन" (prospective compression) के माध्यम से गैर-स्थिर वातावरण में पुन: प्रयोज्य अमूर्तताओं (reusable abstractions) को सीखते हैं, जो एक ऐसा व्यवहार है जिसे मौजूदा रेट्रोस्पेक्टिव एल्गोरिदम और एलएलएम-आधारित मॉडल पकड़ने में विफल रहते हैं।
यह शोध पत्र यह प्रदर्शित करता है कि AdamW और Muon जैसे ऑप्टिमाइज़र न्यूरल नेटवर्क में विशिष्ट, अक्सर विच्छेदित (disconnected), शून्य-हानि समाधान मैनिफोल्ड्स (zero-loss solution manifolds) उत्पन्न करते हैं, जो यह प्रकट करता है कि मोड कनेक्टिविटी (mode connectivity) मौलिक रूप से विशिष्ट ऑप्टिमाइज़र और इसके अंतर्निहित नियमितीकरण (implicit regularization) पर निर्भर करती है न कि लॉस लैंडस्केप के एक सार्वभौमिक गुण पर।
यह शोध पत्र "अटेंशन ड्रिफ्ट" (attention drift) को ऑटोरेग्रेसिव स्पेकुलेटिव डिकोडिंग मॉडल्स में एक प्रमुख सीमा के रूप में पहचानता है जहाँ अन-नॉर्मलाइज़्ड रेसिडुअल पाथ्स (un-normalized residual paths) के कारण अटेंशन प्रॉम्प्ट से हटकर जनरेटेड टोकन्स की ओर स्थानांतरित हो जाता है, और पोस्ट-नॉर्म (post-norm) एवं प्रति-हिडन-स्टेट RMSNorm (per-hidden-state RMSNorm) जैसे आर्किटेक्चरल सुधारों का प्रस्ताव करता है जो विभिन्न कार्यों और कॉन्टेक्स्ट लेंथ्स में एक्सेप्टेंस लेंथ्स (acceptance lengths) में महत्वपूर्ण सुधार करते हैं।
लेकस्ट्रीम (Lakestream) एक ब्रोकरलेस, ऑब्जेक्ट-स्टोर-नेटिव डेटा प्लेन है जो बड़े फाउंडेशन मॉडल ट्रेनिंग के लिए डिज़ाइन किया गया है, जो ट्रांसेक्शनल ग्लोबल बैचों (Transactional Global Batches) और एक डिसेंट्रलाइज्ड एडेप्टिव कमिट (Decentralized Adaptive Commit) एल्गोरिदम को पेश करता है ताकि मौजूदा मैसेज क्यू या कोलोकेटेड समाधानों की तुलना में कम विलंबता (latency) के साथ ACID-समान निरंतरता, विफलता अलगाव (failure isolation) और उच्च-थ्रूपुट इनजेशन प्रदान किया जा सके।
यह शोध पत्र AHGCDD का प्रस्ताव करता है, जो एक एंकर-गाइडेड हाइपरग्राफ कंडेंसेशन फ्रेमवर्क है जो हीट कर्नेल पेजरैंक इनिशियलाइज़ेशन और एक द्वैत-स्तरीय भेदभावपूर्ण उद्देश्य के माध्यम से संक्षेपित विशेषताओं (condensed features) और संरचना को संयुक्त रूप से अनुकूलित करके डिकपल्ड ट्रेनिंग और उच्च कम्प्यूटेशनल ओवरहेड की सीमाओं को दूर करता है, जिससे कुशल और प्रभावी बड़े पैमाने पर हाइपरग्राफ डिस्टिलेशन प्राप्त होता है।
यह शोध पत्र "मैकेनिस्टिक सूचना" (mechanistic information) के माध्यम से क्रमिक निर्णय लेने (sequential decision-making) में मैकेनिस्टिक प्रायोर (mechanistic priors) के मूल्य को मापने वाला एक सैद्धांतिक ढांचा प्रस्तुत करता है, जो यह प्रदर्शित करता है कि हाइब्रिड मॉडल एसिम्प्टोटिक (asymptotic) और बर्न-इन (burn-in) दोनों व्यवस्थाओं में सैंपल जटिलता (sample complexity) को महत्वपूर्ण रूप से कम करते हैं, साथ ही अनग्राउंडेड (ungrounded) LLM प्रायर्स पर निर्भर रहने के सुरक्षा जोखिमों को भी उजागर करते हैं।
यह शोध पत्र जनरेटिव मॉडल्स में एक महत्वपूर्ण "नवाचार विंडो" (innovation window) की पहचान करता है जो अमूर्त नियमों को सीखने () और प्रशिक्षण डेटा को याद करने () के बीच के लौकिक अंतराल द्वारा परिभाषित है, और यह प्रदर्शित करता है कि इस विंडो का अस्तित्व और अवधि डिफ्यूजन और ऑटोरेग्रेसिव दोनों आर्किटेक्चर में डेटासेट के आकार, नियम की जटिलता और मॉडल की क्षमता पर निर्भर करती है।
TrajDLM एक टोपोलॉजी-जागरूक ब्लॉक डिफ्यूजन लैंग्वेज मॉडल है जो उन्हें डिस्क्रीट रोड सेगमेंट अनुक्रमों के रूप में मॉडल करके उच्च-निष्ठा वाले, सड़क-नेटवर्क-अनुपालन GPS प्रक्षेपवक्र (ट्रैजेक्टरीज) उत्पन्न करता है, जो प्रभावी रूप से जनरेशन गति और टोपोलॉजिकल निष्ठा के बीच संतुलन बनाता है और दक्षता एवं ज़ीरो-शॉट ट्रांसफर क्षमताओं में मौजूदा विधियों से बेहतर प्रदर्शन करता है।
यह शोध पत्र लॉन्ग-टेल्ड क्लासिफिकेशन के लिए एक नवीन इनवर्स-व्यू लॉस रीवेटिंग रणनीति प्रस्तावित करता है जो न्यूरल कोलैप्स से प्रेरित होकर एक आदर्श समान प्रति-वर्ग लॉस उद्देश्य प्राप्त करने के लिए गतिशील रूप से क्लास वेट्स को इन्फर करता है, जिससे लॉस असंतुलन कम होता है और मौजूदा बेसलाइन की तुलना में बेहतर प्रदर्शन होता है।
मेटिस (Metis) एक नवीन ढांचा है जो एलएलएम (LLM) जेलब्रेकिंग को एक प्रतिकूल POMDP के भीतर एक स्व-विकसित मेटाकॉग्निटिव पॉलिसी ऑप्टिमाइज़ेशन प्रक्रिया के रूप में पुनर्गठित करता है, जो उन्नत सुरक्षा रक्षा प्रणालियों को बायपास करने के लिए स्थिर ह्यूरिस्टिक्स के स्थान पर निर्देशित, कारण संबंधी तर्क (causal reasoning) का उपयोग करके अत्याधुनिक हमला सफलता दर और काफी कम टोकन लागत प्राप्त करता है।