26003 पेपर
यह शोध पत्र कंसोलिडेशन-एक्सपेंशन ऑपरेटर मैकेनिक्स (OpMech) फ्रेमवर्क प्रस्तुत करता है, जो विविध शिक्षण प्रणालियों में अभिसरण (convergence) और अनुकूली ठहराव (adaptive stopping) को निर्धारित करने के लिए एक वास्तविक समय, सिद्धांत-आधारित नियंत्रण संकेत के रूप में एक गणनीय "ऑर्डर-गैप" मीट्रिक का उपयोग करता है, जो प्रभावी रूप से ह्यूरिस्टिक विधियों को साक्ष्य-आधारित गारंटियों से प्रतिस्थापित करता है।
यह शोध पत्र यह प्रदर्शित करता है कि ऑटोरेग्रेसिव रूप से उत्पन्न टोकन के माध्यम से मीन पूलिंग (mean pooling) करने से व्यक्तिगत टोकन अवस्थाओं की तुलना में बेहतर सिमेंटिक निरूपण प्राप्त होते हैं, जो यह प्रकट करता है कि सूचना किसी एक स्थिति तक सीमित होने के बजाय पूरी पीढ़ी प्रक्रिया के दौरान वितरित होती है।
यह शोधपत्र 'जियोमेट्रिक 4D स्टिचिंग' (Geometric 4D Stitching) का प्रस्ताव करता है, जो एक कुशल ढांचा है कि स्पष्ट रूप से लुप्त ज्यामितीय क्षेत्रों की पहचान करता है और उन्हें ग्राउंडेड 4D स्टिच के साथ भरता है ताकि मौजूदा 4D जनरेशन विधियों में विसंगतियों को दूर किया जा सके, जिससे एकल GPU पर तेज़, उच्च-गुणवत्ता वाले दृश्य विस्तार और संपादन को सक्षम बनाया जा सके।
यह शोध पत्र इस परिकल्पना का प्रस्ताव और सत्यापन करता है कि मनुष्य भविष्य के कार्यों के लिए अनुकूलित होने हेतु "प्रॉस्पेक्टिव कम्प्रेशन" (prospective compression) के माध्यम से गैर-स्थिर वातावरण में पुन: प्रयोज्य अमूर्तताओं (reusable abstractions) को सीखते हैं, जो एक ऐसा व्यवहार है जिसे मौजूदा रेट्रोस्पेक्टिव एल्गोरिदम और एलएलएम-आधारित मॉडल पकड़ने में विफल रहते हैं।
यह शोध पत्र यह प्रदर्शित करता है कि AdamW और Muon जैसे ऑप्टिमाइज़र न्यूरल नेटवर्क में विशिष्ट, अक्सर विच्छेदित (disconnected), शून्य-हानि समाधान मैनिफोल्ड्स (zero-loss solution manifolds) उत्पन्न करते हैं, जो यह प्रकट करता है कि मोड कनेक्टिविटी (mode connectivity) मौलिक रूप से विशिष्ट ऑप्टिमाइज़र और इसके अंतर्निहित नियमितीकरण (implicit regularization) पर निर्भर करती है न कि लॉस लैंडस्केप के एक सार्वभौमिक गुण पर।
यह शोध पत्र "अटेंशन ड्रिफ्ट" (attention drift) को ऑटोरेग्रेसिव स्पेकुलेटिव डिकोडिंग मॉडल्स में एक प्रमुख सीमा के रूप में पहचानता है जहाँ अन-नॉर्मलाइज़्ड रेसिडुअल पाथ्स (un-normalized residual paths) के कारण अटेंशन प्रॉम्प्ट से हटकर जनरेटेड टोकन्स की ओर स्थानांतरित हो जाता है, और पोस्ट-नॉर्म (post-norm) एवं प्रति-हिडन-स्टेट RMSNorm (per-hidden-state RMSNorm) जैसे आर्किटेक्चरल सुधारों का प्रस्ताव करता है जो विभिन्न कार्यों और कॉन्टेक्स्ट लेंथ्स में एक्सेप्टेंस लेंथ्स (acceptance lengths) में महत्वपूर्ण सुधार करते हैं।
लेकस्ट्रीम (Lakestream) एक ब्रोकरलेस, ऑब्जेक्ट-स्टोर-नेटिव डेटा प्लेन है जो बड़े फाउंडेशन मॉडल ट्रेनिंग के लिए डिज़ाइन किया गया है, जो ट्रांसेक्शनल ग्लोबल बैचों (Transactional Global Batches) और एक डिसेंट्रलाइज्ड एडेप्टिव कमिट (Decentralized Adaptive Commit) एल्गोरिदम को पेश करता है ताकि मौजूदा मैसेज क्यू या कोलोकेटेड समाधानों की तुलना में कम विलंबता (latency) के साथ ACID-समान निरंतरता, विफलता अलगाव (failure isolation) और उच्च-थ्रूपुट इनजेशन प्रदान किया जा सके।
यह शोध पत्र AHGCDD का प्रस्ताव करता है, जो एक एंकर-गाइडेड हाइपरग्राफ कंडेंसेशन फ्रेमवर्क है जो हीट कर्नेल पेजरैंक इनिशियलाइज़ेशन और एक द्वैत-स्तरीय भेदभावपूर्ण उद्देश्य के माध्यम से संक्षेपित विशेषताओं (condensed features) और संरचना को संयुक्त रूप से अनुकूलित करके डिकपल्ड ट्रेनिंग और उच्च कम्प्यूटेशनल ओवरहेड की सीमाओं को दूर करता है, जिससे कुशल और प्रभावी बड़े पैमाने पर हाइपरग्राफ डिस्टिलेशन प्राप्त होता है।
यह शोध पत्र "मैकेनिस्टिक सूचना" (mechanistic information) के माध्यम से क्रमिक निर्णय लेने (sequential decision-making) में मैकेनिस्टिक प्रायोर (mechanistic priors) के मूल्य को मापने वाला एक सैद्धांतिक ढांचा प्रस्तुत करता है, जो यह प्रदर्शित करता है कि हाइब्रिड मॉडल एसिम्प्टोटिक (asymptotic) और बर्न-इन (burn-in) दोनों व्यवस्थाओं में सैंपल जटिलता (sample complexity) को महत्वपूर्ण रूप से कम करते हैं, साथ ही अनग्राउंडेड (ungrounded) LLM प्रायर्स पर निर्भर रहने के सुरक्षा जोखिमों को भी उजागर करते हैं।
यह शोध पत्र जनरेटिव मॉडल्स में एक महत्वपूर्ण "नवाचार विंडो" (innovation window) की पहचान करता है जो अमूर्त नियमों को सीखने () और प्रशिक्षण डेटा को याद करने () के बीच के लौकिक अंतराल द्वारा परिभाषित है, और यह प्रदर्शित करता है कि इस विंडो का अस्तित्व और अवधि डिफ्यूजन और ऑटोरेग्रेसिव दोनों आर्किटेक्चर में डेटासेट के आकार, नियम की जटिलता और मॉडल की क्षमता पर निर्भर करती है।