24717 पेपर
यह शोधपत्र VIGOR को प्रस्तुत करता है, जो एक वर्िफायर-मुक्त (verifier-free) सुदृढीकरण लर्निंग (reinforcement learning) विधि है जो बाहरी वर्िफायर या गोल्ड लेबल पर निर्भर हुए बिना गणितीय तर्क और कोड जनरेशन में LLM के प्रदर्शन को प्रभावी ढंग से सुधारने के लिए स्वयं पॉलिसी मॉडल से प्राप्त आंतरिक ग्रेडिएंट-नॉर्म रिवार्ड्स का लाभ उठाता है।
यह शोध पत्र बोरुटा (Boruta) फीचर सिलेक्शन एल्गोरिदम के दो GPU-त्वरित संस्करणों का प्रस्ताव करता है, जो यह प्रदर्शित करते हैं कि वे मूल CPU-आधारित पद्धति के समान सटीकता बनाए रखते हुए बड़े पैमाने के डेटासेट के लिए कम्प्यूटेशनल दक्षता में महत्वपूर्ण सुधार करते हैं, हालांकि इम्प्योरिटी-आधारित (impurity-based) संस्करण कुछ फीचर्स के महत्व को बढ़ा-चढ़ाकर दिखा सकता है।
G-Zero एक वर्िफायर-मुक्त (verifier-free), सह-विकासवादी (co-evolutionary) ढांचा है जो एक आंतरिक "Hint-" रिवॉर्ड का उपयोग करके LLM के ओपन-एंडेड आत्म-सुधार को सक्षम बनाता है, जिससे एक प्रपोजर (Proposer) मॉडल को चुनौतीपूर्ण प्रश्न और संकेत उत्पन्न करने के लिए प्रशिक्षित किया जाता है, जिससे एक जनरेटर (Generator) मॉडल DPO के माध्यम से उनसे सीखता है, और इस प्रकार बाहरी जजों की सीमाओं को दरकिनार करता है।
यह शोध पत्र कंसोलिडेशन-एक्सपेंशन ऑपरेटर मैकेनिक्स (OpMech) फ्रेमवर्क प्रस्तुत करता है, जो विविध शिक्षण प्रणालियों में अभिसरण (convergence) और अनुकूली ठहराव (adaptive stopping) को निर्धारित करने के लिए एक वास्तविक समय, सिद्धांत-आधारित नियंत्रण संकेत के रूप में एक गणनीय "ऑर्डर-गैप" मीट्रिक का उपयोग करता है, जो प्रभावी रूप से ह्यूरिस्टिक विधियों को साक्ष्य-आधारित गारंटियों से प्रतिस्थापित करता है।
यह शोध पत्र यह प्रदर्शित करता है कि ऑटोरेग्रेसिव रूप से उत्पन्न टोकन के माध्यम से मीन पूलिंग (mean pooling) करने से व्यक्तिगत टोकन अवस्थाओं की तुलना में बेहतर सिमेंटिक निरूपण प्राप्त होते हैं, जो यह प्रकट करता है कि सूचना किसी एक स्थिति तक सीमित होने के बजाय पूरी पीढ़ी प्रक्रिया के दौरान वितरित होती है।
यह शोधपत्र 'जियोमेट्रिक 4D स्टिचिंग' (Geometric 4D Stitching) का प्रस्ताव करता है, जो एक कुशल ढांचा है कि स्पष्ट रूप से लुप्त ज्यामितीय क्षेत्रों की पहचान करता है और उन्हें ग्राउंडेड 4D स्टिच के साथ भरता है ताकि मौजूदा 4D जनरेशन विधियों में विसंगतियों को दूर किया जा सके, जिससे एकल GPU पर तेज़, उच्च-गुणवत्ता वाले दृश्य विस्तार और संपादन को सक्षम बनाया जा सके।
यह शोध पत्र इस परिकल्पना का प्रस्ताव और सत्यापन करता है कि मनुष्य भविष्य के कार्यों के लिए अनुकूलित होने हेतु "प्रॉस्पेक्टिव कम्प्रेशन" (prospective compression) के माध्यम से गैर-स्थिर वातावरण में पुन: प्रयोज्य अमूर्तताओं (reusable abstractions) को सीखते हैं, जो एक ऐसा व्यवहार है जिसे मौजूदा रेट्रोस्पेक्टिव एल्गोरिदम और एलएलएम-आधारित मॉडल पकड़ने में विफल रहते हैं।
यह शोध पत्र यह प्रदर्शित करता है कि AdamW और Muon जैसे ऑप्टिमाइज़र न्यूरल नेटवर्क में विशिष्ट, अक्सर विच्छेदित (disconnected), शून्य-हानि समाधान मैनिफोल्ड्स (zero-loss solution manifolds) उत्पन्न करते हैं, जो यह प्रकट करता है कि मोड कनेक्टिविटी (mode connectivity) मौलिक रूप से विशिष्ट ऑप्टिमाइज़र और इसके अंतर्निहित नियमितीकरण (implicit regularization) पर निर्भर करती है न कि लॉस लैंडस्केप के एक सार्वभौमिक गुण पर।
यह शोध पत्र "अटेंशन ड्रिफ्ट" (attention drift) को ऑटोरेग्रेसिव स्पेकुलेटिव डिकोडिंग मॉडल्स में एक प्रमुख सीमा के रूप में पहचानता है जहाँ अन-नॉर्मलाइज़्ड रेसिडुअल पाथ्स (un-normalized residual paths) के कारण अटेंशन प्रॉम्प्ट से हटकर जनरेटेड टोकन्स की ओर स्थानांतरित हो जाता है, और पोस्ट-नॉर्म (post-norm) एवं प्रति-हिडन-स्टेट RMSNorm (per-hidden-state RMSNorm) जैसे आर्किटेक्चरल सुधारों का प्रस्ताव करता है जो विभिन्न कार्यों और कॉन्टेक्स्ट लेंथ्स में एक्सेप्टेंस लेंथ्स (acceptance lengths) में महत्वपूर्ण सुधार करते हैं।
लेकस्ट्रीम (Lakestream) एक ब्रोकरलेस, ऑब्जेक्ट-स्टोर-नेटिव डेटा प्लेन है जो बड़े फाउंडेशन मॉडल ट्रेनिंग के लिए डिज़ाइन किया गया है, जो ट्रांसेक्शनल ग्लोबल बैचों (Transactional Global Batches) और एक डिसेंट्रलाइज्ड एडेप्टिव कमिट (Decentralized Adaptive Commit) एल्गोरिदम को पेश करता है ताकि मौजूदा मैसेज क्यू या कोलोकेटेड समाधानों की तुलना में कम विलंबता (latency) के साथ ACID-समान निरंतरता, विफलता अलगाव (failure isolation) और उच्च-थ्रूपुट इनजेशन प्रदान किया जा सके।