20856 पेपर
यह शोध पत्र एक "तीन-पद" (three-term) स्केलिंग लॉ का प्रस्ताव करता है जो प्रशिक्षण डेटा को चरणों (steps) और बैच आकार (batch size) में स्पष्ट रूप से विभाजित करता है, जिससे इष्टतम बैच आकार स्केलिंग की सुदृढ़ रिकवरी और काफी कम प्रशिक्षण रन का उपयोग करके उप-इष्टतम सेटिंग्स के लिए नियमों का व्युत्पन्न संभव हो पाता है।
यह शोध पत्र FADE पेश करता है, जो एक स्व-अनुकूलनकारी लाभ फलन (self-adapting advantage function) है जो प्रशिक्षण गतिकी का विश्लेषण करके ग्रेडिएंट भार को गतिशील रूप से शेड्यूल करता है ताकि एंट्रॉपी और नमूना फोकस के बीच के समझौतों को हल किया जा सके, जिससे बड़े भाषा मॉडलों के लिए सुदृढीकरण शिक्षण (reinforcement learning) में अभिसरण को गति मिलती है और सटीकता-विविधता के बीच के संतुलन में सुधार होता है।
यह शोध पत्र बायज़ेंटाइन-रोबस्ट (Byzantine-robust) डिस्ट्रिब्यूटेड लर्निंग में गोपनीयता और सामान्यीकरण (generalization) के बीच एक गैर-एकदिष्ट (non-monotonic) संबंध को प्रकट करता है, यह प्रदर्शित करते हुए कि जहाँ मजबूत गोपनीयता (उच्च शोर) मजबूती के साथ तनाव को समाप्त करके सामान्यीकरण में सुधार करती है, वहीं कमजोर गोपनीयता (कम शोर) इस ट्रेड-ऑफ को पुन: स्थापित करती है और प्रदर्शन को कम करती है।
यह शोध पत्र दो-खिलाड़ी शून्य-योग (zero-sum) अपूर्ण-सूचना वाले खेलों में नीति डेटासेट बनाने, नीति एम्बेडिंग सीखने और डाउनस्ट्रीम कार्यों के माध्यम से उनकी प्रभावशीलता का मूल्यांकन करने के लिए एक ढांचे का परिचय देता है, जो यह प्रदर्शित करता है कि कुह्न (Kuhn) और लेड्यूक (Leduc) पोकर पर स्व-पर्यवेक्षित (self-supervised) तकनीकों का उपयोग करके उपयोगी व्यवहार संबंधी प्रतिनिधित्व सीखे जा सकते हैं।
यह शोध पत्र Semi-CoT को प्रस्तुत करता है, जो एक अर्ध-पर्यवेक्षित (semi-supervised) शिक्षण ढांचा है जो सिमेंटिक एंट्रॉपी फ़िल्टरिंग के माध्यम से उच्च-परिशुद्धता वाले छद्म तर्क श्रृंखलाओं (pseudo reasoning chains) को उत्पन्न करने के लिए अनलेबल प्रश्नों का लाभ उठाता है, जो विविध गणितीय बेंचमार्क में प्रदर्शन लाभ को अधिकतम करने के लिए चयन और प्रशिक्षण रणनीतियों में सुधार की आवश्यकता पर प्रकाश डालते हुए प्रभावी प्रशिक्षण संकेतों के रूप में उनकी क्षमता को प्रदर्शित करता है।
यह शोध पत्र अंतर्निहित संपीड़नीयता (intrinsic compressibility) के आधार पर इसके मिनिमैक्स जोखिम (minimax risk) को अभिलक्षित करके, कॉज़ल मास्किंग (causal masking) के लिए इष्टतम डिज़ाइन सिद्धांतों को व्युत्पन्न करके, और एक नए एल्गोरिदम को मान्य करके KV कैश संपीड़न में अनुभवजन्य प्रथाओं और सैद्धांतिक सीमाओं के बीच के अंतर को पाटता है, जो सैद्धांतिक गारंटियों के साथ LongBench पर उत्कृष्ट प्रदर्शन प्राप्त करता है।
यह शोध पत्र मल्टी-हेड रिकरेंट मेमोरी (MHM) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो मेमोरी को स्वतंत्र हेड्स में विभाजित करता है और ओवरराइटिंग को रोकने के लिए एक 'सेलेक्ट-देन-अपडेट' रणनीति का उपयोग करता है, जिससे विभिन्न मॉडलों और स्केल्स में लॉन्ग-कॉन्टेक्स्ट रिटेंशन और एंड-टू-एंड प्रदर्शन में महत्वपूर्ण सुधार होता है।
OPINE-World एक LLM-आधारित एजेंट है जो परिकल्पना सृजन (hypothesis generation) को ऑन्टोलॉजी-त्रुटि-प्राथमिकता वाले अन्वेषण (ontology-error-prioritized exploration) के साथ जोड़कर, पिक्सेल-आधारित अंतःक्रियाओं से डेटा-कुशल, पुन: प्रयोज्य, वस्तु-केंद्रित प्रोग्रामेटिक वर्ल्ड मॉडल ऑनलाइन सीखता है, जिससे बिना प्रति-खेल प्रशिक्षण के चुनौतीपूर्ण ARC-AGI-3 बेंचमार्क पर उत्कृष्ट प्रदर्शन प्राप्त होता है।
यह शोध पत्र एक प्रमाणित, ड्रिफ्ट-अवेयर सेंसिंग क्लॉक प्रस्तुत करता है जो अनुकूलतम री-सेंसिंग समय सीमा (डेडलाइन) को गतिशील रूप से निर्धारित करने के लिए ऑडिटेड वर्ल्ड मॉडल्स का लाभ उठाता है, जिससे सख्त सेंसिंग बजट के भीतर काम करते हुए प्रेडिक्शन उल्लंघन और इवेंटफुल-टेल जोखिमों को न्यूनतम किया जा सके।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में चेन-ऑफ-थॉट रीजनिंग के विश्लेषण के लिए एक ज्यामितीय ढांचे (geometric framework) को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि हिडन स्टेट ट्रेजेक्टरीज के स्पेक्ट्रल और काइनेमैटिक गुण कार्य की कठिनाई को प्रभावी ढंग से परिमाणित कर सकते हैं और समाधान पूर्ण होने से पहले ही उसकी शुद्धता का पूर्वानुमान लगा सकते हैं।