20571 पेपर
स्व-रिपोर्टों को कई मॉडल परिवारों के आंतरिक सक्रियणों (internal activations) पर प्रशिक्षित क्लासिफायर के साथ संयोजित करके, यह अध्ययन इस बात का कोई विश्वसनीय प्रमाण नहीं पाता है कि छोटे से मध्यम आकार के भाषा मॉडलों में अपनी चेतना के प्रति अंतर्निहित विश्वास है, क्योंकि वे लगातार और सत्यनिष्ठा से स्वयं के सचेत होने से इनकार करते हैं।
यह शोध पत्र BoRP को प्रस्तुत करता है, जो एक स्केलेबल फ्रेमवर्क है जो मानव निर्णयों के साथ संरेखण में जनरेटिव बेसलाइन्स से बेहतर, उच्च-सटीक और लागत प्रभावी उपयोगकर्ता संतुष्टि स्कोर उत्पन्न करने के लिए LLM लेटेंट स्पेस ज्योमेट्री और पार्शियल लीस्ट स्क्वायर्स रिग्रेशन का लाभ उठाता है।
MetricAnything एक स्केलेबल प्रीट्रेनिंग फ्रेमवर्क पेश करता है जो 2 करोड़ शोर वाले, विषम (heterogeneous) 3D स्रोतों से मेट्रिक डेप्थ सीखने के लिए एक नवीन "स्पार्स मेट्रिक प्रॉम्प्ट" का लाभ उठाता है, जो मेट्रिक डेप्थ में पहला स्पष्ट स्केलिंग ट्रेंड स्थापित करता है और मोनोक्यूलर एस्टीमेशन, 3D रिकंस्ट्रक्शन और मल्टीमॉडल मॉडल्स में स्थानिक बुद्धिमत्ता (spatial intelligence) सहित विविध कार्यों में अत्याधुनिक प्रदर्शन प्राप्त करता है।
यह शोध पत्र एक रैंडम मैट्रिक्स थ्योरी फ्रेमवर्क का उपयोग करके यह प्रदर्शित करता है कि गैर-अतिव्यापी (non-overlapping) डेटा स्प्लिट्स के बीच डिफ्यूजन मॉडल्स की निरंतरता साझा गॉसियन सांख्यिकी (Gaussian statistics) से उत्पन्न होती है, जो यह प्रकट करता है कि कैसे सीमित डेटासेट का आकार और स्पेक्ट्रल गुण उत्पन्न नमूनों के प्रत्याशा (expectation) और विचरण (variance) को व्यवस्थित रूप से आकार देते हैं।
यह शोध पत्र FlashBlock का प्रस्ताव करता है, जो एक नवीन तंत्र है जो वर्तमान ब्लॉक के बाहर के टोकन से स्थिर क्रॉस-स्टेप अटेंशन आउटपुट को कैश और पुन: उपयोग करके लॉन्ग-कॉन्टेक्स्ट ब्लॉक डिफ्यूजन को त्वरित करता है, जिससे जनरेशन की गुणवत्ता बनाए रखते हुए कम्प्यूटेशनल ओवरहेड और KV कैश एक्सेस को महत्वपूर्ण रूप से कम किया जा सकता है।
यह शोध पत्र ज्योमेट्री-करेक्टेड प्रोक्रस्टेस अलाइनमेंट (GCPA) का प्रस्ताव देकर पेयरवाइज़ मॉडल अलाइनमेंट की सीमाओं को संबोधित करता है, जो एक मल्टी-वे विधि है जो जनरल पाइज्ड प्रोक्रस्टेस एनालिसिस के माध्यम से एक साझा ऑर्थोगोनल रेफरेंस स्पेस का निर्माण करती है और मॉडल स्टिचिंग के लिए ज्योमेट्रिक प्रिजर्वेशन तथा रिट्रीवल कार्यों के लिए डायरेक्शनल एग्रीमेंट दोनों को अनुकूलित करने के लिए पोस्ट-हॉक सुधार लागू करती है।
यह शोध पत्र पहला ऐसा सिद्धांत प्रस्तुत करता है जो प्राकृतिक भाषा में युग्मवार टोकन सहसंबंधों (pairwise token correlations) के क्षय और अगले-टोकन की सशर्त एंट्रॉपी (next-token conditional entropy) के क्षय पर आधारित एक पैरामीटर-मुक्त सूत्र को व्युत्पन्न करके, प्रथम सिद्धांतों से बड़े भाषा मॉडलों के डेटा-सीमित न्यूरल स्केलिंग घातांकों (data-limited neural scaling exponents) की मात्रात्मक रूप से भविष्यवाणी करता है।
यह शोध पत्र rePIRL को प्रस्तुत करता है, जो एक इनवर्स रिइन्फोर्समेंट लर्निंग से प्रेरित ढांचा है जो विशेषज्ञ नीतियों के बारे में न्यूनतम धारणाओं के साथ LLM रीजनिंग के लिए प्रभावी प्रोसेस रिवॉर्ड मॉडल को प्रशिक्षित करने के लिए एक दोहरी शिक्षण प्रक्रिया का उपयोग करता है, जो मौजूदा विधियों की तुलना में गणित और कोडिंग कार्यों में बेहतर प्रदर्शन और सामान्यीकरण प्रदर्शित करता है।
यह शोध पत्र AutoSpec को पेश करता है, जो एक स्व-पर्यवेक्षित (self-supervised) न्यूरल नेटवर्क फ्रेमवर्क है जो बड़े पैमाने के संख्यात्मक रैखिक बीजगणित (numerical linear algebra) और अनुकूलन (optimization) के लिए पुनरावृत्ति स्पेक्ट्रल एल्गोरिदम (iterative spectral algorithms) की खोज करना सीखता है, जो विशिष्ट इनपुट ऑपरेटरों और कार्यों के अनुरूप पुनरावृत्ति गुणांकों (recurrence coefficients) की भविष्यवाणी करके पारंपरिक स्पेक्ट्रम-अज्ञेय (spectrum-agnostic) बेसलाइन की तुलना में सटीकता और दक्षता में महत्वपूर्ण सुधार प्राप्त करता है।
यह शोधपत्र फ्रेमवर्क ऑफ थॉट्स (FoT) को प्रस्तुत करता है, जो एक सामान्य-उद्देश्य वाला फाउंडेशन फ्रेमवर्क है जो हाइपरपैरामीटर ट्यूनिंग, समानांतर प्रसंस्करण (पैरेलल प्रोसेसिंग) और इंटेलिजेंट कैशिंग जैसी अंतर्निहित विशेषताओं के माध्यम से गतिशील, अनुकूलन योग्य और लागत-कुशल निष्पादन सक्षम करके मौजूदा तर्क योजनाओं की स्थिर और गैर-अनुकूलित सीमाओं को दूर करता है।