20856 पेपर
यह शोध पत्र प्रदर्शित करता है कि फ्रंटियर LLMs अपने हिडन स्टेट्स (hidden states) के भीतर कंटेंट-फ्री फिलर टोकन्स पर संरचित, सुपाठ्य बहु-चरणीय तर्क (multi-step reasoning) करते हैं, जो यह प्रकट करता है कि अनसुपरवाइज्ड डिकोडिंग के माध्यम से रेसिडुअल स्ट्रीम (residual stream) की निगरानी तब भी की जा सकती है जब सतह के टोकन्स कोई दृश्यमान चेन-ऑफ-थॉट (chain-of-thought) प्रदान नहीं करते हैं।
यह शोध पत्र एक मिक्सचर-ऑफ-गॉसियन्स प्रायर के तहत ब्राउनियन ब्रिज डिफ्यूजन मॉडल शेड्यूल्स को डिजाइन करने के लिए एक सिद्धांतिक विश्लेषणात्मक ढांचा स्थापित करता है, जो विशिष्ट क्षरणों से स्वतंत्र सार्वभौमिक शेड्यूल्स के अस्तित्व को सिद्ध करते हुए, धारणात्मक गुणवत्ता और पुनर्निर्माण निष्ठा के बीच संतुलन बनाने वाले क्लोज्ड-फॉर्म ऑब्जेक्टिव्स व्युत्पन्न करता है।
यह शोध पत्र 'रिनफोर्समेंट लर्निंग फॉर सिलेक्शन रिवॉर्ड' (RLSR) का प्रस्ताव करता है, जो एक नवीन पोस्ट-ट्रेनिंग अलाइनमेंट फ्रेमवर्क है जो रिस्क-कवरेज कर्व के नीचे के क्षेत्र (AURC) को सीधे लक्षित करके बड़े भाषा मॉडलों को चयनात्मक भविष्यवाणी (selective prediction) के लिए अनुकूलित करता है, जिससे रिस्क-कवरेज ट्रेड-ऑफ में महत्वपूर्ण सुधार होता है और उच्च-जोखिम वाले निर्णय लेने की स्थितियों में विश्वसनीयता बढ़ती है।
WeightCLIP एक नवीन विधि है जो एक कंट्रास्टिव लर्निंग फ्रेमवर्क के माध्यम से न्यूरल नेटवर्क वेट रिप्रजेंटेशन को डेटासेट की जानकारी के साथ संरेखित करती है, जिससे मॉडल रिट्रीवल, जनरेशन और रिफाइनमेंट जैसे डाउनस्ट्रीम कार्यों में प्रदर्शन को बढ़ाया जा सकता है।
यह शोध पत्र ऑरेकल-सहायता प्राप्त गणनाओं के लिए 'डबली-एफिशिएंट सिंगल-प्रूवर इंटरैक्टिव प्रूफ' पेश करके एआई सुरक्षा सत्यापन के लिए एक स्केलेबल दृष्टिकोण का प्रस्ताव करता है, जिससे यह सिद्ध होता है कि दो एआई मॉडलों के बीच प्रतिस्पर्धी बहस की अक्सर अवास्तविक धारणाओं पर निर्भर किए बिना विश्वसनीय संरेखण सत्यापन संभव है।
यह शोध पत्र नॉलेज डिस्टिलेशन (knowledge distillation) को पूर्ण विशेषताओं के बजाय शिक्षक प्रतिनिधित्व तुल्यता वर्गों (teacher representation equivalence classes) को मिलाने की एक ज्यामितीय समस्या के रूप में पुनर्गठित करता है, यह प्रदर्शित करते हुए कि जहाँ हिडन रिप्रेजेंटेशन (hidden representations) का संरेखण मॉडल की ज्यामिति को पुनः प्राप्त करता है, वहीं केवल लॉजिट मिलान (logit matching) ही कार्यात्मक क्षमता को पुनर्स्थापित करता है।
यह शोध पत्र नेटिव डिफरेंशिएबल वर्चुअल मशीन (NDVM) को प्रस्तुत करता है, जो एक ऐसा रनटाइम प्रतिनिधित्व है जो प्रतीकात्मक संरचना (symbolic structure) को बैच किए गए संख्यात्मक अवस्था (batched numeric state) से अलग करके निष्पादन योग्य प्रोग्रामों को कुशलतापूर्वक विभेदित (differentiate) करता है, जिससे पारंपरिक प्रोग्राम-और-पैरामीटर सह-खोज (program-and-parameter co-search) की बाधाओं को दूर किया जा सके और न्यूरो-सिंबोलिक वैज्ञानिक खोज को 24 गुना तक त्वरित किया जा सके।
यह शोध पत्र डिजिटल ट्विन्स में टाइम-सीरीज़ परसेप्शन के लिए एक मॉड्यूलर फाउंडेशन मॉडल प्रस्तावित करता है जो विविध प्रोगनोस्टिक्स एंड हेल्थ मैनेजमेंट कार्यों के लिए मजबूत, हस्तांतरणीय प्रतिनिधित्व बनाने हेतु सेल्फ-सुपरवाइज्ड प्रीट्रेनिंग, एनकोडर चयन के लिए एक डायनेमिक गेटिंग मैकेनिज्म और ट्रांसफॉर्मर-आधारित एग्रीगेशन का लाभ उठाता है।
यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) अपने हिडन स्टेट्स (hidden states) के भीतर उपयोगकर्ता के संप्रेषणात्मक इरादे (communicative intent) को मजबूती से एनकोड करते हैं, जो अक्सर एक रीडआउट लैग (readout lag) के कारण उस पर कार्य करने में विफल रहते हैं जिसे सतही-स्तर के प्रॉम्प्ट्स पर निर्भर रहने के बजाय एक विशिष्ट कॉज़ल दिशा (causal direction) के साथ मॉडल को स्टीयर करके हल किया जा सकता है।
यह शोध पत्र प्रदर्शित करता है कि मल्टीवेरिएट रिग्रेशन के लिए वाइड टू-लेयर ReLU नेटवर्क्स के नॉइज़ी स्टोकेस्टिक ग्रेडिएंट डिसेंट प्रशिक्षण से एक अद्वितीय, प्रभावी रूप से परिमित-चौड़ाई वाले प्रेडिक्टर की ओर एक इम्प्लिसिट बायस (अंतर्निहित पूर्वाग्रह) उत्पन्न होता है, जहाँ न्यूरॉन्स प्रशिक्षण डेटा की कॉम्बिनेटोरियल ज्योमेट्री द्वारा निर्धारित दिशाओं की एक सीमित संख्या के साथ संरेखित होते हैं, जबकि नेटवर्क ओवरपैरामीट्राइजेशन अनंत होता है।