22512 पेपर
यह शोध पत्र एक ऐसी कार्यप्रणाली प्रस्तावित करता है जो चरण स्थान (फेज़ स्पेस) डेटा से सीधे प्लाज्मा टकराव ऑपरेटरों को सटीक रूप से अनुमानित करने के लिए डिफरेंशिएबल काइनेटिक सिम्युलेटर्स को ग्रेडिएंट-आधारित अनुकूलन के साथ जोड़ती है, जो पारंपरिक कण-ट्रैक-आधारित अनुमानों की तुलना में बेहतर प्रदर्शन और दक्षता प्रदर्शित करती है।
यह शोध पत्र सिद्ध करता है कि सफलता अनुकूलन (success conditioning), जो सफल प्रक्षेप पथों (trajectories) की नकल करके नीतियों को सुधारने के लिए उपयोग की जाने वाली एक व्यापक तकनीक है, गणितीय रूप से एक रूढ़िवादी ट्रस्ट-रीजन अनुकूलन समस्या के समान है जो वितरण विस्थापन (distribution shift) को स्वतः नियंत्रित करते हुए नीति सुधार को अधिकतम करती है, जिससे यह गारंटी मिलती है कि प्रदर्शन में गिरावट नहीं आएगी।
यह शोध पत्र फिक्स्ड एग्रीगेशन फीचर्स (FAFs) के साथ मानक टैबुलर क्लासिफायर का उपयोग करने वाले एक ट्रेनिंग-फ्री दृष्टिकोण के माध्यम से यह प्रदर्शित करते हुए ग्राफ न्यूरल नेटवर्क में ट्रेन करने योग्य नेबरहुड एग्रीगेशन की आवश्यकता को चुनौती देता है कि यह अधिकांश बेंचमार्क पर अत्याधुनिक GNNs के बराबर या उनसे बेहतर प्रदर्शन कर सकता है, जिससे ग्राफ लर्निंग में अधिक मजबूत टैबुलर बेसलाइन और विविध बेंचमार्किंग की वकालत की जा सकती है।
यह शोध पत्र condPED-ANOVA का प्रस्ताव करता है, जो एक सिद्धांतिक ढांचा है जिसमें कंडीशनल सर्च स्पेस में हाइपरपैरामीटर महत्व को सटीक रूप से अनुमानित करने के लिए एक क्लोज्ड-फॉर्म एस्टिमेटर दिया गया है, जो उन मौजूदा विधियों की सीमाओं को संबोधित करता है जो स्थिर, अनकंडीशनल संरचनाओं को मानती हैं।
यह शोध पत्र लार्ज लुकअप लेयर्स (L) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो डिकोडर परतों के लिए स्थिर, टोकन-आधारित रूटिंग को सक्षम करने हेतु एम्बेडिंग टेबल्स का सामान्यीकरण करता है, जिससे मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स का एक अधिक हार्डवेयर-कुशल और स्थिर विकल्प मिलता है और साथ ही भाषा मॉडलिंग एवं डाउनस्ट्रीम कार्यों में बेहतर प्रदर्शन प्राप्त होता है।
यह शोध पत्र -parity समस्या पर मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स के सामान्यीकरण गुणों की जांच करता है, जो सैद्धांतिक रूप से उनके उद्देश्य को सिग्नल और नॉइज़ रिजीम में विभाजित करके यह प्रदर्शित करता है कि वे ग्रोकिंग (grokking) को कैसे समाप्त करते हैं और एक अनुकूलित मास्क संभाव्यता वितरण का प्रस्ताव करता है जो छोटे और बड़े दोनों पैमाने के मॉडल्स में परप्लेक्सिटी और प्रदर्शन में महत्वपूर्ण सुधार करता है।
यह शोध पत्र वेट (weight) और फंक्शन (function) दोनों स्पेस में परम्यूटेशन-इक्विवेरिएंट वेट-स्पेस नेटवर्क्स की तुल्यता और सार्वभौमिकता को सिद्ध करने वाला एक व्यवस्थित सैद्धांतिक ढांचा स्थापित करता है, साथ ही यह भी प्रदर्शित करता है कि इन अंतर्दृष्टियों पर आधारित मामूली मॉडल संशोधनों से अत्याधुनिक तरीकों की तुलना में 34% प्रदर्शन सुधार प्राप्त होता है।
यह शोध पत्र डिस्ट्रीब्यूशन अलाइन्ड इमिटेशन लर्निंग (DAIL) का प्रस्ताव करता है, जो एक सेल्फ-डिस्टिलेशन विधि है जो न्यूनतम डेटा के साथ LLM की रीजनिंग क्षमताओं और सामान्यीकरण को कुशलतापूर्वक बढ़ाने के लिए उपदेशात्मक विशेषज्ञ समाधानों (didactic expert solutions) को इन-डिस्ट्रीब्यूशन रीजनिंग ट्रेसेस में परिवर्तित करती है।
यह शोध पत्र प्रदर्शित करता है कि एक दो-चरणीय सुदृढीकरण अधिगम (reinforcement learning) पाठ्यक्रम, जो बड़े भाषा मॉडलों को क्रमवार रूप से प्रतीकात्मक डेटा (कोड/ग्राफ) और उसके बाद प्राकृतिक भाषा पर प्रशिक्षित करता है, प्रक्रियात्मक कार्यों के क्रॉस-रिप्रजेंटेशन सामान्यीकरण को सक्षम बनाता है, जिससे एक छोटा 1.5B मॉडल GPT-4o के ज़ीरो-शॉट प्लानिंग प्रदर्शन के बराबर प्रदर्शन करने में सक्षम होता है।
यह शोध पत्र FC2FB को प्रस्तुत करता है, जो एक नवीन मेटा-एल्गोरिदम है जो किसी भी फिक्स्ड-कॉन्फिडेंस बेस्ट-आर्म आइडेंटिफिकेशन एल्गोरिदम को फिक्स्ड-बजट एल्गोरिदम में परिवर्तित करता है, और यह सिद्ध करता है कि फिक्स्ड-बजट सेटिंग, लॉगरिदमिक कारकों तक, फिक्स्ड-कॉन्फिडेंस सेटिंग से अधिक कठिन नहीं है।