24528 पेपर
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडल (large language models) की बार-बार आने वाले टोकन को गिनने में विफलता उनके आंतरिक रूप से सही गणना को दर्शाने में असमर्थता के कारण नहीं, बल्कि एक विशिष्ट फॉर्मेट-ट्रिगर वाली एमएलपी (MLP) तंत्र के कारण होती है जो आउटपुट जनरेशन के दौरान सटीक प्रतिनिधित्व को एक निश्चित गलत उत्तर के साथ ओवरराइट कर देती है।
यह शोध पत्र Sub-JEPA का प्रस्ताव करता है, जो विश्व मॉडलिंग (world modeling) के लिए जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPAs) की स्थिरता और लचीलेपन में सुधार करने हेतु पूर्ण एम्बिएंट स्पेस के बजाय कई रैंडम सबस्पेस में गॉसियन रेगुलराइजेशन लागू करता है, जिससे एक बेहतर बायस-वेरिएंस ट्रेडऑफ़ प्राप्त होता है और यह स्टेट-ऑफ-द-आर्ट LeWorldModel से बेहतर प्रदर्शन करता है।
यह शोध पत्र एक नवीन प्रशिक्षण ढांचे को प्रस्तुत करता है जो मॉडलों की प्रतिकतियों (रेप्लिकस) को पुनरुत्पादित करके और संरचित क्रमपरिवर्तन (स्ट्रक्चर्ड परम्यूटेशन) के माध्यम से प्रतियों के बीच स्थानीय शिक्षण संदेशों को रूट करके मशीन लर्निंग मॉडलों में सामान्यीकरण (जनरलाइजेशन) को बढ़ाता है, जिससे प्रतिकतियों को ध्वस्त किए बिना या मापदंडों को सीधे युग्मित किए बिना संरचित संदेश साझाकरण सुलभ होता है।
यह शोध पत्र एक कुशल ऑनलाइन मल्टीकैलिब्रेशन एल्गोरिदम प्रस्तुत करता है जो एक प्रेडिक्शन ग्रिड को अनुकूल रूप से परिष्कृत करके 'वर्स्ट-केस' और 'बेनाइन' सेटिंग्स के बीच गतिशील रूप से इंटरपोलेशन करता है, जिससे इष्टतम वर्स्ट-केस दरें प्राप्त होती हैं और बेहतर त्रुटि सीमाओं के साथ स्टोकेस्टिक या पीसवाइज-स्टेशनरी मीन्स जैसे आसान उदाहरणों के प्रति स्वतः अनुकूलता सुनिश्चित होती है।
यह शोध पत्र DiffATS प्रस्तुत करता है, जो एक जनरेटिव फ्रेमवर्क है जो टकर डिकंपोजिशन (Tucker decomposition) और ऑर्थोगोनल प्रोक्रुस्टेस अलाइनमेंट (orthogonal Procrustes alignment) से व्युत्पन्न कॉम्पैक्ट, डेटा-अनुकूलनीय टेंसर प्रिमिटिव्स पर सीधे डिफ्यूजन मॉडल्स को प्रशिक्षित करता है, जिससे प्रीट्रेन्ड डीप ऑटोएनकोडर्स पर निर्भर रहे बिना कुशल उच्च-रिज़ॉल्यूशन वाले स्पैटियोटेम्पोरल जनरेशन को सक्षम बनाया जा सके।
यह शोध पत्र Uncert का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो कई स्पाइकिंग स्टेप्स में डिरिचलेट-वितरित क्लास एविडेंस (Dirichlet-distributed class evidence) से प्राप्त टेम्पोरल अनसर्टेन्टी पैटर्न के माध्यम से टोकन महत्व का अनुमान लगाकर स्पाइकिंग ट्रांसफॉर्मर में टोकन प्रूनिंग दक्षता में सुधार करता है।
यह शोध पत्र मानक गॉसियन वेरिएंट के लिए पहले 'वर्स्ट-केस रिग्रेट बाउंड्स' स्थापित करके और एक नवीन CL-SG एल्गोरिदम पेश करके स्लीपिंग सेमी-बैंडिट्स के लिए कॉम्बिनेटोरियल थॉम्पसन सैंपलिंग में लंबे समय से चले आ रहे सैद्धांतिक अंतराल को हल करता है, जो रिग्रेट प्राप्त करने के साथ-साथ वास्तविक दुनिया के डेटासेट पर बेहतर अनुभवजन्य प्रदर्शन प्रदर्शित करता है।
TileQ एक फाइन-ट्यूनिंग-मुक्त पोस्ट-ट्रेनिंग क्वांटाइजेशन विधि है जो इनपुट और आउटपुट आयामों के बीच साझा किए गए 2D-टाइलिंग स्ट्रक्चर्ड लो-रैंक कारकों का उपयोग करती है, जिसे फ्यूज्ड सिंगल-पास इन्फरेंस तकनीक के साथ संयोजित किया गया है, ताकि सटीकता बनाए रखते हुए Mixture-of-Experts मॉडलों में मेमोरी उपयोग और लेटेंसी को महत्वपूर्ण रूप से कम किया जा सके।
यह शोध पत्र SuperMeshNet को प्रस्तुत करता है, जो एक अर्ध-पर्यवेक्षित (semi-supervised) न्यूरल फ्रेमवर्क है जो कम-रिज़ॉल्यूशन वाले डेटा से उच्च-सटीक मेश-आधारित सिमुलेशन समाधानों को कुशलतापूर्वक पुनर्निर्मित करने के लिए पूरक शिक्षण (complementary learning) और प्रेरणिक पूर्वाग्रहों (inductive biases) का उपयोग करता है, जबकि इसके लिए पूर्णतः पर्यवेक्षित बेंचमार्क की तुलना में 90% कम उच्च-रिज़ॉल्यूशन वाले प्रशिक्षण डेटा की आवश्यकता होती है।
यह शोध पत्र MC को प्रस्तुत करता है, जो एक हाइब्रिड सॉल्वर है जो पारंपरिक मोंटे कार्लो दृष्टिकोणों की तुलना में 1000 गुना तेज़ी से उच्च-सटीकता वाले एलिप्टिक PDE समाधान प्राप्त करने के लिए लो-बजट मोंटे कार्लो विधियों को न्यूरल नेटवर्क सुधार के साथ जोड़ता है, साथ ही सीमित-कंप्यूट PDE सॉल्विंग के मूल्यांकन के लिए एक व्यापक बेंचमार्क PDEZoo की रिलीज़ भी करता है।