19863 पेपर
DynaFilter एक क्लाउड-संचालित डायनेमिक फ़िल्टरिंग तकनीक है जो सैटेलाइट एज डिवाइसेस को लो-लेवल कंप्रेशन सिंटैक्स सहसंबंधों (correlations) का उच्च-स्तरीय सिमेंटिक क्वेरीज़ के साथ लाभ उठाकर सीधे कंप्रेस्ड डोमेन में चयनात्मक रीजन-ऑफ-इंटरेस्ट इन्फरेंस करने में सक्षम बनाती है, जिससे बैंडविड्थ उपयोग, ऊर्जा खपत और इन्फरेंस लेटेंसी में उल्लेखनीय कमी आती है।
यह शोध पत्र एडेप्टिव मॉडल कम्प्रेशन (AMC) का प्रस्ताव करता है, जो एक सैलियंसी-ड्रिवन (saliency-driven) फ्रेमवर्क है जो न्यूनतम सटीकता हानि के साथ अल्ट्रा-लो-पावर एज डिवाइसेस पर ट्रांसफॉर्मर इन्फरेंस के लिए महत्वपूर्ण ऊर्जा बचत और थ्रूपुट लाभ प्राप्त करने हेतु टोकन महत्व के आधार पर हार्डवेयर संसाधनों को गतिशील रूप से आवंटित करता है।
यह शोध पत्र यह प्रदर्शित करता है कि पर्याप्त सक्षम मॉडलों में, डेटा असंतुलन (स्पूरियस अनुपात) को बढ़ाना विरोधाभासी रूप से वास्तविक अंतर्निहित विशेषताओं की खोज को सुगम बनाकर मजबूत सामान्यीकरण (robust generalization) को बढ़ावा दे सकता है, जो एक ऐसी घटना है जो कम सक्षम आर्किटेक्चर में अनुपस्थित है।
यह शोध पत्र GAE प्रस्तुत करता है, जो एक नवीन ढांचा है जो संरचना-जागरूक प्रोग्राम प्रतिनिधित्व के लिए ग्राफ न्यूरल नेटवर्क, निर्देशित पैरेंट और उत्परिवर्तन चयन के लिए सुदृढीकरण लर्निंग (reinforcement learning), और उच्च-फिटनेस संरचनात्मक संपादन के साथ LLM उत्परिवर्तन ऑपरेटरों को गतिशील रूप से संरेखित करने के लिए ऑनलाइन GRPO फाइन-ट्यूनिंग को एकीकृत करके वैज्ञानिक खोज के लिए विकासवादी प्रोग्राम खोज को बढ़ाता है, जिससे बंद-रूप (closed-form) भौतिक समीकरणों की खोज में अत्याधुनिक प्रदर्शन प्राप्त होता है।
यह शोध पत्र एनर्जी-गाइडेड रिकर्सिव मॉडल (ERM) को प्रस्तुत करता है, जो रिकर्सिव रीजनिंग में टेस्ट-टाइम स्केलिंग के लिए एक सिद्धांतपूर्ण चयन तंत्र प्रदान करने हेतु स्पष्ट हॉपफील्ड ऊर्जाओं (Hopfield energies) का उपयोग करता है, जिससे सुडोकू और मेज़ (Mazes) जैसे संरचित समस्या-समाधान बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
यह शोध पत्र LeRoPE को प्रस्तुत करता है, जो एक ऐसी विधि है जो रोटरी पोजीशनल एनकोडिंग (RoPE) आवृत्तियों को निश्चित हाइपरपैरामीटर के बजाय सीखने योग्य मापदंडों (learnable parameters) के रूप में मानती है, और 52M से 2.5B पैरामीटर्स वाले मॉडलों को प्रशिक्षित करने के माध्यम से यह प्रदर्शित करती है कि यह दृष्टिकोण मानक और आंशिक RoPE की तुलना में लगातार बेहतर प्रदर्शन करता है और तुलनीय प्रदर्शन प्राप्त करने के लिए काफी कम कंप्यूट की आवश्यकता होती है।
यह शोध पत्र RDQ को प्रस्तुत करता है, जो एक पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो ड्रिफ्टेड रेसिडुअल डिस्ट्रीब्यूशन के विरुद्ध पर-चैनल स्केल्स को फिट करने के लिए कैस्केडेड एरर कंपनसेशन का उपयोग करके लार्ज लैंग्वेज मॉडल्स में क्वांटाइजेशन नॉइज़ के सुपर-लीनियर संचय को कम करता है, जिससे शून्य इन्फरेंस ओवरहेड के साथ 3-बिट और 4-बिट प्रिसिजन पर स्टेट-ऑफ-द-आर्ट परप्लेक्सिटी प्राप्त होती है।
यह शोध पत्र "LLM-jury" को प्रस्तुत करता है, जो एक पैरामीटर-मुक्त टेस्ट-टाइम स्केलिंग विधि है जो स्वतंत्र रूप से प्रशिक्षित मॉडलों के बीच क्रॉस-मॉडल सर्वसम्मति का लाभ उठाकर सही रीजनिंग चेन्स (reasoning chains) चुनने में सेल्फ-कंसिस्टेंसी (self-consistency) और प्रशिक्षित रिवॉर्ड मॉडल्स (reward models) से बेहतर प्रदर्शन करती है, जबकि यह इसकी सटीकता की भविष्यवाणी करने और इसके विफलता स्तर (failure ceiling) की पहचान करने के लिए एक क्लोज्ड-फॉर्म लॉ (closed-form law) भी प्रदान करती है।
यह शोध पत्र LLM सुदृढीकरण शिक्षण (reinforcement learning) में अन्वेषण पतन (exploration collapse) को PPO-Clip के यूक्लिडियन मेट्रिक्स और नीतियों के अंतर्निहित रीमैनियन मैनिफोल्ड (Riemannian manifold) के बीच ज्यामितीय बेमेल के परिणाम के रूप में पहचानता है, और इस दोष को सुधारने के लिए रीमैनियन आइसोमेट्रिक पॉलिसी ऑप्टिमाइज़ेशन (RIPO) का प्रस्ताव करता है, जो कई बेंचमार्क में काफी बेहतर प्रदर्शन और स्थिरता प्राप्त करता है।
यह शोध पत्र बिना किसी पुनरावृत्ति सुधार के, एक ही बार में निष्पादन योग्य यूनिटी सी# (Unity C#) कोड उत्पन्न करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि विभिन्न मॉडलों और स्थितियों में 10,400 जनरेशन का परीक्षण करने के बावजूद, इंजन-विशिष्ट ज्ञान की मौलिक कमी के कारण कोई भी सफलतापूर्वक संकलित (compile) नहीं हो सका, जहाँ त्रुटियों को विशिष्ट गेम अवधारणा के आधार पर या तो ग्राउंडिंग संबंधी मुद्दों (बनाई गई API) या स्वच्छता संबंधी मुद्दों (संरचनात्मक दोषों) के रूप में वर्गीकृत किया गया है।