21502 पेपर
यह शोध पत्र अंतर्निहित संपीड़नीयता (intrinsic compressibility) के आधार पर इसके मिनिमैक्स जोखिम (minimax risk) को अभिलक्षित करके, कॉज़ल मास्किंग (causal masking) के लिए इष्टतम डिज़ाइन सिद्धांतों को व्युत्पन्न करके, और एक नए एल्गोरिदम को मान्य करके KV कैश संपीड़न में अनुभवजन्य प्रथाओं और सैद्धांतिक सीमाओं के बीच के अंतर को पाटता है, जो सैद्धांतिक गारंटियों के साथ LongBench पर उत्कृष्ट प्रदर्शन प्राप्त करता है।
यह शोध पत्र मल्टी-हेड रिकरेंट मेमोरी (MHM) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो मेमोरी को स्वतंत्र हेड्स में विभाजित करता है और ओवरराइटिंग को रोकने के लिए एक 'सेलेक्ट-देन-अपडेट' रणनीति का उपयोग करता है, जिससे विभिन्न मॉडलों और स्केल्स में लॉन्ग-कॉन्टेक्स्ट रिटेंशन और एंड-टू-एंड प्रदर्शन में महत्वपूर्ण सुधार होता है।
OPINE-World एक LLM-आधारित एजेंट है जो परिकल्पना सृजन (hypothesis generation) को ऑन्टोलॉजी-त्रुटि-प्राथमिकता वाले अन्वेषण (ontology-error-prioritized exploration) के साथ जोड़कर, पिक्सेल-आधारित अंतःक्रियाओं से डेटा-कुशल, पुन: प्रयोज्य, वस्तु-केंद्रित प्रोग्रामेटिक वर्ल्ड मॉडल ऑनलाइन सीखता है, जिससे बिना प्रति-खेल प्रशिक्षण के चुनौतीपूर्ण ARC-AGI-3 बेंचमार्क पर उत्कृष्ट प्रदर्शन प्राप्त होता है।
यह शोध पत्र एक प्रमाणित, ड्रिफ्ट-अवेयर सेंसिंग क्लॉक प्रस्तुत करता है जो अनुकूलतम री-सेंसिंग समय सीमा (डेडलाइन) को गतिशील रूप से निर्धारित करने के लिए ऑडिटेड वर्ल्ड मॉडल्स का लाभ उठाता है, जिससे सख्त सेंसिंग बजट के भीतर काम करते हुए प्रेडिक्शन उल्लंघन और इवेंटफुल-टेल जोखिमों को न्यूनतम किया जा सके।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में चेन-ऑफ-थॉट रीजनिंग के विश्लेषण के लिए एक ज्यामितीय ढांचे (geometric framework) को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि हिडन स्टेट ट्रेजेक्टरीज के स्पेक्ट्रल और काइनेमैटिक गुण कार्य की कठिनाई को प्रभावी ढंग से परिमाणित कर सकते हैं और समाधान पूर्ण होने से पहले ही उसकी शुद्धता का पूर्वानुमान लगा सकते हैं।
यह शोध पत्र BOUNDARY_SYNC प्रोटोकॉल और कपलिंग एम्प्लीफिकेशन फैक्टर (CAF) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि मल्टी-एजेंट LLM सिस्टम में इंटर-एजेंट संचार मापने योग्य रिप्रजेंटेशनल कपलिंग को प्रेरित करता है, जहाँ टेक्स्ट संचार होमोजेनाइजेशन (समानता) को संचालित करता है जबकि इमेज संचार विविधीकरण (विविधता) को बढ़ावा दे सकता है, और ये प्रभाव स्टेटलेस हैं तथा प्रॉम्प्ट कॉन्टेक्स्ट के माध्यम से नियंत्रणीय हैं।
DeadPool लार्ज लैंग्वेज मॉडल ट्रेनिंग के लिए एक फॉल्ट-टॉलरेंस फ्रेमवर्क है जो इन-मेमोरी चेकपॉइंटिंग और एक रनटाइम हॉट-स्वैपिंग मैकेनिज्म का उपयोग करके सामान्य संचालन के दौरान शून्य-ओवरहेड निष्पादन और स्थायी नोड विफलताओं से 40 सेकंड से कम में रिकवरी प्राप्त करता है ताकि जॉब को समाप्त किए बिना विफल नोड्स को बदला जा सके।
यह शोध पत्र UniWind का प्रस्ताव करता है, जो एक एकीकृत एक-दिवस पूर्व पवन शक्ति पूर्वानुमान मॉडल है जो भौतिकी-आधारित पूर्व सूचनाओं (physics-informed priors) को एक लेटेंट स्टेट एनकोडर के साथ एकीकृत करता है ताकि मौसम संबंधी स्थितियों को परिचालन अवस्थाओं से अलग किया जा सके, जिससे विविध पवन फार्मों में उच्च सटीकता और मजबूती प्राप्त की जा सके।
SCAPE एक संचार-कुशल वितरित ऑप्टिमाइज़र है जो एडम-शैली के प्रथम-मोमेंट सांख्यिकी का लाभ उठाकर आक्रामक ग्रेडिएंट स्पार्सिफिकेशन (99% तक) को सक्षम करता है, जिससे मॉडल की गुणवत्ता और प्रशिक्षण स्थिरता को बनाए रखते हुए बड़े भाषा मॉडलों के लिए प्री-ट्रेनिंग वॉल-क्लॉक समय और संचार ओवरहेड को महत्वपूर्ण रूप से कम किया जाता है।
यह शोध पत्र WARP को प्रस्तुत करता है, जो उनके वेट स्पेस (weight space) में ज्यामितीय विशेषताओं का विश्लेषण करके फाउंडेशन मॉडल्स को प्रशिक्षित करने के लिए उपयोग किए गए विशिष्ट डोमेन मिश्रण भार (domain mixture weights) को पुनः प्राप्त करने वाला एक फ्रेमवर्क है, जिससे उन पूर्ववर्ती विधियों की सीमाओं को दूर किया जा सके जो केवल व्यक्तिगत डेटा नमूनों का पता लगा सकती हैं।