22423 पेपर
यह शोध पत्र एक निर्णय-सैद्धांतिक ढांचा प्रदान करता है जो टेस्ट-टाइम ट्रेनिंग को निहित बेयसियन अनुमान (implicit Bayesian inference) के रूप में व्याख्यायित करता है, जो वितरण बदलावों (distribution shifts) के विरुद्ध बेहतर मजबूती के लिए मॉडल अनुकूलन के इष्टतम समय, परिमाण और दिशा को निर्धारित करने हेतु सैद्धांतिक गारंटी और व्यावहारिक स्कोरिंग नियम प्रस्तुत करता है।
यह शोध पत्र हिंडसाइट सेल्फ-डिस्टिलेशन (HSD) का प्रस्ताव करता है, जो एक ऐसी विधि है जो महत्वपूर्ण विचलन बिंदुओं पर सघन, पथ-विशिष्ट मार्गदर्शन प्रदान करने के लिए सफल पीयर रोलआउट्स पर एक टीचर मॉडल को कंडिशन करके लंबे रीजनिंग ट्रेसेस में टोकन-स्तरीय क्रेडिट असाइनमेंट में सुधार करती है, जिससे गणित और कोड बेंचमार्क पर मौजूदा सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) और डिस्टिलेशन बेसलाइनों से बेहतर प्रदर्शन होता है।
यह शोध पत्र "बेस सीक्वेंस एनालिसिस" (Base Sequence Analysis) प्रस्तुत करता है, जो एक जीनोमिक-प्रेरित ढांचा है जो उच्च-जोखिम वाले पैटर्न और सत्यापन संबंधी कमियों की पहचान करने के लिए LLM एजेंट व्यवहारों को प्रतीकात्मक अनुक्रमों (symbolic sequences) में एनकोड करता है, जिससे "गवर्नर" (Governor) का विकास होता है, जो एक रनटाइम गवर्नेंस सिस्टम है जो स्वायत्त एजेंटों में कार्य सफलता दर में उल्लेखनीय सुधार करता है और टोकन खपत को कम करता है।
यह शोध पत्र यह प्रदर्शित करता है कि टूल-संवर्धित भाषा मॉडलों (tool-augmented language models) के लिए, एल्गोरिद्मिक तर्क में प्राकृतिक भाषा की तुलना में कोड का प्रदर्शन लाभ मुख्य रूप से विश्वसनीय बाहरी निष्पादन (external execution) से उत्पन्न होता है, क्योंकि कोड-सिम्युलेटेड तर्क, प्राकृतिक भाषा आधारित तर्क की तुलना में कोई महत्वपूर्ण लाभ प्रदान नहीं करता है।
यह शोध पत्र SLS² को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो संभाव्यता-आधारित सुरक्षा गारंटी के साथ सुरक्षित, विज़न-आधारित मोशन प्लानिंग को सक्षम करने के लिए एक्शन-कंडीशन्ड लेटेंट वर्ल्ड मॉडल्स को कॉन्फॉर्मल प्रेडिक्शन-एन्हांस्ड रोबस्ट मॉडल प्रिडिक्टिव कंट्रोल के साथ जोड़ता है।
यह शोध पत्र यह प्रदर्शित करता है कि जबकि q-error, सीखे गए अनुमानकों (learned estimators) के विशिष्ट बड़े कार्डिनैलिटी अनुमान त्रुटियों के लिए क्वेरी-प्लान रिग्रेट (query-plan regret) का एक खराब भविष्यवक्ता है, ACS-infinity नामक एक नया मीट्रिक तीन अलग-अलग त्रुटि क्षेत्रों (error regimes) में प्लान-कॉस्ट लैंडस्केप की ज्यामिति को स्पष्ट करते हुए रिग्रेट-प्रवण (regret-prone) क्वेरीज़ की प्रभावी ढंग से पहचान करता है।
यह शोध पत्र एक "जज डेटाशीट" प्रोटोकॉल प्रस्तुत करता है जो LLM-as-a-judge प्रणालियों को केवल साधारण स्कोरिंग उपकरणों के बजाय माप उपकरणों (measurement instruments) के रूप में मानता है, और डाउनस्ट्रीम दावों को करने से पहले विश्वसनीय मूल्यांकन सुनिश्चित करने के लिए "डार्क करंट" और स्थितिजन्य वरीयता (positional preference) जैसे विशिष्ट पूर्वाग्रहों को मापने हेतु एक साइकोमेट्रिक ढांचे का प्रस्ताव करता है।
यह शोध पत्र पहचान करता है कि रोटरी पोजीशनल एम्बेडिंग्स के कारण ग्राफ-समीपवर्ती नोड्स लीनियराइजेशन के दौरान अटेंशन डिके (attention decay) का शिकार होते हैं, और GaLA प्रस्तावित करता है, जो एक हल्का इन्फरेंस-टाइम मेथड है जो इस स्ट्रक्चरल डिस्टॉर्शन को कम करने के लिए अटेंशन को पुनर्गठित करता है और LLMs में ज़ीरो-शॉट ग्राफ रीजनिंग में सुधार करता है।
मोज़ेकक्वांट (MosaicQuant) एक एकीकृत 4-बिट एलएलएम (LLM) क्वांटाइजेशन फ्रेमवर्क पेश करता है जो सटीकता बनाए रखने के लिए वेट्स (weights) को एक डेंस बेस (dense base) और एक स्पार्स रेसिडुअल (sparse residual) में अलग करता है, जबकि इसका जिपरइंजन (ZipperEngine) घटक उनके निष्पादन को एक एकल लो-बिट पाइपलाइन में फ्यूज करता है ताकि बेसलाइन्स की तुलना में 1.24× तक की स्पीडअप के साथ लगभग FP16 प्रदर्शन प्राप्त किया जा सके।
यह शोध पत्र Z-प्लेन न्यूरल नेटवर्क का परिचय देता है, जो पारंपरिक ReLU एक्टिवेशन और लेयरनॉर्म को एक नवीन रेडियल बाउंडिंग ज्योमेट्रिक एक्टिवेशन से प्रतिस्थापित करता है जो हिडन स्टेट्स को एक हाइपरस्फीयर पर मैप करता है, जिससे दिशात्मक जानकारी सुरक्षित रहती है और ग्रेडिएंट स्थिरता सुनिश्चित होती है ताकि डेड न्यूरॉन्स या नॉर्मलाइजेशन लेयर्स के बिना 100-लेयर गहरे नेटवर्क का सफल प्रशिक्षण सक्षम हो सके।