22999 पेपर
यह शोध पत्र GNMR को प्रस्तुत करता है, जो एक हल्का, बैकएंड-अज्ञेय (backend-agnostic) रनटाइम कंट्रोलर है जो संख्यात्मक स्वरूपों या प्रशिक्षण विधियों को बदले बिना, स्थानीय ग्रेडिएंट जोखिम संकेतों को सीमित रिकवरी कार्यों के साथ गतिशील रूप से मैप करके कम-परिशुद्धता वाले लार्ज लैंग्वेज मॉडल प्रशिक्षण की स्थिरता को बढ़ाता है।
यह शोध पत्र विश्लेषण करता है कि विभिन्न ब्रेगमैन डाइवर्जेंस (Bregman divergences) क्रोनेकर सन्निकटन त्रुटियों (Kronecker approximation errors) को कोवेरियन्स स्पेक्ट्रम (covariance spectrum) में कैसे वितरित करते हैं, जो यह प्रकट करता है कि शीर्ष आइजनस्पेस (top eigenspaces) विश्वसनीय हैं जबकि पूंछ (tail) शोरयुक्त है, जो एक नए सबस्पेस-जागरूक ऑप्टिमाइज़र को प्रेरित करता है जो आइजनवैल्यू-आधारित प्रीकंडीशनिंग को अनुकूली समदैशिक त्वरण (adaptive isotropic acceleration) के साथ जोड़ता है।
यह शोधपत्र मल्टी-रिस्पॉन्स ट्रेनिंग (MRT) को मानक सिंगल-रिस्पॉन्स फाइन-ट्यूनिंग के एक सांख्यिकीय रूप से सुदृढ़ विकल्प के रूप में प्रस्तुत करता है, जो यह प्रदर्शित करता है कि प्रति प्रॉम्प्ट कई वैध पूर्णताओं (completions) को बनाए रखने से भाषा मॉडल का सामान्यीकरण (generalization) बेहतर होता है, क्योंकि यह एक सिद्धांत-आधारित वेरिएंस-बजट ट्रेडऑफ़ और इष्टतम रिस्पॉन्स चयन रणनीतियों के माध्यम से सशर्त आउटपुट वितरणों को बेहतर ढंग से कैप्चर करता है और "मोड लॉटरी" (mode lottery) से बचता है।
यह शोध पत्र प्रदर्शित करता है कि पोस्ट-ट्रेन्ड लैंग्वेज मॉडल्स एक विशेषाधिकार प्राप्त "असिस्टेंट" (Assistant) व्यक्तित्व के विरुद्ध एक आनुमानिक बायेसियन लाइकलीहुड-रेश्यो टेस्ट (Bayesian likelihood-ratio test) को अंतर्निहित रूप से निष्पादित करके अपने स्वयं के आउटपुट्स को पहचानते हैं, जो एक ऐसी प्रक्रिया है जो विषम आश्चर्य तुलनाओं (asymmetric surprise comparisons) पर निर्भर करती है और पाइरेट्स या शेक्सपियर जैसे अन्य विशिष्ट व्यक्तित्वों तक सामान्यीकरण करने में विफल रहती है।
यह शोध पत्र CAFOSat को प्रस्तुत करता है, जो 20 अमेरिकी राज्यों में 45,000 से अधिक उच्च-रिज़ॉल्यूशन वाले इमेज पैच का एक बड़े पैमाने पर, सुदृढ़ रूप से एनोटेट किया गया डेटासेट है, जो संकेंद्रित पशु आहार संचालन (CAFOs) के मानचित्रण और उन्नत रिमोट सेंसिंग मॉडल के बेंचमार्किंग में चुनौतियों को दूर करने के लिए परिष्कृत बहु-स्रोत इन्वेंट्री और बुनियादी ढांचा-स्तरीय लेबल को एकीकृत करता है।
यह शोध पत्र एक सहायक पुनर्निर्माण कार्य (auxiliary reconstruction task) को पेश करके न्यूरल एल्गोरिद्मिक रीजनिंग को बढ़ाने का प्रस्ताव देता है, जिसमें एक ऐसा संस्करण शामिल है जो इंट्रा-स्टेट फीचर डिपेंडेंसीज़ को कैप्चर करता है, ताकि एनकोडर्स को समृद्ध प्रतिनिधित्व सीखने के लिए मजबूर किया जा सके जो मौजूदा एल्गोरिद्मिक प्रोसेसर्स के प्रदर्शन में सुधार करते हैं।
यह शोध पत्र एक नवीन, व्यावहारिक ऊपरी सीमा (upper bound) प्रस्तावित करता है जिसका उपयोग चयन पूर्वाग्रह (selection bias) के तहत चिकित्सा पूर्वानुमान मॉडलों के सबसे खराब प्रदर्शन का अनुमान लगाने के लिए किया जा सकता है, जब लक्षित जनसंख्या और चयन तंत्र केवल आंशिक रूप से ही देखे जाते हैं, जो पूर्ण लक्षित डेटा तक अवास्तविक पहुंच की आवश्यकता के बिना सामान्यीकरण का आकलन करने और तैनाती के जोखिमों को कम करने के लिए एक सिद्धांतपूर्ण उपकरण प्रदान करता है।
यह शोध पत्र सेफ्टी एसिमेट्री स्कोर (SAS) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि टूल का उपयोग करने वाले भाषा मॉडल चैनल-निर्भर विश्वास पूर्वाग्रह प्रदर्शित करते हैं, जो उपयोगकर्ता संदेशों की तुलना में टूल मेटाडेटा या आउटपुट के माध्यम से वितरित किए जाने पर समान प्रतिकूल पेलोड के प्रति काफी अधिक संवेदनशील हो जाते हैं, एक ऐसी घटना जो गैर-रेखीय सुरक्षा निरूपण और टूल डेटा को विश्वसनीय निर्देशों के रूप में निहित उपचार द्वारा संचालित होती है।
यह शोध पत्र यह प्रदर्शित करता है कि एकत्रित बल्क जीन अभिव्यक्ति डेटा (aggregated bulk gene expression data) से कारण संबंधी संबंधों (causal relations) को पुनः प्राप्त करना केवल सख्त रैखिक एकत्रीकरण (strict linear aggregation) और एफाइन संरचनात्मक समीकरण (affine structural equation) की मान्यताओं के तहत ही सैद्धांतिक रूप से संभव है, जो वास्तविक दुनिया के डेटासेट द्वारा अनुभवजन्य रूप से unsupported हैं, जिससे बिना किसी मजबूत अतिरिक्त बाधाओं के ऐसे कारण अनुमान (causal inference) के विरुद्ध चेतावनी दी जाती है।
यह शोध पत्र विश्लेषण करता है कि क्यों मेटा-लर्निंग फॉर ट्रेनिंग-डेटा सिलेक्शन (MTS) अक्सर खराब ग्रेडिएंट सिग्नल-टू-नॉइज़ रेश्यो और गैर-सूचनात्मक फीचर्स के कारण कम प्रदर्शन करता है, और कई बेंचमार्क पर महत्वपूर्ण सुधार प्राप्त करने के लिए बढ़े हुए बैच साइज और नए डिस्ट्रीब्यूशन-अवेयर फीचर्स का प्रस्ताव देता है।