21965 पेपर
यह शोध पत्र TabPATE को प्रस्तुत करता है, जो एक विभेदक रूप से निजी (differentially private) ढांचा है टैबुलर इन-कॉन्टेक्स्ट लर्निंग के लिए, जो बिना किसी सार्वजनिक इन-डिस्ट्रीब्यूशन डेटा की आवश्यकता के, मेंबरशिप इन्फरेंस हमलों से सुरक्षा प्रदान करने के लिए टीचर-स्टूडेंट मॉडल और फीचर रेंज या प्राइवेटाइज्ड मार्जिनल्स से उत्पन्न सिंथेटिक क्वेरीज़ का लाभ उठाता है।
यह शोध पत्र "फोर्क-थिंक विद कॉन्फिडेंस" (Fork-think with confidence) को पेश करता है, जो एक नवीन तर्क प्रतिमान (reasoning paradigm) है जो कई पथों को सैंपल करने से पहले मॉडल के आत्मविश्वास के आधार पर उच्च-मूल्य वाले फोर्किंग बिंदुओं की पहचान करता है, जिससे पारंपरिक समानांतर विचार विधियों की तुलना में प्रदर्शन को बनाए रखते हुए या उसमें सुधार करते हुए टोकन खपत और रनटाइम को काफी कम कर दिया जाता है।
यह शोध पत्र एक नियमित संस्करण, SAIL-RevKL का प्रस्ताव करके सेल्फ-इंप्रूविंग अलाइनमेंट (SAIL) एल्गोरिदम के लिए सैद्धांतिक अभिसरण गारंटी (theoretical convergence guarantees) की कमी को संबोधित करता है, जो पॉलीक-लोजसविक स्थिति (Polyak-Lojasiewicz condition) को संतुष्ट करने के लिए रिवर्स KL डाइवर्जेंस दंड (reverse KL divergence penalty) को शामिल करता है, जिससे लगभग रैखिक नमूना जटिलता (near-linear sample complexity) के साथ वैश्विक अभिसरण स्थापित होता है और LLM अलाइनमेंट एवं MuJoCo बेंचमार्क दोनों पर उत्कृष्ट अनुभवजन्य प्रदर्शन प्रदर्शित करता है।
यह शोध पत्र यह प्रदर्शित करके क्वांटम मशीन लर्निंग में अभिव्यंजकता-प्रशिक्षण क्षमता (expressivity-trainability) के विरोधाभास को हल करता है कि डायनेमिकल ली अल्जेब्रा (Dynamical Lie Algebra) की बाधाएं संरचनात्मक नियमितकर्ता (structural regularizers) के रूप में कार्य करती हैं, जो मॉडल क्षमता और अनुकूलन परिदृश्य ज्यामिति (optimization landscape geometry) के बीच संतुलन बनाकर बैरन प्लेटो (barren plateaus) को प्रभावी ढंग से कम करती हैं और स्केलेबल प्रशिक्षण को सक्षम करती हैं।
यह शोध पत्र प्रदर्शित करता है कि उच्च-निष्ठा वाले वेव-आधारित रूम-अकॉस्टिक सिमुलेशन के साथ संवर्धित डेटासेट्स पर डीप-लर्निंग-आधारित मल्टीचैनल स्पीच एन्हांसमेंट मॉडल्स को प्रशिक्षित करने से प्रदर्शन में महत्वपूर्ण सुधार होता है, जो लोअर-फिडेलिटी ज्योमेट्रिकल अकॉस्टिक्स डेटा पर प्रशिक्षित मॉडल्स की तुलना में मीडियन वर्ड एरर रेट में 38% तक की सापेक्ष कमी प्राप्त करता है।
यह शोध पत्र जनरेटिव मशीन लर्निंग में स्टोकेस्टिक और ऑर्डिनरी डिफरेंशियल इक्वेशंस के वेरिएशनल फ्रेमवर्क का एक अनौपचारिक, स्व-निहित परिचय प्रस्तुत करता है, जो यह प्रदर्शित करता है कि कैसे डिफ्यूजन मॉडल्स, स्कोर मैचिंग और फ्लो मैचिंग को एविडेंस लोअर बाउंड (ELBO) से व्युत्पन्न विशिष्ट पैरामीट्रिज़ेशन के रूप में एकीकृत किया गया है।
यह शोध पत्र विज़न-लैंग्वेज मॉडल्स के साथ इमेज क्लासिफिकेशन के लिए एक लोकलाइज्ड कॉन्फॉर्मल प्रेडिक्शन फ्रेमवर्क प्रस्तुत करता है, जो यह प्रदर्शित करता है कि जहाँ रॉ कोसाइन सिमिलरिटी (raw cosine similarity) नॉन-लोकल बेसलाइन्स से बेहतर प्रदर्शन करने में विफल रहती है, वहीं इन सिमिलरिटीज का एक प्रस्तावित सरल नॉन-लीनियर ट्रांसफॉर्मेशन मार्जिनल कवरेज गारंटी बनाए रखते हुए प्रेडिक्शन सेट के आकार को महत्वपूर्ण रूप से कम कर देता है।
यह शोध पत्र एक सरल, कुशल, ब्लैक-बॉक्स मजबूती माप प्रस्तावित करता है जो वास्तविक दुनिया के डेटासेट पर प्रयोगों के माध्यम से सत्यापित और तुलनात्मक विश्लेषण के लिए रोबस्टनेस कर्व्स (robustness curves) की शुरूआत द्वारा उन्नत, रैंडम इनपुट नॉइज़ के तहत एक न्यूरल नेटवर्क के मीन स्क्वेर्ड एरर (mean squared error) पर एक संभाव्य ऊपरी सीमा प्रदान करता है।
यह शोध पत्र REAL का प्रस्ताव करता है, जो एक मॉडल-आधारित रिक्वायरमेंट्स इंजीनियरिंग फ्रेमवर्क है जो डेटा, मॉडल और सिस्टम आवश्यकताओं को एकीकृत करता है और यह सुनिश्चित करने के लिए विफलता विश्लेषण और पुनरावृत्ति परिशोधन का लाभ उठाता है कि मशीन लर्निंग सिस्टम हितधारकों की जरूरतों के अनुरूप हों और विश्वसनीय हों।
यह शोध पत्र ऑप्टिमाइज़र के चयन को एलएलएम (LLM) में उभरते हुए मिसअलाइनमेंट (misalignment) के प्राथमिक चालक के रूप में पहचानता है, यह प्रदर्शित करते हुए कि जबकि विभिन्न ऑप्टिमाइज़र मॉडल के पैमाने की परवाह किए बिना बहुत अलग अलाइनमेंट परिणाम उत्पन्न करते हैं, इस प्रभाव को लोरा (LoRA) एडॉप्टर के सिंगुलर वैल्यू डिस्ट्रीब्यूशन पर स्पेक्ट्रल रेगुलराइजेशन (spectral regularisation) लागू करके काफी हद तक कम किया जा सकता है।