27306 पेपर
यह शोध पत्र MatryoshkaLoRA को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण ढांचा है जो एक निश्चित विकर्ण स्केलिंग मैट्रिक्स (diagonal scaling matrix) को सम्मिलित करके पैरामीटर-कुशल फाइन-ट्यूनिंग को बढ़ाता है ताकि सटीक, पदानुक्रमित निम्न-रैंक (hierarchical low-rank) निरूपणों को सीखा जा सके, जिससे मौजूदा विधियों की तुलना में बेहतर सटीकता-प्रदर्शन ट्रेड-ऑफ के साथ गतिशील रैंक चयन सक्षम होता है।
यह शोध पत्र प्रेडिक्टिव मेंटेनेंस (पूर्वानुमानित रखरखाव) में फेडरेटेड जनरेटिव मॉडल्स (VAEs, GANs, और डिफ्यूजन मॉडल्स) के लिए एक व्यापक विश्लेषण और नवीन वर्गीकरण प्रस्तुत करता है, जो उपयोगिता (utility), स्थिरता और संचार ओवरहेड में स्पष्ट ट्रेड-ऑफ को प्रकट करता है और यह प्रदर्शित करता है कि बैंडविड्थ-सीमित, नॉन-आईआईडी (non-IID) औद्योगिक परिवेश में आंशिक घटक साझा करना पूर्ण फेडरेशन से बेहतर प्रदर्शन कर सकता है।
यह शोध पत्र vOPD का प्रस्ताव करता है, जो एक स्थिर ऑन-पॉलिसी डिस्टिलेशन (On-Policy Distillation) विधि है जो एक क्लोज्ड-फॉर्म, प्रति-टोकन नेगेटिव रिवर्स KL डाइवर्जेंस (negative reverse KL divergence) को कंट्रोल वेरिएट बेसलाइन (control variate baseline) के रूप में उपयोग करके प्रशिक्षण भिन्नता (training variance) को कम करता है, और बिना किसी अतिरिक्त इन्फरेंस ओवरहेड के महंगे फुल-वोकैबुलरी बेसलाइन के समान प्रदर्शन प्राप्त करता है।
यह शोध पत्र प्रकट करता है कि ऑनलाइन कर्नेल रिग्रेशन (kernel regression) स्वाभाविक रूप से ऑफलाइन रिग्रेशन की तुलना में विस्थापित लक्ष्यों (shifted targets) से सीखता है, और यह प्रदर्शित करता है कि एक व्युत्पन्न लक्ष्य समायोजन (target adjustment) के माध्यम से इस प्रभावी विस्थापन को सुधारने से ऑनलाइन लर्निंग को प्रमाणित रूप से ऑफलाइन प्रदर्शन के स्तर तक पहुँचने और निरंतर शिक्षण (continual learning) की स्थितियों में मानक विधियों से बेहतर प्रदर्शन करने की अनुमति मिलती है।
यह शोध पत्र FedQuad का प्रस्ताव करता है, जो एक नवीन फेडेरेटेड लर्निंग पद्धति है जो विषम और असंतुलित डेटा वितरण के तहत वैश्विक मॉडल के सामान्यीकरण में सुधार करने और रिप्रजेंटेशन कोलैप्स (representation collapse) को रोकने के लिए स्टोकेस्टिक क्लाइंट चयन और क्वाड्रुप्लेट-आधारित मेट्रिक लर्निंग का उपयोग करता है, जिससे इंट्रा-क्लास कॉम्पैक्टनेस (intra-class compactness) और इंटर-क्लास सेपरेशन (inter-class separation) सुनिश्चित होती है।
यह शोध पत्र ब्रेगमन-आधारित ऑप्टिमाइज़र के लिए एक अनुकूली नियमितीकरण (adaptive regularization) योजना प्रस्तावित करता है जो उपयोगकर्ता द्वारा निर्दिष्ट स्पर्सिटी लक्ष्यों को विश्वसनीय रूप से प्राप्त करने के लिए स्पर्सिटी पेनल्टी पैरामीटर को गतिशील रूप से समायोजित करता है, जिससे मॉडल प्रदर्शन और मजबूती को बनाए रखते हुए या उसमें सुधार करते हुए महंगी हाइपरपैरामीटर ट्यूनिंग की आवश्यकता समाप्त हो जाती है।
यह शोध पत्र वक्रता (curvature) की अवधारणा को सभी उप-मोंटोन (submodular) फलनों तक विस्तारित करता है, जिनमें गैर-मोनोटोन और ऋणात्मक मान वाले फलन भी शामिल हैं, ताकि पहले ऐसे मल्टीप्लिकेटिव ग्रीडी एप्रोक्सिमेशन गारंटी प्रदान की जा सकें जो अनिश्चित उप-मोंटोन अनुकूलन के मौजूदा बाउंड्स को एकीकृत और बेहतर बनाते हैं।
यह शोध पत्र एक एकीकृत यूक्लिडियन-वॉसरस्टीन-2 ग्रेडिएंट-फ्लो फ्रेमवर्क प्रस्तावित करता है जो विजन-लैंग्वेज लेटेंट डिफ्यूजन मॉडल्स के लेटेंट स्पेस में पोस्टीरियर सैंपलिंग और प्रॉम्प्ट ऑप्टिमाइज़ेशन को संयुक्त रूप से निष्पादित करता है, जिससे ऑटोएनकोडर्स के माध्यम से बैकप्रोपैगेशन की आवश्यकता के बिना, काफी कम कम्प्यूटेशनल लागत और कम न्यूरल फंक्शन इवैल्यूएशन के साथ इनवर्स प्रॉब्लम्स के लिए अत्याधुनिक पुनर्निर्माण गुणवत्ता सक्षम होती है।
यह शोध पत्र विश्वास फलनों (belief functions) के साथ सांख्यिकीय अनुमान में सबसे महत्वपूर्ण योगदानों का सर्वेक्षण करता है, जो विशेष रूप से उन परिदृश्यों में डेटा से विश्वास मापों (belief measures) को सीखने की विधियों पर ध्यान केंद्रित करता है जहाँ अपर्याप्त जानकारी पारंपरिक संभाव्यता वितरण सीखने को अव्यवहारिक बना देती है।
यह शोध पत्र प्रदर्शित करता है कि मल्टी-डिस्ट्रीब्यूशन लर्निंग में अतिरिक्त जोखिम (excess risk) को कम करने के लिए लॉस लैंडस्केप फ्लैटनेस (loss landscape flatness) और ग्रेडिएंट अलाइनमेंट (gradient alignment) दोनों संरचनात्मक रूप से आवश्यक हैं, जिससे SAGE का प्रस्ताव मिलता है, जो स्पेक्ट्रल-अवेयर परटर्बेशन (spectral-aware perturbations) और आइसोट्रोपिक नॉइज़ इंजेक्शन (isotropic noise injection) के माध्यम से इन गुणों को एक साथ अनुकूलित करने के लिए एक नवीन विधि है ताकि डोमेन जनरलाइजेशन और मल्टी-टास्क लर्निंग में अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।