26757 पेपर
यह शोध पत्र डेंस एसोसिएटिव मेमोरीज (Dense Associative Memories) के लिए हाइपरपैरामीटर ट्रांसफर विधियों की कमी को संबोधित करता है, जो साझा भार (shared weights) और अद्वितीय सक्रियण फलनों (unique activation functions) द्वारा जटिल बनाई गई एक कार्य के लिए छोटे से बड़े मॉडलों तक हाइपरपैरामीटरों को सफलतापूर्वक स्केल करने हेतु स्पष्ट सैद्धांतिक नुस्खे व्युत्पन्न करता है, और इन निष्कर्षों को मजबूत अनुभवजन्य सहमति के साथ मान्य करता है।
यह शोध पत्र लॉस-इक्वेटेड SAM (LE-SAM) का प्रस्ताव करता है, जो एक नवीन अनुकूलन विधि है जो शार्पनेस-अवेयर मिनिमाइजेशन के निश्चित पैरामीटर-स्पेस त्रिज्या को एक निश्चित लॉस-स्पेस बजट से बदल देती है ताकि फ्लैट मिनिमा की वक्रता-आधारित प्रकृति के साथ बेहतर तालमेल बिठाया जा सके, जिससे विविध बेंचमार्क पर अत्याधुनिक सामान्यीकरण प्रदर्शन प्राप्त किया जा सके।
यह शोध पत्र TRACE का प्रस्ताव करता है, जो एक टोकन-रूटेड सेल्फ-डिस्टिलेशन विधि है जो सत्यापन योग्य पुरस्कारों (verifiable rewards) के साथ सुदृढीकरण शिक्षण (reinforcement learning) के दौरान एनोटेटर द्वारा चिह्नित महत्वपूर्ण स्पैन (critical spans) पर चुनिंदा रूप से KL डाइवर्जेंस लागू करती है, जिससे ग्रेडिएंट बर्बादी और विशेषाधिकार प्राप्त सूचना रिसाव (privileged-information leakage) को कम किया जाता है, जिससे मानक GRPO और फुल-रिस्पॉन्स सेल्फ-डिस्टिलेशन बेसलाइनों की तुलना में लॉन्ग-हॉरइजन मैथ रीजनिंग और आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन में महत्वपूर्ण सुधार होता है।
यह शोध पत्र SPACE का प्रस्ताव करता है, जो एक मेमोरी-कुशल विधि है जो बड़े पैमाने के डिफ्यूजन मॉडल्स से विशिष्ट अवधारणाओं को प्रभावी ढंग से मिटाने के लिए क्रॉस-अटेंशन मापदंडों में पुनरावृत्ति से स्पर्सिटी (sparsity) उत्पन्न करती है, जबकि प्रतिकूल प्रॉम्प्ट्स (adversarial prompts) के विरुद्ध मजबूती बनाए रखती है।
यह शोध पत्र "टास्क कैलिब्रेशन" (task calibration) प्रस्तुत करता है, जो एक ऐसा प्रतिमान (paradigm) है जो एक कार्य-विशिष्ट लेटेंट स्पेस (task-specific latent space) के भीतर भविष्य कहनेवाला वितरण (predictive distributions) को कैलिब्रेट करके LLM डिकोडिंग को अनुकूलित करता है, जिससे यह प्रमाणित रूप से न्यूनतम बेयस जोखिम (Minimum Bayes Risk) प्राप्त करता है और विविध अनुप्रयोगों में जनरेशन की गुणवत्ता में सुधार करता है।
यह शोध पत्र पॉइंटवाइज यूनिफॉर्म स्टेबिलिटी (pointwise uniform stability) पर आधारित एक नए लर्निंग थ्योरी को विकसित करके विकेंद्रीकृत SGD (decentralized SGD) के लिए उच्च-संभाव्यता सामान्यीकरण बाउंड्स (high-probability generalization bounds) और पारंपरिक SGD के बीच के अंतर को पाटता है, जो उत्तल (convex), दृढ़ उत्तल (strongly convex) और गैर-उत्तल (non-convex) परिवेशों में इष्टतम दर प्राप्त करता है।
यह अध्ययन प्रदर्शित करता है कि स्पेक्ट्रोस्कोपिक तारकीय आयु अनुमानों में व्यवस्थित संपीड़न (systematic compression), न कि एक स्वाभाविक रूप से विरल (bursty) निर्माण इतिहास, कृत्रिम रूप से उन तीव्र आयु-धातु संबंधों और तीव्र संयोजन समयसीमाओं को उत्पन्न कर सकता है जिनका उपयोग पहले मिल्की वे के मोटे डिस्क (thick disk) को चित्रित करने के लिए किया गया था, जो यह सुझाव देता है कि एस्टरोसेइस्मिक एंकरिंग (asteroseismic anchoring) एक काफी अधिक विस्तृत निर्माण अवधि को प्रकट करती है।
FORGE एक दो-चरणीय ढांचा है जो आणविक अनुकूलन (molecular optimization) को स्वतः-खोजे गए डेटा का उपयोग करके फ्रैगमेंट प्रतिस्थापनों (fragment replacements) को रैंक और जेनरेट करके संदर्भ-जागरूक स्थानीय संपादन के रूप में पुनर्गठित करता है, जिससे यह प्राकृतिक भाषा प्रशिक्षण की मतिभ्रम (hallucinations) और स्केलिंग सीमाओं से बचते हुए मौजूदा भाषा और ग्राफ-आधारित विधियों से बेहतर प्रदर्शन करता है।
यह शोध पत्र रिप्ले वॉल्यूम (replay volume), अपेक्षित नवीनता (expected recency) और सैंपलिंग एंट्रॉपी (sampling entropy) को ऑफ-पॉलिसी सुदृढीकरण शिक्षण (off-policy reinforcement learning) में नॉन-यूनिफॉर्म रिप्ले की प्रभावशीलता को नियंत्रित करने वाले प्रमुख कारकों के रूप में पहचानता है, जो यह प्रदर्शित करता है कि एक सरल ट्रंकेटेड जियोमेट्रिक (Truncated Geometric) रणनीति कम-वॉल्यूम वाले परिदृश्यों में सैंपल दक्षता में महत्वपूर्ण सुधार करती है और उच्च-वॉल्यूम सेटिंग्स में भी प्रतिस्पर्धी बनी रहती है।
यह शोध पत्र MARGIN का प्रस्ताव करता है, जो एक मीट्रिक-आधारित ढांचा है जो एडेप्टिव मार्जिन मीट्रिक लर्निंग और हाइपरस्फेरिकल प्रोटोटाइप मॉडलिंग का लाभ उठाकर सॉफ्टवेयर भेद्यता (वल्नरेबिलिटी) डिटेक्शन में फ्रीक्वेंसी और कठिनाई के असंतुलन को संबोधित करता है ताकि एम्बेडिंग स्पेस में ज्यामितीय विकृतियों को सुधारा जा सके, जिससे असंतुलित डेटासेट पर बेहतर वर्गीकरण प्रदर्शन और मजबूती प्राप्त की जा सके।