23601 पेपर
CONF-KV एक नवीन KV कैश इविक्शन रणनीति है जो मॉडल के प्रति-चरण भविष्यवाणी आत्मविश्वास के आधार पर गतिशील रूप से कैश बजट को समायोजित करती है और लंबी अवधि के LLM इन्फरेंस के लिए उच्च रिट्रीवल सटीकता और कार्य प्रदर्शन बनाए रखते हुए मेमोरी उपयोग को महत्वपूर्ण रूप से कम करने के लिए मिश्रित-परिशुद्धता स्टोरेज का उपयोग करती है।
यह शोध पत्र गॉसियन मिश्रण एंडपॉइंट्स के बीच श्रोडिंगर ब्रिज को हल करने के लिए एक लिफ्टेड पाथ-स्पेस फ्रेमवर्क पेश करता है, जो समस्या को घटक-वार गॉसियन ब्रिज और एक एंट्रोपिक कपलिंग कार्य में विभाजित करके किया जाता है, साथ ही लेबल वाले समाधान से अनलेबल मार्जिनल फ्लो को पुनः प्राप्त करते समय उत्पन्न होने वाले सूचना-सैद्धांतिक प्रोजेक्शन गैप का विश्लेषण भी करता है।
यह शोध पत्र डेटा संदूषण (डेटा कंटैमिनेशन) के कारण बढ़े हुए टेस्ट स्कोर को ठीक करने के लिए एक विधि प्रस्तावित करता है, जिसमें मेमोराइजेशन प्रेडिक्टर्स (स्मरण भविष्यवक्ताओं) को कैलिब्रेट करने के लिए ज्ञात टेस्ट उदाहरणों के साथ प्रशिक्षण डेटा को जानबूझकर "स्पाइकिंग" (स्पाइक) किया जाता है, जिनका उपयोग फिर मॉडल प्रदर्शन मेट्रिक्स को सांख्यिकीय रूप से समायोजित करने के लिए किया जाता है।
DriftingMol एक कम लागत वाला, वन-पास फ्रेमवर्क पेश करता है जो एक नवीन डिकोडर-कपल्ड ड्रिफ्ट मैकेनिज्म के माध्यम से डिकोडर के फीचर मैप के माध्यम से ग्रेडिएंट्स को बैकप्रोपैगेट करके, एक DiT जनरेटर को एक फ्रोजन SELFIES डिकोडर के साथ जोड़कर उच्च वैधता, विविधता और लक्षित गुण सहसंबंध (target property correlation) प्राप्त करता है।
यह शोध पत्र कॉन्सेप्ट एलोकेशन ज़ोन (CAZ) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो ट्रांसफार्मर मॉडलों में अवधारणा निर्माण (concept formation) को किसी एक "सर्वश्रेष्ठ" परत के बजाय रेसिडुअल स्ट्रीम के एक निरंतर क्षेत्र में होने वाली एक गहराई-विस्तारित प्रक्रिया के रूप में पुनर्परिभाषित करता है, इन क्षेत्रों की पहचान करने के लिए नए मेट्रिक्स का उपयोग करता है और यह प्रकट करता है कि कई अवधारणाएं सूक्ष्म, बहुआयामी एलोकेशन क्षेत्रों में निवास करती हैं जो कारण संबंधी रूप से सक्रिय हैं फिर भी मानक पीक डिटेक्शन विधियों के लिए अदृश्य हैं।
यह शोधपत्र V2A को प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है विषम क्रॉस-डोमेन ऑफलाइन सुदृढीकरण लर्निंग (reinforcement learning) के लिए, जो प्रभावी पॉलिसी ट्रांसफर के लिए वैल्यू अलाइनमेंट और असाइनमेंट को एकीकृत करने हेतु टेम्पोरली-कंसिस्टेंट मोडैलिटी रिप्रेजेंटेशन लर्निंग, मोडैलिटी-अवेयर एडवांटेज लर्निंग और डेटा फ़िल्टरिंग को एकीकृत करके वैल्यू मिसअसाइनमेंट की महत्वपूर्ण समस्या का समाधान करता है।
यह शोध पत्र UniCo को पेश करता है, जो एक डेटा जनरेशन फ्रेमवर्क है जो पर्ल की कॉज़ल लैडर (Pearl's Causal Ladder) के across उच्च-गुणवत्ता वाला, विविध कॉज़ल प्रशिक्षण डेटा बनाता है, जो सिंथेटिक बेंचमार्क और वास्तविक दुनिया के अनुप्रयोगों दोनों में फाइन-ट्यून किए गए लार्ज लैंग्वेज मॉडल्स की कॉज़ल रीजनिंग क्षमताओं, सामान्यीकरण और निष्ठा को महत्वपूर्ण रूप से बढ़ाता है।
यह शोध पत्र DP-SGD-RC को प्रस्तुत करता है, जो एक नवीन रैंडमाइज्ड क्लिपिंग विधि है जो स्टोकैस्टिक ट्रेस एस्टीमेशन (stochastic trace estimation) का लाभ उठाकर प्रतिस्पर्धी गोपनीयता गारंटी और उपयोगिता बनाए रखते हुए बड़े भाषा मॉडल के लिए डिफरेंशियल प्राइवेट ट्रेनिंग के मेमोरी और कंप्यूटेशनल ओवरहेड को महत्वपूर्ण रूप से कम करता है।
यह शोध पत्र SEED का प्रस्ताव करता है, जो एक अर्ध-पर्यवेक्षित निरंतर शिक्षण (semi-supervised continual learning) ढांचा है जो सीमित लेबल वाले डेटा के साथ कॉन्सेप्ट ड्रिफ्ट के तहत प्रभावी ढंग से मैलवेयर का पता लगाने के लिए सक्रिय शिक्षण (active learning) और सिंगुलर वैल्यू डिकंपोजिशन के साथ एक अनुकूलित बाइनरी क्रॉस-एन्ट्रॉपी उद्देश्य को जोड़ता है, जो कमजोर सिमेंटिक संरचना वाले डेटासेट पर मौजूदा पदानुक्रमित कंट्रास्टिव लर्निंग (hierarchical contrastive learning) विधियों से काफी बेहतर प्रदर्शन करता है।
यह अध्ययन व्यवस्थित रूप से इस बात की जांच करता है कि क्लास इम्बैलेंस (वर्ग असंतुलन) डीप न्यूरल नेटवर्क्स की लर्निंग डायनेमिक्स को कैसे बाधित करता है, जो यह प्रकट करता है कि हालांकि मॉडल अंततः अल्पसंख्यक नमूनों को सीख लेते हैं, वे ऐसा अंडरफिटिंग के एक प्रारंभिक चरण के बाद ओवरफिटिंग के माध्यम से करते हैं जो गैर-सामान्यीकरण योग्य (non-generalizable) निरूपण उत्पन्न करता है।