23609 पेपर
यह शोध पत्र कॉम्प्लीमेंट सबमॉड्यूलर इंफॉर्मेशन (CSI) प्रस्तुत करता है, जो उद्देश्यों का एक नया वर्ग है जो संतुलित, सुदृढ़ डेटा चयन प्राप्त करने के लिए एक चयनित उपसमुच्चय (subset) और उसके पूरक (complement) के बीच संरचनात्मक संबंधों को मापता है, जिसमें लगभग इष्टतम ग्रीडी एप्रोक्सिमेशन गारंटी और बेहतर डाउनस्ट्रीम प्रदर्शन मिलता है।
यह शोध पत्र "परसेप्शन-फिजिक्स पैराडॉक्स" (Perception-Physics Paradox) को प्रस्तुत करता है ताकि यह रेखांकित किया जा सके कि कैसे विजन फाउंडेशन मॉडल्स अक्सर वैज्ञानिक डोमेन में भौतिक अपरिवर्तनीयताओं (physical invariants) के बजाय दृश्य सहसंबंधों (visual correlations) पर निर्भर करते हैं, और संरचनात्मक समरूपता (structural isomorphism) के माध्यम से "वैज्ञानिक संरेखण" (scientific alignment) का प्रस्ताव देता है तथा नए TC-Bench डेटासेट के माध्यम से यह प्रदर्शित करता है कि वर्तमान मॉडल उच्च भविष्य कहनेवाला प्रदर्शन (predictive performance) के बावजूद चरम स्थितियों (extreme regimes) में सही ढंग से तर्क करने में विफल रहते हैं।
CONF-KV एक नवीन KV कैश इविक्शन रणनीति है जो मॉडल के प्रति-चरण भविष्यवाणी आत्मविश्वास के आधार पर गतिशील रूप से कैश बजट को समायोजित करती है और लंबी अवधि के LLM इन्फरेंस के लिए उच्च रिट्रीवल सटीकता और कार्य प्रदर्शन बनाए रखते हुए मेमोरी उपयोग को महत्वपूर्ण रूप से कम करने के लिए मिश्रित-परिशुद्धता स्टोरेज का उपयोग करती है।
यह शोध पत्र गॉसियन मिश्रण एंडपॉइंट्स के बीच श्रोडिंगर ब्रिज को हल करने के लिए एक लिफ्टेड पाथ-स्पेस फ्रेमवर्क पेश करता है, जो समस्या को घटक-वार गॉसियन ब्रिज और एक एंट्रोपिक कपलिंग कार्य में विभाजित करके किया जाता है, साथ ही लेबल वाले समाधान से अनलेबल मार्जिनल फ्लो को पुनः प्राप्त करते समय उत्पन्न होने वाले सूचना-सैद्धांतिक प्रोजेक्शन गैप का विश्लेषण भी करता है।
यह शोध पत्र डेटा संदूषण (डेटा कंटैमिनेशन) के कारण बढ़े हुए टेस्ट स्कोर को ठीक करने के लिए एक विधि प्रस्तावित करता है, जिसमें मेमोराइजेशन प्रेडिक्टर्स (स्मरण भविष्यवक्ताओं) को कैलिब्रेट करने के लिए ज्ञात टेस्ट उदाहरणों के साथ प्रशिक्षण डेटा को जानबूझकर "स्पाइकिंग" (स्पाइक) किया जाता है, जिनका उपयोग फिर मॉडल प्रदर्शन मेट्रिक्स को सांख्यिकीय रूप से समायोजित करने के लिए किया जाता है।
DriftingMol एक कम लागत वाला, वन-पास फ्रेमवर्क पेश करता है जो एक नवीन डिकोडर-कपल्ड ड्रिफ्ट मैकेनिज्म के माध्यम से डिकोडर के फीचर मैप के माध्यम से ग्रेडिएंट्स को बैकप्रोपैगेट करके, एक DiT जनरेटर को एक फ्रोजन SELFIES डिकोडर के साथ जोड़कर उच्च वैधता, विविधता और लक्षित गुण सहसंबंध (target property correlation) प्राप्त करता है।
यह शोध पत्र कॉन्सेप्ट एलोकेशन ज़ोन (CAZ) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो ट्रांसफार्मर मॉडलों में अवधारणा निर्माण (concept formation) को किसी एक "सर्वश्रेष्ठ" परत के बजाय रेसिडुअल स्ट्रीम के एक निरंतर क्षेत्र में होने वाली एक गहराई-विस्तारित प्रक्रिया के रूप में पुनर्परिभाषित करता है, इन क्षेत्रों की पहचान करने के लिए नए मेट्रिक्स का उपयोग करता है और यह प्रकट करता है कि कई अवधारणाएं सूक्ष्म, बहुआयामी एलोकेशन क्षेत्रों में निवास करती हैं जो कारण संबंधी रूप से सक्रिय हैं फिर भी मानक पीक डिटेक्शन विधियों के लिए अदृश्य हैं।
यह शोधपत्र V2A को प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है विषम क्रॉस-डोमेन ऑफलाइन सुदृढीकरण लर्निंग (reinforcement learning) के लिए, जो प्रभावी पॉलिसी ट्रांसफर के लिए वैल्यू अलाइनमेंट और असाइनमेंट को एकीकृत करने हेतु टेम्पोरली-कंसिस्टेंट मोडैलिटी रिप्रेजेंटेशन लर्निंग, मोडैलिटी-अवेयर एडवांटेज लर्निंग और डेटा फ़िल्टरिंग को एकीकृत करके वैल्यू मिसअसाइनमेंट की महत्वपूर्ण समस्या का समाधान करता है।
यह शोध पत्र UniCo को पेश करता है, जो एक डेटा जनरेशन फ्रेमवर्क है जो पर्ल की कॉज़ल लैडर (Pearl's Causal Ladder) के across उच्च-गुणवत्ता वाला, विविध कॉज़ल प्रशिक्षण डेटा बनाता है, जो सिंथेटिक बेंचमार्क और वास्तविक दुनिया के अनुप्रयोगों दोनों में फाइन-ट्यून किए गए लार्ज लैंग्वेज मॉडल्स की कॉज़ल रीजनिंग क्षमताओं, सामान्यीकरण और निष्ठा को महत्वपूर्ण रूप से बढ़ाता है।
यह शोध पत्र DP-SGD-RC को प्रस्तुत करता है, जो एक नवीन रैंडमाइज्ड क्लिपिंग विधि है जो स्टोकैस्टिक ट्रेस एस्टीमेशन (stochastic trace estimation) का लाभ उठाकर प्रतिस्पर्धी गोपनीयता गारंटी और उपयोगिता बनाए रखते हुए बड़े भाषा मॉडल के लिए डिफरेंशियल प्राइवेट ट्रेनिंग के मेमोरी और कंप्यूटेशनल ओवरहेड को महत्वपूर्ण रूप से कम करता है।