10125 पेपर
TaxoBell एक नवीन गॉसियन बॉक्स एम्बेडिंग फ्रेमवर्क पेश करता है जो बहुभिन्नरूपी (multivariate) गॉसियन वितरणों का लाभ उठाकर सिमेंटिक अनिश्चितता और असममित पदानुक्रमित संबंधों को मॉडल करता है, जिससे मौजूदा पॉइंट-आधारित और पारंपरिक बॉक्स विधियों की सीमाओं को दूर करते हुए स्व-पर्यवेक्षित वर्गीकरण विस्तार (self-supervised taxonomy expansion) में अत्याधुनिक प्रदर्शन प्राप्त होता है।
यह शोध पत्र Gap-K% का प्रस्ताव करता है, जो एक नवीन विधि है बड़े भाषा मॉडलों (Large Language Models) में प्रीट्रेनिंग डेटा का पता लगाने के लिए, जो बेंचमार्क डेटासेट पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए टॉप-1 प्रेडिक्शन और टारगेट टोकन के बीच लॉग प्रोबेबिलिटी गैप को एक स्लाइडिंग विंडो रणनीति के साथ जोड़ता है।
यह शोध पत्र SERA को प्रस्तुत करता है, जो सॉफ्ट वेरीफाइड जनरेशन का उपयोग करने वाली एक लागत प्रभावी विधि है, जिसका उपयोग निजी कोडबेस के लिए विशेष रूप से प्रशिक्षित ओपन-सोर्स कोडिंग एजेंटों को सुपरवाइज्ड फाइन-ट्यूनिंग के माध्यम से प्रशिक्षित करने के लिए किया जाता है, जो सुदृढीकरण लर्निंग (reinforcement learning) या पिछले सिंथेटिक डेटा दृष्टिकोणों की तुलना में बहुत कम लागत पर अग्रणी ओपन-वेट मॉडल्स के समान प्रदर्शन प्राप्त करता है।
यह शोध पत्र COVER को प्रस्तुत करता है, जो एक संदर्भ-संरक्षण सत्यापन विधि (context-preserving verification method) है जो कुशल, उच्च-गुणवत्ता वाले समानांतर टोकन जनरेशन को सक्षम करने के लिए KV कैश ओवरराइड और एक स्थिरता-जागरूक स्कोरिंग तंत्र का उपयोग करके फास्ट रिवोकेबल डिफ्यूजन डिकोडिंग में फ्लिप-फ्लॉप दोलनों (flip-flop oscillations) को समाप्त करती है।
यह शोध पत्र Clean-PR को प्रस्तुत करता है, जो एक मिड-ट्रेनिंग प्रतिमान (paradigm) है जो पुनर्गठित (reconstructed) GitHub पुल रिक्वेस्ट के एक विशाल संग्रह का लाभ उठाता है ताकि मॉडल रिपॉजिटरी-स्तरीय कोड संपादन क्षमताओं को आत्मसात कर सकें, जो जटिल एजेंट स्कैफोल्डिंग पर निर्भर हुए बिना SWE-bench पर बेसलाइन से काफी बेहतर प्रदर्शन करता है।
ParisKV एक ड्रिफ्ट-रोबस्ट (drift-robust), GPU-नेटिव KV-कैश रिट्रीवल फ्रेमवर्क है जो मिलियन-टोकन कॉन्टेक्स्ट के लिए स्टेट-ऑफ-द-आर्ट डिकोडिंग दक्षता और स्केलेबिलिटी प्राप्त करने के लिए कोलिजन-आधारित कैंडिडेट सिलेक्शन और क्वांटाइज्ड रिरैंकिंग का लाभ उठाता है, जो गति और मेमोरी क्षमता दोनों में मौजूदा बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
यह शोधपत्र एक ऐसे ढांचे का प्रस्ताव करता है जो भाषा मॉडल एजेंटों में लक्ष्य-निर्देशितता (goal-directedness) का मूल्यांकन करने के लिए व्यवहारिक परीक्षण को व्याख्यात्मक विश्लेषण (interpretability analysis) के साथ जोड़ता है, और ग्रिड-वर्ल्ड केस स्टडी के माध्यम से यह प्रदर्शित करता है कि जबकि एजेंट सुदृढ़ प्रदर्शन प्रदर्शित करते हैं, उनके स्थानिक मानचित्रों (spatial maps) और कार्य योजनाओं (action plans) के आंतरिक प्रतिनिधित्व तर्क प्रक्रिया के दौरान गैर-रेखीय पुनर्गठन (non-linear reorganization) से गुजरते हैं, जो केवल व्यवहारिक अवलोकन से परे आत्मनिरीक्षण संबंधी जांच की आवश्यकता को रेखांकित करता है।
यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडलों के प्रीट्रेनिंग के दौरान वेट डिके (weight decay) बढ़ाने से उनकी डाउनस्ट्रीम प्लास्टिसिटी और फाइन-ट्यूनिंग प्रदर्शन में वृद्धि होती है, भले ही इसके परिणामस्वरूप प्रीट्रेनिंग वैलिडेशन लॉस अधिक हो जाए, क्योंकि यह रैखिक रूप से विभाज्य (linearly separable) निरूपणों को बढ़ावा देता है और अटेंशन मैकेनिज्म को नियमित (regularize) करता है।
यह शोध पत्र SCOPE का प्रस्ताव करता है, जो एक नए द्विदिश वरीयता एंट्रॉपी (Bidirectional Preference Entropy - BPE) अनिश्चितता संकेत को चयनात्मक कॉन्फॉर्मल प्रेडिक्शन (selective conformal prediction) के साथ जोड़कर LLM युग्म जजों (pairwise judges) को कैलिब्रेट करने का एक ढांचा है, जिससे मानक बेसलाइन की तुलना में विश्वसनीय त्रुटि नियंत्रण और काफी अधिक निर्णय कवरेज प्राप्त होता है।