10753 पेपर
ReGATE एक शिक्षक-छात्र (teacher-student) ढांचा है जो गाइडेंस लॉस और कठिनाई अनुमानों का उपयोग करके अनावश्यक टोकन को अनुकूल रूप से हटाकर (adaptively pruning) मल्टीमॉडल लार्ज लैंग्वेज मॉडल प्रशिक्षण को गति प्रदान करता है, जिससे कुल टोकन खपत को काफी कम करते हुए तेज़ अभिसरण (faster convergence) और बेहतर प्रदर्शन प्राप्त होता है।
यह अध्ययन प्रदर्शित करता है कि लक्ष्य-उन्मुख कार्यों में, मध्यम स्तर की व्यक्तित्व अभिव्यक्ति और उपयोगकर्ता के लक्षणों (विशेष रूप से बहिर्मुखता और भावनात्मक स्थिरता) के साथ रणनीतिक संरेखण वाले संवादात्मक एजेंट सबसे सकारात्मक उपयोगकर्ता धारणाएं उत्पन्न करते हैं, जो एक उलटे-यू (inverted-U) संबंध का निर्माण करते हैं जहाँ मध्यम अभिव्यक्ति निम्न और उच्च दोनों चरम सीमाओं से बेहतर प्रदर्शन करती है।
यह योगदान SAT ग्राफ API को प्रस्तुत करता है, जो एक मानक प्रिमिटिव इंटरफ़ेस है जो LLM अनिश्चितता को इरादे के अनुवाद और नैरेटिव संश्लेषण तक सीमित करके सत्यापन योग्य, नियत कानूनी तर्क को सक्षम बनाता है, जबकि सभी संरचनात्मक, लौकिक और कारण संबंधी ग्राफ ट्रैवर्सल विश्वसनीय प्रतीकात्मक संचालन के माध्यम से निष्पादित किए जाते हैं।
यह शोध पत्र WebAggregator को प्रस्तुत करता है, जो एक डेटा सिंथेसिस पाइपलाइन है जो एक क्यूरेटेड 10K SFT डेटासेट के माध्यम से डीप रिसर्च एजेंटों को रिट्रीवल-हैवी (सूचना प्राप्ति-प्रधान) से कंपोजिशन-फोकस्ड (संयोजन-केंद्रित) रीजनिंग की ओर स्थानांतरित करती है, जिससे एक 32B मॉडल बेंचमार्क पर शीर्ष-स्तरीय सिस्टम्स को पछाड़ने में सक्षम होता है और यह प्रदर्शित करता है कि अगली पीढ़ी के रिसर्च एजेंटों के लिए रिट्रीवल के बजाय कंपोजिशनल रीजनिंग ही प्राथमिक बाधा है।
यह शोध पत्र प्रदर्शित करता है कि मैपर (Mapper), जो एक टोपोलॉजिकल डेटा विश्लेषण उपकरण है, यह प्रकट करता है कि कैसे फाइन-ट्यून्ड लैंग्वेज मॉडल्स एम्बेडिंग स्पेस को मॉड्यूलर, उच्च-शुद्धता वाले क्षेत्रों में पुनर्गठित करते हैं जो मानव एनोटेटरों के बीच असहमति होने पर भी संरचनात्मक आत्मविश्वास बनाए रखते हैं, जो PCA या UMAP जैसे पारंपरिक विज़ुअलाइज़ेशन तरीकों की तुलना में मॉडल की अस्पष्टता को समझने के लिए एक बेहतर नैदानिक ढांचा प्रदान करता है।
यह शोध पत्र दीर्घ-दस्तावेज़ सारांशीकरण (long-document summarization) पर छह संदर्भ-मुक्त तथ्यात्मक निरंतरता मेट्रिक्स का व्यवस्थित रूप से मूल्यांकन करता है, जो तथ्य-संरक्षण संबंधी परिवर्तनों (factuality-preserving perturbations) की एक श्रृंखला के माध्यम से लंबी दूरी की निर्भरताओं और सूचना-सघन दावों को संभालने में उनकी महत्वपूर्ण सीमाओं को प्रकट करता है, और साथ ही भविष्य के सुधारों के लिए विशिष्ट दिशाएँ प्रस्तावित करता है।
यह शोध पत्र FLy को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) स्पेक्युलेटिव डिकोडिंग विधि है जो सख्त सटीक-मिलान सत्यापन (exact-match verification) को एक सिमेंटिक वैधता जांच (semantic validity check) से बदलकर लार्ज लैंग्वेज मॉडल इन्फरेंस को त्वरित करती है, जिससे सटीकता बनाए रखते हुए और मॉडलों एवं आउट-ऑफ-डिस्ट्रीब्यूशन कार्यों में प्रभावी ढंग से सामान्यीकरण करते हुए महत्वपूर्ण गति प्राप्त होती है।
यह शोध पत्र क्रॉस-आर्किटेक्चर प्रॉक्सी ट्यूनिंग (CAPT) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त विधि है जो मॉडल एंसेम्बलिंग और कंट्रास्टिव डिकोडिंग के माध्यम से मौजूदा लीगेसी क्लिनिकल मॉडल्स का लाभ उठाकर नई पीढ़ी के जनरल-डोमेन LLMs को क्लिनिकल डोमेन के अनुकूल बनाती है, जिससे बिना किसी महंगी रिट्रेनिंग के बेहतर प्रदर्शन प्राप्त होता है।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में "सेलेक्टिव सेफ्टी ट्रैप" (चयनात्मक सुरक्षा जाल) को उजागर करता है, जहाँ सुरक्षा संरेखण एक जनसांख्यिकीय पदानुक्रम बनाता है जो अल्पप्रतिनिधित्व वाले समूहों को असुरक्षित छोड़ देता है, और सभी आबादी के लिए न्यायसंगत, हस्तांतरणीय सुरक्षा प्राप्त करने हेतु एक नए द्विभाषी बेंचमार्क (MiJaBench) और लक्षित अनुकूलन पद्धति का प्रस्ताव करता है।
AdaFRUGAL एक अनुकूलनशील ढांचा (adaptive framework) है जो गतिशील मेमोरी न्यूनीकरण और लॉस-अवेयर अपडेट शेड्यूलिंग के माध्यम से ग्रेडिएंट-स्प्लिटिंग मापदंडों के फाइन-ट्यूनिंग को स्वचालित करता है, जिससे प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए कम GPU मेमोरी और समय की आवश्यकताओं के साथ लार्ज लैंग्वेज मॉडल्स के कुशल और स्वायत्त प्रशिक्षण को सक्षम बनाया जा सके।