11611 पेपर
MemAdapter एक एकीकृत मेमोरी रिट्रीवल फ्रेमवर्क है जो एक जेनेरेटिव सबग्राफ रिट्राइवर और एक लाइटवेट अलाइनमेंट मॉड्यूल का उपयोग करता है ताकि LLM-आधारित एजेंटों के लिए तेज़, कुशल और उच्च-प्रदर्शन वाला क्रॉस-पैराडाइम मेमोरी फ्यूजन सक्षम किया जा सके।
प्रिज्म (Prism) एक ट्रेनिंग-फ्री, ब्लॉक-स्पार्स अटेंशन मैकेनिज्म है जो रोटरी पोजीशनल एम्बेडिंग्स (RoPE) में मीन पूलिंग के कारण स्थानीय पोजीशनल जानकारी के नुकसान को सुधारने के लिए एक स्पेक्ट्रल-अवेयर दृष्टिकोण का उपयोग करके 5.1 तक की स्पीडअप प्राप्त करता है।
यह शोधपत्र 'रिनफोर्समेंट लर्निंग विद ट्रांसफ़रेबल रिवॉर्ड' (RLTR) को प्रस्तुत करता है, जो एक नवीन दृष्टिकोण है जो LLM तर्क (reasoning) की सुदृढ़ता और सैंपल दक्षता को बढ़ाता है, जिसमें मॉडल को केवल अंतिम उत्तर की शुद्धता पर ध्यान केंद्रित करने के बजाय, ऐसे तर्क चरणों (reasoning steps) को उत्पन्न करने के लिए प्रशिक्षित किया जाता है जो अलग मॉडलों को निर्देशित करने के लिए स्थानांतरित होने पर भी प्रभावी बने रहते हैं।
यह शोध पत्र ALOPE-RL प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो मानव-एनोटेटेड अनुवाद टिप्पणियों और स्कोर से त्रुटि-जागरूक पुरस्कारों का लाभ उठाता है ताकि कॉम्पैक्ट लार्ज लैंग्वेज मॉडल्स को संदर्भ अनुवादों पर निर्भर किए बिना कम-संसाधन वाले अंग्रेजी-मलयालम भाषा युग्म के लिए अत्याधुनिक गुणवत्ता अनुमान प्रदर्शन प्राप्त करने में सक्षम बनाया जा सके।
यह शोध पत्र मल्टी-लेयर प्रोटोटाइप मॉडरेटर (MLPM) को प्रस्तुत करता है, जो एक हल्का और अनुकूलन योग्य इनपुट मॉडरेशन टूल है जो बड़े भाषा मॉडलों (LLMs) को तैनात करने में दक्षता और अनुकूलन क्षमता की चुनौतियों को प्रभावी ढंग से संबोधित करते हुए, अत्याधुनिक सुरक्षा प्रदर्शन प्राप्त करने के लिए इंटरमीडिएट लेयर प्रोटोटाइप का लाभ उठाता है।
यह शोध पत्र लंबे संदर्भ वाले भाषा मॉडलों (long-context language models) में पैरामीट्रिक ज्ञान के अल्प-अन्वेषित प्रभाव की जांच करता है, जो यह प्रकट करता है कि यह संदर्भ की लंबाई के साथ अधिक महत्वपूर्ण होता जाता है और मजबूत बाह्य पुनर्प्राप्ति क्षमताओं (extrinsic retrieval abilities) द्वारा बाधित हो सकता है, जिससे लेखक एक हाइब्रिड नीडल-इन-ए-हेस्टैक टेस्ट (Hybrid Needle-in-a-Haystack test) प्रस्तावित करते हैं जो यह प्रदर्शित करता है कि इस दोहरी-क्षमता परिप्रेक्ष्य पर मूल्यांकन किए जाने पर Qwen-2.5 मॉडल, Llama-3.1 मॉडलों से बेहतर प्रदर्शन करते हैं।
FLAT-LLM एक तेज़, प्रशिक्षण-मुक्त संरचनात्मक संपीड़न विधि है जो हेड-वार PCA और अनुकूलित रैंक आवंटन के माध्यम से सूक्ष्म-स्तरीय लो-रैंक एक्टिवेशन स्पेस ट्रांसफॉर्मेशन का उपयोग करती है ताकि बिना किसी रिकवरी फाइन-ट्यूनिंग की आवश्यकता के, उच्च सटीकता बनाए रखते हुए LLM मॉडल के आकार को महत्वपूर्ण रूप से कम करने और अनुमान गति में सुधार करने के लिए।
यह शोध पत्र 20,000 से अधिक GitHub रिपॉजिटरीज़ का विश्लेषण करने वाले एक अग्रणी बड़े पैमाने के अनुभवजन्य अध्ययन को प्रस्तुत करता है जो यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (Large Language Models) वास्तविक दुनिया की प्रोग्रामिंग शैलियों को मापने योग्य रूप से बदल रहे हैं, जिसका प्रमाण snake_case नामकरण परंपराओं के प्रति बढ़ते अनुपालन और कोड जटिलता एवं रखरखाव क्षमता में बदलाव जैसे रुझानों से मिलता है।
D-SCoRE एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो किसी भी टेक्स्ट स्रोत से स्वतः ही विविध, उच्च-गुणवत्ता वाले चेन-ऑफ-थॉट (Chain-of-Thought) QA डेटासेट उत्पन्न करता है, जिससे इसके आउटपुट पर फाइन-ट्यून किए गए लार्ज लैंग्वेज मॉडल्स, मानव-एनोटेटेड डेटा पर प्रशिक्षित मॉडल्स से बेहतर प्रदर्शन करने में सक्षम होते हैं जबकि उपभोक्ता-ग्रेड हार्डवेयर पर कुशलतापूर्वक कार्य करते हैं।
यह शोध पत्र GIRCSE को प्रस्तुत करता है, जो एक नवीन ढांचा है जो सिमेंटिक (semantic) निरूपणों को पुनरावृत्ति से परिष्कृत करने के लिए ऑटोरेग्रेसिव जनरेशन और एक इटरेटिव कॉन्ट्रास्टिव रिफाइनमेंट (Iterative Contrastive Refinement) उद्देश्य का लाभ उठाता है, जो बेंचमार्क पर मौजूदा एनकोडर-ओनली (encoder-only) LLM एम्बेडिंग्स से बेहतर प्रदर्शन करता है और उभरती हुई टेस्ट-टाइम स्केलिंग क्षमताओं का प्रदर्शन करता है।