25058 पेपर
यह शोध पत्र एक एकीकृत सूचना-सैद्धांतिक और ज्यामितीय ढांचे का प्रस्ताव करता है जो यह प्रकट करता है कि लार्ज विजन-लैंग्वेज मॉडल्स में अटेंशन मैकेनिज्म कार्यात्मक रूप से अनावश्यक और अक्सर गलत तरीके से आवंटित होते हैं, क्योंकि सीखे गए अटेंशन वेट्स को पूर्व-निर्धारित मानों से बदलने से तुलनीय या बेहतर प्रदर्शन प्राप्त किया जा सकता है।
यह योगदान टेम्पोरल फंक्शनल सर्किट्स (Temporal Functional Circuits) को प्रस्तुत करता है, जो गेटेड रेसिडुअल कोल्मोगोरोव-अर्नोव नेटवर्क (KANs) पर आधारित एक ढांचा है जो स्पष्ट एज फंक्शन्स (edge functions) को टाइम सीरीज़ फोरकास्टिंग के लिए विश्वसनीय, समय-आधारित स्पष्टीकरणों में परिवर्तित करता है, जिससे प्रतिस्पर्धी प्रदर्शन प्राप्त होता है और सीखे गए स्प्लाइन आकारों (spline shapes) के भविष्य कहनेवाला मूल्य का प्रदर्शन होता है।
यह शोध पत्र GCCM का प्रस्ताव करता है, जो एक ग्राफ कंट्रास्टिव कंसिस्टेंसी मॉडल है जो नेगेटिव पेयर्स और फीचर परटर्बेशन्स को पेश करके कंसिस्टेंसी ट्रेनिंग को ट्रिवियल डिटर्मिनिस्टिक शॉर्टकट्स में ढहने से रोकता है, जिससे स्थिर और बेहतर ग्राफ प्रेडिक्शन प्रदर्शन प्राप्त होता है।
यह शोध पत्र CFE-PPAR का प्रस्ताव करता है, जो गोपनीयता-संरक्षण क्रिया पहचान (privacy-preserving action recognition) के लिए पहला संपीड़न-अनुकूल (compression-friendly) एन्क्रिप्शन तरीका है, जो की-ट्रांसफॉर्मड वीडियो ट्रांसफॉर्मर का उपयोग करता है ताकि एन्क्रिप्टेड वीडियो को संपीड़ित करने पर भी उच्च पहचान प्रदर्शन और दृश्य गुणवत्ता को बनाए रखा जा सके।
यह शोध पत्र सैलिएंसी-अवेयर रेगुलराइज्ड क्वांटाइजेशन कैलिब्रेशन (SARQC) का प्रस्ताव करता है, जो एक एकीकृत ढांचा है जो कैलिब्रेशन ऑब्जेक्टिव में एक सैलिएंसी-अवेयर रेगुलराइजेशन टर्म पेश करके लार्ज लैंग्वेज मॉडल्स के लिए पोस्ट-ट्रेनिंग क्वांटाइजेशन को बेहतर बनाता है, जिससे बिना किसी इन्फरेंस ओवरहेड के जनरलाइजेशन जोखिमों को कम किया जाता है और डाउनस्ट्रीम प्रदर्शन में सुधार किया जाता है।
इर्मिन्सुल (Irminsul) एजेंटिक एलएलएम (Agentic LLMs) के लिए एक नेटिव पोजीशन-इंडिपेंडेंट कैशिंग सिस्टम पेश करता है जो कंटेंट-एड्रेस्ड की-वैल्यू कैशिंग को सक्षम करने के लिए मल्टी-हेड लेटेंट अटेंशन (Multi-Head Latent Attention) की आर्किटेक्चरल संरचना का लाभ उठाता है, जिससे पारंपरिक प्रीफिक्स-मैचिंग दृष्टिकोणों में निहित कैश इनवैलिडेशन समस्याओं को दूर करते हुए 83% तक प्रॉम्प्ट टोकन रिकवरी और 63% प्रीफिल ऊर्जा बचत प्राप्त होती है।
यह शोध पत्र प्रदर्शित करता है कि Apple Silicon पर, int4 KV कैश क्वांटाइजेशन के लिए एक विशेष फ्यूज्ड मेटल कर्नेल न केवल मॉडल की गुणवत्ता को बनाए रखता है, बल्कि यूनिफाइड मेमोरी बैंडविड्थ और उन्नत रोटेशन तकनीकों का लाभ उठाकर प्रति-टोकन गिरावट को समाप्त करते हुए लेटेंसी में fp16 से बेहतर प्रदर्शन भी करता है।
यह शोध पत्र एक 'वैल्यू-ऑफ-इन्फॉर्मेशन-ड्रिवन' सर्च कंट्रोलर और एक चयनात्मक साक्ष्य-आधारित फाइनलाइज़र के माध्यम से मल्टी-हॉप क्यू-एंड-ए (QA) के दौरान दोहरे बजट (टूल कॉल्स और टोकन) को गतिशील रूप से आवंटित करने वाले एलएलएम (LLM) सर्च एजेंटों के लिए एक द्वि-चरणीय इन्फरेंस-टाइम बजट नियंत्रण ढांचे का प्रस्ताव करता है, जो कई बेंचमार्क और मॉडलों में बेसलाइन की तुलना में निरंतर प्रदर्शन लाभ प्राप्त करता है।
यह शोध पत्र मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में इंटेंट-ओब्फस्केशन (इरादा छिपाने वाले) जेलब्रेक्स को नियंत्रित करने वाले एक रिकंस्ट्रक्शन-कंसीलमेंट (पुनर्निर्माण-गोपन) ट्रेडऑफ की पहचान करता है और एक नई हमला रणनीति प्रस्तावित करता है जो इरादे को छिपाने और पुनर्निर्माण क्षमता के बीच प्रभावी ढंग से संतुलन बनाने के लिए कैरेक्टर-रिमूव्ड वेरिएंट्स और कीवर्ड-संबंधित डिस्ट्रैक्टर इमेजेस का लाभ उठाती है, जिससे मौजूदा तरीकों से बेहतर प्रदर्शन होता है।
यह शोध पत्र प्रदर्शित करता है कि यद्यपि मेडिकल LLMs में एक विशिष्ट "ओवरथिंकिंग" विफलता मोड (failure mode) को हिडन स्टेट्स (hidden states) से रैखिक रूप से डिकोड (linearly decodable) किया जा सकता है, फिर भी इसे कार्य-महत्वपूर्ण गणनाओं के साथ प्रतिनिधित्व संबंधी उलझाव (representational entanglement) के कारण फिक्स्ड लीनियर स्टीयरिंग (fixed linear steering) के माध्यम से सुधारा नहीं जा सकता है, हालांकि यही प्रोब (probe) चयनात्मक परहेज (selective abstention) को सक्षम करने के लिए विफलताओं का पता लगाने में प्रभावी बना रहता है।