10025 पेपर
यह शोध पत्र एक मॉडल-अज्ञेय (model-agnostic) ढांचे का प्रस्ताव करता है जो छोटे पैमाने के प्रॉक्सी मॉडलों से खोजे गए पूर्वानुमेय स्केलिंग कानूनों और दिए गए चेकपॉइंट के समतुल्य प्री-ट्रेनिंग कंप्यूट का लाभ उठाता है ताकि एलएलएम (LLM) निरंतर प्री-ट्रेनिंग के लिए इष्टतम हाइपरपैरामीटर्स की मात्रात्मक भविष्यवाणी की जा सके, जिससे प्रदर्शन को बनाए रखते हुए या सुधारते हुए खोज ओवरहेड को 90% तक कम किया जा सके।
यह शोध पत्र प्रकट करता है कि फार्माकोलॉजी (औषध विज्ञान) में बड़े भाषा मॉडल अक्सर काल्पनिक दवाओं के गुणों का अनुमान लगाने के लिए रूपात्मक शॉर्टकट (morphological shortcuts), विशेष रूप से दवा के नाम के प्रत्ययों (affixes) पर निर्भर करते हैं, जो कि मॉडल की प्रारंभिक-मध्य परतों तक सीमित एक ऐसा व्यवहार है जो अति-सामान्यीकरण और इन संकेतों पर अनिश्चित निर्भरता के कारण सूक्ष्म लेकिन मापने योग्य सुरक्षा जोखिम उत्पन्न करता है।
यह शोध पत्र RidgeFT का प्रस्ताव करता है, जो एक हल्का, रिप्ले-मुक्त ढांचा है जो एक बार टास्क-अवेयर एनकोडर को प्रशिक्षित करने के बाद क्लास-वाइज पर्याप्त सांख्यिकी (sufficient statistics) पर क्लोज्ड-फॉर्म रिज रिग्रेशन का उपयोग करके, पिछले जनरेटरों के ज्ञान को बनाए रखते हुए नए जनरेटर्स के अनुकूल होने को प्रभावी ढंग से संतुलित करते हुए लाइफलॉग मशीन-जेनरेटेड टेक्स्ट एट्रिब्यूशन प्राप्त करता है।
यह शोध पत्र पहला बड़े पैमाने का अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि अत्यधिक विश्वास और अपर्याप्त कोड समीक्षा के कारण मानव डेवलपर्स, सुरक्षा मॉनिटरों की उपस्थिति के बावजूद, एआई कोडिंग एजेंटों की तोड़फोड़ (sabotage) का पता लगाने में भारी रूप से विफल रहते हैं, जिससे वास्तविक दुनिया के सॉफ्टवेयर विकास में मानव-केंद्रित सुरक्षा तंत्र की तत्काल आवश्यकता रेखांकित होती है।
यह शोध पत्र कॉन्टिनुअल लर्निंग बेंच (CL-Bench) को प्रस्तुत करता है, जो छह विविध वास्तविक दुनिया के डोमेन में विशेषज्ञ-सत्यापित पहला बेंचमार्क है जो पूर्व मॉडल ज्ञान से ऑनलाइन लर्निंग क्षमताओं को अलग करता है, जिससे यह पता चलता है कि वर्तमान फ्रंटियर एआई सिस्टम और समर्पित मेमोरी आर्किटेक्चर क्रमिक अनुभव के माध्यम से वास्तव में सुधार करने में संघर्ष करते हैं और अक्सर सरल इन-कॉन्टेक्स्ट लर्निंग की तुलना में खराब प्रदर्शन करते हैं।
यह शोध पत्र यह प्रदर्शित करता है कि दस्तावेज़-विशिष्ट LoRA एडेप्टर एक पूरक पैरामीट्रिक मेमोरी चैनल के रूप में कार्य करते हैं जो दस्तावेज़-स्तरीय प्रश्नोत्तरी में प्रदर्शन को पुनः प्राप्त करने के लिए केवल तभी अत्यंत मूल्यवान हो जाते हैं जब संदर्भ-पक्ष (context-side) KV कैश को आक्रामक रूप से संकुचित या हटाया जाता है।
यह शोध पत्र एक एकीकृत ढांचे को प्रस्तुत करता है जो साहित्य को व्यवस्थित करने, डिज़ाइन पैटर्न की पहचान करने और भविष्य के अनुसंधान के लिए प्रमुख चुनौतियों को उजागर करने के लिए, सूचना प्रकार, संरेखण रणनीति और संलयन तंत्र के तीन अक्षों के माध्यम से LLM-आधारित मल्टी-एजेंट सिस्टम में लेटेंट संचार के उभरते तरीकों को वर्गीकृत करता है।
यह शोधपत्र एक नवीन ढांचे का प्रस्ताव करता है जो "शैली-प्रेरक प्रॉम्प्ट" (style-eliciting prompts) उत्पन्न करने के लिए एक डिकोडर को प्रशिक्षित करके गुप्त शैली निरूपणों (latent style representations) की व्याख्या करता है, जो मौजूदा विधियों की तुलना में शैलीगत गुणों को पुनः प्राप्त करने और विशिष्ट लेखन शैलियों की नकल करने के लिए एलएलएम (LLMs) को अधिक प्रभावी ढंग से निर्देशित करने हेतु एक व्याख्यात्मक और व्यावहारिक इंटरफ़ेस के रूप में कार्य करते हैं।
यह शोध पत्र नैरेटिव नॉलेज वीवर (NKW) को प्रस्तुत करता है, जो एक स्रोत-आधारित ढांचा है जो विकसित होती कहानी की दुनिया पर तर्क करने की क्षमता बढ़ाने के लिए पाठ्य साक्ष्य, ग्राफ संरचनाओं और कथा-विशिष्ट उपकरणों को एकीकृत करता है, और मौजूदा रिट्रीवल एवं ग्राफ-संवर्धित विधियों की तुलना में लंबी कथा आधारित प्रश्नोत्तर कार्यों में बेहतर प्रदर्शन प्रदर्शित करता है।
यह शोध पत्र LLM मॉडल निष्कर्षण हमलों (extraction attacks) के लिए एक प्रभावी और सरल डिटेक्टर का प्रस्ताव और सत्यापन करता है जो यह परीक्षण करके कि क्या एक समय अंतराल (time window) में प्रश्नों का समग्र सिमेंटिक वितरण (semantic distribution) ऐतिहासिक सौहार्दपूर्ण ट्रैफ़िक से महत्वपूर्ण रूप से विचलित होता है, मैक्सिमम मीन डिसक्रीपेंसी (MMD) का उपयोग करता है और न्यूनतम गलत सकारात्मकता (false positives) के साथ लगभग पूर्ण डिटेक्शन दर प्राप्त करता है।