24514 पेपर
यह शोधपत्र कारण संबंधी साक्ष्य प्रदान करता है कि बड़े भाषा मॉडल (large language models) एक दोहरी प्रक्रिया के माध्यम से इन-कॉन्टेक्स्ट ग्राफ संरचनाओं को सीखते हैं, जहाँ वास्तविक वैश्विक टोपोलॉजी अनुमान (global topology inference) और स्थानीय पैटर्न मिलान (local pattern matching) एक एकल रणनीति पर निर्भर रहने के बजाय एक साथ संचालित होते हैं।
यह शोध पत्र AdamFLIP प्रस्तुत करता है, जो एक नवीन अनुकूलन ढांचा (optimization framework) है जो फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क (PINN) प्रशिक्षण को एडेप्टिव मोमेंटम फीडबैक लीनियराइजेशन का उपयोग करके लैग्रेंज मल्टीप्लायर्स को गतिशील रूप से कंप्यूट करने वाले एक हार्ड-कंस्ट्रेंड समस्या के रूप में पुनर्गठित करता है, जिससे मानक सॉफ्ट-कंस्ट्रेंड विधियों की तुलना में बाधा संतुष्टि (constraint satisfaction) में महत्वपूर्ण सुधार होता है और समाधान त्रुटियों को कम किया जाता है।
यह निबंध तर्क देता है कि न्यायशास्त्र (jurisprudence) और एआई अलाइनमेंट (AI alignment) भाषा के माध्यम से शक्तिशाली अभिनेताओं के निर्णयों की भविष्यवाणी करने और उन्हें आकार देने में एक मौलिक संरचना साझा करते हैं, जो यह प्रस्तावित करता है कि ड्वोर्किन के व्याख्यात्मकवाद (Dworkin's interpretivism) और सनस्टीन के सादृश्य तर्क (Sunstein's analogical reasoning) जैसे कानूनी सिद्धांतों से प्राप्त अंतर-विषयक अंतर्दृष्टि एआई अलाइनमेंट रणनीतियों को परिष्कृत कर सकती है, जबकि एआई प्रगति, बदले में, कानूनी सिद्धांत को सुधारने के लिए नए दृष्टिकोण प्रदान करती है।
यह शोध पत्र Queryable LoRA प्रस्तुत करता है, जो एक पैरामीटर-कुशल फाइन-ट्यूनिंग विधि है जो स्टैटिक लो-रैंक एडेप्टर को अटेंशन के माध्यम से रूट किए गए और निर्देशों द्वारा नियमित किए गए अपडेट परमाणुओं (atoms) की एक साझा, क्वेरेबल मेमोरी से बदल देती है, जिससे डायनेमिक, संदर्भ-संवेदनशील अनुकूलन सक्षम होता है जो मानक दृष्टिकोणों की तुलना में प्रदर्शन और स्थिरता में सुधार करता है।
यह शोध पत्र MEEC-Net को प्रस्तुत करता है, जो एक मेश-मुक्त (meshfree) एक्सटीरियर कैलकुलस फ्रेमवर्क है जो एक विभेदनीय (differentiable), मेश-मुक्त विविक्तकरण (discretization) के माध्यम से पॉइंट क्लाउड्स पर संरचना-संरक्षण भौतिकी (structure-preserving physics) को सीखता है, जिससे अत्यधिक डेटा-कुशल, सामान्यीकरण योग्य सरोगेट मॉडलिंग सक्षम होती है जो अनदेखी ज्यामिति और भौतिक मापदंडों पर बेसलाइन न्यूरल ऑपरेटर्स से काफी बेहतर प्रदर्शन करती है।
यह शोधपत्र TARO का प्रस्ताव करता है, जो एक ज़ीरो-शॉट इन्फरेंस-टाइम शुद्धिकरण विधि है जो सेमेंटिक विवरणों के संरक्षण के साथ अनुकूल हमलों (adaptive attacks) के विरुद्ध सुदृढ़ वैश्विक सुधार (robust global rectification) को संतुलित करने के लिए कई डिफ्यूजन नॉइज़ रिजीम से एक टेम्पोरली गाइडेड स्कोर प्रायर का लाभ उठाता है।
यह शोध पत्र एलएलएम (LLM) एजेंटों पर होने वाले पर्सिस्टेंट मेमोरी हमलों के विरुद्ध चार आर्किटेक्चरल परतों में छह रक्षा तंत्रों का व्यवस्थित रूप से मूल्यांकन करता है, जिससे यह पता चलता है कि अधिकांश इनपुट और रिट्रीवल-स्तरीय रक्षा तंत्र विफल हो जाते हैं जबकि एक टूल-गेटिंग "मेमोरी सैंडबॉक्स" आवश्यक रिकॉल क्षमता को हटाकर खतरे को प्रभावी ढंग से निष्प्रभावी कर देता है, हालांकि इसमें एक महत्वपूर्ण चेतावनी भी शामिल है जहाँ यह अनजाने में एक विशिष्ट रीजनिंग मॉडल के अंतर्निहित रिफ्यूज़ल मैकेनिज्म को बायपास कर देता है।
यह शोध पत्र सीधे बेथे मुक्त ऊर्जा (Bethe free energy) को न्यूनतम करके बेयसियन न्यूरल नेटवर्क को प्रशिक्षित करने के लिए एक ढांचे का प्रस्ताव करता है, जो मानक बैकप्रोपैगेशन को विश्लेषणात्मक पोस्टीरियर अपडेट के साथ एकीकृत करता है ताकि कुशल, सिंगल-पास एम्पेरिकल बेयस अनुकूलन सक्षम किया जा सके जो ग्रिड-सर्च हाइपरपैरामीटर ट्यूनिंग के प्रदर्शन से मेल खाते हुए क्रॉस-वैलिडेशन की आवश्यकता को समाप्त करता है।
यह शोध पत्र ZALT को प्रस्तुत करता है, जो एक ज़ीरो-शॉट इमिटेशन लर्निंग विधि है जो कंपोजेबल हब-टू-हब ट्रांज़िशन सीखने के लिए लेटेंट हब स्टेट्स की पहचान करती है, जिससे एजेंट उन जटिल वातावरणों में अनदेखे लॉन्ग-होरिज़ोन गोल-कंडीशन्ड कार्यों की सफलतापूर्वक योजना बनाने और उन्हें हल करने में सक्षम होते हैं जहाँ त्रुटि संचय (error accumulation) के कारण पारंपरिक विधियाँ विफल हो जाती हैं।
यह शोध पत्र इस बात की जांच करता है कि सिंक्स (sinks) और डायगोनल पैटर्न (diagonal patterns) ट्रांसफॉर्मर्स में अटेंशन स्विचिंग और ओवरस्मूथिंग (oversmoothing) को रोकने के तंत्र के रूप में कैसे कार्य करते हैं, जो हार्ड अटेंशन स्विचों के उनके समकक्ष होने को सिद्ध करते हैं, उन स्थितियों को स्थापित करते हैं जहाँ डेंस अटेंशन (dense attention), स्पार्स अटेंशन (sparse attention) से बेहतर प्रदर्शन करता है, और यह प्रदर्शित करते हैं कि प्रीट्रेन्ड मॉडल्स में टोकन सेल्फ-कम्युनिकेशन के लिए डायगोनल पैटर्न की तुलना में सिंक्स को क्यों प्राथमिकता दी जाती है।