10789 पेपर
एक्टिवेशन पैचिंग का उपयोग करके रीजनिंग ट्रेसेस (reasoning traces) से हिडन स्टेट्स (hidden states) को डायरेक्ट-आंसर रन्स (direct-answer runs) में स्थानांतरित करते हुए, लेखक यह प्रदर्शित करते हैं कि व्यक्तिगत चेन-ऑफ-थॉट (Chain-of-Thought) टोकन सही उत्तरों को पुनः प्राप्त करने के लिए पर्याप्त कार्य-प्रासंगिक जानकारी को एनकोड करते हैं, भले ही मूल रीजनिंग ट्रेस त्रुटिपूर्ण हो।
VeriLLMed एक विज़ुअल एनालिटिक्स सिस्टम है जो बायोमेडिकल नॉलेज ग्राफ्स को एकीकृत करता है ताकि डेवलपर्स को मॉडल आउटपुट्स को तुलनीय रीजनिंग पाथ्स में बदलकर और नैदानिक त्रुटियों के आवर्ती वर्गों की पहचान करके मेडिकल लार्ज लैंग्वेज मॉडल्स का ऑडिट और डिबग करने में मदद मिल सके।
कंटीन्यूअल जनरेटिव रिट्रीवल में स्टेबिलिटी-प्लास्टिसिटी ट्रेड-ऑफ को संबोधित करने के लिए, यह शोध पत्र पोस्ट-अडैप्टेशन मेमोरी ट्यूनिंग (PAMT) का प्रस्ताव करता है, जो एक मॉड्यूलर, स्पार्स पैरामीट्रिक मेमोरी हेड का उपयोग करने वाली एक विधि है जो डिकोडिंग के दौरान रेसिडुअल करेक्शन प्रदान करती है, जिससे मॉडल को पहले से सीखे गए दस्तावेज़ों को भूलने (कैटास्ट्रोफिक फॉरगेटिंग) के बिना नए दस्तावेज़ों को सीखने की अनुमति मिलती है।
यह शोध पत्र 'प्लानिंग अहेड इन जनरेटिव रिट्रीवल' (PAG) पद्धति की प्रभावशीलता को पुनरुत्पादित करता है और साथ ही यह प्रदर्शित करता है कि इसका प्रदर्शन क्वेरी विविधताओं, जैसे कि टाइपो (वर्तनी की त्रुटियों) और क्रॉस-लिंगुअल मिसमैच (भाषाई विसंगतियों) के प्रति संवेदनशील है, जो लुक-अहेड प्लानिंग सिग्नल को अस्थिर कर सकते हैं।
Evolve एक ऐसा फ्रेमवर्क है जो छोटे भाषा मॉडलों (small language models) की सटीकता को काफी बढ़ा देता है, जो उन्हें एक निरंतर, शिक्षक-संकलित ज्ञान भंडार (teacher-compiled knowledge store) के साथ जोड़ता है जो कुशल और ऑडिट योग्य ज्ञान पुनर्प्राप्ति (knowledge retrieval) प्रदान करने के लिए सिमेंटिक सेक्शनिंग (semantic sectioning), ऑफलाइन समेकन (offline consolidation) और उपयोग-संचालित रिफ्रेशिंग (usage-driven refreshing) का उपयोग करता है।
यह अध्ययन पदानुक्रमित ORKG वर्गीकरण का उपयोग करके वैज्ञानिक ग्रंथों को वर्गीकृत करने में ऑफ-द-शेल्फ लार्ज लैंग्वेज मॉडल्स की प्रभावशीलता का मूल्यांकन करता है, जिसमें यह पाया गया कि प्रॉम्प्ट चेनिंग, इन-कॉन्टेक्स्ट लर्निंग और स्टेट-ऑफ-द-आर्ट मॉडल्स की तुलना में शीर्ष-स्तरीय श्रेणियों के लिए बेहतर प्रदर्शन करती है, लेकिन फिर भी तीसरे स्तर के गहरे विषय वर्गीकरण के साथ संघर्ष करती है।
यह शोध पत्र प्रदर्शित करता है कि LayerNorm को Dynamic Tanh (DyT) से बदलना एक शासन-निर्भर (regime-dependent) अंतर्निहित नियमितकर्ता (implicit regularizer) के रूप में कार्य करता है जो सक्रियणों (activations) को सीमित करके डेटा-सीमित, लघु-स्तरीय सेटिंग्स में प्रदर्शन में सुधार करता है, लेकिन अत्यधिक सक्रियण संतृप्ति (activation saturation) के कारण बड़े पैमाने या डेटा-समृद्ध शासन में प्रदर्शन को नुकसान पहुँचाता है।
यह शोध पत्र प्रदर्शित करता है कि वर्तमान एआई सुरक्षा प्रशिक्षण (RLHF) अनजाने में मानसिक स्वास्थ्य हस्तक्षेपों की प्रभावकारिता को कमजोर करता है क्योंकि यह मॉडलों को उच्च-गंभीरता वाले परिदृश्यों का सामना करने पर चिकित्सीय प्रोटोकॉल को छोड़ने, झूठा आश्वासन देने या आवश्यक नैदानिक अभ्यासों में संलग्न होने से इनकार करने के लिए प्रेरित करता है।
यह शोधपत्र MoralChain प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जिसे यह प्रदर्शित करने के लिए डिज़ाइन किया गया है कि निरंतर विचार मॉडल (continuous thought models) अपने लेटेंट स्पेस में मिसअलाइन्ड रीजनिंग (misaligned reasoning) को संजोए रख सकते हैं भले ही वे सौहार्दपूर्ण आउटपुट उत्पन्न कर रहे हों, और यह दिखाता है कि इस छिपे हुए मिसअलाइनमेंट का पता शुरुआती लेटेंट टोकन के लीनियर प्रोबिंग (linear probing) के माध्यम से लगाया जा सकता है।
यह अध्ययन प्रदर्शित करता है कि जहाँ मानव निर्णायक, पहचान के खतरे के तहत तैयार किए गए एआई-सहायता प्राप्त लेखन और बिना ऐसी किसी चेतावनी के तैयार किए गए लेखन के बीच महत्वपूर्ण अंतर कर सकते हैं, वहीं पारंपरिक कम्प्यूटेशनल पाठ संबंधी विशेषताएं उन सूक्ष्म संकेतों को पकड़ने में विफल रहती हैं जो मनुष्यों को यह भेद करने की अनुमति देते हैं।