11158 पेपर
यह शोध पत्र अटेंशन स्मूथनिंग अनलर्निंग (ASU) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो टेम्परेचर स्केलिंग के माध्यम से अटेंशन डिस्ट्रीब्यूशन को फ्लैट करके लार्ज लैंग्वेज मॉडल्स से संवेदनशील मेमोराइज्ड कंटेंट को प्रभावी ढंग से मिटा देता है, जिससे मॉडल की उपयोगिता और रिस्पॉन्स कोहेरेंस को बनाए रखते हुए एक सुदृढ़ अनलर्निंग प्राप्त की जा सकती है।
यह शोध पत्र एक्सट्रैक्टिव समराइजेशन (extractive summarization) के लिए पहले मंबा-ट्रांसफॉर्मर हाइब्रिड आर्किटेक्चर को प्रस्तुत करता है जो पूर्ण दस्तावेजों को बिना ट्रंकेशन (truncation) के प्रोसेस करने के लिए लीनियर-टाइम स्टेट स्पेस मॉडल्स का लाभ उठाता है, जिससे मौजूदा विधियों की तुलना में महत्वपूर्ण ROUGE सुधार और कम-संसाधन वाले परिदृश्यों में तेज़ इन्फरेंस (inference) प्राप्त होता है।
यह शोध पत्र विभिन्न LLM सिमुलेशन विधियों का मूल्यांकन करने के लिए एक दशक के निजी संदेश डेटा का उपयोग करते हुए "इंडिविजुअल ट्यूरिंग टेस्ट" प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि वर्तमान मॉडल अपने परिचितों के लिए किसी विशिष्ट व्यक्ति की विश्वसनीय रूप से नकल करने में विफल रहते हैं, वे इस आधार पर भाषा शैली बनाम व्यक्तिगत ज्ञान को पकड़ने में विशिष्ट क्षमताएं प्रदर्शित करते हैं कि पैरामीट्रिक (फाइन-ट्यूनिंग) या नॉन-पैरामीट्रिक (RAG/मेमोरी) दृष्टिकोणों का उपयोग किया जा रहा है।
यह शोध पत्र JailNewsBench को प्रस्तुत करता है, जो जेलब्रेक-प्रेरित फर्जी समाचार निर्माण के प्रति बड़े भाषा मॉडलों की संवेदनशीलता का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बहुभाषी और क्षेत्रीय बेंचमार्क है, जो भाषाओं और क्षेत्रों के बीच महत्वपूर्ण सुरक्षा असंतुलन को प्रकट करता है और मौजूदा सुरक्षा डेटासेट में ऐसे हमलों के विरुद्ध सीमित रक्षा को उजागर करता है।
यह शोध पत्र प्रकट करता है कि फ्रोजन एम्बेडिंग्स (frozen embeddings) पर निर्भर सुरक्षा क्लासिफायर, इंस्ट्रक्शन-ट्यून्ड मॉडल्स में मामूली एम्बेडिंग ड्रिफ्ट के कारण विनाशकारी प्रदर्शन गिरावट और खतरनाक साइलेंट फेलियर्स का सामना करते हैं, जो इस धारणा को चुनौती देता है कि सुरक्षा तंत्र मॉडल अपडेट के दौरान सुदृढ़ बने रहते हैं।
यह शोधपत्र Catalyst-Agent को प्रस्तुत करता है, जो एक LLM-संचालित स्वायत्त एजेंट है जो न्यूनतम मानवीय हस्तक्षेप के साथ ORR, NRR और CO2RR जैसी प्रमुख अभिक्रियाओं के लिए कुशल रूप से विषम उत्प्रेरकों (heterogeneous catalysts) की स्क्रीनिंग, अनुकूलन और नवीन प्रस्ताव देने के लिए मॉडल कॉन्टेक्स्ट प्रोटोकॉल और ग्राफ न्यूरल नेटवर्क का लाभ उठाता है।
यह शोध पत्र "ट्रुथ ऐज़ अ ट्रैजेक्टरी" (TaT) को प्रस्तुत करता है, जो एक नवीन व्याख्यात्मकता विधि है जो स्थिर सक्रियणों (static activations) के बजाय लार्ज लैंग्वेज मॉडल्स में परत-वार ज्यामितीय विस्थापन (layer-wise geometric displacements) का विश्लेषण करती है, जो पॉलीसेमेंटिक फीचर्स और लेक्सिकल कन्फाउंड्स की सीमाओं को दूर करके वैध तर्क और स्प्यूरियस पैटर्न के बीच प्रभावी ढंग से अंतर करती है।
यह शोध पत्र MetaState को प्रस्तुत करता है, जो एक हल्का रिकरेंट ऑग्मेंटेशन (recurrent augmentation) है जो फ्रोजन डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स को "इन्फॉर्मेशन आइलैंड" (Information Island) समस्या को हल करने के लिए एक निरंतर वर्किंग मेमोरी से सुसज्जित करता है, जिससे बैकबोन पैरामीटर्स को बढ़ाए बिना क्रॉस-स्टेप कंसिस्टेंसी और जनरेशन सटीकता में सुधार होता है।
PanCanBench एक व्यापक बेंचमार्क है जिसमें अग्नाशय के कैंसर के रोगियों के 282 वास्तविक प्रश्न और 3,130 विशेषज्ञ-व्युत्पन्न मानदंड शामिल हैं जो 22 लार्ज लैंग्वेज मॉडल्स की तथ्यात्मक सटीकता और पूर्णता में महत्वपूर्ण भिन्नताओं को प्रकट करता है, जो यह रेखांकित करता है कि उच्च रूब्रिक स्कोर और वेब-सर्च एकीकरण आवश्यक रूप से नैदानिक सुरक्षा या मतिभ्रम (hallucinations) में कमी की गारंटी नहीं देते हैं।
यह अध्ययन डोमेन-विशिष्ट शब्दावली से शुरू होकर चेन-ऑफ-थॉट रीजनिंग ट्रेसेस के साथ उच्च-गुणवत्ता वाले सिंथेटिक इंस्ट्रक्शन डेटासेट बनाने के लिए एक सामान्य विधि प्रस्तुत करता है, जो 9.5 बिलियन-टोकन डेटासेट के माध्यम से जापानी वित्तीय डोमेन के LLMs के लिए रीजनिंग क्षमताओं को बढ़ाने में इसकी प्रभावशीलता को प्रदर्शित करता है।