9899 पेपर
यह शोध पत्र एडवर्सरियल प्रॉम्प्ट डिस्टिलेशन (APD) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो नॉलेज डिस्टिलेशन और रिइन्फोर्समेंट लर्निंग के माध्यम से बड़े भाषा मॉडलों से छोटे भाषा मॉडलों में जेलब्रेकिंग क्षमताओं को स्थानांतरित करता है, जिससे काफी बेहतर दक्षता और कम कम्प्यूटेशनल लागत के साथ अत्याधुनिक अटैक सक्सेस रेट्स प्राप्त होते हैं।
यह शोध पत्र प्रकट करता है कि भाषा मॉडल दोषपूर्ण तंत्रों द्वारा सुदृढ़ तंत्रों को बाधित किए जाने के कारण संतुलित कोष्ठक (parentheses) कार्यों में विफल हो जाते हैं, और RASteer का परिचय देता है, जो एक स्टीयरिंग विधि है जो सामान्य कोडिंग क्षमताओं को नुकसान पहुँचाए बिना विश्वसनीय घटकों को प्रवर्धित करके सटीकता को लगभग 100% तक बढ़ा देती है।
यह शोध पत्र एक न्यूरोसिम्बोलिक रीजनिंग फ्रेमवर्क प्रस्तुत करता है जो एक पैराकंसिस्टेंट लॉजिक के इंटरप्रिटेशन फंक्शन में लार्ज लैंग्वेज मॉडल्स को एकीकृत करता है, जिससे एक ऐसा साउंड और कम्प्लीट फॉर्मल रीजनिंग सक्षम होता है जो विरोधाभासों को प्रभावी ढंग से स्थानीयकृत करके लॉजिकल एक्सप्लोजन को रोकता है और फैक्टुअलिटी बेंचमार्क्स में सुधार करते हुए LLM ज्ञान का लाभ उठाता है।
यह शोध पत्र पोलर कोऑर्डिनेट पोजीशनल एम्बेडिंग्स (PoPE) को प्रस्तुत करता है, जो एक नवीन पोजीशनल एनकोडिंग योजना है जो RoPE में उलझी हुई कंटेंट और पोजीशन की जानकारी को अलग करती है, जिससे RoPE और YaRN जैसी मौजूदा विधियों की तुलना में डायग्नोस्टिक कार्यों, मल्टीपल डोमेन में ऑटोरेग्रेसिव मॉडलिंग और ज़ीरो-शॉट लेंथ एक्सट्रपलेशन में बेहतर प्रदर्शन प्राप्त होता है।
यह शोध पत्र प्रकट करता है कि बहुभाषी रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) मॉडल एक "भाषाई भाई-भतीजावाद" (linguistic nepotism) के पूर्वाग्रह को प्रदर्शित करते हैं जहाँ वे अन्य भाषाओं के अधिक प्रासंगिक दस्तावेज़ों के बजाय अंग्रेजी स्रोतों को प्राथमिकता देते हैं, विशेष रूप से कम-संसाधन वाली भाषाओं और मध्य-संदर्भ स्थितियों के लिए, जिससे वे भाषा की प्राथमिकता के लिए तथ्यात्मक प्रासंगिकता का त्याग करते हैं।
SPECTRA, ऑटोरेग्रेसिव (autoregressive) LLM-आधारित प्राथमिकता मॉडलिंग के पूर्वाग्रह और अपारदर्शिता को संबोधित करता है, जो व्याख्या योग्य श्रेणियों पर संभाव्यता वितरण (probability distributions) का अनुमान लगाने के लिए सॉफ्टमैक्स (softmax) आउटपुट की जांच करता है, जिससे विविध डेटासेटों में लॉन्ग-टेल प्रेफरेंस रिकवरी (long-tail preference recovery), वितरण संरेखण (distributional alignment) और डाउनस्ट्रीम रैंकिंग प्रदर्शन में महत्वपूर्ण सुधार होता है।
MixReasoning एक ऐसा फ्रेमवर्क है जो चरण की कठिनाई के आधार पर विस्तृत और संक्षिप्त तर्क मोड के बीच गतिशील रूप से स्विच करके रीजनिंग मॉडल्स की दक्षता को बढ़ाता है, जिससे सटीकता से समझौता किए बिना प्रतिक्रिया की लंबाई कम होती है और कम्प्यूटेशनल दक्षता में सुधार होता है।
RECON एक फ्रोजन, टू-स्टेज प्रशिक्षित ऑब्जर्वेशन कंप्रेसर को RL-आधारित सर्च एजेंटों के रीजनिंग लूप में एकीकृत करता है ताकि मल्टी-टर्न टूल ऑब्जर्वेशन्स को कुशलतापूर्वक कंडेंस किया जा सके, जिससे संदर्भ लागत और लेटेंसी में काफी कमी आती है और साथ ही रीजनिंग प्रदर्शन और ट्रेनिंग स्थिरता में सुधार होता है।
यह अध्ययन प्रदर्शित करता है कि प्रॉम्ट्स में ग्राइशियन प्रैगमैटिक्स (Gricean pragmatics) और रेलेवेंस थ्योरी (Relevance Theory) जैसे व्यावहारिक सिद्धांतों को शामिल करने से निर्देशित चरण-दर-चरण तर्क के माध्यम से निहित अर्थों की व्याख्या करने की लार्ज लैंग्वेज मॉडल्स की क्षमता में उल्लेखनीय वृद्धि होती है, जिससे मानक चेन-ऑफ-थॉट (chain-of-thought) बेसलाइनों की तुलना में 9.6% तक का प्रदर्शन सुधार प्राप्त होता है।
यह शोध पत्र टेक्स्ट एम्बेडिंग्स को परिष्कृत करके लार्ज विजन-लैंग्वेज मॉडल्स में होने वाले मतिभ्रम (hallucinations) को कम करने की एक विधि प्रस्तावित करता है ताकि भाषाई पूर्वग्रहों (language priors) पर अत्यधिक निर्भरता को कम किया जा सके और दृश्य संकेतों (visual cues) के अधिक संतुलित एकीकरण को बढ़ावा दिया जा सके, जिससे कई मतिभ्रम बेंचमार्क में महत्वपूर्ण प्रदर्शन सुधार प्राप्त होता है।