11611 पेपर
यह शोध पत्र लगभग-मिलते-जुलते सैद्धांतिक सीमांकन स्थापित करता है जो यह दर्शाता है कि जबकि रैखिक सुलभता (linear accessibility), केवल रैखिक प्रतिनिधित्व (linear representation) की तुलना में एक काफी अधिक सशक्त बाधा है, फिर भी भाषा मॉडल के न्यूरॉन्स रैखिक प्रतिनिधित्व परिकल्पना के तहत घातांकीय संख्या में विशेषताओं (features) को संग्रहीत कर सकते हैं।
यह शोधपत्र Mis-Align Bench प्रस्तुत करता है, जो एक एकीकृत बेंचमार्क और 382,000 से अधिक नमूनों का SAVACU डेटासेट है, जिसका उद्देश्य सुरक्षा, मूल्य और सांस्कृतिक आयामों के माध्यम से लार्ज लैंग्वेज मॉडल्स (LLMs) के मिस-अलाइनमेंट (misalignment) का एक साथ मूल्यांकन करना है, जो यह प्रकट करता है कि एकल आयामों के लिए अनुकूलित मॉडल वास्तविक दुनिया की संयुक्त स्थितियों का सामना करते समय उच्च 'फॉल्स फेल्योर रेट' (false failure rate) और कम अलाइनमेंट स्कोर से ग्रस्त होते हैं।
यह शोध पत्र यह मूल्यांकन करने के लिए सिचुएशनल जजमेंट टेस्ट (Situational Judgment Tests) का उपयोग करने वाले एक ढांचे को प्रस्तुत करता है कि एलएलएम (LLMs) के व्यवहार संबंधी रुझान मानवीय प्राथमिकताओं के साथ कितनी अच्छी तरह मेल खाते हैं, जो यह प्रकट करता है कि मॉडल अक्सर अति-आत्मविश्वास प्रदर्शित करते हैं, मानव सर्वसम्मति से विचलित होते हैं, और अपने घोषित मूल्यों तथा प्रकट व्यवहार के बीच अंतराल दिखाते हैं।
यह शोध पत्र पैराफ्रास्टिक प्रोबिंग और कंसिस्टेंसी वेरिफिकेशन (PPCV) फ्रेमवर्क का प्रस्ताव करता है, जो एक दो-चरणीय विधि है जो पैराफ्रास्टिक प्रोबिंग के माध्यम से महत्वपूर्ण रीजनिंग टोकन्स की पहचान करती है और इन टोकन्स को प्रतिस्थापित करके तथा समानांतर रीजनिंग पाथ्स के बीच निरंतरता को सत्यापित करके लार्ज लैंग्वेज मॉडल के प्रदर्शन में सुधार करती है।
यह शोध पत्र स्पार्स सेमान्टिक डायमेंशन (SSD) का प्रस्ताव करता है, जो स्पार्स ऑटोएनकोडर फीचर्स पर आधारित एक जटिलता माप है, ताकि यह प्रदर्शित करके लार्ज लैंग्वेज मॉडल्स के सुदृढ़ सामान्यीकरण (robust generalization) की व्याख्या की जा सके कि उनकी प्रभावी क्षमता कुल पैरामीटर संख्या के बजाय एक निम्न-आयामी स्पार्स मैनिफोल्ड में निहित है, और साथ ही यह भी प्रकट किया जा सके कि बड़े मॉडल अधिक संपीड़ित (compressible) संरचनाएं सीखते हैं और इस मैनिफोल्ड से विचलन आउट-ऑफ-डिस्ट्रीब्यूशन इनपुट के विश्वसनीय संकेतक के रूप में कार्य करते हैं।
यह शोध पत्र डायनेमिक एंट्रॉपी फाइन-ट्यूनिंग (DEFT) प्रस्तुत करता है, जो एक पैरामीटर-मुक्त उद्देश्य है जो प्लास्टिकिटी-स्टेबिलिटी द्वंद्व को हल करने और मॉडल के प्रदर्शन में सुधार करने के लिए भविष्य कहनेवाला अनिश्चितता (predictive uncertainty) के आधार पर ग्रेडिएंट ट्रस्ट को गतिशील रूप से नियंत्रित करके SFT को सामान्यीकृत एंट्रॉपी लक्ष्यों के साथ एकीकृत करता है।
यह शोध पत्र प्रदर्शित करता है कि निर्देश-ट्यून किए गए बड़े भाषा मॉडलों (Large Language Models) को स्केल करना और अनुकूलित करना मशीन अनुवाद में महत्वपूर्ण त्रुटियों का पता लगाने में काफी सुधार करता है, जो बहुभाषी एआई प्रणालियों की सुरक्षा, विश्वसनीयता और निष्पक्षता सुनिश्चित करने के लिए एक महत्वपूर्ण सुरक्षा कवच प्रदान करता है।
यह शोध पत्र LoopFormer प्रस्तुत करता है, जो एक नवीन लूप्ड (looped) ट्रांसफॉर्मर आर्किटेक्चर है जो एक शॉर्टकट-कंसिस्टेंसी ट्रेनिंग स्कीम और टाइम-कंडीशन्ड मॉड्यूलेशन का उपयोग करता है ताकि निरंतर और विकसित होते हुए रिप्रजेंटेशन्स को बनाए रखते हुए, अपने कंप्यूटेशनल डेप्थ को परिवर्तनशील बाधाओं के अनुकूल बनाकर लचीली, बजट-जागरूक रीजनिंग सक्षम की जा सके।
PhyNiKCE एक न्यूरो-सिंबॉलिक एजेंटिक फ्रेमवर्क है जो भौतिक बाधाओं को कड़ाई से लागू करने के लिए न्यूरल प्लानिंग को सिंबॉलिक नॉलेज इंजन से अलग करके स्वायत्त कम्प्यूटेशनल फ्लूइड डायनेमिक्स (Computational Fluid Dynamics) को बढ़ाता है, जिससे अत्याधुनिक बेसलाइनों की तुलना में कार्य सफलता में 96% का सुधार और सेल्फ-करेक्शन लूप्स एवं टोकन खपत में महत्वपूर्ण कमी प्राप्त होती है।
यह शोध पत्र लेंथ-इनसेंटिवाइज्ड एक्सप्लोरेशन (\method) को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) दृष्टिकोण है जो स्टेट कवरेज को अधिकतम करने के लिए लंबे, गैर-अतिरेक वाले रीजनिंग ट्राजेक्टरीज को पुरस्कृत करके "शैलो एक्सप्लोरेशन ट्रैप" पर विजय प्राप्त करता है और इन-डोमेन एवं आउट-ऑफ-डोमेन दोनों कार्यों पर मॉडल के प्रदर्शन में महत्वपूर्ण सुधार करता है।