9552 पेपर
यह शोध पत्र लेटेंट थॉट्स ट्यूनिंग (LT-Tuning) प्रस्तुत करता है, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो एक कॉन्टेक्स्ट-प्रेडिक्शन-फ्यूजन मैकेनिज्म और एक प्रोग्रेसिव थ्री-स्टेज करिकुलम लर्निंग पाइपलाइन के माध्यम से कॉन्टेक्स्टुअल हिडन स्टेट्स को प्रेडिक्टिव सिमेंटिक गाइडेंस के साथ संलयित करके निरंतर लेटेंट रीजनिंग में फीचर कोलैप्स और अस्थिरता को कम करता है।
यह अध्ययन संभाव्य जोखिम संचार के लिए पोस्ट-हॉक व्याख्याकार के रूप में नौ लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है और पाता है कि हालांकि वे आम तौर पर सुसंगत हैं, वे विशेष रूप से अनिश्चितता के संबंध में काफी गलत अंशांकित (miscalibrated) बने हुए हैं, जो यह संकेत देता है कि वे संख्यात्मक भविष्यवाणियों को प्राकृतिक भाषा में अनुवादित करने के लिए अभी तक विश्वसनीय ज़ीरो-शॉट उपकरण नहीं हैं।
यह शोध पत्र एक एकीकृत ढांचे का प्रस्ताव करता है जो विज़ुअल-टोकन रिप्रजेंटेशन और प्रॉम्प्ट-कंडीशन्ड हिडन स्टेट्स से प्री-जनरेशन सिग्नल्स का उपयोग करके यह अनुमान लगाने और अलग करने के लिए है कि विज़न-लैंग्वेज मॉडल की त्रुटियां धारणा/पहचान संबंधी बाधाओं (perception/recognition bottlenecks) से उत्पन्न होती हैं या ज्ञान प्राप्ति की विफलताओं (knowledge retrieval failures) से, जिससे उत्तर जनरेशन से पहले लक्षित हस्तक्षेप सक्षम हो सके।
यह शोधपत्र StickyMoE का प्रस्ताव करता है, जो एक डिफरेंशियल योग्य (differentiable) रूटिंग कंसिस्टेंसी लॉस है जो Mixture-of-Experts मॉडल्स को अर्थपूर्ण रूप से सुसंगत टोकन स्पैन (token spans) में विशेषज्ञ असाइनमेंट बनाए रखने के लिए प्रशिक्षित करता है, जिससे एज डिवाइसेस पर मेमोरी-गहन वेट स्वैपिंग (weight swapping) को न्यूनतम परप्लेक्सिटी डिग्रेडेशन के साथ काफी कम किया जा सकता है।
यह शोध पत्र SPAM का प्रस्ताव करता है, जो एक ऐसी विधि है जो फोन सेगमेंटेशन और रिकग्निशन दोनों करने के लिए सेल्फ-सुपरवाइज्ड स्पीच मॉडल्स का लाभ उठाती है, जिसमें लेटेंट रिप्रेजेंटेशन्स को लाइटवेट, ग्रेडिएंट-डिसेंट-फ्री हेड्स का उपयोग करके फोनोलॉजिकल फीचर एक्टिवेशन्स पर मैप किया जाता है, जिससे न्यूनतम प्रशिक्षण डेटा के साथ मजबूत प्रदर्शन प्राप्त होता है और अनदेखे फोन्स (unseen phones) के लिए सामान्यीकरण (generalize) संभव होता है।
यह शोध पत्र यह प्रदर्शित करके "इमर्जेंट मिसअलाइनमेंट" (Emergent Misalignment) घटना की सुदृढ़ता को चुनौती देता है कि रिपोर्ट किए गए मिसअलाइनमेंट और रियललाइनमेंट प्रभाव मॉडल के निरूपणों (representations) में सुसंगत यांत्रिक बदलावों के बजाय, मुख्य रूप से प्रतिक्रिया लंबाई जैसे सतही डेटासेट लक्षणों के कृत्रिम परिणाम हैं।
यह शोध पत्र ग्राफ-रेगुलराइज्ड एजेंटिक कॉन्टेक्स्ट इवोल्यूशन (GRACE) प्रस्तुत करता है, जो अपडेट के स्थानीय सत्यापन को सक्षम करने के लिए निरंतर सिस्टम निर्देशों को टाइप किए गए सिमेंटिक ग्राफ के रूप में संरचित करता है, जिससे फ्लैट-टेक्स्ट बेसलाइन की तुलना में डिस्ट्रीब्यूशन शिफ्ट के तहत एलएलएम (LLM) एजेंटों की लॉन्ग-होरिज़न विश्वसनीयता में महत्वपूर्ण सुधार होता है।
यह शोध पत्र Super और Supra का प्रस्ताव करता है, जो स्पार्स पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग विधियाँ हैं जो निश्चित परिवर्तनीय मापदंडों (trainable parameters) को चुनने के लिए एक्टिवेशन-अवेयर प्रूनिंग सिग्नल्स का लाभ उठाते हैं, यह प्रदर्शित करते हुए कि इन स्पार्स सपोर्ट्स को LoRA जैसे लो-रैंक एडेप्टर्स के साथ संयोजित करने से मौजूदा कॉन्फ़िगरेशन की तुलना में लार्ज लैंग्वेज मॉडल्स को फाइन-ट्यून करने में बेहतर सटीकता प्राप्त होती है।
यह शोध पत्र प्रदर्शित करता है कि हाइपरबोलिक सबस्ट्रेट (hyperbolic substrate) से सुसज्जित तीन लघु भाषा मॉडल अनुपालन अंतराल (compliance gaps) और चापलूसी (sycophancy) का पता लगाकर, रचनात्मक प्रतिक्रियाएं उत्पन्न करके, और एक "डिज़ाइन किया गया विस्मरण" (designed forgetting) तंत्र को लागू करके, भरोसेमंद साथी एआई (companion AI) की चुनौतियों को प्रभावी ढंग से संबोधित कर सकते हैं, जिससे अविश्वसनीय मानव रेटर्स और बड़े फ्रंटियर मॉडलों के एक स्केलेबल विकल्प के रूप में प्रस्ताव मिलता है।
यह शोध पत्र एंड-टू-एंड जनरेटेड टास्क-ओरिएंटेड डायलॉग्स में विसंगतियों का स्वतः पता लगाने के लिए एक नवीन विधि प्रस्तावित करता है, जो डोमेन नॉलेज के अनुपालन के लिए हैलुसिनेशन की पहचान करने और न्यूनतम सुधार सुझाने हेतु संवाद को एक कंस्ट्रेंट सैटिस्फैक्शन प्रॉब्लम (CSP) के रूप में मॉडल करता है।