10698 पेपर
व्यापक नियंत्रित प्रयोगों के माध्यम से, यह शोध पत्र प्रदर्शित करता है कि जबकि मास्क्ड लैंग्वेज मॉडलिंग (MLM) आम तौर पर बेहतर टेक्स्ट रिप्रजेंटेशन प्रदान करती है, एक द्वि-चरणीय (biphasic) प्रीट्रेनिंग रणनीति जो पहले कॉज़ल लैंग्वेज मॉडलिंग (CLM) और फिर MLM लागू करती है, निश्चित कंप्यूटेशनल बजट के तहत इष्टतम प्रदर्शन प्राप्त करती है, विशेष रूप से मौजूदा प्रीट्रेन्ड CLM मॉडल्स का लाभ उठाते समय।
यह शोध पत्र यह प्रदर्शित करता है कि डिकोडर-ओनली (decoder-only) ट्रांसफॉर्मर एक फ्रीज़्ड सबस्ट्रेट (frozen substrate) पर नए ब्लॉक्स को जोड़कर प्रभावी ढंग से निरंतर सीखना जारी रख सकते हैं, जो एक सीमित सक्रिय पैरामीटर बजट के भीतर भी मॉड्यूल आधारित, लेयर-वाइज विस्तार की व्यवहार्यता को सिद्ध करता है, हालांकि यह पूरी तरह से प्रशिक्षित मोनोलिथिक (monolithic) मॉडलों की तुलना में अंतिम पर्प्लेक्सिटी (perplexity) में एक समझौते के साथ होता है।
यह शोध पत्र ReCode को प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो कंट्रास्टिव लर्निंग के माध्यम से एक रीजनिंग-प्रोसेस रिवॉर्ड मॉडल को प्रशिक्षित करके और रिवॉर्ड हैकिंग को कम करने के लिए इसे निष्पादन-आधारित गेटिंग (execution-based gating) के साथ एकीकृत करके कोड जनरेशन को बेहतर बनाता है, जिसके परिणामस्वरूप GPT-4-Turbo के तुलनीय महत्वपूर्ण प्रदर्शन लाभ प्राप्त होते हैं।
यह शोध पत्र CorrSteer को प्रस्तुत करता है, जो एक ऐसी विधि है जो अनुमान-समय (inference-time) सक्रियणों (activations) को नमूना शुद्धता (sample correctness) के साथ सह-संबंधित करके LLM स्टीयरिंग के लिए व्याख्यात्मक स्पार्स ऑटोएनकोडर (Sparse Autoencoder) फीचर्स के चयन को स्वचालित करती है, जिससे कंट्रास्टिव डेटासेट्स की आवश्यकता समाप्त हो जाती है और रीजनिंग, बायस मिटिगेशन और सेफ्टी बेंचमार्क में प्रदर्शन में उल्लेखनीय सुधार होता है।
यह अध्ययन एक मैन्युअल रूप से एनोटेट किए गए हिब्रू कॉर्पस और एक नवीन दो-चरणीय एआई पाइपलाइन का उपयोग करते हुए, इज़राइल में राजनीतिक वैधताहीनता (delegitimization) के विमर्श का पहला बड़े पैमाने पर कम्प्यूटेशनल विश्लेषण प्रस्तुत करता है, जो तीन दशकों में, विशेष रूप से सोशल मीडिया पर, पुरुष और दक्षिणपंथी राजनेताओं के बीच, और प्रमुख राजनीतिक घटनाओं के दौरान, वैधताहीन करने वाली बयानबाजी में एक महत्वपूर्ण वृद्धि को प्रकट करता है।
यह शोध पत्र SurGE को प्रस्तुत करता है, जो एक व्यापक बेंचमार्क और स्वचालित मूल्यांकन ढांचा है जिसे वैज्ञानिक सर्वेक्षण पीढ़ी के लिए मानकीकृत मेट्रिक्स की कमी को दूर करने के लिए डिज़ाइन किया गया है, जो एक बड़े पैमाने के डेटासेट को प्रदान करता है और व्यापकता, उद्धरण सटीकता, संरचनात्मक संगठन और सामग्री गुणवत्ता के माध्यम से मॉडल के प्रदर्शन का आकलन करता है।
यह शोध पत्र एक ऐसे नवीन ढांचे का प्रस्ताव करता है जो अनुमान (inference) के दौरान संरचित ज्ञान ग्राफ (knowledge graphs) को गतिशील रूप से निर्मित और परिष्कृत करके लार्ज लैंग्वेज मॉडल्स की तथ्यात्मक सटीकता में सुधार करता है, जो असंरचित टेक्स्ट-आधारित दृष्टिकोणों की सीमाओं को दूर करने के लिए मॉडल के आंतरिक ज्ञान को बाहरी रिट्रीवल के साथ एकीकृत करता है।
यह शोध पत्र COCORELI को प्रस्तुत करता है, जो एक मॉड्यूलर आर्किटेक्चर है जो अधूरी जानकारी का पता लगाने को क्रिया के निवारण के साथ संरचनात्मक रूप से जोड़कर निष्पादन विश्वसनीयता को लागू करता है, जिससे स्वायत्त एजेंटों को तब तक कार्य निष्पादित करने से रोका जाता है जब तक कि लक्षित स्पष्टीकरण के माध्यम से अपूर्णताओं को हल नहीं कर लिया जाता।
यह शोध पत्र ALIGNS को प्रस्तुत करता है, जो व्यापक नोमोलॉजिकल नेटवर्क (nomological networks) उत्पन्न करने के लिए मान्य प्रश्नावली मापों पर प्रशिक्षित एक लार्ज लैंग्वेज मॉडल-आधारित प्रणाली है, जिससे मनोवैज्ञानिक मापन सत्यापन की दीर्घकालिक चुनौती का समाधान होता है और भावनात्मक संकट एवं बाल स्वभाव जैसे निर्माणों (constructs) में नई अंतर्दृष्टि प्राप्त होती है।
यह शोध पत्र DECOR का प्रस्ताव करता है, जो एक एकीकृत ढांचा है जो जेनरेटिव रिकमेंडर्स में सिमेंटिक टोकनाइजेशन और उपयोगकर्ता इंटरेक्शन मॉडलिंग के बीच उद्देश्य संबंधी मिसअलाइनमेंट को संबोधित करता है, जो कि पूर्व-प्रशिक्षित सिमेंटिक्स को संरक्षित करते हुए कोलैबोरेटिव सिग्नल्स के अनुकूल होने वाले डीकंपोज्ड कॉन्टेक्स्टुअल टोकन रिप्रेजेंटेशन्स को सीखकर किया जाता है, जिससे यह स्टेट-ऑफ-द-आर्ट बेसलाइन्स से बेहतर प्रदर्शन करता है।