11611 पेपर
यह शोधपत्र वैज्ञानिक तालिका और आकृति विश्लेषण में चुनौतियों को मापने के लिए एक बड़े पैमाने के बेंचमार्क, AnaBench का परिचय देता है, और Anagent का प्रस्ताव करता है, जो विशिष्ट कार्य अपघटन, टूल-आधारित पुनर्प्राप्ति, संश्लेषण और पुनरावृत्ति परिशोधन के माध्यम से प्रदर्शन में महत्वपूर्ण सुधार करता है।
यह शोध पत्र प्लाज्मा भौतिकी अनुसंधान लेखों के एक नए एनोटेटेड कॉर्पस पर नेस्टेड नाम वाले इकाई पहचान (Named Entity Recognition) को निष्पादित करने के लिए विशेष इकाई मॉडलों के साथ एक हल्का, अनुकूलित BERT-CRF दृष्टिकोण प्रस्तावित करता है, जिससे इस डोमेन में वैज्ञानिक साहित्य की उन्नत खोज और विश्लेषण सुगम हो सके।
यह शोध पत्र हाल के ओपन-डोमेन प्रश्नों पर LLMs का मूल्यांकन करने के लिए RECOM बेंचमार्क प्रस्तुत करता है, जो एक आश्चर्यजनक अर्थपूर्ण-शाब्दिक विरोधाभास (semantic-lexical paradox) को प्रकट करता है जहाँ मॉडल कम शाब्दिक ओवरलैप के बावजूद उच्च अर्थपूर्ण संरेखण प्राप्त करते हैं, और यह प्रदर्शित करता है कि मॉडल का पैमाना बेहतर प्रदर्शन की गारंटी नहीं देता है।
यह शोध पत्र FalseCite प्रस्तुत करता है, जो भ्रामक उद्धरणों (deceptive citations) द्वारा प्रेरित LLM मतिभ्रम (hallucinations) के बेंचमार्किंग के लिए एक डेटासेट है, और आंतरिक अवस्था विश्लेषण (internal state analysis) के माध्यम से यह प्रकट करता है कि मतिभ्रम दिखाने वाले मॉडल अपने हिडन स्टेट वेक्टर्स (hidden state vectors) में एक विशिष्ट सींग जैसी आकृति (horn-like pattern) प्रदर्शित करते हैं।
यह शोधपत्र ट्रांसफार्मर मॉडलों में एक दोहरी विच्छेदन (double dissociation) को प्रदर्शित करता है जहाँ वेक्टर दिशा मुख्य रूप से अटेंशनल रूटिंग और लैंग्वेज मॉडलिंग को नियंत्रित करती है, जबकि वेक्टर परिमाण (magnitude) सिंटैक्टिक निर्णयों के लिए प्रसंस्करण तीव्रता को नियंत्रित करता है, जो L2-मैच्ड परटर्बेशन विश्लेषण के माध्यम से प्रकट होता है और लेयरनॉर्म (LayerNorm) बनाम RMSNorm जैसे वास्तुशिल्प विकल्पों पर निर्भर करता है।
यह सर्वेक्षण सर्किट कॉम्प्लेक्सिटी (circuit complexity), एप्रोक्सिमेशन थ्योरी (approximation theory) और कम्युनिकेशन कॉम्प्लेक्सिटी (communication complexity) से प्राप्त अंतर्दृष्टि को संश्लेषित करता है ताकि उन मौलिक संरचनात्मक और कम्प्यूटेशनल बाधाओं को स्पष्ट किया जा सके जो ट्रांसफॉर्मर आर्किटेक्चर को सटीक विविक्त तर्क (exact discrete reasoning) कार्यों को करने से रोकती हैं, साथ ही भविष्य के मॉडल डिज़ाइन के लिए निहितार्थ भी प्रदान करता है।
यह सर्वेक्षण एक व्यापक वर्गीकरण, चिकित्सकों के लिए एक निर्णय मार्गदर्शिका, और डिज़ाइन, अनुकूलन एवं मूल्यांकन को जोड़ने वाले एक एकीकृत ढांचे को पेश करके नेचुरल लैंग्वेज जनरेशन में प्रॉम्प्ट इंजीनियरिंग के लिए एक संरचित ढांचे की कमी को संबोधित करता है ताकि LLMs की नियंत्रणीयता और सामान्यीकरण क्षमता को बढ़ाया जा सके।
यह शोध पत्र बड़े भाषा मॉडलों (LLMs) को समझने और उन्हें संरेखित करने के लिए एक महत्वपूर्ण ढांचे के रूप में मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) की प्रगति, चुनौतियों और भविष्य की दिशाओं का सर्वेक्षण करता है, जो पॉलीसेमैन्टिसिटी (polysemanticity) और सुपरपोजिशन (superposition) जैसी बाधाओं को संबोधित करते हुए RLHF जैसी रणनीतियों को सूचित करने में इसकी भूमिका पर प्रकाश डालता है।
यह शोध पत्र एक RL-आधारित रीराइटिंग एजेंट का प्रस्ताव करता है जो विविधता और कार्य निरंतरता को बनाए रखते हुए मॉडल के प्राकृतिक जनरेशन वितरण के साथ डाउनस्ट्रीम प्रशिक्षण डेटा को संरेखित करने के लिए एक डेटा-रीराइटिंग नीति को अनुकूलित करता है, जिससे सुपरवाइज्ड फाइन-ट्यूनिंग के दौरान कैटास्ट्रोफिक फॉरगेटिंग को कम किया जा सके।
यह शोध पत्र SurveyLens को प्रस्तुत करता है, जो पहला विषय-जागरूक (discipline-aware) बेंचमार्क और दोहरी-लेंस मूल्यांकन ढांचा है, जिसे विविध शैक्षणिक क्षेत्रों में स्वचालित सर्वेक्षण पीढ़ी (Automatic Survey Generation) विधियों के उपयोग का आकलन करने और मार्गदर्शन करने के लिए डिज़ाइन किया गया है, जो वर्तमान कंप्यूटर साइंस-केंद्रित मेट्रिक्स और सामान्य मूल्यांकन मानकों की सीमाओं को संबोधित करता है।