10206 पेपर
यह शोध पत्र यह प्रदर्शित करता है कि टूल-स्कीमा संपीड़न (tool-schema compression) एजेंटिक RAG सिस्टम के लिए एक महत्वपूर्ण बुनियादी ढांचा है, जो टूल परिभाषाओं को कॉन्टेक्स्ट विंडो से बाहर होने से रोककर और अनकंप्रेस्ड स्कीमा की तुलना में सटीक-मैच स्कोर में महत्वपूर्ण सुधार करके, सीमित कॉन्टेक्स्ट बजट के तहत कार्यात्मक प्रदर्शन को सक्षम बनाता है।
यह शोध पत्र प्रकट करता है कि कई एजेंटों के माध्यम से भाषा मॉडलों को व्यवस्थित करने से एक सार्वभौमिक "डिटेक्शन क्लिफ" (पहचान की ढलान) उत्पन्न होती है जहाँ मॉडल के पैमाने या संरेखण की परवाह किए बिना क्रॉस-सेक्शन दस्तावेज़ दोषों को पहचानने की क्षमता दो-तिहाई से अधिक गिर जाती है, और साथ ही रिपोर्टिंग मानदंडों में एक विशिष्ट डेवलपर-निर्भर बदलाव और इन संरचनात्मक विफलताओं का पता लगाने में स्वचालित न्यायाधीशों की अविश्वसनीयता को भी उजागर करता है।
यह शोध पत्र CroCo को प्रस्तुत करता है, जो एक ऐसी विधि है जो यह प्रदर्शित करती है कि स्व-निर्मित प्रतिक्रियाओं और एक अंग्रेजी-प्रशिक्षित रिवॉर्ड मॉडल का उपयोग करके क्रॉस-लिंगुअल कंट्रास्टिव प्रेफरेंस ट्यूनिंग, विविध कार्यों में बहुभाषी एलएलएम (LLM) के प्रदर्शन को प्रभावी ढंग से सुधारती है, बशर्ते कि ऑन-पॉलिसी डेटा का उपयोग किया गया हो, जिसके लिए भाषा-विशिष्ट प्रेफरेंस एनोटेशन की आवश्यकता नहीं होती है।
QAM-W एक संयुक्त 2D कोडबुक क्वांटाइजेशन विधि पेश करता है जो LLM वेट्स के लिए है और जो पेयरवाइज कोऑर्डिनेट संरचनाओं को संरक्षित करने के लिए हैडामार्ड रोटेशन और एक्टिवेशन-अवेयर स्केलिंग का उपयोग करता है, जिससे लगभग 5.5 बिट्स प्रति वेट पर नियर-BF16 परप्लेक्सिटी प्राप्त होती है और पोलर कोडिंग से बेहतर प्रदर्शन करते हुए काफी कम वेट बिट्स के साथ स्मूथक्वांट (SmoothQuant) की गुणवत्ता से मेल खाता है।
यह शोध पत्र ScientistOne को प्रस्तुत करता है, जो एक 'चेन-ऑफ-एविडेंस' (साक्ष्य की श्रृंखला) ढांचे पर निर्मित एक स्वायत्त अनुसंधान प्रणाली है जो निर्माण द्वारा सत्यापन सुनिश्चित करती है, जिससे काल्पनिक उद्धरणों (hallucinated citations) को समाप्त किया जा सके और पूर्ण स्कोर सत्यापन तथा उत्कृष्ट विधि-कोड संरेखण प्राप्त किया जा सके, साथ ही विविध फ्रंटियर अनुसंधान कार्यों में मानव विशेषज्ञ के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन किया जा सके।
यह अध्ययन "द डेली डोज़" के डिज़ाइन और प्रारंभिक मूल्यांकन को प्रस्तुत करता है, जो रेडिएशन ऑन्कोलॉजी वर्कफ़्लो में एकीकृत एक LLM-संचालित प्रणाली है जो स्वचालित रूप से रोगी सारांश तैयार करती है और नैदानिक परीक्षणों की पहचान करती है, जिसने 55 उत्तरदाताओं के एक मिश्रित-पद्धति सर्वेक्षण में उच्च नैदानिक संतुष्टि, उत्कृष्ट विश्वसनीयता और महत्वपूर्ण कथित समय बचत प्रदर्शित की है।
यह शोध पत्र RICE-PO का प्रस्ताव करता है, जो एक क्रिटिक-मुक्त (critic-free) पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क है जो उच्च-अनिश्चितता वाले निष्पादनीय कार्यों (high-uncertainty executable actions) को एंकर के रूप में उपयोग करके रिट्रीवल इंटरैक्शन को स्थानीयकृत लर्निंग सिग्नल्स में परिवर्तित करता है ताकि लेटेंट रीजनिंग स्टेप्स को क्रेडिट असाइन किया जा सके, जिससे BRIGHT और BEIR जैसे बेंचमार्क पर इंटरैक्टिव रीजनिंग एजेंट्स के प्रशिक्षण में सुधार होता है।
यह शोध पत्र एनर्जी-गेटेड अटेंशन (Energy-Gated Attention) और मोर्लेट पोजीशनल एनकोडिंग (Morlet Positional Encoding) को पूरक इंडक्टिव बायस (inductive biases) के रूप में प्रस्तावित करता है, जो टोकन सैलिएंस (token salience) को गेट करने और विभिन्न पैमानों पर पोजीशनल इन्फ्लुएंस (positional influence) को एडेप्टिवली लोकलाइज करने को सीखकर, मानक ट्रांसफॉर्मर्स की तुलना में सुपर-एडिटिव (superadditive) प्रदर्शन सुधार प्रदान करते हैं, हालांकि वर्तमान निष्कर्ष छोटे पैमाने के प्रयोगों पर निर्भर हैं जिनके लिए आगे बड़े पैमाने पर सत्यापन की आवश्यकता है।
यह शोध पत्र रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) को इन-कॉन्टेक्स्ट ऑप्टिमाइज़ेशन प्रक्रिया के रूप में पुनर्गठित करता है, यह प्रदर्शित करते हुए कि लीनियर सेल्फ-अटेंशन लेयर्स एक एकीकृत रिट्रीवल ऑब्जेक्टिव पर ग्रेडिएंट-डिसेन्ट स्टेप्स को लागू कर सकते हैं, जिससे एक हल्का, केवल फॉरवर्ड-ओनली तरीका प्राप्त होता है जो बिना किसी टेस्ट-टाइम ग्रेडिएंट अडैप्टेशन की आवश्यकता के, साक्ष्य उपयोग के संदर्भ-सशर्त अपडेट का पूर्वानुमान लगाकर फ्रोजन RAG मॉडल्स को उन्नत करता है।
यह शोध पत्र एक मनोवैज्ञानिक रूप से भारित (psychometrically-weighted) मूल्यांकन ढांचे को प्रस्तुत करता है जो ऑटिस्टिक एनोटेटर के दृष्टिकोण को प्राथमिकता देता है ताकि यह प्रकट किया जा सके कि कैसे लार्ज लैंग्वेज मॉडल्स अक्सर पुनरुद्धारित भाषा (reclaimed language) को विकलांगता-विरोधी (ableist) के रूप में गलत पहचानते हैं और एंटी-ऑटिस्टिक पूर्वाग्रह का आकलन करते समय संदर्भ संबंधी सूक्ष्मता के बजाय सतही कीवर्ड मिलान पर निर्भर करते हैं।