10551 पेपर
यह शोध पत्र LENS को प्रस्तुत करता है, जो एक पैच-स्तरीय एनकोडर और एक बड़े पैमाने के सेंसर-टेक्स्ट डेटासेट के माध्यम से मल्टीमॉडल सेंसर डेटा को लार्ज लैंग्वेज मॉडल्स के साथ संरेखित करता है ताकि नैदानिक रूप से सार्थक मानसिक स्वास्थ्य आख्यान (नैरेटिव) उत्पन्न किए जा सकें, जिससे LLMs को बेहतर नैदानिक निर्णय लेने के लिए कच्चे व्यवहार संबंधी संकेतों पर तर्क करने में सक्षम बनाया जा सके।
यह शोध पत्र रिकर्सिव लैंग्वेज मॉडल्स (RLMs) को प्रस्तुत करता है, जो एक इन्फरेंस-टाइम स्केलिंग प्रतिमान (paradigm) है जो LLMs को प्रोग्रामेटिक रूप से अनिश्चित रूप से लंबे प्रॉम्प्ट्स को विघटित और पुनरावर्ती रूप से संसाधित करने में सक्षम बनाता है, जिससे मौजूदा लॉन्ग-कॉन्टेक्स्ट विधियों और फ्रंटियर मॉडल्स की तुलना में काफी बेहतर प्रदर्शन प्राप्त होता है जबकि लागत समान बनी रहती है।
यह शोध पत्र REVIVE को प्रस्तुत करता है, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जो स्पेक्ट्रल विश्लेषण का उपयोग करके प्रीट्रेंड वेट्स के प्रमुख सिंगुलर सबस्पेस की पहचान और उसे संरक्षित करके क्रमिक ज्ञान संपादन (sequential knowledge editing) में होने वाले कैटास्ट्रोफिक कोलैप्स को कम करता है, जिससे हजारों संपादन के बाद भी संपादन प्रभावकारिता और सामान्य मॉडल प्रदर्शन दोनों को बनाए रखा जा सके।
यह शोध पत्र पैरामीट्रिक स्किल ट्रांसफर (PaST) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो सुदृढीकरण लर्निंग (Reinforcement Learning) से प्राप्त डोमेन-अज्ञेय कौशल वैक्टरों (domain-agnostic skill vectors) को रैखिक रूप से इंजेक्ट करके लार्ज लैंग्वेज मॉडल्स को अनुकूलित करने में सुपरवाइज्ड फाइन-ट्यूनिंग की सीमाओं को संबोधित करता है, जिससे ज्ञान समावेश और एजेंटिक टूल उपयोग के लिए कुशल और प्रभावी निरंतर अनुकूलन सक्षम होता है।
यह शोध पत्र एलएलएम (LLM) पूर्वाग्रह के ऑडिटिंग के लिए एक स्केलेबल, एंटिटी-आधारित ढांचे को प्रस्तुत करता है जो अब तक के सबसे बड़े अध्ययन (1.9 बिलियन डेटा पॉइंट्स) को संचालित करने के लिए सिंथेटिक डेटा का लाभ उठाता है, जो राजनीतिक और भौगोलिक पक्षपात जैसे व्यवस्थित विचलनों को प्रकट करता है जो इंस्ट्रक्शन ट्यूनिंग के बावजूद बने रहते हैं और मॉडल के बढ़ते स्केल द्वारा और अधिक बढ़ जाते हैं।
यह शोध पत्र DiGiT-TC प्रस्तुत करता है, जो एक नवीन डेटा जनरेशन विधि है जो उपयोगकर्ता अनुरोधों के भीतर टूल कॉल्स को अंतर्निहित रूप से दर्शाकर स्टेटलेस निष्पादन वातावरण (stateless execution environments) के लिए जटिल मल्टी-टर्न टूल कॉलिंग वार्तालापों को संश्लेषित करती है, जिससे स्टेटफुल सत्यापन (stateful validation) पर निर्भर किए बिना छोटे भाषा मॉडलों की प्रभावी ट्यूनिंग सक्षम होती है।
यह शोध पत्र सरल, स्केलेबल तकनीकों को प्रस्तुत करता है जो यह प्रदर्शित करती हैं कि इम्पलिसिट प्लानिंग (implicit planning)—एक ऐसी प्रक्रिया जहाँ भाषा मॉडल तुकबंदी या उत्तर जैसे भविष्य के लक्ष्यों की ओर मध्यवर्ती टोकन को निर्देशित करते हैं—एक सार्वभौमिक क्षमता है जो 1B पैरामीटर्स जितने छोटे मॉडलों में भी मौजूद है, जो एआई सुरक्षा और नियंत्रण के लिए नई अंतर्दृष्टि प्रदान करती है।
यह शोध पत्र "फेलियर-प्रिफिक्स कंडीशनिंग" (failure-prefix conditioning) का प्रस्ताव करता है, जो दुर्लभ गलत प्रक्षेप पथों (trajectories) के प्रिफिक्स पर कंडीशन करके संतृप्त समस्याओं (saturated problems) पर रीजनिंग मॉडल के प्रशिक्षण को बढ़ाता है ताकि अन्वेषण को विफलता-प्रवण अवस्थाओं की ओर स्थानांतरित किया जा सके, जिससे महंगी नई डेटा संग्रह की आवश्यकता के बिना मूल्यवान शिक्षण संकेतों को अनलॉक किया जा सके।
यह शोध पत्र एक सरल, मॉडल-अज्ञेय (model-agnostic) "प्रॉम्ट प्रोजेक्टर" मॉड्यूल का प्रस्ताव करके LLM-आधारित स्पीच रिकग्निशन में फिक्स्ड प्रॉम्ट डिज़ाइन्स के कारण होने वाली प्रदर्शन अस्थिरता को संबोधित करता है, जो प्रॉम्ट एम्बेडिंग्स को अनुकूलित करना सीखता है, जिससे विविध डेटासेट्स में सटीकता में निरंतर सुधार होता है और परिवर्तनशीलता कम होती है।
यह शोध पत्र प्रकट करता है कि ट्रांसफॉर्मर्स में ग्रेडिएंट-आधारित एट्रिब्यूशन (attribution) व्यवस्थित रूप से कारण संबंधी महत्व को गलत पहचानता है, क्योंकि यह अनावश्यक प्रारंभिक-परत घटकों ("ग्रेडिएंट ब्लोट्स") को अत्यधिक महत्व देता है और महत्वपूर्ण अंतिम-परत घटकों ("हिडन हीरोज") को कम आंकता है, जिससे त्रुटिपूर्ण यांत्रिक व्याख्याओं से बचने के लिए कारण सत्यापन (causal validation) आवश्यक हो जाता है।