23609 पेपर
यह शोध पत्र मानक बाएं-से-दाएं (left-to-right) उद्देश्यों की तुलना में फिल-इन-द-मिडल (FIM) प्रीट्रेनिंग की स्मृति गतिकी (memorization dynamics) की जांच करता है, जो यह प्रकट करता है कि जहाँ FIM छोटे या आंशिक स्पैन को पुनः प्राप्त करने में उत्कृष्ट है, वहीं यह शाब्दिक रिकॉल (verbatim recall) के लिए प्रीफिक्स संदर्भ पर अत्यधिक निर्भर रहता है और डेटा पुनरावृत्ति के साथ स्मृति में रैखिक वृद्धि प्रदर्शित करता है।
यह शोध पत्र प्रकट करता है कि टेस्ट-टाइम ट्रेनिंग (TTT) महत्वपूर्ण नई कमजोरियां पेश करता है जो हमलावरों को सुरक्षा गार्डरेल्स को महत्वपूर्ण रूप से दरकिनार करने और जेलब्रेक सफलता दर को बढ़ाने की अनुमति देती है, जिससे इन उभरते खतरों को कम करने के लिए नए डिटेक्शन मैकेनिज्म और डायनेमिक एलाइनमेंट रणनीतियों की आवश्यकता होती है।
यह शोध पत्र प्रस्तावित करता है कि सक्रिय संवेदन (active sensing) मुख्य रूप से अनिश्चितता में कमी जैसे संवेदी लक्ष्यों द्वारा संचालित नहीं होता है, बल्कि एक सुदृढ़ कार्य-स्तरीय नियंत्रण के लिए एक आवश्यक रणनीति के रूप में उभरता है, जहाँ जीव संवेदी फीडबैक को आकार देने के लिए विविक्त "अन्वेषण" (explore) और "दोहन" (exploit) मोड के बीच स्विच करते हैं—एक जैविक सिद्धांत जो इंजीनियर की गई रोबोटिक प्रणालियों के डिज़ाइन को महत्वपूर्ण रूप से उन्नत कर सकता है।
यह शोधपत्र घातांकीय जटिलता (exponential complexity) को दूर करने के लिए लिप्सचिट्ज़ निरंतर मध्यवर्तीों (Lipschitz continuous intermediaries) का उपयोग करके मल्टीक्लास वर्गीकरण में असतत गुणों (discrete properties) के अनुमानित अंशांकन (approximate calibration) के लिए प्रथम ढांचे को प्रस्तुत करता है, जिससे मोड और रैंकिंग जैसे सुदृढ़ रूप से क्रमबद्ध असतत गुणों की स्मूथ्ड एलिसिटेशन जटिलता (smoothed elicitation complexity) को अभिलक्षणिक बनाया जा सके।
यह शोध पत्र वर्ल्ड मशीन (World Machine) को प्रस्तुत करता है, जो टाइम सीरीज़ के लिए एक ट्रांसफॉर्मर-आधारित जनरेटिव वर्ल्ड मॉडल है, जो पारंपरिक ट्रांसफॉर्मर्स की द्विघातीय (quadratic) कम्प्यूटेशनल सीमाओं को पार करने के लिए विभिन्न डेटा संदर्भों में रैखिक स्केलेबिलिटी और अनुकूलन क्षमता प्राप्त करने हेतु लेटेंट स्टेट्स (latent states) का उपयोग करता है।
यह शोध पत्र RADAR को प्रस्तुत करता है, जो एक ज्यामितीय रूप से आधारित मीट्रिक है जो लेयर-वार रिप्रजेंटेशन प्रक्षेपवक्रों (representation trajectories) में कोणीय विचलन और सापेक्ष दूरी परिवर्तनों का विश्लेषण करके फाउंडेशन मॉडल्स में क्रॉस-डोमेन ट्रांसफरैबिलिटी का अनुमान लगाता है, जो टेक्स्ट और इमेज बेंचमार्क पर प्रतिस्पर्धी भविष्य कहनेवाला प्रदर्शन प्रदर्शित करता है।
यह शोध पत्र लेयर-वाइज ऑप्टिमल एम्बेडिंग सिलेक्शन (LOES) और ज्योमेट्रिक रेगुलराइजेशन लॉस (GeoReg) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि डीप फाउंडेशनल मॉडल्स में कार्य-प्रासंगिक जानकारी परतों के बीच गैर-एकदिष्ट (non-monotonically) रूप से वितरित होती है, जो यह दर्शाता है कि कार्य-विभेदक मध्यवर्ती निरूपणों (intermediate representations) की स्पष्ट रूप से पहचान करना और उन्हें ज्यामितीय रूप से संरेखित करना मानक ट्रांसफर लर्निंग दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन करता है।
यह शोधपत्र पहला कारणत्मक प्रमाण (causal evidence) प्रदान करता है कि बड़े भाषा मॉडल सांख्यिकीय पूर्व-अधिग्रहण (statistical preemption) के माध्यम से भाषाई अस्वीकार्यता के ज्ञान को प्राप्त करते हैं, जो यह प्रदर्शित करता है कि पारंपरिक रूपों के संपर्क में आने से केवल क्रियात्मक सुदृढ़ीकरण (verb entrenchment) के बजाय वितरण संबंधी प्रतिस्पर्धा (distributional competition) के माध्यम से संरचनात्मक रूप से संभव लेकिन अप्रमाणित विकल्पों का दमन होता है।
यह शोध पत्र प्रोटोटाइप-आधारित स्पार्स स्टीयरिंग (Prototype-Based Sparse Steering) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो LLM क्वेरी एक्टिवेशन्स पर स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders) को लागू करता है और लक्षित प्रोटोटाइप के साथ स्पार्स फीचर्स को संरेखित करने के लिए ग्रेडिएंट-आधारित अनुकूलन का उपयोग करता है, जिससे तार्किक योजना संबंधी बाधाओं और संज्ञानात्मक जटिलता जैसे शैलीगत सूक्ष्मताओं, दोनों पर सटीक और व्याख्या योग्य नियंत्रण सक्षम होता है।
यह शोध पत्र TIME को प्रस्तुत करता है, जो एक सिंथेटिक मोशन डेटा के माध्यम से एक मास्क्ड ऑटोएनकोडर द्वारा विशेष रूप से प्रशिक्षित एक सेल्फ-सुपरवाइज्ड वीडियो रिप्रेजेंटेशन है, जो वर्तमान वीडियो मॉडलों की स्केलेबिलिटी और भाषा-निर्भरता की सीमाओं को पार करते हुए 10,000 गुना कम प्रशिक्षण डेटा के साथ अत्याधुनिक ज़ीरो-शॉट प्रदर्शन प्राप्त करता है।