10551 पेपर
यह शोध पत्र परिकल्पना करता है और प्रमाण प्रदान करता है कि बड़े भाषा मॉडल (large language models) अपने सक्रियण स्थान (activation space) के भीतर कार्यात्मक उप-स्थानों (functional subspaces) का उपयोग करते हैं, जहाँ इन-कॉन्टेक्स्ट लर्निंग (in-context learning) कार्यों को साक्ष्य संचित करने वाले सरल वेक्टर बीजगणितीय ऑपरेशनों के माध्यम से हल किया जाता है।
यह शोध पत्र प्रकट करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में मोडैलिटी का अनुगमन एक दो-चरणीय तंत्र द्वारा नियंत्रित होता है जहाँ उथले स्तर (shallow layers) मल्टीमॉडल संकेतों को इंस्ट्रक्शन टोकन्स के रूप में एक लेटेंट बफर में एकत्रित करते हैं, जबकि गहरे स्तर (deep layers) उपयोगकर्ता के इरादे के आधार पर मोडैलिटी आर्बिट्रेशन को चुनिंदा रूप से हल करने के लिए अटेंशन हेड्स के एक स्पार्स सबसेट का उपयोग करते हैं।
यह शोध पत्र स्केलेबल टास्क एट्रिब्यूशन के लिए गैररेखीय टास्क इंटरैक्शन को सटीक रूप से पकड़ने हेतु एक कुशल ग्रेडिएंट-आधारित अनुमान प्रक्रिया के साथ कर्नेल सरोगेट मॉडल पेश करता है, जो ग्राउंड ट्रुथ के साथ सहसंबंध और डाउनस्ट्रीम डेटा चयन प्रदर्शन के मामले में लीनियर सरोगेट्स और इन्फ्लुएंस फंक्शन्स से काफी बेहतर प्रदर्शन करता है।
यह शोध पत्र SE-Bench प्रस्तुत करता है, जो एक नैदानिक वातावरण (diagnostic environment) है जो पूर्व ज्ञान और तर्क जटिलता से ज्ञान के आंतरिककरण (knowledge internalization) को अलग करके स्वयं-विकास (self-evolution) का कड़ाई से बेंचमार्किंग करने के लिए NumPy लाइब्रेरी को अस्पष्ट (obfuscate) करता है, जिससे यह पता चलता है कि नए ज्ञान को मॉडल के भार (weights) में समाहित करने के लिए ओपन-बुक ट्रेनिंग या मानक RL की तुलना में क्लोज्ड-बुक ट्रेनिंग और सेल्फ-प्ले अधिक प्रभावी हैं।
यह शोध पत्र EcoGym प्रस्तुत करता है, जो तीन विविध, दीर्घ-अवधि वाले संवादात्मक आर्थिक वातावरण वाला एक नवीन ओपन-सोर्स बेंचमार्क है जिसे LLM-आधारित एजेंटों की रणनीतिक सुसंगतता और निष्पादन सुदृढ़ता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि वर्तमान मॉडल विभिन्न परिदृश्यों में उच्च-स्तरीय योजना और कुशल क्रिया निष्पादन को एक साथ अनुकूलित करने में संघर्ष करते हैं।
यह शोध पत्र "वन टोकेनाइज़र" (One Tokenizer) प्रस्तावित करता है, जो एक नेटिव मल्टीमॉडल आर्किटेक्चर है जो सभी इनपुट्स को एक एकीकृत टोकन स्पेस में मैप करके ज्यामितीय मोडैलिटी गैप (geometric modality gap) को समाप्त करता है, जिससे बेहतर डीप रीजनिंग सक्षम होती है और DNA-टेक्स्ट कार्यों में पारंपरिक मॉड्यूलर दृष्टिकोणों से बेहतर प्रदर्शन होता है।
यह शोध पत्र एक राउंडट्रिप सत्यापन ढांचे का प्रस्ताव करता है जो स्वाभाविक भाषा से औपचारिक अनुवाद को निष्ठापूर्ण सुनिश्चित करने के लिए स्वाभाविक भाषा में वापस अनुवाद करने, तार्किक समानता की जांच करने और बिना किसी ग्राउंड-ट्रुथ एनोटेशन की आवश्यकता के त्रुटियों को सुधारने के लिए डायग्नोसिस-गाइडेड स्कोप्ड रिपेयर्स लागू करने के माध्यम से इसे पुनरावृत्त रूप से करता है।
यह शोध पत्र TPU हार्डवेयर पर लॉन्ग-कॉन्टेक्स्ट बैलेंस्ड ऑप्टिमल ट्रांसपोर्ट के लिए एक ब्लॉक-वाइज डिफरेंशिएबल सिंकहॉर्न अटेंशन मैकेनिज्म प्रस्तुत करता है, जो कम मेमोरी कॉम्प्लेक्सिटी के साथ सटीक बैकवर्ड ग्रेडिएंट्स प्राप्त करने के लिए एक स्टॉप्ड-बेस, फिक्स्ड-डेप्थ टेल-रिफाइनमेंट सरोगेट का उपयोग करता है, जबकि सैद्धांतिक बायस और कॉन्ट्रैक्शन गारंटी प्रदान करता है और Pfam प्रोटीन डेटासेट्स पर बेहतर रिकंस्ट्रक्शन और स्पार्स क्रॉस-एन्ट्रॉपी प्रदर्शन प्रदर्शित करता है।
यह शोध पत्र प्रस्तावित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) में तर्क करना एक अंतर्निहित गतिक प्रक्रिया है जो ज्यामितीय और सूचनात्मक बाधाओं द्वारा नियंत्रित होती है, जहाँ प्रभावी प्रदर्शन केवल तभी उभरता है जब आंतरिक अनुमान संबंधी गतिकी स्वयं को निम्न-आयामी मैनिफोल्ड्स (low-dimensional manifolds) में व्यवस्थित करती है जो गैर-अपभ्रंश सूचना आयतन (non-degenerate information volume) को संरक्षित करते हैं, जिससे एक नया लेबल-मुक्त नैदानिक ढांचा सक्षम होता है।
यह शोध पत्र "फीचर राइवलरी" (feature rivalry) को नकारात्मक रूप से सह-संबंधित स्पार्स ऑटोएन्कोडर फीचर युग्मों के रूप में प्रस्तुत करता है जो Gemma-2-2B में मॉडल अनिश्चितता के एक यांत्रिक हस्ताक्षर (mechanistic signature) के रूप में कार्य करते हैं, यह प्रदर्शित करते हुए कि उच्च-एन्ट्रॉपी वाले प्रॉम्प्ट विशिष्ट परतों में तीव्र राइवलरी को ट्रिगर करते हैं, राइवलरी अक्षों (rivalry axes) के अनुदिश स्टीयरिंग आउटपुट को कार्यमूलक रूप से प्रभावित करती है, और राइवलरी स्कोर उत्तर की शुद्धता का पूर्वानुमान लगा सकते हैं।