22650 पेपर
SpotAttention एक हल्का, प्लग-इन ब्लॉक-स्पार्स रूटिंग तंत्र है जो फ्रोजन प्रीट्रेंड ट्रांसफॉर्मर्स से जुड़कर KL डिस्टिलेशन के माध्यम से अटेंशन डिस्ट्रीब्यूशन को सीखने के लिए उपयोग किया जाता है, जो मौजूदा बेसलाइनों की तुलना में काफी तेज़ डिकोडिंग गति और कम मेमोरी उपयोग के साथ 128K टोकन तक सटीक लॉन्ग-कॉन्टेक्स्ट इन्फरेंस सक्षम बनाता है।
यह शोध पत्र एक नए मूल्यांकन एल्गोरिदम, मॉडिफाइड राइज़-इवैल (Modified RISE-eval) को प्रस्तावित और मान्य करता है, ताकि स्पीकर रिकग्निशन कार्यों में ग्रेड-कैम (GradCAM) और लेयर-कैम (LayerCAM) द्वारा उत्पन्न अटेंशन मैप्स का व्यवस्थित रूप से आकलन किया जा सके, जो यह प्रकट करता है कि प्रत्येक विधि विभिन्न प्रयोगात्मक स्थितियों के तहत विशिष्ट लाभ प्रदान करती है।
यह शोध पत्र 'एजेंट-एज़-ए-रूटर' (Agent-as-a-Router) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो मॉडल रूटिंग को निष्पादन-आधारित अनुभव (execution-grounded experience) संचित करने के लिए एक गतिशील संदर्भ-क्रिया-फीडबैक (Context-Action-Feedback) लूप के रूप में मानता है, जिससे स्थिर रूटर्स की सूचना की कमी को दूर किया जा सके और कोडिंग कार्यों में बेहतर प्रदर्शन और लागत-दक्षता प्राप्त की जा सके।
यह शोध पत्र DeepDiscovery को प्रस्तुत करता है, जो एक दो-चरणीय "लोकेशन-इन्फरेंस" (स्थान-अनुमान) ढांचा है जो स्थानीय अंशों से आगे बढ़कर बड़े औद्योगिक कोडबेस से कार्य-प्रासंगिक संदर्भ को प्रभावी ढंग से पुनर्प्राप्त करता है, जिससे जटिल सॉफ्टवेयर इंजीनियरिंग कार्यों पर फ़ाइल पुनर्प्राप्ति और कोडिंग एजेंट के प्रदर्शन में महत्वपूर्ण सुधार होता है।
यह शोध पत्र कम्यूटेटिव अलजेब्रा में कालाई के बीजगणितीय हिरश अनुमान (Kalai's algebraic Hirsch conjecture) के लिए प्रति-उदाहरण (counterexamples) निर्मित करने की विरल-पुरस्कार (sparse-reward) चुनौती को प्रभावी ढंग से हल करने के लिए एक इक्विवेरिएंट ग्राफ न्यूरल नेटवर्क पॉलिसी के साथ एक कंस्ट्रेंड ऑप्शंस-आधारित पदानुक्रमित सुदृढीकरण शिक्षण (Hierarchical Reinforcement Learning) ढांचे का प्रस्ताव करता है, जो शास्त्रीय आरएल (RL) और ग्रीडी सर्च विधियों से बेहतर प्रदर्शन करता है।
यह शोध पत्र "समयपूर्व प्रतिबद्धता" (premature commitment) को लॉन्ग-होरिज़न एलएलएम एजेंटों में एक छिपे हुए विफलता मोड के रूप में पहचानता है, जहाँ हिडन स्टेट्स में प्रारंभिक रिप्रजेंटेशनल कन्वर्जेंस व्यवहार संबंधी निरंतरता की भविष्यवाणी करता है न कि शुद्धता की, जो एक रनटाइम मॉनिटर को अस्थिर प्रक्षेप पथों का पता लगाने और सटीकता से समझौता किए बिना वेरिएंस को कम करने के लिए एक प्रॉम्प्टिंग हस्तक्षेप को सक्षम बनाता है।
यह शोध पत्र सैद्धांतिक रूप से सिद्ध करता है कि वेरिफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग (RLVR), रीजनिंग कार्यों में सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से बेहतर प्रदर्शन करती है, क्योंकि यह मॉडल्स को डेड एंड्स (dead ends) से बैकट्रैकिंग कुशलतापूर्वक सीखने में सक्षम बनाती है, जिससे इन्फरेंस-टाइम कंप्यूट लागत में घातांकीय कमी आती है।
यह शोध पत्र ENVS को प्रस्तुत करता है, जो एक प्रशिक्षण-समय खोज-और-फ़िल्टर पाइपलाइन है जो GUI एजेंटों के लिए सत्यापित, वैश्विक रूप से संतुलित पर्यवेक्षण उत्पन्न करने के लिए लाइव OSWorld वातावरण का लाभ उठाता है, जो लंबी अवधि के कार्यों पर उत्कृष्ट प्रदर्शन और कंप्यूट दक्षता प्राप्त करता है और साथ ही वास्तविक डेस्कटॉप बाधाओं के विरुद्ध बेहतर मजबूती और दृश्य तर्क क्षमताओं के बेहतर संरक्षण का प्रदर्शन करता है।
यह शोध पत्र प्रदर्शित करता है कि LLM एजेंट योजनाओं को एक निरंतर अवस्था (persistent state) के रूप में आत्मसात करने में विफल रहते हैं, बल्कि योजना की जानकारी बनाए रखने के लिए संदर्भ प्रबंधन (context management) पर महत्वपूर्ण रूप से निर्भर करते हैं, जो एक नए नैदानिक ढांचे (diagnostic framework) के माध्यम से प्रकट हुआ है जो यह दर्शाता है कि जब योजनाओं को संदर्भ विंडो (context window) से हटा दिया जाता है, तो प्रदर्शन में भारी गिरावट आती है।
यह शोध पत्र 'इमेजिन-देन-एक्ट' (imagine-then-act) वर्ल्ड मॉडल्स में "ट्रस्टेड इमेजिनेशन" (trusted imagination) को एक महत्वपूर्ण भेद्यता के रूप में पहचानता है जहाँ हमलावर सुरक्षा प्रणालियों को बायपास करने और कार्यों को विफल करने के लिए भविष्य के लेटेंट ट्रेजेक्टरीज (latent trajectories) को आसानी से दूषित कर सकते हैं, और साथ ही एक पैरामीटर-मुक्त डीनॉइज़र डिटेक्टर (denoiser detector) प्रस्तावित करता है जो ऐसे ऑफ-मैनिफोल्ड (off-manifold) व्यवधानों के विरुद्ध पूर्ण पहचान प्राप्त करता है।