27599 पेपर
यह शोधपत्र SkillGuard-Robust को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो अविश्वसनीय एजेंट स्किल्स (Agent Skills) के प्री-लोड ऑडिटिंग को एक सुदृढ़ तीन-तरफा वर्गीकरण कार्य में परिवर्तित करता है, जो विविध पैकेज मूल्यांकनों में लगभग पूर्ण दुर्भावनापूर्ण-जोखिम रिकॉल और हमले की निरंतरता प्राप्त करता है, जबकि बाहरी-स्रोत स्थानांतरण (external-source transfer) में चल रही चुनौतियों को भी रेखांकित करता है।
यह स्थिति पत्र (position paper) तर्क देता है कि नॉलेज डिस्टिलेशन का मूल्यांकन केवल बरकरार रखे गए कार्य प्रदर्शन द्वारा ही नहीं, बल्कि सुरक्षा और अनिश्चितता जैसी महत्वपूर्ण शिक्षक क्षमताओं के संरक्षण द्वारा भी किया जाना चाहिए, जो "जवाबदेह डिस्टिलेशन" (accountable distillation) के एक नए ढांचे का प्रस्ताव देता है जो स्पष्ट रूप से यह रिपोर्ट करता है कि संपीड़न प्रक्रिया के दौरान क्या खो गया है।
यह शोध पत्र M-VQA प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को सूक्ष्म-स्तरीय एंटिटी समझ और जटिल मल्टी-हॉप रीजनिंग पर मूल्यांकन करने के लिए डिज़ाइन किया गया है, जिसके लिए उन्हें कई दृश्य और पाठ्य स्रोतों से जानकारी को संश्लेषित करने की आवश्यकता होती है, जो ज्ञान प्राप्ति में वर्तमान महत्वपूर्ण सीमाओं को प्रकट करता है और रीजनिंग-अवेयर रिट्रीवल विधियों की श्रेष्ठता को रेखांकित करता है।
यह शोध पत्र फ्रिक्टिव पॉलिसी ऑप्टिमाइज़ेशन (FPO) को प्रस्तुत करता है, जो एक नया ढांचा है जो LLM अलाइनमेंट को एक जोखिम-संवेदनशील एपिस्टेमिक नियंत्रण समस्या के रूप में पुनर्गठित करता है जहाँ एजेंट केवल तत्काल कार्य पुरस्कारों के लिए अनुकूलन करने के बजाय अनिश्चितता और मानदण्ड संबंधी जोखिम को प्रबंधित करने के लिए स्पष्टीकरण और इनकार जैसे हस्तक्षेपों को रणनीतिक रूप से तैनात करना सीखते हैं।
यह शोध पत्र UnIte का प्रस्ताव करता है, जो एक अनिश्चितता-आधारित पुनरावृत्ति दस्तावेज़ नमूनाकरण (iterative document sampling) विधि है जो कम प्रशिक्षण नमूनों के साथ न्यूरल रिट्रीवर्स के लिए अनसुपरवाइज्ड डोमेन अनुकूलन (unsupervised domain adaptation) में महत्वपूर्ण सुधार करने हेतु एलियटोरिक अनिश्चितता (aleatoric uncertainty) को फ़िल्टर करती है और एपिस्टेमिक अनिश्चितता (epistemic uncertainty) को प्राथमिकता देती है।
यह शोध पत्र यह प्रदर्शित करता है कि ऑप्टिमाइज़र अपडेट के बजाय लॉस ग्रेडिएंट्स का विश्लेषण करने से ग्रेडिएंट-दिशा संवेदनशीलता (gradient-direction sensitivity) और लीनियर-सेंट्रॉइड हाइपोथेसिस फीचर्स के बीच एक गहरा, पूर्व में छिपा हुआ जुड़ाव प्रकट होता है, जो यह दर्शाता है कि अटेंशन अपडेट को लो-रैंक सबस्पेस तक सीमित करने से ग्रोकिंग (grokking) में तेजी आती है जबकि प्राकृतिक फुल-रैंक अपडेट अत्यधिक रैंक-रिडंडेंट होते हैं।
यह शोध पत्र यह प्रदर्शित करता है कि न्यूरल नेटवर्क में ओवरपैरामीट्राइजेशन (overparameterization) वेट-स्पेस सिमिट्रीज़ (weight-space symmetries) को पेश करके प्रशिक्षण को अनुकूलित करता है जो हेसियन कंडीशनिंग (Hessian conditioning) में सुधार करने और विशिष्ट इनिशियलाइज़ेशन के पास ग्लोबल मिनिमा (global minima) की प्रोबेबिलिटी मास (probability mass) को बढ़ाने के लिए डायगोनल प्रीकंडीशनिंग (diagonal preconditioning) के रूप में कार्य करते हैं, जिससे अभिसरण (convergence) में तेजी आती है।
यह शोध पत्र एक क्षमता-उन्मुख परीक्षण ढांचे (capability-oriented testing framework) का प्रस्ताव करता है जो विजन-एंड-लैंग्वेज नेविगेशन एजेंटों में विफलताओं का प्रभावी ढंग से पता लगाने और उनके मूल कारणों का सटीक पता लगाने के लिए अनुकूली टेस्ट केस जनरेशन, क्षमता-विशिष्ट ओरैकल्स और फीडबैक-संचालित एट्रिब्यूशन को जोड़ता है, जो विफलता खोज और व्याख्यात्मकता दोनों में मौजूदा सिस्टम-स्तरीय विधियों से बेहतर प्रदर्शन करता है।
यह शोध पत्र प्रदर्शित करता है कि यादृच्छिक रूप से उत्पन्न माइक्रोपाय (MicroPy) प्रोग्रामों पर प्रशिक्षित एक छोटा ट्रांसफार्मर जटिल, मानव-लिखित एल्गोरिदम को निष्पादित करने के लिए सामान्यीकरण कर सकता है, जो इस बात का अनुभवजन्य प्रमाण प्रदान करता है कि मानक ट्रांसफार्मर सार्वभौमिक कंप्यूटर के रूप में कार्य कर सकते हैं।
यह शोध पत्र इंटरप्रिटेबिलिटी-गाइडेड डेटा सिलेक्शन (IGDS) का परिचय देता है, जो एक नवीन फ्रेमवर्क है जो फाइन-ट्यूनिंग के लिए "फीचर-रेजोनेंट डेटा" की पहचान करने और उसे चुनने के लिए मैकेनिस्टिक इंटरप्रिटेबिलिटी का लाभ उठाता है, यह प्रदर्शित करते हुए कि यह दृष्टिकोण फुल-डेटासेट ट्रेनिंग और मौजूदा बेसलाइन्स की तुलना में बेहतर डेटा दक्षता के साथ गणित और अनुवाद जैसे कार्यों पर लार्ज लैंग्वेज मॉडल के प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।