22512 पेपर
Concept-SAE एक नवीन ढांचा है जो एक्टिवेशन्स को उपयोगकर्ता-निर्धारित अर्थों के साथ संरेखित ऑर्थोगोनल "कॉन्सेप्ट टोकन्स" और अवशिष्ट जानकारी के लिए "फ्री टोकन्स" में विभाजित करके स्पार्स ऑटोएनकोडर्स को एक नियंत्रणीय, प्रतिवर्ती इंटरफेस के साथ उन्नत करता है, जिससे ओपन-एंडेड फीचर डिस्कवरी को संरक्षित करते हुए विशिष्ट अवधारणाओं की उच्च-सटीक प्रोबिंग, एडिटिंग और निदान सक्षम होता है।
14 ओपन लार्ज लैंग्वेज मॉडल परियोजनाओं के एक खोजपूर्ण विश्लेषण के माध्यम से, यह शोध पत्र विकास जीवनचक्र (डेवलपमेंट लाइफसाइकिल) के दौरान ओपन सहयोग की विकसित होती प्रथाओं, विविध प्रेरणाओं और विविध शासन संरचनाओं का मानचित्रण करता है, और यह निष्कर्ष निकालता है कि एआई में खुलापन (ओपननेस) एक समान गुण होने के बजाय इस बात का एक उभरता हुआ परिणाम है कि ये परस्पर जुड़े तत्व कैसे व्यवस्थित हैं।
यह शोध पत्र सेलेक्टिव सिंकहॉर्न रूटिंग (SSR) प्रस्तुत करता है, जो एक हल्का तंत्र है जो संतुलित विशेषज्ञ उपयोगिता और बेहतर मॉडल प्रदर्शन प्राप्त करने के लिए टोकन-टू-एक्सपर्ट असाइनमेंट को एक कन्सट्रेंड ऑप्टिमल ट्रांसपोर्ट समस्या के रूप में फ्रेम करता है, बिना किसी सहायक बैलेंसिंग लॉस या जटिल ट्रेन करने योग्य घटकों पर निर्भर हुए।
यह शोध पत्र ग्रेडिएंट फ्लो के तहत डीप लीनियर न्यूरल नेटवर्क के गतिकी और लॉस लैंडस्केप का सर्वेक्षण करता है, जो एक एडजेसेंसी मैट्रिक्स फॉर्मूलेशन का उपयोग करके एक निलपोटेंट (nilpotent), आइसोस्पेक्ट्रल संरचना को प्रकट करता है जिसमें अनंत वैश्विक मिनिमा और सैडल पॉइंट्स हैं लेकिन कोई स्थानीय मिनिमा नहीं है, साथ ही एक कोटिएंट स्पेस प्रतिनिधित्व पेश करता है जो विशिष्ट रूप से क्रिटिकल वैल्यूज को अभिलक्षित करता है और स्थिर एवं अस्थिर सबमैनिफोल्ड्स के विश्लेषण को सुगम बनाता है।
यह शोध पत्र एक टूर्नामेंट-आधारित बेंचमार्क प्रस्तुत करता है जो एक जटिल बाजार-संचालित लॉजिस्टिक्स समस्या पर स्नातक छात्रों के विरुद्ध लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन करता है, जिससे यह खुलासा होता है कि मानव-कोडित एजेंट LLM-जनरेटेड समाधानों से काफी बेहतर प्रदर्शन करते हैं, जहाँ अधिकांश LLM एजेंट सरल बेसलाइन को पार करने में विफल रहते हैं और यहाँ तक कि उन्हें सुधारने के लिए प्रेरित किए जाने पर वे इष्टतम मानवीय रणनीतियों को और भी खराब कर देते हैं।
यह शोध पत्र प्रकट करता है कि मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स (Masked Diffusion Language Models) एक प्रबल लोकैलिटी बायस (locality bias) और विचलित करने वाले मास्क टोकन्स के कारण प्रदर्शन में गिरावट से ग्रस्त होते हैं, और उनके संदर्भ बोध (context comprehension) और मजबूती (robustness) को महत्वपूर्ण रूप से सुधारने के लिए एक मास्क-एग्नोस्टिक लॉस फंक्शन (mask-agnostic loss function) का प्रस्ताव करता है।
यह शोधपत्र RARO को प्रस्तुत करता है, जो एक नवीन इनवर्स रीइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो एक पॉलिसी और एक रिलेटिस्टिक क्रिटिक के बीच एक एडवरसेरियल गेम का उपयोग करके केवल विशेषज्ञ प्रदर्शनों (expert demonstrations) के माध्यम से लार्ज लैंग्वेज मॉडल्स को प्रभावी ढंग से तर्क करने के लिए प्रशिक्षित करता है, जिससे कार्य-विशिष्ट सत्यापनकर्ताओं (task-specific verifiers) पर निर्भर रहे बिना तर्क संबंधी कार्यों पर मजबूत प्रदर्शन प्राप्त किया जाता है।
यह शोधपत्र CrossHA को प्रस्तुत करता है, जो एक एकीकृत एजेंटिक मॉडल है जिसे सुपरवाइज्ड फाइन-ट्यूनिंग और मल्टी-टर्न ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन के संयोजन वाले एक नवीन पाइपलाइन के माध्यम से प्रशिक्षित किया गया है ताकि यह विषम एक्शन स्पेस के बीच स्वायत्त रूप से चयन और स्विच कर सके, जिससे माइनक्राफ्ट वातावरण के भीतर गतिशील, लॉन्ग-होरइजन कार्यों में अत्याधुनिक प्रदर्शन और अनुकूलनशीलता प्राप्त की जा सके।
यह शोध पत्र यह प्रदर्शित करता है कि शास्त्रीय हॉपफील्ड नेटवर्क (Hopfield networks), नॉर्म-कुशल (norm-efficient) समाधानों की ओर एक अंतर्निहित पूर्वाग्रह का लाभ उठाकर छोटे यादृच्छिक नमूनों से ग्राफ समरूपता वर्गों (graph isomorphism classes) को कुशलतापूर्वक सीख सकते हैं, जो मापदंडों को एक निम्न-आयामी अपरिवर्त्य उप-स्थान (low-dimensional invariant subspace) की ओर ले जाता है और समूह-संरचित डेटा के तहत अनुमानित अपरिवर्तनीयता को सक्षम बनाता है।
यह अवधारणा पत्र एक मापन मानकीकरण ढांचे का प्रस्ताव करता है ताकि तैनात एआई प्रणालियों में संभावित जोखिमों का पता लगाने के लिए "एआई महामारी विज्ञान" (AI epidemiology) को सक्षम किया जा सके, जिसके लिए विशेषज्ञ-एआई अंतःक्रिया आकलन की विश्वसनीयता को मान्य करने हेतु एक व्याकरण और सांख्यिकीय प्रोटोकॉल को परिभाषित किया गया है और भविष्य के शासन एवं महामारी विज्ञान संबंधी अध्ययनों के लिए एक आधार स्थापित किया गया है।