23845 पेपर
SAEmnesia एक सुपरवाइज्ड स्पार्स ऑटोएनकोडर फ्रेमवर्क पेश करता है जो फीचर सेंट्रलाइजेशन प्राप्त करने के लिए वन-टू-वन कॉन्सेप्ट-न्यूरॉन मैपिंग को लागू करता है, जिससे डिफ्यूजन मॉडल्स में अत्यधिक कुशल, स्केलेबल और सटीक कॉन्सेप्ट इरेज़रेशन सक्षम होता है और साथ ही हाइपरपैरामीटर सर्च को काफी कम करता है और कई बेंचमार्क पर स्टेट-ऑफ-द-आर्ट विधियों से बेहतर प्रदर्शन करता है।
यह शोध पत्र हेसियन स्पेक्ट्रल कोलैप्स (Hessian spectral collapse) को डीप कॉन्टिनुअल लर्निंग में प्लास्टिसिटी लॉस के मूल कारण के रूप में पहचानता है, NTK डायनेमिक्स को हेसियन कर्वेचर से जोड़ने वाली सैद्धांतिक स्थितियों को व्युत्पन्न करता है, और विभिन्न कार्यों (tasks) में प्लास्टिसिटी को सफलतापूर्वक बनाए रखने के लिए प्रभावी फीचर रैंक संरक्षण और L2 रेगुलराइजेशन के संयोजन का प्रस्ताव करता है।
यह शोध पत्र तर्क देता है कि मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) मौलिक रूप से एक सांख्यिकीय अनुमान समस्या है जो कॉज़ल मीडिएशन स्कोर्स (causal mediation scores) में उच्च अंतर्निहित विचरण (high intrinsic variance) से ग्रस्त है, जिसके कारण सर्किट डिस्कवरी पाइपलाइन अस्थिर और नाजुक परिणाम उत्पन्न करती हैं जो कठोर सांख्यिकीय सुदृढ़ता और स्थिरता रिपोर्टिंग की ओर बदलाव को आवश्यक बनाती हैं।
यह शोध पत्र PLSemanticsBench को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि समकालीन लार्ज लैंग्वेज मॉडल्स मुख्य रूप से प्रदान की गई औपचारिक प्रोग्राम सिमेंटिक्स (program semantics) पर व्यवस्थित रूप से आधारित होने के बजाय पूर्व-प्रशिक्षित लेक्सिकल एसोसिएशंस (lexical associations) पर निर्भर करते हैं, जैसा कि सिमेंटिक म्यूटेशन (semantic mutations), नवीन प्रतीकों (novel symbols) और लंबे निष्पादन ट्रेसेस (execution traces) का सामना करने पर उनके प्रदर्शन में आई तीव्र गिरावट से सिद्ध होता है।
SAC-Opt एक बैकवर्ड-गाइडेड करेक्शन फ्रेमवर्क पेश करता है जो उत्पन्न कोड को मूल समस्या के अर्थों (semantics) के साथ पुनरावृत्ति से संरेखित करके LLM-आधारित अनुकूलन मॉडलिंग को बढ़ाता है, जिससे बिना किसी अतिरिक्त प्रशिक्षण के मॉडल की सटीकता और मजबूती में महत्वपूर्ण सुधार होता है।
यह शोध पत्र सुदृढीकरण लर्निंग (reinforcement learning) के लिए एक नवीन PAC-Bayesian सामान्यीकरण बाउंड (generalization bound) प्रस्तुत करता है जो मिक्सिंग टाइम (mixing time) के माध्यम से मार्कोव निर्भरताओं (Markov dependencies) को ध्यान में रखता है, और PB-SAC का प्रस्ताव करता है, जो निरंतर नियंत्रण कार्यों (continuous control tasks) में प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए गैर-रिक्त सामान्यीकरण प्रमाण (non-vacuous generalization certificates) प्रदान करने के लिए इस बाउंड को अनुकूलित करता है।
यह शोध पत्र हर्मिस (Hermes) को प्रस्तुत करता है, जो एक नवीन टूल-असिस्टेड एजेंट है जो मौजूदा दृष्टिकोणों की तुलना में बड़े भाषा मॉडलों (large language models) में अधिक सटीक, कुशल और सत्यापन योग्य गणितीय तर्क प्राप्त करने के लिए लीन (Lean) में अनौपचारिक तर्क को औपचारिक रूप से सत्यापित प्रमाणों के साथ अंतर्निहित करता है।
यह शोध पत्र 'मिक्सचर ऑफ होराइजन्स' (MoH) का प्रस्ताव करता है, जो एक प्लग-एंड-प्ले रणनीति है जो एक्शन चंक्स को विभिन्न क्षितिजों (horizons) वाले खंडों में पुनर्व्यवस्थित करती है ताकि दीर्घकालिक दूरदर्शिता और अल्पकालिक सटीकता को एक साथ अनुकूलित किया जा सके, जिससे विजन-लैंग्वेज-एक्शन मॉडलों में निहित अंतर्निहित ट्रेड-ऑफ पर विजय प्राप्त की जा सके और गतिशील अनुमान क्षमताओं के साथ अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।
यह शोध पत्र DTop-p को प्रस्तुत करता है, जो एक विरलता-नियंत्रणीय (sparsity-controllable) गतिशील रूटिंग तंत्र है जो अनुकूल रूप से Top-p थ्रेशोल्ड सीखता है और वैश्विक विरलता बाधाओं को लागू करता है ताकि फाउंडेशन मॉडल प्री-ट्रेनिंग में कम्प्यूटेशनल दक्षता बनाए रखते हुए मानक Top-k और फिक्स्ड Top-p MoE बेसलाइनों से बेहतर प्रदर्शन किया जा सके।
यह शोध पत्र FEM-Bench प्रस्तुत करता है, जो कम्प्यूटेशनल मैकेनिक्स कार्यों पर आधारित एक संरचित बेंचमार्क है जिसे वैज्ञानिक रूप से वैध फाइनाइट एलीमेंट मेथड कोड उत्पन्न करने की बड़े भाषा मॉडलों (LLMs) की क्षमता का कड़ाई से मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी इन गैर-तुच्छ समस्याओं को लगातार हल करने में संघर्ष करते हैं।