23840 पेपर
यह शोध पत्र DISCO को प्रस्तुत करता है, जो एक नए स्टैंडर्ड एंटी-कॉज़ल मॉडल फ्रेमवर्क और कुशल कंडीशनल डिस्टेंस कोरिलेशन अनुमानकों (estimators) का लाभ उठाकर डीप लर्निंग में डेटासेट पूर्वाग्रह (bias) को कम करने के लिए कंडीशनल इंडिपेंडेंस लागू करता है, जिससे विविध मल्टी-बायस परिदृश्यों में सुदृढ़ और स्केलेबल प्रदर्शन प्राप्त होता है।
यह शोध पत्र PictSure प्रस्तुत करता है, जो एक विजन-ओनली इन-कॉन्टेक्स्ट लर्निंग फ्रेमवर्क है जो यह प्रदर्शित करता है कि प्री-ट्रेन्ड इमेज एम्बेडिंग्स की गुणवत्ता ही फ्यू-शॉट क्लासिफिकेशन प्रदर्शन का प्राथमिक निर्धारक है, जबकि फ्यूजन लेयर के ट्रेनिंग डेटा की विविधता से सीमित अतिरिक्त लाभ मिलता है।
यह शोध पत्र एक नवीन जॉइंट एंगल-आधारित रिफाइनमेंट (JAR) पद्धति प्रस्तावित करता है जो विश्वसनीय ग्राउंड ट्रुथ उत्पन्न करने के लिए हाई-ऑर्डर फूरियर सीरीज़ का उपयोग करता है और मार्कर-मुक्त मानव पोज़ एस्टिमेशन में कीपॉइंट त्रुटियों को सुधारने और प्रक्षेपवक्र (ट्रैजेक्टरीज) को सुचारू बनाने के लिए एक द्विदिश आवर्ती नेटवर्क (बायडायरेक्शनल रिकरेंट नेटवर्क) का उपयोग करता है, जो चुनौतीपूर्ण काइनेमैटिक परिदृश्यों में अत्याधुनिक मॉडलों से बेहतर प्रदर्शन करता है।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में विभिन्न इन्फरेंस-टाइम अनिश्चितता मापों का मूल्यांकन करता है, जिसमें यह पाया गया है कि कई मेट्रिक्स मानव अनिश्चितता के साथ मजबूत संरेखण और मध्यम-से-मजबूत मॉडल अंशांकन (कैलिब्रेशन) प्रदर्शित करते हैं, भले ही वे मानव उत्तर प्राथमिकताओं के साथ सहसंबंध नहीं रखते हों।
SAEmnesia एक सुपरवाइज्ड स्पार्स ऑटोएनकोडर फ्रेमवर्क पेश करता है जो फीचर सेंट्रलाइजेशन प्राप्त करने के लिए वन-टू-वन कॉन्सेप्ट-न्यूरॉन मैपिंग को लागू करता है, जिससे डिफ्यूजन मॉडल्स में अत्यधिक कुशल, स्केलेबल और सटीक कॉन्सेप्ट इरेज़रेशन सक्षम होता है और साथ ही हाइपरपैरामीटर सर्च को काफी कम करता है और कई बेंचमार्क पर स्टेट-ऑफ-द-आर्ट विधियों से बेहतर प्रदर्शन करता है।
यह शोध पत्र हेसियन स्पेक्ट्रल कोलैप्स (Hessian spectral collapse) को डीप कॉन्टिनुअल लर्निंग में प्लास्टिसिटी लॉस के मूल कारण के रूप में पहचानता है, NTK डायनेमिक्स को हेसियन कर्वेचर से जोड़ने वाली सैद्धांतिक स्थितियों को व्युत्पन्न करता है, और विभिन्न कार्यों (tasks) में प्लास्टिसिटी को सफलतापूर्वक बनाए रखने के लिए प्रभावी फीचर रैंक संरक्षण और L2 रेगुलराइजेशन के संयोजन का प्रस्ताव करता है।
यह शोध पत्र तर्क देता है कि मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) मौलिक रूप से एक सांख्यिकीय अनुमान समस्या है जो कॉज़ल मीडिएशन स्कोर्स (causal mediation scores) में उच्च अंतर्निहित विचरण (high intrinsic variance) से ग्रस्त है, जिसके कारण सर्किट डिस्कवरी पाइपलाइन अस्थिर और नाजुक परिणाम उत्पन्न करती हैं जो कठोर सांख्यिकीय सुदृढ़ता और स्थिरता रिपोर्टिंग की ओर बदलाव को आवश्यक बनाती हैं।
यह शोध पत्र PLSemanticsBench को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि समकालीन लार्ज लैंग्वेज मॉडल्स मुख्य रूप से प्रदान की गई औपचारिक प्रोग्राम सिमेंटिक्स (program semantics) पर व्यवस्थित रूप से आधारित होने के बजाय पूर्व-प्रशिक्षित लेक्सिकल एसोसिएशंस (lexical associations) पर निर्भर करते हैं, जैसा कि सिमेंटिक म्यूटेशन (semantic mutations), नवीन प्रतीकों (novel symbols) और लंबे निष्पादन ट्रेसेस (execution traces) का सामना करने पर उनके प्रदर्शन में आई तीव्र गिरावट से सिद्ध होता है।
SAC-Opt एक बैकवर्ड-गाइडेड करेक्शन फ्रेमवर्क पेश करता है जो उत्पन्न कोड को मूल समस्या के अर्थों (semantics) के साथ पुनरावृत्ति से संरेखित करके LLM-आधारित अनुकूलन मॉडलिंग को बढ़ाता है, जिससे बिना किसी अतिरिक्त प्रशिक्षण के मॉडल की सटीकता और मजबूती में महत्वपूर्ण सुधार होता है।
यह शोध पत्र सुदृढीकरण लर्निंग (reinforcement learning) के लिए एक नवीन PAC-Bayesian सामान्यीकरण बाउंड (generalization bound) प्रस्तुत करता है जो मिक्सिंग टाइम (mixing time) के माध्यम से मार्कोव निर्भरताओं (Markov dependencies) को ध्यान में रखता है, और PB-SAC का प्रस्ताव करता है, जो निरंतर नियंत्रण कार्यों (continuous control tasks) में प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए गैर-रिक्त सामान्यीकरण प्रमाण (non-vacuous generalization certificates) प्रदान करने के लिए इस बाउंड को अनुकूलित करता है।