24017 पेपर
यह शोध पत्र एक 'वर्स्ट-ग्रुप इक्लाइज्ड-ऑड्स मार्जिन रेगुलराइज़र' प्रस्तावित करता है जो इन्फरेंस ऑपरेटिंग पॉइंट पर ट्रू और फॉल्स पॉजिटिव दरों में अत्यधिक उपसमूह विचलन को स्पष्ट रूप से दंडित करके मेडिकल इमेज क्लासिफिकेशन में जनसांख्यिकीय असमानताओं को कम करता है, जिससे समग्र नैदानिक प्रदर्शन से महत्वपूर्ण समझौता किए बिना कई विशेषताओं में निष्पक्षता में सुधार होता है।
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स के लिए वर्तमान अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification) विधियाँ मौलिक रूप से विफल रहती हैं क्योंकि वे बाहरी तथ्यात्मक शुद्धता के बजाय केवल अनसुपरवाइज्ड क्लस्टरिंग के माध्यम से आंतरिक पीढ़ी निरंतरता को मापती हैं, जिससे सुरक्षा की एक भ्रामक भावना पैदा होती है जो आत्मविश्वासी मतिभ्रम (hallucinations) का पता नहीं लगा सकती।
यह शोध पत्र स्टेपवाइज कॉन्फिडेंस एट्रिब्यूशन (SCA) प्रस्तुत करता है, जो ब्लैक-बॉक्स LLMs में बहु-चरणीय तर्क विफलताओं का निदान करने के लिए एक ढांचा है, जो सर्वसम्मति संरचनाओं के आधार पर चरण-स्तरीय आत्मविश्वास स्कोर असाइन करने के लिए इंफॉर्मेशन बॉटलनेक सिद्धांत को लागू करता है, जिससे पारंपरिक उत्तर-स्तर की प्रतिक्रिया की तुलना में अधिक प्रभावी आत्म-सुधार सक्षम होता है।
यह शोध पत्र एक सुदृढ़ ढांचे का प्रस्ताव करता है जो हबर वेटेड एफिनिटी (Huber weighted affinity) और एक आयु कवरेज स्कोर (Age Coverage Score) का उपयोग करके आयु को नमूना-कठिनाई प्रवृत्तियों (sample-difficulty trends) से विसंलग्नीकृत (decorrelate) करके मेडिकल इमेज क्लासिफिकेशन में आयु-निर्भर कन्फाउंडिंग को कम करता है, जिससे नैदानिक सटीकता या चिकित्सकीय रूप से सार्थक आयु संबंधी जानकारी से समझौता किए बिना विभिन्न आयु समूहों के बीच प्रदर्शन संबंधी असमानताओं को कम किया जा सके।
यह शोध पत्र वेरिएन्स-रिड्यूस्ड पॉलिसी ऑप्टिमाइज़ेशन (VRPO) को प्रस्तुत करता है, जो एक नया एल्गोरिदम है जो अपूर्ण-सूचना वाले स्व-खेल (self-play) के लिए मानक जनरलाइज्ड एडवांटेज एस्टीमेशन में निहित उच्च वेरिएन्स से निपटने हेतु -बूस्टिंग वेरिएन्स-रिड्यूस्ड एडवांटेज एस्टीमेटर का उपयोग करता है, जिससे डौ डिज़ु (Dou Dizhu) और हेड्स-अप नो-लिमिट टेक्सस होल्डम (Heads-Up No-Limit Texas Hold'em) जैसे प्रतिस्पर्धी मल्टी-एजेंट खेलों में बेहतर प्रदर्शन प्राप्त होता है।
यह शोध पत्र करिकुलम-गाइडेड गॉसियन मिक्स्चर फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क (CGMPINN) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो जटिल आंशिक अंतर समीकरणों (PDEs) को हल करने में प्रशिक्षण चुनौतियों को संबोधित करने के लिए डायनेमिक करिकुलम लर्निंग के साथ गॉसियन मिक्स्चर मॉडलिंग को एकीकृत करता है, और विविध बेंचमार्क समस्याओं में मानक PINNs की तुलना में काफी कम त्रुटियां प्राप्त करता है।
यह शोध पत्र OpenCompass को प्रस्तुत करता है, जो एक ओपन-सोर्स, स्केलेबल और उच्च-समानांतरता (high-concurrency) वाला मूल्यांकन मंच है, जिसे विविध डोमेन में बड़े भाषा मॉडलों के व्यापक और कुशल मूल्यांकन के लिए एक मॉड्यूलर, एकीकृत ढांचे के माध्यम से पारंपरिक स्थिर बेंचमार्क की सीमाओं को दूर करने के लिए डिज़ाइन किया गया है।
यह शोध पत्र Pion को प्रस्तुत करता है, जो एक हाई-पास स्पेक्ट्रल ऑप्टिमाइज़र है जो शोर वाले ग्रेडिएंट घटकों को दबाकर और प्रति-हेड विशेषज्ञता को संरक्षित करके Muon में सुधार करता है, जिससे विज़न-लैंग्वेज-एक्शन प्रशिक्षण और सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण शिक्षण (reinforcement learning) में बेहतर प्रदर्शन और स्थिरता प्राप्त होती है जहाँ Muon और AdamW संघर्ष करते हैं।
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडल अक्सर एक ही अंतर्निहित अवधारणा (जैसे कि विभिन्न भाषाएँ या प्रोग्रामिंग प्रतिमान) की अलग-अलग प्रस्तुतियों को साझा आंतरिक निरूपणों में एकीकृत करने में विफल रहते हैं, जिससे अनावश्यक शिक्षण, कम नमूना दक्षता और अवधारणा प्रस्तुतियों की संख्या के आधार पर हस्तक्षेप प्रभावशीलता में एक चरण संक्रमण (फेज ट्रांजिशन) होता है।
यह शोध पत्र फैक्टर-ऑगमेंटेड SGD (FSGD) प्रस्तुत करता है, जो उच्च-आयामी शिक्षण (high-dimensional learning) के लिए एक स्केलेबल अनुकूलन विधि है जो लेटेंट फैक्टर रिप्रजेंटेशन को एकीकृत करके स्ट्रीमिंग डेटा पर कार्य करती है और फैक्टर अनुमान त्रुटियों (factor estimation errors) को ध्यान में रखते हुए पहला सैद्धांतिक अभिसरण विश्लेषण (theoretical convergence analysis) प्रदान करती है।