24017 पेपर
यह शोध पत्र FLEX-MoE का प्रस्ताव करता है, जो संसाधन-बाधित एज नेटवर्क के लिए एक फेडरेटेड लर्निंग फ्रेमवर्क है, जो मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल्स में सीमित क्लाइंट क्षमता और नॉन-IID डेटा वितरण की चुनौतियों से निपटने के लिए क्लाइंट-एक्सपर्ट फिटनेस स्कोर का उपयोग करके एक्सपर्ट असाइनमेंट और लोड बैलेंसिंग को संयुक्त रूप से अनुकूलित करता है।
यह शोध पत्र "सुनिश्चित स्वायत्तता" (assured autonomy) के लिए एक रूपरेखा प्रस्तावित करता है जो ऑपरेशन्स रिसर्च तकनीकों, विशेष रूप से फ्लो-आधारित जनरेटिव मॉडल्स और एडवरसेरियल रोबस्टनेस का लाभ उठाता है, ताकि जनरेटिव एआई सिस्टम के स्वायत्त निर्णय लेने वाले एजेंटों के रूप में परिवर्तित होने के दौरान उन पर औपचारिक बाधाएं, सत्यापन योग्य व्यवहार्यता और स्ट्रेस टेस्टिंग लागू की जा सके।
यह शोध पत्र इस प्रचलित धारणा को चुनौती देता है कि मिक्सचर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) मॉडल स्पार्स रूटिंग (sparse routing) के माध्यम से डोमेन विशेषज्ञता प्राप्त करते हैं, और विशेषज्ञों की एक डोमेन-अपरिवर्तनीय "स्टैंडिंग कमेटी" (Standing Committee) के अस्तित्व को प्रदर्शित करता है जो लगातार रूटिंग मास के बहुमत को संभालती है, जिससे केंद्रीकृत कंप्यूटेशन की ओर एक संरचनात्मक पूर्वाग्रह का पता चलता है जो प्रशिक्षण दक्षता में बाधा डाल सकता है।
यह शोध पत्र यह प्रदर्शित करता है कि स्पार्स ऑटोएनकोडर (sparse autoencoders) अक्सर उन निम्न-आयामी सहसंबंधों (low-dimensional correlates) की पहचान करते हैं जो तर्क प्रक्रिया के साथ केवल सह-घटित होते हैं, न कि स्वयं तर्क संबंधी तंत्र (reasoning mechanisms) होते हैं, जैसा कि एक मिथ्याकरण ढांचे (falsification framework) से सिद्ध होता है जो दर्शाता है कि अधिकांश संभावित विशेषताएं टोकन-स्तरीय हस्तक्षेपों (token-level interventions) के प्रति अत्यधिक संवेदनशील हैं और तर्क व्यवहारों को विश्वसनीय रूप से संचालित करने में विफल रहती हैं।
यह शोध पत्र KASER प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) आधारित दृष्टिकोण है जो विविध और सटीक छात्र कोडिंग त्रुटियों को प्रभावी ढंग से सिम्युलेट करने के लिए त्रुटि उत्पादन को छात्र के ज्ञान के साथ संरेखित करता है, और वास्तविक दुनिया के डेटासेट पर त्रुटि भविष्यवाणी और कोड विविधता दोनों में मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स के लिए एक व्हाइट-बॉक्स संवेदनशीलता ऑडिटिंग फ्रेमवर्क का प्रस्ताव करता है जो आंतरिक अवधारणाओं (इंटरनल कॉन्सेप्ट्स) को हेरफेर करने के लिए एक्टिवेशन स्टीयरिंग का लाभ उठाता है, जिससे उच्च-जोखिम वाले निर्णय कार्यों में संरक्षित विशेषताओं (प्रोटेक्टेड एट्रिब्यूट्स) पर पर्याप्त निर्भरता का पता चलता है जिसे मानक ब्लैक-बॉक्स मूल्यांकन अक्सर पकड़ने में विफल रहते हैं।
PyHealth 2.0 एक उन्नत ओपन-सोर्स टूलकिट है जो विविध डेटासेट्स, मॉडल्स और कार्यों को एक एकल, अत्यधिक कुशल फ्रेमवर्क में एकीकृत करके क्लिनिकल डीप लर्निंग रिसर्च का लोकतंत्रीकरण करता है, जो केवल सात लाइनों के कोड में प्रेडिक्टिव मॉडलिंग को सक्षम बनाता है और साथ ही कंप्यूटेशनल लागतों और डोमेन विशेषज्ञता की बाधाओं को महत्वपूर्ण रूप से कम करता है।
यह शोध पत्र आउटपुट परिवर्तनों पर सैद्धांतिक सीमाएँ स्थापित करने के लिए डीप न्यूरल नेटवर्क में न्यूनतम भार वाले व्यवधानों (minimal weight perturbations) के सटीक सूत्र व्युत्पन्न करता है, और इन निष्कर्षों को यह प्रदर्शित करने के लिए लागू करता है कि लो-रैंक संपीड़न (low-rank compression) मॉडल की सटीकता को बनाए रखते हुए विश्वसनीय रूप से लेटेंट बैकडोर्स को सक्रिय कर सकता है और हमले की विफलता के लिए प्रमाणिक सीमाएं निर्धारित कर सकता है।
यह शोधपत्र एक संरचना-सूचित मशीन लर्निंग पद्धति प्रस्तावित करता है जो जटिल प्रणालियों, जैसे कि मिर्गी के दौरों और ग्राहक मंथन (customer churn), में उभरती महत्वपूर्ण घटनाओं के शीघ्र पता लगाने और व्याख्या योग्य पहचान के लिए इष्टतम फीचर प्रतिनिधित्व सीखने हेतु कोवेरिएंस या प्रिसिजन मैट्रिक्स की ट्यूनेबल फैमिली का उपयोग करती है।
यह शोध पत्र एक फैक्टर्ड कॉज़ल रिप्रेजेंटेशन लर्निंग फ्रेमवर्क प्रस्तावित करता है जो मॉडल एम्बेडिंग्स को कॉज़ल और नॉन-कॉज़ल कारकों में विभाजित करता है ताकि रिवॉर्ड प्रेडिक्शन को कॉज़ल सिग्नल्स तक सीमित किया जा सके, जिससे लेंथ बायस और साइकोफैंसी जैसे स्प्यूरियस कोरिलेशन को कम करके RLHF की मजबूती और प्रदर्शन में सुधार किया जा सके।