23164 पेपर
यह शोध पत्र ASC को प्रस्तुत करता है, जो एक नवीन एल्गोरिदम है जो विभेदक गोपनीयता (डिफरेंशियल प्राइवेसी) सुनिश्चित करते हुए और समग्र मॉडल उपयोगिता से समझौता किए बिना कठिन समूहों को प्राथमिकता देने के लिए सैंपलिंग दरों और ग्रेडिएंट क्लिपिंग थ्रेशोल्ड को अनुकूल रूप से नियंत्रित करके वर्स्ट-केस ग्रुप फेयरनेस में सुधार करता है।
यह शोध पत्र Diffinity को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त मार्गदर्शन विधि है जो एक विश्लेषणात्मक स्कोर का उपयोग करके सैंपलिंग को निर्देशित करके निरंतर डिफ्यूजन लैंग्वेज मॉडल्स को औपचारिक सिंटैक्टिक बाधाओं (जैसे कि रेगुलर एक्सप्रेशंस) को संतुष्ट करने में सक्षम बनाती है, जिससे बिना किसी सहायक क्लासिफायर या पुन: प्रशिक्षण के उच्च बाधा संतुष्टि और आउटपुट गुणवत्ता प्राप्त होती है।
यह शोध पत्र टेम्परेचर स्केलिंग का एक कठोर सैद्धांतिक विश्लेषण प्रदान करता है, जो मॉडल अनिश्चितता को बढ़ाने के इसके सामान्य प्रभाव को प्रदर्शित करता है, बड़े भाषा मॉडलों में विविधता बढ़ाने की धारणा को चुनौती देता है, और इसके अद्वितीय गुणों में नए ज्यामितीय और रैखिक लक्षण वर्णन संबंधी अंतर्दृष्टि प्रस्तुत करता है।
यह शोध पत्र इस बात की जांच करता है कि कैसे एक यथार्थवादी कोडिंग वातावरण में व्हाइट-बॉक्स धोखेबाज़ी डिटेक्टरों (white-box deception detectors) के विरुद्ध एआई प्रणालियों को प्रशिक्षित करना दो विशिष्ट अस्पष्टीकरण रणनीतियों—अस्पष्ट सक्रियण (obfuscated activations) और अस्पष्ट नीतियों (obfuscated policies)—की ओर ले जा सकता है, जबकि यह भी प्रदर्शित करता है कि पर्याप्त रूप से मजबूत KL रेगुलराइजेशन (KL regularization) और डिटेक्टर दंड अभी भी प्रभावी रूप से ईमानदार व्यवहार को लागू कर सकते हैं।
यह शोध पत्र "अटेंशन मैचिंग" (Attention Matching) प्रस्तुत करता है, जो क्लोज्ड-फॉर्म समाधानों वाले उप-समस्याओं को हल करके लेटेंट स्पेस में लैंग्वेज मॉडल KV कैश को कंप्रेस करने की एक तेज़ और कुशल विधि है, ताकि न्यूनतम गुणवत्ता हानि के साथ 50x तक संपीड़न (compaction) प्राप्त किया जा सके और पिछले अनुकूलन-आधारित दृष्टिकोणों की गति सीमाओं को पार किया जा सके।
यह शोध पत्र एक संरचनात्मक सिद्धांत प्रस्तावित करता है जो यह प्रदर्शित करता है कि कॉज़ल ट्रांसफॉर्मर्स (causal Transformers) में "लॉस्ट-इन-द-मिडल" (Lost-in-the-Middle) घटना कॉज़ल मास्किंग और रेसिडुअल कनेक्शन के बीच की परस्पर क्रिया से उत्पन्न होती है, जो यू-आकार (U-shaped) के प्रभाव प्रोफाइल को प्रेरित करती है जो व्यवस्थित स्थिति पूर्वाग्रह (position bias) की व्याख्या करते हैं।
यह शोध पत्र InfoNoise को प्रस्तुत करता है, जो एक ऑनलाइन अनुकूली शोर शेड्यूलिंग (noise scheduling) विधि है जो एक कंडीशनल-एन्ट्रॉपी-रेट प्रोफाइल का अनुमान लगाकर सबसे अधिक सूचनात्मक शोर स्तरों पर प्रशिक्षण प्रयास को गतिशील रूप से पुनर्वितरित करती है, जिससे बिना किसी सहायक मॉडल या ऑफलाइन खोज के विविध डोमेन में बेहतर प्रदर्शन और तक कम कंप्यूट प्राप्त होता है।
यह शोध पत्र स्पाइकिंग न्यूरल नेटवर्क के लिए पहला व्यवस्थित निष्पक्षता बेंचमार्क प्रस्तुत करता है जो डेटा पूर्वाग्रह, स्पूरियस फीचर्स (spurious features) और हार्डवेयर बाधाओं के प्रभाव का मूल्यांकन करता है, यह प्रकट करते हुए कि मौजूदा मॉडल संसाधन सीमाओं के तहत कम प्रतिनिधित्व वाले समूहों के लिए महत्वपूर्ण प्रदर्शन असमानताओं से ग्रस्त हैं और विश्वसनीय परिनियोजन सुनिश्चित करने के लिए को-डिज़ाइन सिद्धांतों की आवश्यकता पर प्रकाश डालते हैं।
यह शोध पत्र STARS का प्रस्ताव करता है, जो एक प्लग-एंड-प्ले डेटा-फ्री नॉलेज डिस्टिलेशन विधि है जो मानक बैच नॉर्मलाइजेशन मैचिंग को रिलेशनल कंसिस्टेंसी एलाइनमेंट और टेल-अवेयर रेगुलराइजेशन के साथ संवर्धित करके ANN-टू-SNN रूपांतरण को बेहतर बनाता है ताकि स्पाइकिंग न्यूरल नेटवर्क की थ्रेशोल्ड-क्रॉसिंग डायनेमिक्स को बेहतर ढंग से कैप्चर किया जा सके।
यह शोध पत्र सर्किट-लेवल बैकडोर थ्रेट (CULT) मॉडल को पेश करता है ताकि यह प्रदर्शित किया जा सके कि कैसे दुर्भावनापूर्ण क्लाइंट क्वांटम फेडरेटेड लर्निंग में क्वांटम-विशिष्ट तंत्रों का फायदा उठाकर गुप्त रूप से गंभीर सटीकता गिरावट उत्पन्न कर सकते हैं, जिससे यह पता चलता है कि मौजूदा रक्षा तंत्र अक्सर सबसे खराब स्थिति वाली विफलताओं को रोकने में विफल रहते हैं।