22423 पेपर
यह शोध पत्र यह प्रदर्शित करते हुए वितरण बदलाव (distribution shift) और एआई सुरक्षा (AI safety) के बीच एक एकीकृत ढांचा स्थापित करता है कि विशिष्ट बदलाव प्रकारों को संबोधित करने वाली विधियाँ संगत सुरक्षा लक्ष्यों को प्राप्त कर सकती हैं, या इन दोनों क्षेत्रों को एक-दूसरे में औपचारिक रूप से परिवर्तित किया जा सकता है ताकि पारस्परिक पद्धतिगत अनुकूलन सक्षम हो सके।
यह शोध पत्र स्पार्स (sparse) और दुर्बल रूप से सह-संबंधित (weakly correlated) भार वाले डीप न्यूरल नेटवर्क में जैकोबियन मैट्रिक्स के लिए एक सामान्य स्थिरता प्रमेय स्थापित करता है, जो रैंडम मैट्रिक्स थ्योरी की हालिया प्रगति का लाभ उठाते हुए, i.i.d. भार वाले पारंपरिक पूर्णतः जुड़े (fully connected) नेटवर्कों से परे कठोर स्पेक्ट्रल स्थिरता गारंटी का विस्तार करता है।
यह शोध पत्र इस धारणा को चुनौती देता है कि व्यक्तिगत प्रदर्शन के लिए विशेषज्ञ मॉडलों को अनुकूलित करना डाउनस्ट्रीम मॉडल मर्जिंग (model merging) को लाभान्वित करता है, बल्कि यह प्रदर्शित करता है कि ओवरट्रेनिंग से रटने (memorization) और नकारात्मक पैरामीटर हस्तक्षेप (negative parameter interference) की स्थिति उत्पन्न होती है जो मर्ज किए गए प्रदर्शन को कम कर देती है, एक ऐसी समस्या जिसे कार्य-निर्भर अर्ली स्टॉपिंग (task-dependent early stopping) द्वारा प्रभावी ढंग से कम किया जा सकता है।
यह शोधपत्र एक नवीन 'टॉय प्रॉब्लम' (toy problem) प्रस्तुत करता है जो निरंतर इन-कॉन्टेक्स्ट लर्निंग (in-context learning) को डिस्क्रीट एसोसिएटिव रिकॉल (discrete associative recall) के साथ जोड़ता है ताकि यह प्रदर्शित किया जा सके कि ट्रांसफॉर्मर मॉडल दो अलग-अलग तंत्रों का उपयोग करते हैं जिनके सीखने की गतिशीलता भिन्न होती है: अनुक्रमों को जारी रखने के लिए एक प्रारंभिक रूप से उभरने वाला, लेबल-अज्ञेय (label-agnostic) "बेयसियन-शैली" का प्रेडिक्टर और विशिष्ट पूर्व अवस्थाओं को याद करने और पुनः आरंभ करने के लिए एक बाद में उभरने वाला, लेबल-निर्भर तंत्र।
यह शोध पत्र प्रदर्शित करता है कि अनरिड्यूस्ड पर्सिस्टेंस डायग्राम्स (unreduced persistence diagrams) से प्राप्त टोपोलॉजिकल फीचर्स का उपयोग करने वाले मशीन लर्निंग पाइपलाइन्स, पूरी तरह से रिड्यूस्ड डायग्राम्स का उपयोग करने वालों के समान या उनसे बेहतर प्रदर्शन प्राप्त कर सकते हैं, जबकि साथ ही कंप्यूटेशनल लागत और मेमोरी दक्षता में महत्वपूर्ण लाभ भी प्रदान करते हैं।
यह शोधपत्र UniFFBench को प्रस्तुत करता है, जो प्रयोगात्मक संदर्भों के साथ 1,500 से अधिक खनिज प्रणालियों के MinX डेटासेट वाला एक व्यापक मूल्यांकन ढांचा है, जो एक महत्वपूर्ण "वास्तविकता अंतराल" (reality gap) को उजागर करता है जहाँ अत्याधुनिक सार्वभौमिक मशीन लर्निंग फोर्स फील्ड्स, मजबूत कम्प्यूटेशनल बेंचमार्क प्रदर्शन के बावजूद, वास्तविक दुनिया की प्रयोगात्मक स्थितियों के विरुद्ध परीक्षण किए जाने पर व्यावहारिक अनुप्रयोगों के लिए आवश्यक सटीकता प्राप्त करने में विफल रहते हैं।
यह शोध पत्र एक भौतिकी-जैव-भू-रसायन मॉडल पर प्रशिक्षित एक गणनात्मक रूप से कुशल डीप एनसेंबल मशीन लर्निंग दृष्टिकोण का प्रस्ताव करता है जो यूरोपीय शेल्फ कार्बन पूल्स और उनकी अनिश्चितताओं का सटीक अनुमान लगाने के लिए है, जो महंगे पुनरविश्लेषणों के लिए एक व्यवहार्य विकल्प और विरल अवलोकनों को पूरक बनाने की एक विधि प्रदान करता है।
यह शोध पत्र Forge को प्रस्तुत करता है, जो विविध मिश्रित-पूर्णांक प्रोग्रामिंग (mixed-integer programming) उदाहरणों पर एक वेक्टर-क्वांटाइज्ड ग्राफ ऑटोएन्कोडर को प्री-ट्रेन करने के लिए एक फ्रेमवर्क है ताकि स्केलेबल, सामान्यीकरण योग्य प्रतिनिधित्व बनाए जा सकें जो इष्टतम समाधान लेबल की आवश्यकता के बिना इंटीग्रैलिटी गैप्स (integrality gaps) की भविष्यवाणी करने और खोज को निर्देशित करने में अत्याधुनिक विधियों से बेहतर प्रदर्शन करते हैं।
यह शोध पत्र कम लागत वाले सरोगेट बेंचमार्क पेश करता है जो निर्मित मॉडलों का उपयोग करके हाइपरपैरामीटर से मर्ज किए गए मॉडल के प्रदर्शन की भविष्यवाणी करते हैं, जिससे पूर्ण-स्तरीय प्रयोगों के बिना मॉडल मर्जिंग के लिए हाइपरपैरामीटर अनुकूलन एल्गोरिदम के कुशल विकास और तुलना को सक्षम बनाया जा सके।
यह शोध पत्र परिकल्पना चयन (hypothesis selection) के लिए बेहतर एल्गोरिदम प्रस्तुत करता है जो उचित (proper) और अनुचित (improper) दोनों परिवेशों में इष्टतम सन्निकटन गारंटी (approximation guarantees) प्राप्त करते हैं और साथ ही काफी कम समय जटिलता भी दर्शाते हैं, जबकि एक निचली सीमा (lower bound) भी स्थापित करते हुए यह प्रदर्शित करते हैं कि मिश्रण-आधारित अनुचित एल्गोरिदम डोमेन आकार पर निर्भरता के बिना सन्निकटन कारक से आगे नहीं बढ़ सकते।