22037 पेपर
Stable-Shift एक जैविक रूप से संरचित भविष्यवाणी विधि है जो अनदेखे जीन परिवर्तनों (gene perturbations) के लिए ट्रांसक्रिप्शनल प्रतिक्रियाओं का सटीक अनुमान लगाने के लिए लो-रैंक रिस्पॉन्स बेसिस और मल्टी-सोर्स जैविक संदर्भ (नेटवर्क इंटरैक्शन और जीन ऑन्कोलॉजी सहित) का लाभ उठाती है, जो K562 Perturb-seq डेटासेट पर GEARS जैसे मौजूदा बेंचमार्क से बेहतर प्रदर्शन करती है।
यह शोध पत्र एक ढांचा स्थापित करता है कि कैसे प्रतिनिधित्व (representation), रीडआउट (readout) और गतिकी (dynamics) दोषों के अपघटन के माध्यम से "प्रमाणित क्षितिज" (certified horizon) को सीमित करके यह प्रमाणित किया जा सके कि एक सीखा हुआ लेटेंट वर्ल्ड मॉडल कितने चरणों तक किसी भौतिक अपरिवर्तनीय (physical invariant) के लेवल सेट पर बना रहता है, जो यह प्रदर्शित करता है कि जबकि सिम्प्लेक्टिक संरचनाओं (symplectic structures) जैसे कठोर ज्यामितीय पूर्वग्रह (hard geometric priors) सीखे गए चार्ट्स में सामान्यीकरण करने में विफल हो सकते हैं, सॉफ्ट लिप्सचिट्ज़-अलाइन्ड (soft Lipschitz-aligned) अपरिवर्तनीय डिकोड किए गए भौतिक स्थान में संरक्षण नियमों (conservation laws) को मजबूती से संरक्षित कर सकते हैं।
यह शोध पत्र ज्ञात सममिति (symmetries) वाले लेटेंट वर्ल्ड मॉडल्स के लिए एक कॉन्फॉर्मल सर्टिफिकेशन फ्रेमवर्क प्रस्तावित करता है, जो यह प्रदर्शित करता है कि सटीक इक्विवेरिएंस (equivariance), ग्रुप ऑर्बिट्स के माध्यम से कैलिब्रेटेड, नॉन-वैक्यूअस ट्रस्ट-होरिज़ॉन कर्व्स के ट्रांसपोर्ट को सक्षम बनाता है और अनुभवजन्य ऑडिट में शून्य एंटी-कंजर्वेटिव उल्लंघनों को प्राप्त करता है।
यह शोधपत्र यह प्रदर्शित करता है कि भाषा मॉडलों में, वह ज्यामितीय दिशा जो किसी व्यवहार (जैसे कि मतिभ्रम/hallucination) का सर्वोत्तम रूप से पता लगाती है, मौलिक रूप से उस दिशा से विसंरेखित है जो उसे नियंत्रित करती है, जो यह प्रकट करता है कि पता लगाना नियंत्रण क्षमता का निहितार्थ नहीं है और यह "पता लगाने-हस्तक्षेप अंतराल" (detection-intervention gap) एक प्रीट्रेनिंग-जनित संरचनात्मक पृथक्करण है न कि नियंत्रणीयता का एक पूर्वानुमेय मीट्रिक।
यह शोधपत्र डस्टिन (Dustin) को प्रस्तुत करता है, जो एक स्पार्स वेरिफिकेशन फ्रेमवर्क है जो महत्वपूर्ण टोकन को कुशलतापूर्वक पहचानने और KV कैश लोडिंग लेटेंसी को कम करने के लिए ड्राफ्ट मॉडल लुकअहेड सिग्नल्स को ऐतिहासिक अटेंशन के साथ जोड़ता है, जिससे नगण्य सटीकता हानि के साथ लॉन्ग-कॉन्टेक्स्ट स्पेकुलेटिव डिकोडिंग में महत्वपूर्ण गति प्राप्त होती है।
यह शोधपत्र ऑर्डिनल क्लासिफिकेशन (क्रमिक वर्गीकरण) के लिए एक मॉडल-एग्नोस्टिक कॉन्फॉर्मल प्रेडिक्शन विधि प्रस्तुत करता है जो निरंतर, मीडियन-केंद्रित (मध्यिका-केंद्रित) प्रेडिक्शन सेट्स उत्पन्न करने के लिए रैंक किया गया प्रोबेबिलिटी स्कोर को नॉनकॉन्फॉर्मिटी माप के रूप में उपयोग करता है, जो विभिन्न डेटासेट्स में सेट की चौड़ाई और ऑर्डिनल मिसकवरेज की गंभीरता के बीच प्रभावी ढंग से संतुलन बनाता है।
यह शोध पत्र LDM-v0 को प्रस्तुत करता है, जो हज़ारों वातावरणों से विविध प्रक्षेप पथों (trajectories) पर ऑफलाइन प्रशिक्षित एक बड़े पैमाने का, मल्टी-टास्क ट्रांसफार्मर पॉलिसी है, जो यह प्रदर्शित करता है कि एक एकल एकीकृत मॉडल रोबोटिक्स से लेकर साइबर सुरक्षा तक के डोमेन में विशिष्ट पॉलिसियों के प्रदर्शन के बराबर हो सकता है।
यह शोध पत्र कर्वेचर-गाइडेड मिक्सिंग (CGM) का प्रस्ताव करता है, जो एक सैद्धांतिक रूप से आधारित ढांचा है जो अनुकूलतम पैरामीटर मिश्रण अनुपातों को विश्लेषणात्मक रूप से व्युत्पन्न करने के लिए द्वितीय-क्रम हेसियन सन्निकटन (second-order Hessian approximations) का उपयोग करता है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करते हुए कार्य विशिष्टता और सामान्य ज्ञान प्रतिधारण के बीच प्रभावी ढंग से संतुलन बनाता है।
यह शोधपत्र अनुभवजन्य साक्ष्य प्रदान करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) फीचर-विशिष्ट त्रुटि सुधार (फीचर-स्पेसिफिक एरर करेक्शन) का उपयोग करते हैं, यह प्रदर्शित करते हुए कि उनके रेसिडुअल-स्ट्रीम एक्टिवेशन्स मिश्रित दिशाओं (मिक्सड डायरेक्शन्स) के बजाय विशेषाधिकार प्राप्त "शुद्ध" फीचर दिशाओं के साथ होने वाले विक्षोभ (पर्टर्बेशन) के प्रति अधिक सुदृढ़ हैं, जो एक सुपर--नॉर्म () त्रुटि सुधार तंत्र के अनुरूप है जो कई मॉडल आर्किटेक्चरों में बना रहता है।