24717 पेपर
यह शोध पत्र Hyformer को प्रस्तुत करता है, जो एक ट्रांसफॉर्मर-आधारित मॉडल है जो एक अल्टरनेटिंग अटेंशन मैकेनिज्म और जॉइंट प्री-ट्रेनिंग के माध्यम से अणु निर्माण (molecule generation) और गुण भविष्यवाणी (property prediction) को एकीकृत करता है, जो कंडीशनल सैंपलिंग, आउट-ऑफ-डिस्ट्रीब्यूशन प्रेडिक्शन और नवीन रोगाणुरोधी पेप्टाइड्स की खोज में सहक्रियात्मक सुधार प्रदर्शित करता है।
यह शोध पत्र TCGA डेटा का उपयोग करके मल्टीमॉडल कैंसर मॉडलिंग के लिए एक एम्बेडिंग-केंद्रित दृष्टिकोण प्रस्तावित करता है, जो यह प्रदर्शित करता है कि ज़ीरो-शॉट फाउंडेशन मॉडल एम्बेडिंग्स—विशेष रूप से पैथोलॉजी रिपोर्ट टेक्स्ट को एकीकृत करने पर—पर प्रशिक्षित शास्त्रीय मशीन लर्निंग मॉडल, मतिभ्रम (hallucination) जैसी समस्याओं को प्रभावी ढंग से कम करते हुए यूनिमोडल बेसलाइन की तुलना में बेहतर प्रदर्शन करते हैं।
RECON एक क्लास-पोज़ एग्नोस्टिक कैनोनिकल ओरिएंटेशन नॉर्मलाइज़ेशन विधि पेश करता है जो सरल राइट ट्रांसलेशन के माध्यम से मनमाने कैनोनिकल रिप्रेजेंटेशन्स को ठीक करती है ताकि इंस्टेंस-विशिष्ट सिमिट्रीज़ की अनसुपरवाइज्ड डिस्कवरी सक्षम हो सके, आउट-ऑफ-डिस्ट्रीब्यूशन पोज़ का पता लगाया जा सके, और बिना रिट्रेनिंग के प्लग-एंड-प्ले टेस्ट-टाइम लेयर के माध्यम से प्री-ट्रेन्ड मॉडल्स में सुधार किया जा सके।
यह शोध पत्र CONSIGN को प्रस्तुत करता है, जो एक कॉन्फॉर्मल प्रेडिक्शन फ्रेमवर्क है जो मेडिकल और सामान्य डेटासेट्स में इमेज सेगमेंटेशन के लिए हीयुरिस्टिक पिक्सेल-वाइज स्कोर को सांख्यिकीय रूप से वैध, कम रूढ़िवादी और अधिक व्याख्या योग्य अनिश्चितता अनुमानों में बदलने के लिए स्थानिक समूहों (spatial groupings) का लाभ उठाता है।
यह शोध पत्र बेयसियन अटेंशन मैकेनिज्म (BAM) प्रस्तुत करता है, जो एक संभाव्य ढांचा है जो मौजूदा पोजीशनल एनकोडिंग विधियों को एकीकृत करता है और अत्याधुनिक लॉन्ग-कॉन्टेक्स्ट जनरलाइजेशन प्राप्त करने के लिए एक जनरलाइज्ड गॉसियन प्रायोर (Generalized Gaussian prior) का प्रस्ताव करता है, जिससे न्यूनतम पैरामीटर ओवरहेड के साथ प्रशिक्षण संदर्भ लंबाई के 500 गुना पर सटीक सूचना पुनर्प्राप्ति सक्षम होती है।
यह सर्वेक्षण पारंपरिक समय श्रृंखला विश्लेषण (Time Series Analysis) से एलएलएम (LLM) युग में समय श्रृंखला प्रश्नोत्तर (Time Series Question Answering) तक के विकास का अन्वेषण करता है, जो भाषा मॉडलों और टेम्पोरल डेटा के बीच के अंतर को पाटने के लिए एक वर्गीकरण (taxonomy) और तीन संरेखण प्रतिमानों (alignment paradigms) का प्रस्ताव करता है और भविष्य की अनुसंधान दिशाओं को रेखांकित करता है।
यह शोध पत्र न्यूरल नेटवर्क लॉस लैंडस्केप्स में "चैनल्स टू इन्फिनिटी" (अनंत की ओर जाने वाले मार्ग) की पहचान और लक्षण वर्णन करता है जहाँ अनुकूलन एल्गोरिदम उन अर्ध-सपाट क्षेत्रों में अभिसरित होते हैं जहाँ भार (weights) विचलन करते हैं और स्पर्शोन्मुख रूप से गेटेड लीनियर यूनिट्स को लागू करते हैं, जो पूरी तरह से जुड़े हुए परतों (fully connected layers) की एक आश्चर्यजनक कम्प्यूटेशनल क्षमता को प्रकट करता है।
यह शोध पत्र MaPPO को प्रस्तुत करता है, जो एक प्राथमिकता अनुकूलन (preference optimization) विधि है जो पूर्व रिवॉर्ड ज्ञान को मैक्सिमम अ पोस्टीरियर (Maximum a Posteriori) उद्देश्य में शामिल करके DPO जैसे मौजूदा दृष्टिकोणों का सामान्यीकरण करती है, जिससे बिना किसी हाइपरपैरामीटर को जोड़े या दक्षता से समझौता किए विभिन्न बेंचमार्क पर LLM संरेखण (alignment) में सुधार होता है।
यह शोध पत्र एक नवीन इक्विलिब्रियम प्रोपेगेशन फ्रेमवर्क प्रस्तावित करता है जो वैनिशिंग ग्रेडिएंट समस्या को दूर करने के लिए लेयर-वाइज लर्निंग सिग्नल्स और नॉलेज डिस्टिलेशन को एकीकृत करता है, जिससे CIFAR डेटासेट्स पर डीप VGG आर्किटेक्चर को अत्याधुनिक प्रदर्शन के साथ सफलतापूर्वक प्रशिक्षित करना सक्षम होता है।
यह शोध पत्र स्केलेबल ऑप्शन लर्निंग (SOL) को प्रस्तुत करता है, जो एक अत्यधिक कुशल पदानुक्रमित सुदृढीकरण शिक्षण (hierarchical reinforcement learning) एल्गोरिदम है जो मौजूदा विधियों की तुलना में लगभग 35 गुना अधिक थ्रूपुट प्राप्त करता है और नेटहैक (NetHack) जैसे जटिल वातावरणों में 30 बिलियन फ्रेम पर प्रशिक्षण के माध्यम से उत्कृष्ट प्रदर्शन और सकारात्मक स्केलिंग रुझान प्रदर्शित करता है।