24235 पेपर
जीनोम-फैक्ट्री (Genome-Factory) पहला एकीकृत पायथन लाइब्रेरी है जो जीनोमिक फाउंडेशन मॉडल्स के एंड-टू-एंड वर्कफ़्लो को एकीकृत करता है, जो स्पार्स ऑटो-एनकोडर-आधारित इंटरप्रेटर जैसे टूल्स के माध्यम से डेटा संग्रह, मॉडल ट्यूनिंग, इन्फरेंस, बेंचमार्किंग और जैविक व्याख्या को सुव्यवस्थित करता है।
यह शोध पत्र MM-SHAP फ्रेमवर्क को अनुकूलित करके संगीत के लिए ऑडियो एलएलएम (Audio LLMs) में मोडैलिटी योगदान की जांच करता है, जिससे यह पता चलता है कि उच्च प्रदर्शन करने वाले मॉडल टेक्स्टुअल रीजनिंग (textual reasoning) पर भारी निर्भर होने के बावजूद, प्रमुख ध्वनि घटनाओं को स्थानीयकृत करने के लिए ऑडियो का प्रभावी ढंग से उपयोग करते हैं।
यह शोध पत्र लॉजिक ऑफ हाइपोथीसिसिस (LoH) को प्रस्तुत करता है, जो एक नवीन न्यूरोसिम्बोलिक फ्रेमवर्क है जो प्रपोज़िशनल लॉजिक को एक सीखने योग्य 'चॉइस ऑपरेटर' के माध्यम से विस्तारित करके हस्तनिर्मित नियमों और डेटा-संचालित शिक्षण को एकीकृत करता है, जिसे डिफरेंशिएबल फजी लॉजिक में संकलित किया गया है, जिससे प्रदर्शन में बिना किसी कमी के लचीले ज्ञान एकीकरण और असतत बूलियन तर्क (डिस्क्रीट बूलियन रीजनिंग) को सक्षम बनाया जा सके।
यह शोध पत्र पेनलेस एक्टिवेशन स्टीयरिंग (PAS) को प्रस्तुत करता है, जो एक पूर्णतः स्वचालित और हल्का तरीका है जो मानवीय हस्तक्षेप के बिना लेबल किए गए डेटासेट से एक्टिवेशन वेक्टरों का निर्माण करता है ताकि लार्ज लैंग्वेज मॉडल्स को वांछित व्यवहारों की ओर प्रभावी ढंग से निर्देशित किया जा सके, जो नियंत्रण क्षमता और दक्षता में मौजूदा तकनीकों से बेहतर प्रदर्शन करते हुए व्यवहार-उन्मुख कार्यों के लिए विशिष्ट प्रभावकारिता प्रदर्शित करता है।
यह शोध पत्र एक नवीन प्रशिक्षण-मुक्त बहुविध मार्गदर्शन तंत्र (training-free multimodal guidance mechanism) प्रस्तावित करता है जो वीडियो, ऑडियो और टेक्स्ट के बीच एकीकृत संरेखण को लागू करने के लिए मोडैलिटी एम्बेडिंग्स का लाभ उठाता है, जिससे बिना किसी महंगी पुन: प्रशिक्षण की आवश्यकता के वीडियो-से-ऑडियो पीढ़ी की बोधगम्य गुणवत्ता और अर्थपूर्ण सुसंगतता में सुधार होता है।
यह शोध पत्र एडवाइजर मॉडल्स (Advisor Models) को प्रस्तुत करता है, जो एक ऐसी विधि है जो छोटे ओपन-वेट मॉडल्स को गतिशील, प्रति-इन्स्टेंस प्राकृतिक भाषा संबंधी सलाह उत्पन्न करने के लिए प्रशिक्षित करती है, जो उनके भार (weights) को संशोधित किए बिना पैरामीट्रिक अनुकूलन के माध्यम से अप्राप्य ब्लैक-बॉक्स फ्रंटियर LLMs के प्रदर्शन को प्रभावी रूप से निर्देशित और उन्नत करती है।
यह शोध पत्र इगैलीटेरियन ग्रेडिएंट डिसेंट (EGD) को प्रस्तुत करता है, जो एक सरल संशोधन है जो सभी प्रमुख दिशाओं में समान विकास गति सुनिश्चित करने के लिए ग्रेडिएंट्स को सामान्य (normalize) करता है, जिससे यह सैद्धांतिक और अनुभवजन्य रूप से प्रदर्शित होता है कि यह "ग्रोकिंग" (grokking) की घटना को महत्वपूर्ण रूप से तेज करता है या पूरी तरह से समाप्त कर देता है जहाँ लंबे समय तक ठहराव के बाद सामान्यीकरण प्रदर्शन (generalization performance) में अचानक सुधार होता है।
यह शोध पत्र G-GBM को प्रस्तुत करता है, जो एक नवीन इंडक्टिव ग्राफ ग्रेडिएंट बूस्टिंग मशीन है जो बीमा धोखाधड़ी का पता लगाने में क्लास इम्बैलेंस (वर्ग असंतुलन) और डायनेमिक डेटा जैसी चुनौतियों का समाधान करते हुए, स्टेट-ऑफ-द-आर्ट विधियों से बेहतर प्रदर्शन करने या उनके बराबर होने के लिए ग्रेडिएंट बूस्टिंग की मजबूती को व्याख्यात्मक हेटेरोजेनियस ग्राफ फीचर्स के साथ प्रभावी ढंग से जोड़ता है।
यह शोध पत्र एक "ऑर्थोगोनल ग्रोथ" (orthogonal growth) रणनीति प्रस्तुत करता है जो मौजूदा अभिसरित (converged) मिक्स्चर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) चेकपॉइंट्स की गहराई और चौड़ाई बढ़ाकर उन्हें पुनर्चक्रित करता है, यह प्रदर्शित करते हुए कि यह दृष्टिकोण समान कंप्यूट बजट के तहत शून्य से प्रशिक्षण देने की तुलना में काफी बेहतर प्रदर्शन करता है क्योंकि यह उच्च सटीकता प्राप्त करने के लिए पूर्व "सनक कॉस्ट" (sunk costs) का लाभ उठाता है।
यह शोधपत्र स्प्लिट-क्लाइंट (Split-Client) फ्रेमवर्क प्रस्तुत करता है, जो एक डिले-अडेप्टिव (delay-adaptive) सेकंड-ऑर्डर ऑप्टिमाइज़ेशन विधि है जो बेहतर वॉल-क्लॉक स्पीडअप प्राप्त करने के लिए ग्रेडिएंट और कर्वेचर गणनाओं को अलग करती है और इष्टतम लेज़ी हेसियन (Lazy Hessian) प्रदर्शन से मेल खाते हुए विशिष्ट संरचनात्मक स्थितियों के तहत तेज़ अभिसरण (convergence) प्रदान करते हुए ट्यूनिंग-फ्री कन्वर्जेंस रेट सुनिश्चित करती है।