24559 पेपर
यह शोध पत्र यह स्थापित करता है कि प्राइमेसी (primacy) और एंकरिंग (anchoring) जैसे संज्ञानात्मक पूर्वाग्रह, ऑटोरेग्रेसिव एआई मॉडल और मानव संज्ञान दोनों में क्रमिक प्रसंस्करण बाधाओं के गणितीय रूप से अपरिहार्य परिणाम हैं, जो सैद्धांतिक प्रमाणों और अनुभवजन्य सत्यापन के माध्यम से यह प्रदर्शित करता है कि ये पूर्वाग्रह केवल त्रुटियां होने के बजाय संसाधन-तर्कसंगत प्रतिक्रियाएं हैं।
यह शोध पत्र मानक हमलों की विफलता का विश्लेषण करके और एक नवीन PGD-GSM पद्धति का प्रस्ताव देकर, जो एक आवधिक ज्यामितीय क्षय (Periodic Geometric Decay) अनुसूची के साथ ऐसे हमलों को सफलतापूर्वक निष्पादित करती है, सीखे गए इमेज कम्प्रेशन (learned image compression) में उच्च-रिज़ॉल्यूशन वाले वैश्विक सिमेंटिक हेरफेर (high-resolution global semantic manipulation) की पूर्व में दुर्बोध चुनौती को संबोधित करता है।
AdaPreLoRA एक नवीन LoRA ऑप्टिमाइज़र है जो वेट स्पेस पर एक Adafactor-आधारित डायगोनल क्रोनेकर प्रीकंडिशनरनर को अपनाकर और -भारित असंतुलन (imbalance) को न्यूनतम करने वाले एक क्लोज्ड-फॉर्म फैक्टर अपडेट को चुनकर फैक्टर-स्पेस प्रीकंडिशनर की सिंगुलैरिटी को संबोधित करता है, जिससे यह कम मेमोरी ओवरहेड बनाए रखते हुए विभिन्न मॉडलों और कार्यों में प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।
यह शोध पत्र बड़े पैमाने के Mixture-of-Experts (MoE) मॉडलों को प्रीट्रेनिंग के दौरान कंप्रेस करने के लिए स्ट्रक्चर्ड प्रूनिंग और नॉलेज डिस्टिलेशन की व्यवस्थित जांच करता है, यह प्रदर्शित करते हुए कि प्रूनिंग बेहतर इनिशियलाइजेशन प्रदान करती है, क्रमिक कंप्रेशन शेड्यूल्स वन-शॉट विधियों से बेहतर प्रदर्शन करते हैं, और लैंग्वेज मॉडलिंग को मल्टी-टोकन प्रेडिक्शन डिस्टिलेशन के साथ संयोजित करने से काफी छोटे मॉडल में प्रतिस्पर्धी प्रदर्शन प्राप्त होता है।
यह शोध पत्र "कॉज़ल डाइमेंशनैलिटी" (कप्पा) को एक मॉडल-अंतर्निहित मीट्रिक के रूप में प्रस्तुत करता है जो एक ट्रांसफॉर्मर लेयर के कॉज़ल प्रभाव के प्रभावी रैंक को परिमाणित करता है, यह प्रकट करते हुए कि जहाँ प्रतिनिधित्व क्षमता (representational capacity) स्पार्स ऑटोएन्कोडर की चौड़ाई के साथ रैखिक रूप से बढ़ती है, वहीं कॉज़ल क्षमता उप-रैखिक स्तर पर संतृप्त हो जाती है जो मॉडल के आकार के प्रति अपरिवर्तित रहती है और नेटवर्क की गहराई केAcross विशिष्ट संरचनात्मक पैटर्न प्रदर्शित करती है।
MeshFIM एक Fill-in-the-Middle ऑटोरेग्रेसिव फ्रेमवर्क पेश करता है जो आसपास के संदर्भ (surrounding context) के आधार पर विशिष्ट क्षेत्रों को पुनर्जीवित करके लो-पॉली मेश के कुशल, उच्च-गुणवत्ता वाले स्थानीय संपादन और मरम्मत को सक्षम बनाता है, जिससे पारंपरिक 'ऑल-ओर-नथिंग' पुनर्जनन विधियों की अक्षमता और संरचनात्मक व्यवधान को दूर किया जा सकता है।
यह शोध पत्र लेक्सिकल अकॉस्टिक कोडिंग (LAC) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जहाँ पूर्व-प्रशिक्षित LLM एजेंट वेवफॉर्म्स को व्याख्यात्मक अंग्रेजी टेक्स्ट विवरणों में बदलकर और उन्हें क्लोज्ड-लूप रिफाइनमेंट के माध्यम से पुनर्गठित करके ध्वनि के संचार करते हैं, जो प्रभावी रूप से प्राकृतिक भाषा को ऑडियो के लिए एक परिमित-दर (finite-rate), हानिपूर्ण (lossy) ट्रांसपोर्ट प्रतिनिधित्व के रूप में उपयोग करता है।
यह शोध पत्र OLSF-TRS का प्रस्ताव करता है, जो एक सामान्यीकृत और स्केलेबल ढांचा है जो टोट-हैंडलिंग रोबोटिक सिस्टम में अनुक्रमिक ऑर्डर-टोट-रोबोट निर्णयों को अनुकूलित करने के लिए स्ट्रक्चर्ड कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन को मल्टी-एजेंट सुदृढीकरण लर्निंग (multi-agent reinforcement learning) के साथ एकीकृत करता है, जिससे छोटे पैमाने पर निकट-इष्टतम प्रदर्शन प्राप्त होता है और बड़े पैमाने के परिदृश्यों में टोट गतिविधियों को कम करके और परिचालन दक्षता को बढ़ाकर अत्याधुनिक ह्यूरिस्टिक्स (state-of-the-art heuristics) से काफी बेहतर प्रदर्शन किया जाता है।
यह शोध पत्र पहचानता है कि वर्तमान LLM अनलर्निंग विधियाँ अक्सर भ्रमित करने (hallucinating) या असंगत व्यवहार करने के कारण ईमानदारी से समझौता करती हैं, और ईमानदारी के अनलर्निंग की एक औपचारिक परिभाषा के साथ ReVa नामक एक नई विधि प्रस्तावित करता है जो विस्मरण प्रभावशीलता (forgetting effectiveness) और रिटेंड नॉलेज यूटिलिटी दोनों में महत्वपूर्ण सुधार करती है।
यह शोधपत्र EDMolGPT प्रस्तुत करता है, जो एक जनरेटिव फ्रेमवर्क है जो 'डी नोवो' (de novo) ड्रग डिज़ाइन के लिए बाइंडिंग साइट फिलर्स से प्राप्त लो-रिज़ॉल्यूशन इलेक्ट्रॉन डेंसिटी मैप्स का उपयोग एक भौतिक रूप से आधारित स्थिति (physically grounded condition) के रूप में करता है, जिससे रिजिड पॉकेट रिप्रेजेंटेशन की सीमाओं को दूर किया जा सके और वास्तविक 3D कन्फ़ॉर्मेशन वाली अणुओं के निर्माण को सक्षम बनाया जा सके।