26236 पेपर
यह शोध पत्र मशीन लर्निंग इंटरएटमिक पोटेंशियल की कंपोजिशनल जनरलाइजेशन क्षमताओं का मूल्यांकन करने के लिए चार कार्यों वाला एक बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि अत्याधुनिक फाउंडेशन मॉडल भी इन-डिस्ट्रीब्यूशन डेटा पर अपने प्रदर्शन की तुलना में अनदेखी आणविक संरचनाओं पर सामान्यीकरण करने में काफी संघर्ष करते हैं।
यह शोध पत्र AutoSlim को प्रस्तुत करता है, जो एक मशीन लर्निंग-आधारित फ्रेमवर्क है जो ऑटोमेटा ग्राफ में अनावश्यक नोड्स और किनारों (edges) को हटाने के लिए रैंडम फॉरेस्ट क्लासिफायर का उपयोग करता है, जिससे NAPOLY+ जैसे सिम्बॉलिक एक्सेलेरेटर्स के लिए थ्रूपुट और पावर दक्षता में सुधार करते हुए FPGA संसाधन उपयोग को 40% तक कम किया जा सकता है।
यह शोध पत्र "अवांछित भविष्य से बचने" की समस्या के लिए एक गैर-पैरामीट्रिक रिहर्सल लर्निंग फ्रेमवर्क प्रस्तुत करता है जो प्रतिबंधात्मक पैरामीट्रिक धारणाओं के बिना जटिल, गैर-रेखीय निर्णय गतिकी को मॉडल करने के लिए कंडीशनल मीन एम्बेडिंग्स और कर्नेल रिज रिग्रेशन का उपयोग करता है, जबकि सैद्धांतिक निरंतरता गारंटी और अनुभवजन्य सत्यापन प्रदान करता है।
यह शोध पत्र यह प्रदर्शित करता है कि ऑफलाइन, ओरेकल-लेबल वाले प्रक्षेप पथों (trajectories) पर प्री-ट्रेन्ड लार्ज लैंग्वेज मॉडल्स का सुपरवाइज्ड फाइन-ट्यूनिंग, MDPs, POMDPs और APOMDPs में अनुक्रमिक निर्णय लेने के लिए उनकी इन-कॉन्टेक्स्ट लर्निंग क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है, जिससे बेसलाइन विधियों की तुलना में काफी कम ऑप्टिमलिटी गैप प्राप्त होता है, विशेष रूप से जटिल, लंबी अवधि और आंशिक रूप से दृश्यमान वातावरणों में।
प्रतिनिधित्व लेंसों (representation lenses) को परतों के माध्यम से प्रेडिक्टिव रीडआउट सबस्पेस (predictive readout subspaces) के विकास को ट्रैक करने के लिए ज्यामितीय नैदानिक उपकरणों के रूप में पुनरुद्देश्यित करके, यह अध्ययन प्रकट करता है कि बड़े भाषा मॉडल अगले-टोकन भविष्यवाणी (next-token prediction) को तीन विशिष्ट ज्यामितीय चरणों—सीडिंग मल्टीप्लेक्सिंग (Seeding Multiplexing), होइस्टिंग ओवरराइडिंग (Hoisting Overriding), और फोकल कन्वर्जेंस (Focal Convergence)—के माध्यम से संसाधित करते हैं, जहाँ मॉडल की बढ़ती गहराई मुख्य रूप से प्रतिनिधित्व क्षमता का विस्तार करने के बजाय उम्मीदवार विसंयोजन (candidate disambiguation) को बढ़ाती है।
यह शोध पत्र LLiMba को प्रस्तुत करता है, जो एक 3B-पैरामीटर वाला सार्डिनियन भाषा मॉडल है जिसे निरंतर प्रीट्रेनिंग और फाइन-ट्यूनिंग के माध्यम से एकल कंज्यूमर GPU पर अनुकूलित किया गया है, जो यह प्रदर्शित करता है कि एक हाई-रैंक rsLoRA कॉन्फ़िगरेशन अन्य अनुकूलन विधियों की तुलना में अनुवाद की गुणवत्ता में बेहतर प्रदर्शन करता है, साथ ही स्क्रिप्ट लीकेज और तथ्यात्मक मतिभ्रम (hallucinations) जैसी गुणात्मक विफलताओं को पकड़ने में मानक मेट्रिक्स की महत्वपूर्ण सीमाओं को भी उजागर करता है।
यह शोध पत्र GAMBIT को प्रस्तुत करता है, जो मल्टी-एजेंट LLM कलेक्टिव्स में सह-विकसित अनुकूलनशील विरोधियों (co-evolving adaptive adversaries) को प्रदर्शित करने वाला एक नवीन बेंचमार्क और डेटासेट है, ताकि यह दर्शाया जा सके कि अनुकूलनशील खतरों के लिए ज़ीरो-शॉट मूल्यांकन भ्रामक है और मजबूत छद्म पहचान (imposter detection) के लिए फ्यू-शॉट पुनर्मूल्यांकन (few-shot recalibration) अत्यंत महत्वपूर्ण है।
यह शोध पत्र स्फेरिकल बोल्ट्ज़मैन मशीन को एक समाधान योग्य उच्च-आयामी ऊर्जा-आधारित मॉडल के रूप में प्रस्तुत करता है जो रैंडम मैट्रिक्स थ्योरी और डायनेमिकल मीन-फील्ड थ्योरी का लाभ उठाकर प्रशिक्षण गतिकी, बायेसियन साक्ष्य और चरण संक्रमणों को सटीक रूप से अभिलक्षित करता है, जिससे यह प्रकट होता है कि कैसे ये सैद्धांतिक तंत्र डबल डिसेंट और मानक आर्किटेक्चर में देखे जाने वाले आउट-ऑफ-इक्विलिब्रियम बायस जैसी जटिल जनरेटिव घटनाओं को आधार प्रदान करते हैं।
यह शोध पत्र ZO-MOPI का प्रस्ताव करता है, जो बड़े भाषा मॉडलों (large language models) को फाइन-ट्यून करने के लिए एक ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन विधि है, जो पूर्ण ऑर्थोगोनलाइज़ेशन (full orthogonalization) को पावर इटरेशन (power iteration) और मोमेंटम-आधारित सबस्पेस प्रोजेक्शन (momentum-based subspace projection) का उपयोग करके आंशिक ऑर्थोगोनलाइज़ेशन रणनीति से बदलकर अभिसरण (convergence) को तेज़ करता है, जिससे प्रतिस्पर्धी सटीकता बनाए रखते हुए अत्याधुनिक ZO-Muon की तुलना में 1.5x से 4x तेज़ अभिसरण प्राप्त होता है।
यह शोध पत्र सैद्धांतिक रूप से प्रदर्शित करता है कि मौजूदा प्लास्टिसिटी डायग्नोस्टिक्स जैसे कि रिप्रेजेंटेशन और न्यूरल टेंगेंट कर्नेल रैंक, ट्रेनैबिलिटी लॉस (trainability loss) की भविष्यवाणी करने में विफल हो सकते हैं, और एक नया मीट्रिक प्रस्तावित करता है जिसे "ऑप्टिमाइज़ेशन रेडीनेस" (optimization readiness) कहा जाता है जो भविष्य के ऑप्टिमाइज़ेशन गेन्स को अधिक सटीक रूप से अनुमान लगाने के लिए ग्रेडिएंट स्ट्रेंथ और रिलायबिलिटी को जोड़ता है, जो डीप कॉन्टिनुअल लर्निंग में सहायक है।