23700 पेपर
DynaTrain एक वितरित प्रशिक्षण प्रणाली (distributed training system) है जो वर्चुअल पैरामीटर स्पेस एब्स्ट्रैक्शन और एक इलास्टिक डिवाइस मैनेजर का लाभ उठाकर किसी भी पैरेललिज्म आयामों में बड़े भाषा मॉडलों के सब-सेकंड ऑनलाइन पुनर्गठन को सक्षम बनाती है ताकि पारंपरिक चेकपॉइंट-आधारित स्टेट ट्रांज़िशन के प्रदर्शन ओवरहेड को समाप्त किया जा सके।
यह शोध पत्र बड़े पैमाने पर डॉक्यूमेंट एआई (document AI) पाइपलाइनों को तैनात करने के लिए एक माइक्रोसर्विस आर्किटेक्चर और परिचालन अनुभव प्रस्तुत करता है, जो GPU और CPU कार्यों को अलग करने जैसे डिज़ाइन निर्णयों पर प्रकाश डालता है और यह प्रकट करता है कि मॉडल की जटिलता या वर्कर की संख्या के बजाय, OCR विलंबता (latency) और साझा GPU क्षमता उत्पादन (production) में प्राथमिक बाधाएं हैं।
यह शोध पत्र "कुशल कंडिशनिंग" (efficient conditioning) को एक मौलिक गुण के रूप में स्थापित करता है जो कॉन्स्टेंट लायर (Constant Liar), क्रिगिंग बिलीवर (Kriging Believer), और फैंटेसी मॉडल्स (fantasy models) को समानांतर बेयसियन ऑप्टिमाइज़ेशन (parallel Bayesian Optimization) में विविध बैच पॉइंट्स को प्रभावी ढंग से उत्पन्न करने में सक्षम बनाता है, जिससे इन विधियों को एक एकल सैद्धांतिक ढांचे के तहत एकीकृत किया जाता है और कठोर प्रमाणों एवं व्यापक प्रयोगों के माध्यम से गैर-कंडीशनिंग पैरामीट्रिक सरोगेट्स (non-conditioning parametric surrogates) पर उनकी श्रेष्ठता को प्रदर्शित किया जाता है।
यह सर्वेक्षण क्वांटम एडवरसेरियल मशीन लर्निंग का एक व्यापक अवलोकन प्रदान करता है, जो क्वांटम कंप्यूटिंग के मशीन लर्निंग सुरक्षा के साथ प्रतिच्छेद करते समय इस क्षेत्र के सैद्धांतिक आधारों, मौजूदा हमले के तौर-तरीकों (attack vectors), रक्षा रणनीतियों और उभरती चुनौतियों का विवरण देता है।
यह शोध पत्र हाइब्रिड-लोरा (Hybrid-LoRA) का प्रस्ताव करता है, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो मॉड्यूल के एक छोटे, उच्च-संवेदनशीलता वाले उपसमूह के लिए फुल फाइन-ट्यूनिंग को शेष भाग के लिए लो-रैंक एडेप्टेशन (Low-Rank Adaptation) के साथ रणनीतिक रूप से जोड़ता है, जिससे कंप्यूटेशनल लागतों को काफी कम करते हुए फुल फाइन-ट्यूनिंग के तुलनीय प्रदर्शन प्राप्त होता है और जटिल तर्क कार्यों में मौजूदा पैरामीटर-कुशल बेसलाइनों से बेहतर प्रदर्शन करता है।
यह शोध पत्र एक स्वचालित, मल्टी-एजेंट फ्रेमवर्क पेश करता है जो संदर्भ सामग्रियों पर आधारित सूक्ष्म, मेटाडेटा-समृद्ध बेंचमार्क उत्पन्न करने के लिए है, जो MMLU और GSM8K जैसे मौजूदा मूल्यांकनों की तुलना में बेहतर ग्राउंड-ट्रुथ विश्वसनीयता और व्यापक सक्षमता कवरेज प्रदान करते हैं।
यह शोध पत्र SAECache को प्रस्तुत करता है, जो एक सिमेंटिक-एडेप्टिव प्रिफिक्स कैश इविक्शन पॉलिसी है जो मल्टी-क्यू आर्किटेक्चर और ऑनलाइन लर्निंग के माध्यम से विभिन्न टोकन प्रकारों के बदलते पुनरुपयोग मूल्यों (reuse values) का लाभ उठाकर मैन्युअल पैरामीटर ट्यूनिंग की आवश्यकता को समाप्त करते हुए LLM सर्विंग दक्षता में महत्वपूर्ण सुधार करता है।
यह शोध पत्र - अटेंशन का प्रस्ताव करता है, जो एक स्थिर पैरामीट्राइजेशन है जो अटेंशन के रूटिंग और फ़िल्टरिंग घटकों को अलग करता है ताकि एक गहराई-निर्भर स्पेक्ट्रल कैस्केड को प्रकट किया जा सके, जिससे न्यूनतम परप्लेक्सिटी हानि के साथ महत्वपूर्ण मॉडल संपीड़न और प्रारंभिक परतों का रेखीयकरण सक्षम होता है।
यह शोध पत्र कोड-गाइडेड रीजनिंग (CGR) को प्रस्तुत करता है, जो एक मूल्यांकन प्रोटोकॉल और संसाधन है जो यह प्रदर्शित करता है कि निष्पादन योग्य कोड स्कैफोल्ड्स (executable code scaffolds) मल्टीपल-चॉइस QA कार्यों पर छोटे भाषा मॉडलों के प्रदर्शन में महत्वपूर्ण सुधार करते हैं, जो सीधे उत्तर देने की तुलना में 28.10 प्रतिशत अंकों का सटीकता लाभ प्राप्त करते हैं और परिणामों का विश्लेषण करने के लिए व्यापक ट्रेस डेटा प्रदान करते हैं।
यह शोध पत्र लॉसलेस एंटी-डिस्टिलेशन सैंपलिंग (LADS) का प्रस्ताव करता है, जो एक नवीन योजना है जो क्वेरी-निर्भर निजी बीजों (seeds) का उपयोग करके प्रतिक्रियाएं उत्पन्न करती है ताकि निर्दोष उपयोगकर्ताओं के लिए पूर्ण गुणवत्ता को संरक्षित किया जा सके और साथ ही डिस्टिलेशन के माध्यम से प्रशिक्षित मॉडलों के प्रदर्शन को कम करने के लिए कई खातों में जानबूझकर सह-संबंधित यादृच्छिकता (correlated randomness) पेश की जा सके।