10551 पेपर
यह शोध पत्र AAAC को प्रस्तुत करता है, जो एक हल्का पोस्ट-ट्रेनिंग क्वांटाइजेशन तरीका है जो एक्टिवेशन-अवेयर एडेप्टिव कोडबुक्स का उपयोग करके स्टेट-ऑफ-द-आर्ट 4-बिट एलएलएम वेट कंप्रेशन प्राप्त करता है, जिससे नगण्य स्टोरेज ओवरहेड के साथ पुनर्निर्माण त्रुटि न्यूनतम होती है और मौजूदा ग्रेडिएंट-आधारित दृष्टिकोणों की तुलना में काफी तेज़ क्वांटाइजेशन समय मिलता है।
यह शोध पत्र स्ट्रक्चर्ड रिकरेंट मिक्सर (SRM) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो मौजूदा लीनियर-कॉम्प्लेक्सिटी मॉडल्स की तुलना में बेहतर प्रशिक्षण दक्षता, सूचना क्षमता और अनुमान थ्रूपुट प्राप्त करने के लिए समानांतर प्रशिक्षण और रिकरेंट अनुमान के बीच बीजगणितीय रूपांतरण को सक्षम बनाता है, जबकि मानक बेंचमार्क और सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) कार्यों दोनों में महत्वपूर्ण प्रदर्शन लाभ प्रदर्शित करता है।
यह शोध पत्र AgentForesight प्रस्तुत करता है, जो एक कॉम्पैक्ट ऑनलाइन ऑडिटर वाला एक फ्रेमवर्क है जिसे नए क्यूरेटेड AFTraj-2K डेटासेट पर प्रशिक्षित किया गया है ताकि LLM-आधारित मल्टी-एजेंट सिस्टम में निर्णायक त्रुटियों की वास्तविक समय में भविष्यवाणी और स्थानीयकरण किया जा सके, जिससे पोस्ट-हॉक विफलता एट्रिब्यूशन पर निर्भर रहने के बजाय डिप्लॉयमेंट-टाइम इंटरवेंशन (तैनाती-समय हस्तक्षेप) सक्षम हो सके।
यह शोध पत्र यह स्थापित करता है कि प्राइमेसी (primacy) और एंकरिंग (anchoring) जैसे संज्ञानात्मक पूर्वाग्रह, ऑटोरेग्रेसिव एआई मॉडल और मानव संज्ञान दोनों में क्रमिक प्रसंस्करण बाधाओं के गणितीय रूप से अपरिहार्य परिणाम हैं, जो सैद्धांतिक प्रमाणों और अनुभवजन्य सत्यापन के माध्यम से यह प्रदर्शित करता है कि ये पूर्वाग्रह केवल त्रुटियां होने के बजाय संसाधन-तर्कसंगत प्रतिक्रियाएं हैं।
AdaPreLoRA एक नवीन LoRA ऑप्टिमाइज़र है जो वेट स्पेस पर एक Adafactor-आधारित डायगोनल क्रोनेकर प्रीकंडिशनरनर को अपनाकर और -भारित असंतुलन (imbalance) को न्यूनतम करने वाले एक क्लोज्ड-फॉर्म फैक्टर अपडेट को चुनकर फैक्टर-स्पेस प्रीकंडिशनर की सिंगुलैरिटी को संबोधित करता है, जिससे यह कम मेमोरी ओवरहेड बनाए रखते हुए विभिन्न मॉडलों और कार्यों में प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।
यह शोध पत्र बड़े पैमाने के Mixture-of-Experts (MoE) मॉडलों को प्रीट्रेनिंग के दौरान कंप्रेस करने के लिए स्ट्रक्चर्ड प्रूनिंग और नॉलेज डिस्टिलेशन की व्यवस्थित जांच करता है, यह प्रदर्शित करते हुए कि प्रूनिंग बेहतर इनिशियलाइजेशन प्रदान करती है, क्रमिक कंप्रेशन शेड्यूल्स वन-शॉट विधियों से बेहतर प्रदर्शन करते हैं, और लैंग्वेज मॉडलिंग को मल्टी-टोकन प्रेडिक्शन डिस्टिलेशन के साथ संयोजित करने से काफी छोटे मॉडल में प्रतिस्पर्धी प्रदर्शन प्राप्त होता है।
यह शोध पत्र लेक्सिकल अकॉस्टिक कोडिंग (LAC) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जहाँ पूर्व-प्रशिक्षित LLM एजेंट वेवफॉर्म्स को व्याख्यात्मक अंग्रेजी टेक्स्ट विवरणों में बदलकर और उन्हें क्लोज्ड-लूप रिफाइनमेंट के माध्यम से पुनर्गठित करके ध्वनि के संचार करते हैं, जो प्रभावी रूप से प्राकृतिक भाषा को ऑडियो के लिए एक परिमित-दर (finite-rate), हानिपूर्ण (lossy) ट्रांसपोर्ट प्रतिनिधित्व के रूप में उपयोग करता है।
यह शोध पत्र SimReg का प्रस्ताव करता है, जो बड़े भाषा मॉडल (large language model) के प्रीट्रेनिंग के लिए एक एम्बेडिंग समानता नियमितीकरण (embedding similarity regularization) विधि है, जो अभिसरण (convergence) को 30% से अधिक तेजी से करने और डाउनस्ट्रीम ज़ीरो-शॉट प्रदर्शन को 1% से अधिक सुधारने के लिए इंट्रा-क्लास वेरिएंस (intra-class variance) और इंटर-क्लास समानता (inter-class similarity) को कम करता है।
यह शोध पत्र प्रकट करता है कि जहाँ बड़े भाषा मॉडल (large language models) स्पष्ट रूप से पूछे जाने पर ग्राउंडिंग आयामों (grounding dimensions) की पहचान कर सकते हैं, वहीं वे शब्दों के जुड़ाव (word associations) पर अत्यधिक निर्भर रहने और मुक्त सृजन (free generation) के दौरान भावनात्मक और आंतरिक अवस्था की अवधारणाओं को स्वाभाविक रूप से भर्ती करने में विफल रहने के कारण मनुष्यों की तुलना में एक महत्वपूर्ण "ग्राउंडिंग अंतराल" (grounding gap) प्रदर्शित करते हैं।
यह शोध पत्र SeedRG को प्रस्तुत करता है, जो एक अर्ध-सिंथेटिक (semi-synthetic) बेंचमार्क जनरेशन पाइपलाइन है जो सीड डेटा से रीजनिंग ग्राफ्स निकालकर और नवीन, संरचनात्मक रूप से समान उदाहरण उत्पन्न करके रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) मूल्यांकन में नॉलेज लीकेज और बेंचमार्क एजिंग की समस्या को कम करता है, जिन्हें किसी LLM की पैरामीट्रिक मेमोरी से हल नहीं किया जा सकता।