10792 पेपर
TLoRA एक एकीकृत फ्रेमवर्क है जो डेटा-संचालित, कार्य-संरेखित (task-aligned) LoRA मैट्रिक्स को फ्रीज करके और परतों के बीच रैंक और स्केलिंग कारकों को अनुकूल रूप से वितरित करके इनिशियलाइज़ेशन और संसाधन आवंटन को संयुक्त रूप से अनुकूलित करता है, जिससे काफी कम प्रशिक्षण योग्य मापदंडों (trainable parameters) के साथ विविध कार्यों में बेहतर प्रदर्शन प्राप्त होता है।
यह शोध पत्र यह प्रदर्शित करता है कि एक 300M-पैरामीटर वाले SwiGLU मॉडल में 'रीडर' (reader) घटकों को स्थिर करके अवशिष्ट-अक्ष (residual-axis) सक्रियणों को नियंत्रित करने के लिए प्रशिक्षण-समय के "डेप्थ रजिस्टर्स" (Depth Registers) हस्तक्षेप को लागू करने से W4A4 क्वांटाइजेशन त्रुटि में भारी कमी आती है, फिर भी यह प्रकट करता है कि शेष प्रदर्शन अंतराल मौलिक रूप से अनबाउंडेड "जेनरेटर" (generator) द्वैरेखीय अंतःक्रियाओं (bilinear interactions) के कारण है जिन्हें ऑर्थोगोनल रोटेशन हल नहीं कर सकते।
यह शोध पत्र "कॉपी-एज़-डिकोड" (Copy-as-Decode) को प्रस्तुत करता है, जो एक व्याकरण-प्रतिबंधित डिकोडिंग तंत्र है जो अपरिवर्तित टोकन के ऑटोरेग्रेसिव पुनर्जनन (autoregressive regeneration) को एकल समानांतर-प्रीफिल ऑपरेशन (single parallel-prefill operation) से बदलकर LLM टेक्स्ट और कोड संपादन को त्वरित करता है, जिससे सिंथेटिक वैधता बनाए रखते हुए 303 गुना तक की गति वृद्धि प्राप्त होती है और महत्वपूर्ण सैद्धांतिक वॉल-क्लॉक समय की कमी मिलती है।
यह शोध पत्र स्कैफोल्डेड टास्क डिज़ाइन (STaD) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो बेंचमार्क कार्यों के नियंत्रित, क्रमिक रूपांतरों को उत्पन्न करता है ताकि बड़े भाषा मॉडलों (LLMs) में विशिष्ट कंपोजिशनल रीजनिंग कौशल अंतराल को व्यवस्थित रूप से पहचाना और दृश्यमान बनाया जा सके, जो पारंपरिक समग्र स्कोर की तुलना में गहन नैदानिक अंतर्दृष्टि प्रदान करता है।
यह शोध पत्र Mamba2, RWKV और xLSTM जैसे रिकरेंट लैंग्वेज मॉडल्स के लिए एक वर्टिकली चंक्ड इन्फरेंस स्ट्रैटेजी का प्रस्ताव करता है जो लीनियर-टाइम, कांस्टेंट-मेमोरी टेक्स्ट एम्बेडिंग जनरेशन को सक्षम बनाता है, जो क्वाड्रेटिक-कॉम्प्लेक्सिटी ट्रांसफॉर्मर-आधारित दृष्टिकोणों के लिए एक मेमोरी-कुशल और प्रतिस्पर्धी विकल्प प्रदान करता है।
यह शोध पत्र कम-संसाधन वाले, ध्वन्यात्मक रूप से जटिल पूर्व कॉकेशियन भाषाओं, आर्ची और रुतुल के लिए ऑटोमैटिक स्पीच रिकग्निशन का फोनीम-स्तरीय विश्लेषण प्रस्तुत करता है, जो यह प्रदर्शित करता है कि त्रुटियों का प्राथमिक कारण ध्वन्यात्मक जटिलता के बजाय डेटा की कमी है और यह भी दिखाता है कि ह्यूरिस्टिक इनिशियलाइजेशन वाला एक भाषा-विशिष्ट wav2vec2 मॉडल व्हिस्पर (Whisper) जैसे बड़े प्री-ट्रेंड मॉडलों से बेहतर प्रदर्शन कर सकता है या उनके बराबर हो सकता है।
यह शोध पत्र बैकट्रांसलेशन और फाइन-ट्यून्ड मॉडल्स का उपयोग करके एक गोपनीयता-संरक्षित सिंथेटिक डेटा जनरेशन पाइपलाइन प्रस्तुत करता है, जिसका उपयोग 1.7 मिलियन फ्रांसीसी ट्वीट्स बनाने के लिए किया गया है ताकि 600M-पैरामीटर वाले रीजनर्स को प्रशिक्षित किया जा सके जो सार्वजनिक परिवहन में ग्राहकों के संकट का पता लगाने में अत्याधुनिक सटीकता प्राप्त करते हैं, और प्रभावी रूप से डेटा की कमी, एनोटेशन लागत और गोपनीयता संबंधी चिंताओं से जुड़ी चुनौतियों को दूर करते हैं।
यह शोध पत्र CalibAdv को प्रस्तुत करता है, जो एक नवीन एडवांटेज कैलिब्रेशन विधि है जो मध्यवर्ती चरण की शुद्धता के आधार पर अत्यधिक नकारात्मक एडवांटेज के सूक्ष्म डाउनस्केलिंग और एडवांटेज वितरण को पुनर्संतुलित करके डीप सर्च एजेंटों में ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) की अस्थिरता और प्रदर्शन ह्रास को कम करता है।
यह शोध पत्र प्रॉम्प्ट इंजेक्शन के लिए सात क्रॉस-डोमेन डिटेक्शन तकनीकों का प्रस्ताव और मूल्यांकन करता है—जो बायोइन्फॉर्मेटिक्स, इकोनॉमिक्स और कंपाइलर थ्योरी जैसे क्षेत्रों से ली गई हैं—ताकि वर्तमान रेगएक्स (regex) और फाइन-ट्यून्ड क्लासिफायर दृष्टिकोणों की सीमाओं को दूर किया जा सके, जिनमें से तीन विधियों को प्रॉम्प्ट-शील्ड v0.4.1 रिलीज़ में सफलतापूर्वक एकीकृत किया गया है और महत्वपूर्ण F1 स्कोर सुधार प्रदर्शित किए गए हैं।
यह शोध पत्र स्व-पर्यवेक्षित (self-supervised) स्पीच मॉडल्स का पहला लेयरवाइज निष्पक्षता विश्लेषण प्रस्तुत करता है, जो यह प्रकट करता है कि वक्ता समूह पूर्वाग्रह शुरुआती परतों से ही उभर आते हैं और वक्ता पहचान तथा स्वचालित वाक् पहचान (ASR) प्रदर्शन के बीच एक व्युत्क्रम संबंध प्रदर्शित करते हैं, जो यह सुझाव देता है कि ऐसे पूर्वाग्रह प्री-ट्रेनिंग के दौरान स्थापित होते हैं और फाइन-ट्यूनिंग के बाद भी बने रहते हैं।