20856 पेपर
यह शोध पत्र प्रदर्शित करता है कि ट्रांसफॉर्मर में इंडक्शन हेड्स (induction heads) एक परिष्कृत इन-कॉन्टेक्स्ट लर्निंग तंत्र को लागू करते हैं जो सॉफ्ट कॉन्टेक्स्ट-मैचिंग इंटरपोलेशन (soft context-matching interpolation) को एडिटिव स्यूडो-काउंट स्मूथिंग (additive pseudo-count smoothing) के साथ जोड़ता है, जो शास्त्रीय काउंट-आधारित बेसलाइनों से बेहतर प्रदर्शन करने के लिए अनुमान को प्रभावी ढंग से नियमित करता है।
यह शोध पत्र BDLM Mamba-H को प्रस्तुत करता है, जो एक हाइब्रिड डिफ्यूजन लैंग्वेज मॉडल है जो सटीक कैशिंग (exact caching) को सक्षम करने के लिए सक्रिय डिनोइजिंग ब्लॉक्स (active denoising blocks) तक द्विदिश मम्बा स्कैनिंग (bidirectional Mamba scanning) को सीमित करता है, जिससे मौजूदा फुल-सीक्वेंस और अटेंशन-आधारित डिफ्यूजन बेसलाइनों की तुलना में बेहतर परप्लेक्सिटी (perplexity) और काफी अधिक लॉन्ग-कॉन्टेक्स्ट इन्फरेंस थ्रूपुट प्राप्त होता है।
यह शोध पत्र Sparse-Reslim को प्रस्तुत करता है, जो एक पैरामीटर-मुक्त रूटिंग मॉड्यूल है जो केवल महंगे ट्रांसफार्मर ब्लॉक्स के माध्यम से टोकन के एक विरल (sparse) उपसमूह को संसाधित करके और रेसिडुअल डेल्टा अपडेट के माध्यम से पूर्ण-ग्रिड प्रतिनिधित्वों को संरक्षित करके, पूर्वानुमान की गुणवत्ता से समझौता किए बिना महत्वपूर्ण गति और मेमोरी में कमी प्राप्त करते हुए ViT-आधारित मौसम पूर्वानुमान की दक्षता और सटीकता में सुधार करता है।
यह शोध पत्र आणविक अनुकूलन (molecular optimization) में डिस्क्रीट डिफ्यूजन मॉडल्स के लिए एक व्यापक ऑनलाइन अनुकूलन ढांचा प्रस्तावित करता है जो सीमित ओरेकल बजट के तहत ऑफलाइन फाइन-ट्यूनिंग और इन्फरेंस-टाइम सर्च बेसलाइन्स से बेहतर प्रदर्शन करने के लिए अधिग्रहण (acquisition), रिवॉर्ड शेपिंग, मॉडल डिबायसिंग, रिप्ले और वैधता नियंत्रण को एकीकृत करता है।
EvoOtter एक लागत प्रभावी विकासवादी प्रोग्रामिंग दृष्टिकोण है जो उच्च-गुणवत्ता वाले बग पुनरुत्पादन परीक्षणों को पूर्ववर्ती इन्फरेंस-स्केलिंग विधियों की तुलना में बहुत कम लागत पर उत्पन्न करने के लिए सक्सीविव हैल्विंग (successive halving), बैच्ड एलएलएम क्रॉसओवर (batched LLM crossover) और नियम-आधारित उत्परिवर्तन (rule-based mutations) को एक विशेष रूप से तैयार किए गए फिटनेस स्कोर के साथ जोड़ता है।
यह शोधपत्र प्रदर्शित करता है कि गणितीय तर्क कार्यों पर RLVR के साथ प्रशिक्षित छोटे भाषा मॉडलों के लिए, प्रक्रिया-स्तरीय (process-level) पुरस्कार पर्यवेक्षण, सटीकता और तर्क ट्रेस निष्ठा (reasoning trace fidelity) दोनों में केवल परिणाम-आधारित (outcome-only) पर्यवेक्षण की तुलना में काफी बेहतर प्रदर्शन करता है, जबकि हाइब्रिड पुरस्कार संरचनाओं को आम तौर पर उच्च प्रक्रिया भार (process weights) से लाभ होता है।
यह शोध पत्र गतिशील डेटाबेस परिवेशों में चयनात्मकता (selectivity) का अनुमान लगाने के लिए एक ऑनलाइन लर्निंग फ्रेमवर्क प्रस्तावित करता है, जो स्थिर और गतिशील दोनों सेटिंग्स के तहत हिस्टोग्राम-आधारित रैखिक प्रश्नों (linear queries) के लिए सैद्धांतिक रिग्रेट बाउंड्स (regret bounds) स्थापित करता है।
यह शोध पत्र PROMPTPET को प्रस्तुत करता है, जो एक LLM-आधारित एजेंट है जो उपयोगकर्ता की गोपनीयता और चैटबॉट उपयोगिता के बीच के संतुलन को अनुकूलित करने के लिए उपयोगकर्ता के प्रॉम्प्ट में संवेदनशील जानकारी हेतु सबसे प्रभावी अस्पष्टीकरण क्रिया (रे redaction, अमूर्तीकरण, प्रतिस्थापन, या एक नवीन शोर/शोर-निवारण योजना) को गतिशील रूप से चुनता है।
यह शोध पत्र VSeek को प्रस्तुत करता है, जो एक एजेंटिक फ्रेमवर्क है जो न्यूरो-सिम्बोलिक रिवार्ड्स के साथ सुदृढीकरण शिक्षण (reinforcement learning) का उपयोग करके लंबे वीडियो आधारित प्रश्न-उत्तर को उन्नत करता है, जिससे इस कार्य को एक बहु-चरण खोज प्रक्रिया में परिवर्तित किया जाता है जो औपचारिक टेम्पोरल लॉजिक विनिर्देशों के विरुद्ध पुनर्प्राप्त दृश्य साक्ष्यों को व्यवस्थित रूप से सत्यापित करती है।
यह शोध पत्र एक स्वचालित LLM पाइपलाइन प्रस्तुत करता है जो यह सत्यापित करता है कि क्या ट्रांसफॉर्मर में व्यक्तिगत वेट्स (weights) के पास वैश्विक रूप से व्याख्या योग्य कार्य होते हैं, जिसमें यह पाया गया कि डेंस मॉडल्स की तुलना में वेट-स्पार्स (weight-sparse) मॉडल्स में ऐसे व्याख्या योग्य वेट्स का एक काफी अधिक हिस्सा (12–31%) होता है।