cs.AI

Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models

यह शोध पत्र सेल्फ-अवेयर शेड्यूलिंग (SAS) प्रस्तुत करता है, जो एक सिद्धांतगत ढांचा है जो डिकोडिंग मिसमैच (decoding mismatch) पर एक सुलभ ऊपरी सीमा (tractable upper bound) प्राप्त करके एक हल्के नीति (lightweight policy) को प्रशिक्षित करता है ताकि मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स में टोकन अनमास्किंग क्रम को अनुकूलित किया जा सके, जिससे सुडोकू और गणितीय तर्क जैसे कार्यों पर ह्यूरिस्टिक शेड्यूल्स की तुलना में जनरेशन की गुणवत्ता में महत्वपूर्ण सुधार होता है।

Solve for the Hyperparameter, Skip the Search: Kolmogorov-Optimal Scaling Laws for Spline Regression

यह शोध पत्र KORE को प्रस्तुत करता है, जो कोलमोगोरोव-इष्टतम स्केलिंग लॉ (Kolmogorov-optimal scaling laws) और लीव-वन-आउट एरर एस्टीमेशन (leave-one-out error estimation) का उपयोग करके स्प्लाइन रिग्रेशन में इष्टतम रिज़ॉल्यूशन को विश्लेषणात्मक रूप से हल करने की एक विधि है, जिससे उच्च-आयामी डेटासेट पर व्यापक ग्रिड सर्च और अन्य ट्यूनिंग विधियों की सटीकता के बराबर या उससे अधिक सटीकता प्राप्त करते हुए गणनात्मक रूप से महंगे हाइपरपैरामीटर सर्च की आवश्यकता समाप्त हो जाती है।

Kamera: Unified Position-Invariant Multimodal KV Cache for Training-Free Reuse

यह शोध पत्र "Kamera" का परिचय देता है, जो एक प्रशिक्षण-मुक्त (training-free) विधि है जो सटीक RoPE पुन: घूर्णन (re-rotation) के साथ एक छोटे निम्न-रैंक वाले अनुकूलन पैच (low-rank conditioning patch) को लागू करके मल्टीमॉडल KV कैश के स्थिति-अपरिवर्तनीय पुन: उपयोग को सक्षम बनाता है, जिससे अनावश्यक पुन: एन्कोडिंग समाप्त हो जाती है और मल्टी-हॉप रीजनिंग के लिए आवश्यक क्रॉस-चंक निर्भरता पूरी तरह से बहाल हो जाती है।

A Generative Model for Closed-Loop Microsimulation of Signalized Intersections

यह शोध पत्र एनएक्टर (Enactor) का परिचय देता है, जो एक एक्टर-केंद्रित जनरेटिव मॉडल है जो सिग्नल वाले चौराहों के स्थिर, उच्च-विश्वसनीयता वाले माइक्रोसिमुलेशन को प्राप्त करने के लिए एक क्लोज्ड-लूप प्रशिक्षण पाठ्यक्रम और पोलर कोऑर्डिनेट एनकोडिंग का उपयोग करता है, जो ट्रैफिक वितरण को पुनरुत्पादित करने और सुरक्षा उल्लंघनों को कम करने में मौजूदा बेसलाइन से काफी बेहतर प्रदर्शन करता है।

The Topology of Ill-Posed Questions: Persistent Homology for Detection and Steering in LLMs

यह शोध पत्र एक एकीकृत ढांचे का प्रस्ताव करता है जो दुर्भावनापूर्ण या अस्पष्ट (ill-posed) प्रश्नों का पता लगाने के लिए LLM की आंतरिक अवस्थाओं की टोपोलॉजिकल संरचना को चित्रित करने हेतु पर्सिस्टेंट होमोलॉजी (persistent homology) का उपयोग करता है और स्पष्टीकरण या परहेज (abstention) की ओर मॉडलों को प्रभावी ढंग से निर्देशित करने के लिए टोपोलॉजी-कंडीशन्ड एक्टिवेशन स्टीयरिंग (topology-conditioned activation steering) का उपयोग करता है, जो कई डेटासेट्स पर मौजूदा बेसलाइनों से काफी बेहतर प्रदर्शन करता है।

Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers

यह शोध पत्र एक नवीन द्वैत-शिक्षण ढांचे (dual-learning framework) का प्रस्ताव करता है जो स्वतंत्र रूप से प्रशिक्षित बिलियन-पैरामीटर ट्रांसफॉर्मर्स को संरेखित करने के लिए कार्यक्षमता-संरक्षण भार रूपांतरणों (functionality-preserving weight transformations) को लागू करता है, जिससे भाषा और दृष्टि दोनों डोमेन में लगभग बाधा-मुक्त रैखिक मोड कनेक्टिविटी (linear mode connectivity) और प्रभावी मॉडल विलय सक्षम होता है।

Discovering Latent Groups for Robust Classification

यह शोध पत्र न्यूरल क्लासिफिकेशन ट्रीज़ (NCT) का प्रस्ताव करता है, जो एक व्याख्यात्मक ढांचा है जो भविष्यवाणियों की सटीकता के आधार पर नमूनों को "आसान" या "कठिन" नोड्स में गतिशील रूप से रूट करके, लेटेंट सबग्रुप संरचनाओं को पुनरावृत्ति से अलग करने के माध्यम से बिना सबग्रुप पर्यवेक्षण के सुदृढ़ वर्गीकरण प्राप्त करता है।

Data Selection Through Iterative Self-Filtering for Vision-Language Settings

यह शोध पत्र 'सेल्फ-फिल्टरिंग' नामक एक नवीन बूटस्ट्रैप्ड पद्धति प्रस्तावित करता है, जो एक विकसित होते डेटासेट पर एक CLIP मॉडल को पुनरावृत्ति से प्रशिक्षित करती है जो अत्यधिक संभावित स्वच्छ नमूनों और विविध डेटा के बीच संतुलन बनाता है, जिससे बिना किसी अतिरिक्त डेटा या पूर्व-प्रशिक्षित मॉडलों के डाउनस्ट्रीम विजन-लैंग्वेज प्रदर्शन में सुधार होता है।

RECALL: Recovery Experience Collection for Active Lifelong Learning in Vision-Language-Action Models

यह शोध पत्र विज़न-लैंग्वेज-एक्शन मॉडल्स के लिए एक सक्रिय, अनिश्चितता-निर्देशित निरंतर शिक्षण प्रतिमान (continual learning paradigm) प्रस्तावित करता है जो लक्षित रिकवरी प्रदर्शनों (recovery demonstrations) के माध्यम से अनुकूलन दक्षता में सुधार करता है, जबकि ऐसे डेटा को एकीकृत करने पर प्लास्टिसिटी और कैटास्ट्रोफिक फॉरगेटिंग के बीच के ट्रेडऑफ़ का अनुभवजन्य विश्लेषण करता है।

AI Exposure Scores: what they measure, what they miss, and what comes next