10509 पेपर
यह शोध पत्र डिफ्यूजन-स्टेट पॉलिसी ऑप्टिमाइज़ेशन (DiSPO) का प्रस्ताव करता है, जो एक प्लग-इन विधि है जो ब्रांचिंग और स्कोरिंग तंत्र के माध्यम से मध्यवर्ती टोकन-फिलिंग निर्णयों को सीधे अनुकूलित करके मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स को बेहतर बनाती है, जिससे बिना किसी अतिरिक्त कंप्यूट या ऑप्टिमाइज़र स्टेप की आवश्यकता के गणित और प्लानिंग जैसे जटिल कार्यों पर प्रदर्शन में सुधार होता है।
यह शोध पत्र तर्क देता है कि मानक नेक्स्ट-टोकन प्रेडिक्शन प्रशिक्षण स्मृति के लिए अनुपयुक्त और सूचना-विहीन एम्बेडिंग उत्पन्न करता है, और उच्च-सटीक स्मृति निर्माण और कम्प्यूटेशनल दक्षता प्राप्त करने के लिए संयुक्त कॉज़ल (causal) और सूचना-प्रतिधारण उद्देश्यों के साथ प्रशिक्षित एक समानांतर योग्य एनकोडर-डिकोडर आर्किटेक्चर का प्रस्ताव करता है।
यह शोध पत्र एक अनुकूली तालिका पुनर्प्राप्ति (adaptive table retrieval) विधि प्रस्तावित करता है जो एडेप्टिव थ्रेशोल्डिंग और स्लाइडिंग-विंडो रीरैंकिंग का उपयोग करके क्वेरी आवश्यकताओं के आधार पर पुनर्प्राप्त तालिकाओं की संख्या को गतिशील रूप से समायोजित करता है, जिससे फिक्स्ड टॉप-k रणनीतियों की सीमाओं को दूर किया जा सके और स्पाइडर (Spider) और बर्ड (BIRD) जैसे टेक्स्ट-टू-एसक्यूएल (text-to-SQL) बेंचमार्क पर प्रदर्शन में सुधार किया जा सके।
UCCI एक कैलिब्रेशन-प्रथम (calibration-first) रूटिंग फ्रेमवर्क है जो आइसोटोनिक रिग्रेशन (isotonic regression) के माध्यम से टोकन-स्तरीय अनिश्चितता को प्रति-क्वेरी त्रुटि संभावनाओं में मैप करता है और बाधात्मक लागत न्यूनीकरण (constrained cost minimization) के माध्यम से एस्केलेशन थ्रेशोल्ड को अनुकूलित करता है, जिससे मौजूदा रूटिंग बेसलाइन की तुलना में एक प्रोडक्शन NER वर्कलोड पर उच्च सटीकता बनाए रखते हुए इन्फरेंस लागत में 31% की कमी आती है।
यह शोध पत्र स्पार्स ऑटोएनकोडर्स (sparse autoencoders) का उपयोग करते हुए, इंस्ट्रक्शन-ट्यून्ड एलएलएम (Llama 3.1 और Gemma 2) के भीतर साहित्यिक प्रिमिटिव्स (literary primitives)—जिसमें नेमिंग-गेट्स (naming-gates), सेल्फ-फीचर्स (self-features) और स्टाइलिस्टिक मोड्युलेटर्स (stylistic modulators) शामिल हैं—की एक कंपोजिशनल आर्किटेक्चर की पहचान और सत्यापन करता है, जो यह प्रदर्शित करता है कि लक्षित फीचर स्टीयरिंग (feature steering) न्यूनतम कम्प्यूटेशनल लागत के साथ विभिन्न मॉडल आर्किटेक्चर में विशिष्ट भावनात्मक और शैलीगत आउटपुट को विश्वसनीय रूप से उत्पन्न कर सकती है।
यह शोध पत्र PASC को प्रस्तुत करता है, जो एक पाइपलाइन-जागरूक कॉन्फॉर्मल प्रेडिक्शन विधि है जो समस्या को एकल स्केलर क्वांटाइल गणना में कम करके मल्टी-स्टेज NLP और LLM सिस्टम के लिए परिमित-नमूना संयुक्त कवरेज गारंटी सुनिश्चित करती है, जिससे यह सटीकता और दक्षता दोनों में स्वतंत्र अंशांकन (कैलिब्रेशन) और रूढ़िवादी बोनफेरोनी बाउंड्स से काफी बेहतर प्रदर्शन करती है।
यह शोध पत्र एक स्वचालित, मल्टी-एजेंट फ्रेमवर्क पेश करता है जो संदर्भ सामग्रियों पर आधारित सूक्ष्म, मेटाडेटा-समृद्ध बेंचमार्क उत्पन्न करने के लिए है, जो MMLU और GSM8K जैसे मौजूदा मूल्यांकनों की तुलना में बेहतर ग्राउंड-ट्रुथ विश्वसनीयता और व्यापक सक्षमता कवरेज प्रदान करते हैं।
यह शोध पत्र भाषा मॉडलों में एक छिपे हुए "एलाइनमेंट ट्रांजिशन" (alignment transition) की पहचान करता है जहाँ तर्क और सत्यनिष्ठा एक महत्वपूर्ण पैमाने के आगे प्रति-सहसंबंधी (anticorrelated) से सहकारी (cooperative) होने की ओर स्थानांतरित हो जाते हैं, जो एक ऐसा चरण परिवर्तन (phase change) है जिसे मॉडल के आंतरिक विवरणों तक पहुँच प्राप्त किए बिना वास्तुशिल्प समायोजन, डेटा क्यूरेशन और प्रशिक्षण विधियों के माध्यम से पूर्वानुमानित और हेरफेर किया जा सकता है।
यह शोध पत्र एक नैदानिक ढांचे (diagnostic framework) का प्रस्ताव करता है जो फ्रंटियर मॉडल के प्रदर्शन को जनसंख्या युग्मन प्रवृत्तियों (population coupling trends) और प्रति-रिलीज़ अवशेषों (per-release residuals) में विभाजित करता है ताकि यह प्रकट किया जा सके कि कोडिंग और तर्क क्षमताएं कैसे परस्पर क्रिया करती हैं, लैब के अनुसार कैसे भिन्न होती हैं, और समय के साथ कैसे विकसित होती हैं, जो अंततः वर्तमान लीडरबोर्ड के संतृप्त होने पर अगले सबसे सूचनात्मक बेंचमार्क चुनने के लिए एक रणनीतिक प्लेबुक प्रदान करता है।
यह शोध पत्र SAGE का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो एक गाइड फंक्शन के माध्यम से रिवर्स-KL एंकर डिस्ट्रीब्यूशन को नया रूप देकर LLMs में मानक RLVR की अन्वेषण सीमाओं को दूर करता है, जिससे गणितीय तर्क कार्यों पर pass@1 और pass@k दोनों में एक साथ सुधार प्राप्त होता है।