22037 पेपर
यह शोध पत्र यह प्रदर्शित करता है कि पूर्वानुमान कार्यों में 'लुक-अहेड बायस' (look-ahead bias) को कम करने और ऐतिहासिक पैटर्न के आधार पर मॉडल की सामान्यीकरण क्षमता में सुधार करने के लिए, एलएलएम (LLMs) में समय-जागरूक विशेषताओं (time-aware features) को पहचानने और उन्हें प्रवर्धित करने हेतु स्पार्स ऑटोएनकोडर (sparse autoencoders) का उपयोग करना, सामान्य तर्क प्रदर्शन को बनाए रखते हुए, कार्यक्षम रूप से इसे कम कर सकता है।
CARVE एक कंटेंट-अवेयर रिकरेंट आर्किटेक्चर है जो इरेज़ ऑपरेशन्स को की एक्सिस (key axis) तक सीमित करके प्रमुख डेल्टा-रूल मॉडल्स के मुख्य दोषों को हल करता है, जिससे कम पैरामीटर्स और मेमोरी उपयोग के साथ परप्लेक्सिटी, रीजनिंग और रिट्रीवल में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करते हुए कुशल WY-फॉर्म चंक-पैरेलल ट्रेनिंग सक्षम होती है।
यह शोध पत्र FisherSketch प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free), स्ट्रीमिंग-कुशल विधि है जो साझा शब्दावली वाले LLM परिवारों के लिए स्केलेबल स्रोत चयन और कार्य समानता निदान (task similarity diagnostics) को सक्षम करने हेतु कर्नेल मीन एम्बेडिंग्स (kernel mean embeddings) के माध्यम से हेड फिशर संरेखण (head Fisher alignment) का अनुमान लगाता है, जो केवल प्रतिनिधित्व-आधारित मेट्रिक्स की सीमाओं और पूर्ण फिशर मैट्रिसेस की कम्प्यूटेशनल लागत पर विजय प्राप्त करता है।
यह शोध पत्र संरचित लेटेंट कोवेरियेंस (structured latent covariance) के साथ उच्च-आयामी GAN प्रशिक्षण के लिए एक नियतात्मक साधारण अवकल समीकरण (deterministic ordinary differential equation) ढांचे को स्थापित करता है, जो यह प्रकट करता है कि कैसे निम्न-रैंक सहसंबंध (low-rank correlations) सीखने की क्षमता को बढ़ाने के लिए कमजोर संकेतों को सुदृढ़ कर सकते हैं, जबकि अत्यधिक सहसंबंध रिकवरी को अस्थिर कर सकते हैं, एक ऐसा सिद्धांत जिसे सिमुलेशन और वास्तविक दुनिया के डेटासेट पर प्रयोगों, दोनों द्वारा प्रमाणित किया गया है।
यह शोध पत्र रिबन (Ribbon) को प्रस्तुत करता है, जो एक स्केलेबल पोस्ट-हॉक विधि है जो इन्फ्लुएंस-फंक्शन लीनियराइजेशन (influence-function linearization) के माध्यम से बेयसियन बूटस्ट्रैप अनिश्चितता का अनुमान लगाती है, जो बार-बार रिट्रेनिंग की कम्प्यूटेशनल लागत के बिना जटिल मॉडलों के लिए कैलिब्रेटेड और सुदृढ़ प्रेडिक्टिव अनिश्चितता मात्रा निर्धारण प्रदान करती है।
यह शोध पत्र तर्क देता है कि रूटिंग और वोटिंग जैसे मल्टी-मॉडल एलएलएम (LLM) सिस्टम के प्रदर्शन में होने वाली वृद्धि मौलिक रूप से "को-फेलियर रेट" (वह आवृत्ति जिसमें सभी मॉडल एक साथ विफल हो जाते हैं) द्वारा सीमित है, जो एक ऐसा मीट्रिक है जिसे मानक सहसंबंध माप (correlation measures) नहीं पकड़ पाते हैं और जो अक्सर एक मजबूत क्वेरी-स्तरीय रूटिंग सिग्नल की अनुपस्थिति में, एन्सेम्बल सटीकता को एकल सर्वश्रेष्ठ मॉडल के स्तर तक ही सीमित कर देता है।
यह शोध पत्र पोर्टेबल जॉब सर्च क्वेरीज़ उत्पन्न करने के लिए एक RLAF फ्रेमवर्क प्रस्तुत करता है, जो यह प्रदर्शित करता है कि मजबूत रिवॉर्ड इंजीनियरिंग—विशेष रूप से वर्बेटिम (शब्दशः) नकल को रोकने के लिए नियम-आधारित फ्लोर्स का उपयोग करना—सफलता के लिए अनुकूलन एल्गोरिदम के चयन की तुलना में कहीं अधिक महत्वपूर्ण है, क्योंकि GRPO जैसी कुछ विधियाँ त्रुटिपूर्ण रिवॉर्ड सिग्नल्स का शोषण करने के प्रति विशिष्ट रूप से संवेदनशील होती हैं।
यह शोध पत्र एनालॉग इंटरैक्शन सिस्टम्स (AIS) को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो समय-परिवर्तनीय मापदंडों और छिपी हुई अवस्थाओं का उपयोग करके स्थिर भौतिकी-निर्धारित एनालॉग हार्डवेयर और लचीली जनरेटिव मॉडलिंग के बीच के अंतर को पाटता है, जिससे पूर्व हार्डवेयर-आधारित दृष्टिकोणों की तुलना में MNIST डेटासेट पर 2-ऑर्डर-ऑफ-मैग्निट्यूड ऊर्जा की कमी और काफी बेहतर FID स्कोर प्राप्त होता है।
यह शोध पत्र यह स्थापित करता है कि ग्रेडिएंट इक्विलिब्रियम (GEQ), ब्लैकवेल अप्रोचेबिलिटी (Blackwell approachability) के एल्गोरिद्मिक रूप से समतुल्य है, जिससे GEQ को रिग्रेट मिनिमाइजेशन (regret minimization) और कैलिब्रेशन (calibration) के व्यापक ऑनलाइन लर्निंग फ्रेमवर्क के साथ एकीकृत किया जा सके और स्ट्रॉन्ग एडेप्टिविटी (strong adaptivity) जैसे उन्नत गारंटियों के हस्तांतरण को सक्षम बनाया जा सके।
यह शोध पत्र लक्षित प्रयोगों का संचालन करके यह विश्लेषण करने के लिए BEACON फ्रेमवर्क की जांच करता है कि इसके प्रदर्शन और वितरण संरेखण तंत्र (distribution alignment mechanisms) विभिन्न एल्गोरिदम संबंधी विकल्पों और डेटा उपलब्धता की स्थितियों से कैसे प्रभावित होते हैं, जो कम-संसाधन वाले, डोमेन-जागरूक एंटिटी मैचिंग (Entity Matching) के लिए है।