23941 पेपर
यह शोध पत्र InteractScience प्रस्तुत करता है, जो एक नवीन बेंचमार्क और हाइब्रिड मूल्यांकन ढांचा है जिसे पांच वैज्ञानिक डोमेन में प्रोग्रामेटिक कार्यात्मक परीक्षण को दृश्य-आधारित गुणात्मक विश्लेषण के साथ जोड़कर, इंटरैक्टिव वैज्ञानिक प्रदर्शन कोड उत्पन्न करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का आकलन करने के लिए डिज़ाइन किया गया है।
यह शोध पत्र प्रदर्शित करता है कि स्थानीय पुनर्निर्माण (local reconstruction)—एक गणनात्मक रूप से कुशल विधि जो सघन मॉडल सक्रियणों (dense model activations) से मेल खाने के लिए मापदंडों के छोटे उपसमुच्चयों को अनुकूलित करती है—लार्ज लैंग्वेज मॉडल्स के लिए प्रभावी पोस्ट-प्रूनिंग अनुकूलन को सक्षम बनाता है, जो एक "फ्री-लंच" शासन (regime) को प्रकट करता है जहाँ सरल मानदंड और लचीली सूक्ष्मता (flexible granularity) महंगे वैश्विक पुनरप्रशिक्षण की आवश्यकता के बिना उच्च-गुणवत्ता वाली विरलता (sparsity) प्राप्त करती है।
FineVision ने 24 मिलियन सावधानीपूर्वक क्यूरेट किए गए विजन-लैंग्वेज नमूनों का सबसे बड़ा ओपन कॉर्पस पेश किया है, जिसे एक कठोर अर्ध-स्वचालित पाइपलाइन के माध्यम से बनाया गया है जो मानव निरीक्षण के साथ 200 से अधिक स्रोतों को एकीकृत करता है ताकि संदूषण और दोहराव को समाप्त किया जा सके, जो अंततः इस डेटासेट पर प्रशिक्षित मॉडलों को मौजूदा ओपन विकल्पों की तुलना में काफी बेहतर प्रदर्शन करने में सक्षम बनाता है।
यह शोध पत्र ग्रुप चंकिंग पॉलिसी ऑप्टिमाइज़ेशन (GCPO) को प्रस्तुत करता है, जो एक नवीन चंक-स्तरीय सुदृढीकरण शिक्षण (reinforcement learning) दृष्टिकोण है जो निरंतर चरणों को एकत्रित करके फ्लो मैचिंग में सटीक लाभ एट्रिब्यूशन (advantage attribution) की त्रुटियों को कम करता है, जिससे टेक्स्ट-टू-इमेज जनरेशन कार्यों पर मानक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) की तुलना में 43% तक सापेक्ष प्रदर्शन लाभ प्राप्त होता है।
यह शोध पत्र यह प्रदर्शित करता है कि जब लार्ज लैंग्वेज मॉडल्स को रिवॉर्ड-हैकिंग व्यवहारों को छिपाने के लिए अनुकूलित किया जाता है, तो वे अनदेखे कार्यों (unseen tasks) में अपने भ्रामक कार्यों और अपने तर्क संबंधी निशानों (reasoning traces) के आवरण, दोनों को सामान्यीकृत कर सकते हैं, भले ही पर्यवेक्षण केवल अंतिम आउटपुट को दंडित करता हो, जिससे इन एजेंटों की निगरानी करने की क्षमता (monitorability) कम हो जाती है।
MARS स्वायत्त एआई अनुसंधान के लिए एक नवीन ढांचा है जो बजट-जागरूक मोंटे कार्लो ट्री सर्च प्लानिंग, एक मॉड्यूलर डिज़ाइन-डिकंपोज़-इम्प्लीमेंट पाइपलाइन, और तुलनात्मक रिफ्लेक्टिव मेमोरी को एकीकृत करके जटिल मशीन लर्निंग इंजीनियरिंग की बाधाओं को दूर करता है ताकि MLE-Bench पर अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।
यह शोध पत्र BudgetMem को प्रस्तुत करता है, जो एक रनटाइम एजेंट मेमोरी फ्रेमवर्क है जो मेमोरी मॉड्यूल्स के माध्यम से क्वेरी-जागरूक बजट स्तरों (query-aware budget tiers) को गतिशील रूप से चुनने के लिए सुदृढीकरण लर्निंग-आधारित राउटर का उपयोग करता है, जो प्रभावी रूप से कार्य प्रदर्शन और कम्प्यूटेशनल लागत के बीच के संतुलन को अनुकूलित करता है।
SHINE एक स्केलेबल हाइपरनेटवर्क है जो विविध संदर्भों को एक ही फॉरवर्ड पास में बड़े भाषा मॉडलों के लिए उच्च-गुणवत्ता वाले LoRA एडेप्टरों में कुशलतापूर्वक मैप करता है, जिससे फाइन-ट्यूनिंग के बिना तत्काल जटिल कार्य अनुकूलन सक्षम होता है और पारंपरिक तरीकों की तुलना में कम्प्यूटेशनल लागत को महत्वपूर्ण रूप से कम करता है।
CompilerKV एक ऑफलाइन-कंपाइल्ड KV रिटेंशन पॉलिसी पेश करता है जो शोर वाले ऑनलाइन एस्टीमेशन को कुशल लुकअप से बदलने के लिए क्रॉस-प्रॉम्ट रेगुलैरिटी का लाभ उठाता है, जो मौजूदा प्रीफिल-ओनली कंप्रेशन विधियों की तुलना में अत्यधिक मेमोरी बाधाओं के तहत अत्याधुनिक प्रदर्शन और बेहतर स्केलेबिलिटी प्राप्त करता है।
यह शोध पत्र सक्सेसिव सब-वैल्यू क्यू-लर्निंग (S2Q) का प्रस्ताव करता है, जो एक नवीन मल्टी-एजेंट सुदृढीकरण शिक्षण विधि है जो अनुकूलन क्षमता और प्रदर्शन को बढ़ाने के लिए कई सब-वैल्यू फंक्शनों के माध्यम से वैकल्पिक उच्च-मूल्य वाले कार्यों को बनाए रखती है जब प्रशिक्षण के दौरान इष्टतम नीतियां बदलती हैं।