10551 पेपर
यह शोध पत्र Checkup2Action प्रस्तुत करता है, जो एक मल्टीमॉडल डेटासेट और बेंचमार्क है जिसमें 2,000 डीड-आइडेंटिफाइड (पहचान रहित) क्लिनिकल चेक-अप रिपोर्ट शामिल हैं, जिन्हें जटिल चिकित्सा साक्ष्यों से सुरक्षित, संरचित और रोगी-उन्मुख एक्शन कार्ड उत्पन्न करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करने और सुधारने के लिए डिज़ाइन किया गया है।
यह शोध पत्र कोवेरिएंस-अवेयर (Covariance-Aware) GRPO को प्रस्तुत करता है, जो एक हाइपरपैरामीटर-मुक्त विधि है जो टोकन संभावनाओं और एडवांटेज के बीच कोवेरिएंस पर आधारित गॉसियन-कर्नेल एडवांटेज रीवेटिंग के माध्यम से चरम टोकन अपडेट्स को गतिशील रूप से कम भार देकर प्रशिक्षण को स्थिर करती है और तर्क प्रदर्शन में सुधार करती है।
यह शोध पत्र एक तीन-पद्धति वाले ढांचे (three-regime framework) को प्रस्तावित और मान्य करके इस बात पर विरोधाभासी अनुभवजन्य निष्कर्षों को सुलझाता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) प्रशिक्षण ज्ञान और प्रदान किए गए दस्तावेजों के बीच के विरोधाभासों को कैसे संभालते हैं, जो एकल-स्रोत अद्यतन (single-source updating), प्रतिस्पर्धी एकीकरण (competitive integration) और कार्य-उपयुक्त चयन (task-appropriate selection) के बीच अंतर करता है, और यह प्रदर्शित करता है कि मॉडल का व्यवहार साक्ष्य सामंजस्य (evidence coherence), पैरामीट्रिक निश्चितता (parametric certainty) और कार्य ढांचा आवश्यकताओं (task framing requirements) द्वारा पूर्वानुमेय रूप से नियंत्रित होता है।
BitLM एक नवीन भाषा मॉडल आर्किटेक्चर पेश करता है जो टोकन को बाइनरी कोड के रूप में प्रदर्शित करके और ब्लॉकों के भीतर समानांतर रूप से कई टोकन को डीनॉइज़ करने के लिए एक हल्के डिफ्यूजन हेड का उपयोग करके पारंपरिक एक-एक-टोकन-पर-समय की बाधा को दूर करता है, जिससे ऑटोरेग्रेसिव मॉडलिंग की आवश्यक कॉज़ल संरचना को संरक्षित करते हुए तेज़ इन्फरेंस और अधिक कुशल प्री-ट्रेनिंग प्राप्त होती है।
Ada-MK एक नवीन अनुकूलन ढांचा (optimization framework) है जो कंपाइल-टाइम DAG-आधारित खोज और मेमोरी स्प्लिटिंग के माध्यम से रनटाइम डायनेमिक शेड्यूलिंग को समाप्त करता है और साझा मेमोरी के उपयोग को कम करता है, जिससे NVIDIA GPUs पर vLLM की तुलना में 50.2% तक थ्रूपुट सुधार प्राप्त करने के लिए वाणिज्यिक ऑनलाइन विज्ञापन प्रणालियों में मेगाकर्नेल (MegaKernels) का पहला औद्योगिक परिनियोजन सक्षम होता है।
यह शोध पत्र एक कुशल जनरेटिव टारगेटिंग (Efficient Generative Targeting) फ्रेमवर्क का प्रस्ताव करता है जो अनुकूलित समूह क्वांटाइजेशन (adaptive group quantization), लेयर-एडेप्टिव पदानुक्रमित विरलीकरण (layer-adaptive hierarchical sparsification), और प्रीफिक्स-ट्री समानांतर सत्यापन (prefix-tree parallel verification) को संयोजित करता है ताकि स्वीकार्य जनरेशन गुणवत्ता बनाए रखते हुए वास्तविक समय के विज्ञापन अनुप्रयोगों के लिए एलएलएम (LLM) इन्फरेंस को महत्वपूर्ण रूप से त्वरित किया जा सके।
यह शोध पत्र "हाइड टू सी" (Hide to See) नामक एक नवीन वीएलएम (VLM) डिस्टिलेशन फ्रेमवर्क प्रस्तुत करता है जो विचार प्रक्रिया के दौरान दृश्य साक्ष्यों पर निर्भरता को मजबूर करने के लिए प्रमुख रीजनिंग-प्रिफिक्स मास्किंग (salient reasoning-prefix masking) और सेल्फ-पेस्ड शेड्यूलिंग (self-paced scheduling) का उपयोग करके कॉम्पैक्ट स्टूडेंट मॉडल्स की मल्टीमॉडल रीजनिंग को बढ़ाता है, जिससे यह मौजूदा डिस्टिलेशन और सेल्फ-डिस्टिलेशन विधियों से बेहतर प्रदर्शन करता है।
यह शोधपत्र गकुचो (Gakucho) को प्रस्तुत करता है, जो जापान के शैक्षणिक क्षमता के राष्ट्रीय मूल्यांकन से व्युत्पन्न एक बड़े पैमाने का मल्टीमॉडल बेंचमार्क है, जिसमें वास्तविक K-12 शैक्षिक कार्यों पर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के प्रत्यक्ष, मानव-आधारित मूल्यांकन को सक्षम करने के लिए 900,000 संचित छात्र प्रतिक्रिया वितरण शामिल हैं।
यह शोध पत्र पहचान करता है कि मौजूदा एलएलएम अनलर्निंग (LLM unlearning) विधियाँ रीलर्निंग हमलों (relearning attacks) के विरुद्ध विफल हो जाती हैं क्योंकि वे केवल प्रमुख प्रतिनिधित्व घटकों (dominant representation components) को संशोधित करती हैं, और माइनर कंपोनेंट अनलर्निंग (Minor Component Unlearning - MCU) का प्रस्ताव करता है, जो एक नवीन दृष्टिकोण है जो ज्ञान की रिकवरी के विरुद्ध काफी मजबूत प्रतिरोध प्राप्त करने के लिए सुदृढ़ लघु घटकों (robust minor components) को लक्षित करता है।
यह शोध पत्र प्रकट करता है कि ऑन-पॉलिसी डिस्टिलेशन (OPD), क्रिटिकल मॉड्यूल आवंटन और लो-रैंक दिशा संरेखण के माध्यम से प्रशिक्षण के शुरुआती चरणों में स्थिर अपडेट प्रक्षेपवक्र स्थापित करके "पूर्वाभास" के माध्यम से दक्षता प्राप्त करता है, जिससे EffOPD का प्रस्ताव मिलता है जो अंतिम प्रदर्शन से समझौता किए बिना OPD को 3× तक त्वरित करने वाला एक प्लग-एंड-प्ले तरीका है।