10348 पेपर
यह शोध पत्र X-Token का प्रस्ताव करता है, जो एक प्रोजेक्शन-गाइडेड क्रॉस-टोकनाइज़र नॉलेज डिस्टिलेशन फ्रेमवर्क है जो लॉजिट-आधारित डिस्टिलेशन में वोकैबुलरी असंगति और टोकन-मैचिंग सीमाओं को दूर करने के लिए स्पार्स प्रोजेक्शन मैट्रिसेस का उपयोग करता है, जिससे छात्र मॉडल विषम वोकैबुलरी वाले शिक्षकों से प्रभावी ढंग से "डार्क नॉलेज" सीख पाते हैं और अत्याधुनिक प्रदर्शन प्राप्त करते हैं।
यह शोध पत्र एक मॉडल-अज्ञेय (model-agnostic) संभाव्य एट्रिब्यूशन फ्रेमवर्क प्रस्तुत करता है जो टोकन महत्व और एंट्रॉपी को मापने के लिए LLM टोकन संभावनाओं पर बेयस नियम (Bayes' rule) का लाभ उठाता है, जिससे व्याख्यात्मकता में वृद्धि होती है और विभिन्न प्रॉम्प्ट्स के माध्यम से मॉडल की स्थिरता और व्यवहार में अंतर्दृष्टि प्राप्त होती है।
यह शोध पत्र BEiTScore को प्रस्तुत करता है, जो एक संदर्भ-मुक्त (reference-free) इमेज कैप्शनिंग मूल्यांकन मीट्रिक है जो संवेदनशीलता और संरचनात्मक सामान्यीकरण (compositional generalization) में अत्याधुनिक प्रदर्शन प्राप्त करने के लिए एडवरसेरियल LLM-संवर्धित डेटा के साथ प्रशिक्षित एक हल्के क्रॉस-एनकोडर मॉडल का लाभ उठाता है और साथ ही गणनात्मक दक्षता बनाए रखता है।
यह शोध पत्र रिफ्लेक्टिव प्रॉम्प्ट ट्यूनिंग (RPT) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो पूरे डेटासेट में व्यवस्थित विफलता मोड (failure modes) का पुनरावृत्ति के माध्यम से निदान करने और संचित अंतर्दृष्टि का उपयोग करके प्रॉम्प्ट को परिष्कृत करने के लिए LLM फंक्शन कॉलिंग का लाभ उठाता है ताकि मानव प्रॉम्प्ट इंजीनियरों का अनुकरण किया जा सके, जिससे जटिल तर्क कार्यों और आत्मविश्वास अंशांकन (confidence calibration) पर प्रदर्शन में महत्वपूर्ण सुधार होता है।
यह शोध पत्र DivSkill-SQL प्रस्तुत करता है, जो एक अवशिष्ट कौशल अनुकूलन (residual skill optimization) ढांचा है जो मॉडल फाइन-ट्यूनिंग के बिना पिछली विफलताओं पर नए कौशल को पुनरावृत्ति से प्रशिक्षित करके पूरक Text-to-SQL एन्सेम्बल का निर्माण करता है, जिससे विविध SQL डायलेक्ट और कार्यों में Pass@K सटीकता में महत्वपूर्ण सुधार होता है और मतिभ्रम (hallucinations) कम होता है।
यह शोध पत्र पोस्ट-ट्रेनिंग लार्ज लैंग्वेज मॉडल्स के लिए मौजूदा एंट्रॉपी-आधारित अनिश्चितता अनुमानकों (uncertainty estimators) में महत्वपूर्ण एनिसोट्रोपिक (anisotropic) और कैलिब्रेशन अंतराल की पहचान करता है और ज्योमेट्री-अवेयर कैलिब्रेटेड पॉलिसी ऑप्टिमाइज़ेशन (GCPO) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो ग्रेडिएंट परिवर्तनशीलता को अधिक निष्ठा से ट्रैक करने और अनुकूलन स्थिरता में सुधार करने के लिए ज्योमेट्री-अवेयर मापों और रिवॉर्ड-आधारित कैलिब्रेशन को एकीकृत करता है।
यह शोध पत्र OGCaReBench प्रस्तुत करता है, जो दुर्लभ, गाइडलाइन-बाह्य नैदानिक प्रश्नों पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए डिज़ाइन किया गया एक रिट्रीवल-केंद्रित बेंचमार्क है, जो यह प्रदर्शित करता है कि जबकि स्मृति-आधारित ज्ञान अपर्याप्त है, मॉडल्स को रिट्रीव्ड मेडिकल एविडेंस के साथ संवर्धित करना उन्हें विश्वसनीय और साक्ष्य-आधारित उत्तर प्रदान करने की उनकी क्षमता में महत्वपूर्ण सुधार करता है।
यह अध्ययन प्रकट करता है कि एक नियंत्रित संसाधन-आवंटन कार्य में, भाषा मॉडल अस्पष्ट तीव्रता वाले शब्दों के क्रमिक भेदों को संख्यात्मक आउटपुट के एक सीमित सेट में संकुचित कर देते हैं, जिनका व्यवहार वर्तमान सिस्टम अवस्था पर अत्यधिक निर्भर हो जाता है और परिचालन सीमाओं के निकट असंतत पैटर्न प्रदर्शित करता है।
यह शोध पत्र एनर्जी-गेटेड अटेंशन (EGA) प्रस्तुत करता है, जो एक पैरामीटर-कुशल ट्रांसफॉर्मर संशोधन है जो सूचनात्मक रूप से सघन टोकन को प्राथमिकता देने के लिए टोकन एम्बेडिंग की सीखी गई स्पेक्ट्रल ऊर्जा के आधार पर वैल्यू एग्रीगेशन को गेट करता है, जो भाषा मॉडलिंग बेंचमार्क पर निरंतर वैलिडेशन लॉस सुधार प्राप्त करता है और यह प्रकट करता है कि इष्टतम ऊर्जा थ्रेसहोल्ड अंग्रेजी टेक्स्ट में कंटेंट वर्ड्स के स्थिर अंश के अनुरूप है।
यह शोध पत्र एक हाइब्रिड आर्किटेक्चर का प्रस्ताव करता है जो "जटिलता स्कोर" (Complexity Score) के आधार पर NVDRS आत्महत्या की परिस्थितियों को निकालने के लिए लार्ज लैंग्वेज मॉडल्स और फाइन-ट्यून्ड रोबर्टा (RoBERTa) के बीच गतिशील रूप से चयन करता है, यह प्रदर्शित करते हुए कि दुर्लभ और अनुमानित रूप से जटिल मामलों में LLMs, फाइन-ट्यून्ड मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करते हैं जबकि बाद वाले सामान्य मामलों के लिए प्रभावी बने रहते हैं।