11611 पेपर
यह शोधपत्र dVoting प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त तकनीक है जो डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) की समानांतर पीढ़ी क्षमताओं का लाभ उठाकर निरंतरता-आधारित टोकन वोटिंग के माध्यम से आउटपुट को पुनरावृत्ति से परिष्कृत करती है, जिससे न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ कई बेंचमार्क पर तर्क प्रदर्शन में उल्लेखनीय वृद्धि होती है।
यह शोध पत्र विजुअल रीजनिंग बेंचमार्क (VRB) का परिचय देता है, जो जाम्बिया और भारत की 701 वास्तविक प्राथमिक विद्यालय की दृश्य समस्याओं का एक डेटासेट है, ताकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स का मूल्यांकन किया जा सके और स्थिर कौशल में दक्षता के बावजूद गतिशील स्थानिक तर्क कार्यों में उनकी महत्वपूर्ण सीमाओं को उजागर किया जा सके, जो कक्षा में तैनाती के लिए गंभीर जोखिमों को रेखांकित करता है।
यह शोध पत्र ExStrucTiny का परिचय देता है, जो एक नवीन बेंचमार्क डेटासेट है जो विविध एंटरप्राइज दस्तावेज़ प्रकारों और लचीले स्कीमा में विजन लैंग्वेज मॉडल्स की समग्र, सूक्ष्म-स्तरीय संरचित सूचना निष्कर्षण करने की क्षमता का मूल्यांकन और सुधार करने के लिए की-एंटिटी एक्सट्रैक्शन, रिलेशन एक्सट्रैक्शन और विजुअल क्वेश्चन अनस्वर्सिंग को एकीकृत करता है।
Olmix लैंग्वेज मॉडल डेटा मिक्सिंग के लिए एक फ्रेमवर्क है जो अनुभवजन्य रूप से इष्टतम डिज़ाइन विकल्पों की पहचान करता है और विकसित होते डोमेन सेटों के अनुकूल कुशलतापूर्वक ढलने के लिए एक "मिक्सचर रियूज" तंत्र पेश करता है, जिससे काफी कम कम्प्यूटेशनल लागत के साथ पूर्ण पुनर्गणना (full recomputation) के तुलनीय प्रदर्शन प्राप्त होता है।
यह शोध पत्र यह प्रकट करता है कि जहाँ लार्ज लैंग्वेज मॉडल्स बहुविकल्पीय प्रश्नों के माध्यम से स्पष्ट संभाव्यता तर्क (explicit probabilistic reasoning) में दक्षता प्रदर्शित करते हैं, वहीं टेक्स्ट जनरेशन के दौरान उनका अंतर्निहित संभाव्यता तर्क (implicit probabilistic reasoning) विभिन्न प्रासंगिक कारकों के प्रति संवेदनशीलता के कारण अक्सर वास्तविक सत्य (ground truth) से काफी विचलित हो जाता है, जो पारंपरिक मूल्यांकन विधियों में एक महत्वपूर्ण सीमा को रेखांकित करता है।
यह शोध पत्र प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स में स्पेक्युलेटिव डिकोडिंग एक नई साइड-चैनल भेद्यता (vulnerability) उत्पन्न करती है जहाँ हमलावर टोकन गणना या पैकेट आकार की निगरानी करके उपयोगकर्ता के प्रश्नों का अनुमान लगा सकते हैं और गोपनीय डेटा लीक कर सकते हैं, साथ ही यह पैकेट पैडिंग और टोकन एग्रीगेशन जैसे प्रभावी प्रति उपायों का प्रस्ताव और मूल्यांकन भी करता है।
यह शोध पत्र जेनेरेटिव प्रॉम्प्ट इंटरनलाइजेशन (GenPI) का प्रस्ताव करता है, जो एक हल्का संयुक्त प्रशिक्षण (joint training) तरीका है जो बड़े भाषा मॉडलों को जटिल प्रॉम्प्ट और उनके अंतर्निहित तर्क को स्वायत्त रूप से उत्पन्न करने और आंतरिक रूप से आत्मसात करने में सक्षम बनाता है, जिससे स्पष्ट, लंबे प्रॉम्प्ट के कम्प्यूटेशनल ओवरहेड के बिना उच्च प्रदर्शन और कुशल अनुमान प्राप्त होता है।
यह शोध पत्र SCALE को प्रस्तुत करता है, जो एक नवीन मल्टी-एजेंट फ्रेमवर्क है जो टेक्स्ट कोडिंग, चर्चा और गतिशील कोडबुक विकास में मानव-समान प्रदर्शन प्राप्त करने के लिए एलएलएम (LLM) एजेंटों को मानवीय हस्तक्षेप के साथ जोड़कर सहयोगात्मक सामाजिक विज्ञान सामग्री विश्लेषण का अनुकरण करता है।
ZeroTuning एक प्रशिक्षण-मुक्त (training-free), कर्नेल-अज्ञेय (kernel-agnostic) विधि है जो प्रारंभिक टोकन पर हल्के, हेड-विशिष्ट अटेंशन समायोजन लागू करके फ्रोजन लार्ज लैंग्वेज मॉडल्स को बेहतर बनाती है, जो विभिन्न कार्यों में मौजूदा टोकन-स्तरीय हस्तक्षेप विधियों से बेहतर प्रदर्शन करती है।
यह शोध पत्र प्रदर्शित करता है कि एलएलएम (LLMs) में अंतर्निहित स्व-सुधार, व्याख्या योग्य गुप्त दिशाओं (latent directions) के साथ छिपी हुई प्रस्तुतियों (hidden representations) के स्टीयरिंग द्वारा संचालित होता है, जो एक ऐसी प्रक्रिया है जिसे संरेखण विश्लेषण (alignment analysis) और कारण सक्रियण हस्तक्षेप (causal activation interventions) के माध्यम से मान्य किया गया है।