11419 पेपर
यह शोध पत्र प्रदर्शित करता है कि छोटे LLMs (लगभग 1 बिलियन पैरामीटर्स) प्रभावी रूप से विविध इतालवी चिकित्सा NLP कार्यों को निष्पादित कर सकते हैं, जो अक्सर फाइन-ट्यूनिंग या फ्यू-शॉट प्रॉम्प्टिंग और कंस्ट्रेंट डिकोडिंग के संयोजन के साथ बड़े मॉडलों से बेहतर प्रदर्शन करते हैं, और साथ ही व्यापक इतालवी चिकित्सा डेटासेट और प्रशिक्षित मॉडल भी जारी करते हैं।
यह शोध पत्र ट्रांसफॉर्मर मॉडलों में उन विशिष्ट अटेंशन हेड्स की पहचान और लक्षण वर्णन करता है जो टोकन पुनरावृत्ति का पता लगाने के लिए उच्च-परिशुद्धता, दूरी-संवेदनशील ब्लूम फिल्टर (Bloom filters) के रूप में कार्य करते हैं, जो एक बहु-रिज़ॉल्यूशन प्रणाली को प्रकट करता है जो शुरुआती परतों में केंद्रित है और टोकन प्रकारों में सामान्यीकृत होता है तथा व्यापक कम्प्यूटेशनल भूमिकाओं के साथ सह-अस्तित्व में रहता है।
यह शोध पत्र एक अनुकूली नियमितीकरण ढांचे (adaptive regularization framework) को प्रस्तुत करता है जो वास्तविक समय के सुरक्षा जोखिम अनुमानों के आधार पर फाइन-ट्यूनिंग अपडेट को गतिशील रूप से सीमित करता है—जो या तो एक जज-आधारित क्रिटिक (judge-based critic) या एक सक्रियता-आधारित प्रेडिक्टर (activation-based predictor) से प्राप्त होते हैं—ताकि मॉडल की उपयोगिता को बनाए रखते हुए और इन्फरेंस-टाइम लागत (inference-time cost) के बिना सुरक्षा क्षरण को प्रभावी ढंग से रोका जा सके।
यह शोधपत्र DivanBench को प्रस्तुत करता है, जो फारसी भाषा के मॉडलों के लिए एक नैदानिक बेंचमार्क है जो सांस्कृतिक तथ्यों को पुनः प्राप्त करने और अंतर्निहित सामाजिक मानदंडों के बारे में तर्क करने के बीच एक महत्वपूर्ण अंतर को प्रकट करता है, यह प्रदर्शित करते हुए कि वर्तमान मॉडल 'एक्वीसेन्स बायस' (स्वीकृति पूर्वाग्रह) से ग्रस्त हैं और निरंतर प्रीट्रेनिंग के बावजूद सांस्कृतिक स्कीमा को आत्मसात करने में विफल रहते हैं।
यह शोध पत्र M-Attack-V2 को प्रस्तुत करता है, जो M-Attack फ्रेमवर्क का एक मॉड्यूलर संवर्धन (enhancement) है जो ग्रेडिएंट ऑप्टिमाइज़ेशन को स्थिर करने और फ्रंटियर लार्ज विजन-लैंग्वेज मॉडल्स पर ब्लैक-बॉक्स एडवरसैरियल अटैक सफलता दर को महत्वपूर्ण रूप से बढ़ाने के लिए मल्टी-क्रॉप अलाइनमेंट, ऑक्सिलरी टारगेट अलाइनमेंट और पैच मोमेंटम का उपयोग करता है।
यह शोध पत्र UniLID को प्रस्तुत करता है, जो UnigramLM टोकनाइज़ेशन पर आधारित एक डेटा- और कंप्यूट-कुशल भाषा पहचान विधि है, जो मानक बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन प्राप्त करती है और नई भाषाओं के लिए मॉडल को पुन: प्रशिक्षित किए बिना कम-संसाधन और सूक्ष्म-स्तर की बोलियों वाले परिवेश में सटीकता में महत्वपूर्ण सुधार करती है।
यह शोध पत्र 'सिंक-अवेयर प्रूनिंग' (Sink-Aware Pruning) प्रस्तुत करता है, जो क्षणिक अटेंशन सिंक टोकन (transient attention sink tokens) की पहचान करके और उन्हें हटाकर डिफ्यूजन लैंग्वेज मॉडल्स की दक्षता में सुधार करने की एक विधि है—जो कि ऑटो-रिग्रेसिव मॉडल्स से भिन्न एक रणनीति है जहाँ सिंक को आमतौर पर संरक्षित रखा जाता है—जिससे बिना पुन: प्रशिक्षण के बेहतर गुणवत्ता-दक्षता संतुलन प्राप्त होता है।
यह शोध पत्र "diversity" को प्रस्तुत करता है, जो एक ओपन-सोर्स पायथन पैकेज और इंटरैक्टिव प्लेटफॉर्म है जो यह अनुभवजन्य रूप से प्रमाणित करके कि कम-सहसंबंध वाले मेट्रिक्स का संयोजन—जिसमें कंप्रेशन रेश्यो, लॉन्ग एन-ग्राम सेल्फ-रिपिटिशन, Self-BLEU और BERTScore शामिल हैं—टेक्स्ट रिपिटिशन पैटर्न को प्रभावी ढंग से कैप्चर करता है, LLM आउटपुट में टेक्स्ट विविधता के मापन को मानकीकृत करता है।
यह शोध पत्र रोबोस्पेशियल (RoboSpatial) को प्रस्तुत करता है, जो 1 मिलियन छवियों, 5,000 3D स्कैन और वास्तविक इनडोर एवं टेबलटॉप दृश्यों से 3 मिलियन एनोटेटेड स्थानिक संबंधों वाला एक बड़े पैमाने का डेटासेट है, जिसे मौजूदा प्रशिक्षण डेटा में संदर्भ फ्रेम की समझ की कमी को दूर करके रोबोटिक्स के लिए 2D और 3D विजन-लैंग्वेज मॉडल्स की स्थानिक तर्क क्षमताओं को बढ़ाने के लिए डिज़ाइन किया गया है।
यह अध्ययन BERTopic का उपयोग करके एक उत्पादन-तैयार, भाषा-अज्ञेय (language-agnostic) NLP पाइपलाइन प्रस्तुत करता है जो सर्बियाई ग्राहक सेवा ईमेल को स्वचालित रूप से वर्गीकृत और लेबल करने के लिए उच्च सटीकता (0.96 F1 स्कोर) और तीव्र प्रसंस्करण (प्रति ईमेल 0.041 सेकंड) प्राप्त करता है, जिससे टेलीकॉम सर्बिया के लिए परिचालन दक्षता में महत्वपूर्ण सुधार होता है।