11066 पेपर
यह तकनीकी प्रगति रिपोर्ट क्रोनोस (Chronos) के पहले मॉड्यूल का परिचय देती है, जो एक ओपन-सोर्स एआई इतिहासकार (AI Historian) है जो शोधकर्ताओं को अनुकूलन योग्य, प्राकृतिक-भाषा इंटरैक्शन के माध्यम से प्राथमिक स्रोतों के इमेज स्कैन को डेटा में बदलने के लिए सशक्त बनाता है, जिससे ऐतिहासिक अनुसंधान में एआई अपनाने की वर्तमान सीमाओं का समाधान होता है।
यह शोध पत्र एक हल्का, प्रशिक्षण-मुक्त अनुमान-समय हस्तक्षेप (inference-time intervention) प्रस्तावित करता है जो एक तीन-चरणीय अटेंशन संरचना की पहचान करके और "फोकस" चरण के दौरान डिटर्मिनेंटल पॉइंट प्रोसेस का उपयोग करके कम-अटेंशन वाले टोकन को चुनिगत रूप से दबाकर लार्ज विजन-लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को कम करता है, जिससे पुनरावृत्ति अनुकूलन विधियों की तुलना में नगण्य विलंबता के साथ मतिभ्रम को कम किया जाता है।
यह अध्ययन टेक्स्ट सारांशीकरण (text summarization) में रेटोरिकल स्ट्रक्चर थ्योरी (Rhetorical Structure Theory) और को-रेफरेंस ग्राफ्स (Co-reference graphs) को सम्मिलित करने के लिए ग्राफ अटेंशन नेटवर्क और मल्टी-लेयर पर्सेप्ट्रॉन्स के उपयोग की जांच करता है, जिसमें यह पाया गया कि जबकि GAT आर्किटेक्चर प्रदर्शन में सुधार करने में विफल रहा, एक सरल MLP दृष्टिकोण ने CNN/DM डेटासेट पर परिणामों को बेहतर बनाया और लेखकों ने XSum डेटासेट के लिए एक नया RST-एनोटेटेड बेंचमार्क स्थापित किया।
यह शोध पत्र बहुभाषी मिक्सचर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) मॉडलों में लैंग्वेज रूटिंग आइसोलेशन (Language Routing Isolation) की अवधारणा प्रस्तुत करता है और RISE का प्रस्ताव देता है, जो एक ऐसा फ्रेमवर्क है जो इन आइसोलेशन पैटर्न का लाभ उठाकर भाषा-विशिष्ट विशेषज्ञ उप-नेटवर्कों (expert subnetworks) को चुनिंदा रूप से अनुकूलित करता है, जिससे क्रॉस-लिंगुअल क्षमताओं को सुरक्षित रखते हुए कम-संसाधन वाली भाषाओं के प्रदर्शन में महत्वपूर्ण सुधार होता है।
यह शोध पत्र यह पहचानता है कि JSON जैसे संरचित आउटपुट स्वरूपों (structured output formats) की मांग करने से एक महत्वपूर्ण "फॉर्मेट टैक्स" (format tax) लागू होता है जो ओपन-वेट मॉडल्स के तर्क प्रदर्शन (reasoning performance) को कम कर देता है, जिसका मुख्य कारण डिकोडिंग बाधाओं के बजाय प्रॉम्प्ट निर्देश हैं, और यह दर्शाता है कि मल्टी-पास जनरेशन के माध्यम से तर्क को फॉर्मेटिंग से अलग करके इस खोई हुई सटीकता को प्रभावी ढंग से पुनः प्राप्त किया जा सकता है।
यह शोध पत्र AI Appeals Processor को प्रस्तुत करता है, जो एक माइक्रोसर्विस-आधारित प्रणाली है जो नागरिक अपीलों को स्वचालित रूप से वर्गीकृत और रूट करने के लिए Word2Vec+LSTM डीप लर्निंग आर्किटेक्चर का लाभ उठाती है, जो पारंपरिक मैनुअल तरीकों की तुलना में प्रसंस्करण समय को काफी कम करते हुए 78% सटीकता के साथ ट्रांसफार्मर-आधारित मॉडलों के एक अधिक कुशल विकल्प के रूप में कार्य करती है।
यह अध्ययन इतालवी NPN निर्माण संबंधी परिवार (constructional family) के प्रतिनिधित्व का विश्लेषण करने के लिए BERT के कॉन्टेक्स्टुअल एम्बेडिंग्स पर लेयर-वाइज प्रोबिंग क्लासिफायरर्स का उपयोग करता है, जिससे अनुभवजन्य साक्ष्य के माध्यम से निर्माणवादी भाषाई सिद्धांत और न्यूरल लैंग्वेज मॉडलिंग के बीच के अंतर को पाटा जा सके।
यह शोध पत्र यह प्रदर्शित करता है कि केवल रिस्पॉन्स-ओनली मास्किंग के बजाय फुल-सीक्वेंस मास्किंग को शामिल करने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग का विस्तार करके, मास्कड डिफ्यूजन लैंग्वेज मॉडल्स प्रभावी रूप से इनफिल प्रॉम्प्ट्स की क्षमता को अनलॉक कर सकते हैं, जिससे मैन्युअल रूप से डिज़ाइन किए गए टेम्पलेट्स के बराबर या उनसे बेहतर प्रदर्शन प्राप्त होता है।
यह अध्ययन प्रदर्शित करता है कि शोधकर्ता बैचिंग और वेरिएबल स्टैकिंग के माध्यम से एलएलएम (LLM) एनोटेशन लागत को 80% से अधिक कम कर सकते हैं, बशर्ते कि बैच का आकार और प्रॉम्प्ट की जटिलता विशिष्ट सुरक्षित परिचालन सीमाओं के भीतर रहे जहाँ मापन त्रुटि सामान्य इंटर-कोडर असहमति से कम रहती है, जिससे कोडिंग सटीकता से महत्वपूर्ण समझौता नहीं होता है।
यह शोध पत्र यह प्रदर्शित करके बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में सार्वभौमिक सत्य दिशाओं (यूनिवर्सल ट्रुथ डायरेक्शंस) की धारणा को चुनौती देता है कि उनका अस्तित्व और प्रभावशीलता मॉडल की परत की गहराई, कार्य के प्रकार और जटिलता, तथा प्रॉम्प्ट निर्देशों द्वारा महत्वपूर्ण रूप से सीमित है।