10827 पेपर
यह शोध पत्र नेटिव हाइब्रिड अटेंशन (NHA) को प्रस्तुत करता है, जो एक एकीकृत आर्किटेक्चर है जो कुशल, उच्च-सटीक अनुक्रम मॉडलिंग प्राप्त करने के लिए लीनियर RNN-आधारित दीर्घकालिक संदर्भ को स्लाइडिंग विंडो शॉर्ट-टर्म टोकन के साथ जोड़ता है, जो रिकॉल-गहन कार्यों पर मानक ट्रांसफॉर्मर और हाइब्रिड बेसलाइन से बेहतर प्रदर्शन करता है।
यह शोध पत्र सैंडविचड पॉलिसी ग्रेडिएंट (SPG) प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो डिफ्यूजन लैंग्वेज मॉडल्स की जटिलता को दूर करने के लिए लॉग-लाइक्लीहुड के ऊपरी और निचले दोनों बाउंड्स का उपयोग करती है, और गणितीय एवं तार्किक तर्क संबंधी बेंचमार्क पर मौजूदा बेसलाइन्स से काफी बेहतर प्रदर्शन करती है।
यह शोध पत्र 'लेटेंट-स्पेस लैंग्वेज स्टीयरिंग' नामक एक हल्का, इन्फरेंस-टाइम विधि प्रस्तावित करता है जो बहुभाषी एलएलएम (LLMs) में अर्थों को संरक्षित रखते हुए और नगण्य कम्प्यूटेशनल ओवरहेड के साथ अनचाहे कोड-स्विचिंग को प्रभावी ढंग से कम करने के लिए पीसीए-व्युत्पन्न (PCA-derived) भाषा दिशाओं का उपयोग करता है।
यह शोध पत्र GenCluster का परिचय देता है, जो एक स्केलेबल टेस्ट-टाइम कंप्यूट फ्रेमवर्क है जो ओपन-वेट मॉडल्स को पहली बार इंटरनेशनल ओलंपियाड इन इन्फोर्मेटिक्स (IOI) गोल्ड मेडल प्रदर्शन प्राप्त करने में सक्षम बनाता है, जिससे बड़े पैमाने पर जनरेशन, व्यवहार संबंधी क्लस्टरिंग और राउंड-रॉबिन सबमिशन की एक पुनरुत्पादक रणनीति के माध्यम से ओपन और प्रोप्रायटरी एआई सिस्टमों के बीच के अंतर को कम किया जा सकता है।
यह शोध पत्र fMRI-LM को प्रस्तुत करता है, जो एक सार्वभौमिक फाउंडेशन मॉडल है जो न्यूरल टोकेनाइजेशन, संयुक्त LLM अनुकूलन और मल्टी-टास्क इंस्ट्रक्शन ट्यूनिंग से जुड़े एक तीन-चरणीय ढांचे के माध्यम से कार्यात्मक MRI और भाषा को जोड़ता है ताकि मस्तिष्क की गतिविधि की स्केलेबल, भाषा-संरेखित अर्थपूर्ण समझ को सक्षम बनाया जा सके।
यह शोध पत्र F-DPO को प्रस्तुत करता है, जो डायरेक्ट प्रिफरेंस ऑप्टिमाइजेशन का एक सरल विस्तार है जो बाइनरी फैक्टुअलिटी लेबल का लाभ उठाकर प्रिफरेंस पेयर ऑर्डरिंग को ठीक करता है और फैक्टुअलिटी-अवेयर मार्जिन लागू करता है, जो बिना किसी सहायक रिवॉर्ड मॉडल या जटिल ट्रेनिंग पाइपलाइन के विभिन्न LLMs में मतिभ्रम (hallucinations) को प्रभावी रूप से कम करता है और तथ्यात्मक सटीकता में सुधार करता है।
यह शोध पत्र Expos'ia को प्रस्तुत करता है, जो छात्र अनुसंधान प्रस्तावों को बहु-चरणीय सहकर्मी और प्रशिक्षक फीडबैक के साथ जोड़ने वाला पहला सार्वजनिक डेटासेट है, ताकि स्वचालित स्कोरिंग कार्यों पर लार्ज लैंग्वेज मॉडल्स का बेंचमार्क बनाया जा सके और शैक्षिक मूल्यांकन के लिए प्रभावी प्रॉम्प्टिंग रणनीतियों की पहचान की जा सके।
यह शोध पत्र TRIM को प्रस्तुत करता है, जो एक हाइब्रिड इन्फरेंस फ्रेमवर्क है जो प्रोसेस रिवॉर्ड मॉडल्स का उपयोग करके केवल महत्वपूर्ण, त्रुटि-प्रवण चरणों को बड़े मॉडल्स के पास गतिशील रूप से रूट करता है और छोटे मॉडल्स को नियमित चरणों को संभालने की अनुमति देता है, जिससे बहु-चरणीय तर्क कार्यों में गणनात्मक लागत को काफी कम करते हुए कैस्केडिंग विफलताओं को रोका जा सकता है और लागत दक्षता में सुधार किया जा सकता है।
यह शोध पत्र इंडिका (Indica) को प्रस्तुत करता है, जो पहला ऐसा बेंचमार्क है जो यह प्रकट करता है कि भारत में सांस्कृतिक सामान्य ज्ञान मुख्य रूप से राष्ट्रीय होने के बजाय क्षेत्रीय है, और यह प्रदर्शित करता है कि वर्तमान बड़े भाषा मॉडल इस विविधता के साथ संघर्ष करते हैं जबकि मध्य और उत्तर भारत के प्रति महत्वपूर्ण भौगोलिक पूर्वाग्रह प्रदर्शित करते हैं।
यह शोधपत्र ट्रांसफॉर्मर-आधारित एलएलएम (LLMs) में कंप्यूटेशन डेंसिटी (गणना घनत्व) को मापने के लिए एक मैकेनिस्टिक एस्टिमेटर पेश करता है, जो यह प्रकट करता है कि प्रोसेसिंग आम तौर पर सघन और गतिशील है, जिसमें डेंसिटी स्तर मॉडलों के बीच सह-संबंधित हैं और टोकन की दुर्लभता एवं संदर्भ लंबाई के आधार पर भिन्न होते हैं।