11070 पेपर
यह अध्ययन प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स की सुलभता के बावजूद, वर्तमान लेखक सत्यापन प्रणालियाँ शुरुआती स्तर के प्रतिरूपण प्रयासों के विरुद्ध सुदृढ़ बनी हुई हैं क्योंकि एलएलएम-जनित पाठ विशिष्ट लेखक संबंधी व्यक्तित्व को दोहराने में विफल रहते हैं और अक्सर उच्च शाब्दिक विविधता प्रदर्शित करते हैं जो उनके पता लगाने में सहायता करती है।
यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में एपिस्टेमिक (epistemic) और एलियटोरिक (aleatoric) अनिश्चितता को मापने के लिए एक हल्के, सिंगल-पास विधि का प्रस्ताव करता है, जो ग्रेडिएंट नॉर्म्स (gradient norms) से अनिश्चितता प्राप्त करने के लिए पैरामीटर कोवेरिएंस (parameter covariance) को आइसोट्रोपिक (isotropic) मानकर अनुमान लगाता है, यह प्रदर्शित करते हुए कि यह पैरामीटर-स्तरीय संकेत TruthfulQA जैसे संघर्ष-प्रधान बेंचमार्क में उत्तर की शुद्धता की प्रभावी ढंग से भविष्यवाणी करता है लेकिन तथ्यात्मक रिकॉल कार्यों पर आत्म-मूल्यांकन विधियों से काफी भिन्न होता है।
यह शोध पत्र गोपनीयता मूल्यांकन के लिए बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के उपयोग की कम्प्यूटेशनल सीमाओं को संबोधित करता है, जिसमें एक 675B-पैरामीटर वाले मॉडल की क्षमताओं को हल्के 150M-पैरामीटर वाले क्लासिफायर में संकुचित (डिस्टिल) किया गया है, जो दस विविध डोमेन में मानवीय निर्णयों के साथ मजबूत सहमति बनाए रखते हुए स्केलेबल, वास्तविक दुनिया के परिनियोजन (डिप्लॉयमेंट) को सक्षम करते हैं।
यह शोध पत्र LLM Probe को प्रस्तुत करता है, जो कम-संसाधन वाली भाषाओं के लिए एक लेक्सिकॉन-आधारित मूल्यांकन ढांचा और साथ में एक बेंचमार्क डेटासेट है, जो लेक्सिकल अलाइनमेंट, मॉर्फोसिंटैक्टिक विश्लेषण और अनुवाद जैसे कार्यों में कॉज़ल (causal) और सीक्वेंस-टू-सीक्वेंस (sequence-to-sequence) मॉडलों के बीच स्पष्ट प्रदर्शन अंतर को प्रकट करता है ताकि बहुभाषी एआई विकास में भाषाई रूप से आधारित मूल्यांकन की वकालत की जा सके।
यह अध्ययन प्रदर्शित करता है कि अर्थ निरूपणों (Meaning Representations) को कार्य-विशिष्ट उदाहरणों के साथ समृद्ध करने से संवाद निर्माण की गुणवत्ता में महत्वपूर्ण सुधार होता है, विशेष रूप से जटिल कार्यों, छोटे डेटासेट और ज़ीरो-शॉट सेटिंग्स के लिए, और यह भी रेखांकित करता है कि इन आउटपुट का मूल्यांकन करने के लिए मानव-प्रशिक्षित सिमेंटिक मेट्रिक्स, लेक्सिकल मेट्रिक्स की तुलना में श्रेष्ठ हैं।
यह शोध पत्र बेबीव्यू (BabyView) कॉर्पस के बाल-स्तर के डेटासेट पर प्रशिक्षित भाषा मॉडलों की जांच करता है, जो यह प्रकट करता है कि हालांकि ये मॉडल आशाजनक व्याकरणिक स्केलिंग प्रदर्शित करते हैं, उनका प्रदर्शन संवादात्मक और वितरण संबंधी इनपुट विशेषताओं के आधार पर महत्वपूर्ण रूप से भिन्न होता है और मानव बच्चों के शब्द सीखने के साथ सहसंबंध रखता है, जो कुशल लघु-स्तरीय मॉडल प्रशिक्षण और मानव भाषा अधिग्रहण दोनों में अंतर्दृष्टि प्रदान करता है।
यह शोध इस बात की जांच करता है कि क्या लार्ज लैंग्वेज मॉडल्स (Large Language Models), जब भाषाई संसाधनों और ASR-जनित ट्रांसक्रिप्शन से सुसज्जित होते हैं, तो वे HuBERT जैसे विशिष्ट मॉडलों और मानव भाषाविदों के समान स्तर तक प्रभावी रूप से स्विस जर्मन बोलियों को वर्गीकृत कर सकते हैं।
यह शोध पत्र नियंत्रित, मेल खाते हुए द्विभाषी डेटासेट पर प्रशिक्षित छोटे पैमाने के GPT-2 मॉडलों का उपयोग यह प्रदर्शित करने के लिए करता है कि सांख्यिकीय शिक्षार्थी बिना किसी अंतर्निहित विलंब या प्रदर्शन संबंधी कमी के दो भाषाओं को एक साथ सीख सकते हैं, जो यह सुझाव देता है कि विविध द्विभाषी एक्सपोज़र व्यवस्थाएं भाषा अधिग्रहण के लिए कोई मौलिक चुनौतियां पेश नहीं करती हैं।
यह शोध पत्र यह प्रदर्शित करता है कि विश्वसनीय स्वचालित ग्रेडिंग भविष्यवाणियों की पहचान करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को उनके आत्मविश्वास को स्वयं रिपोर्ट करने के लिए कहना, सेल्फ-कंसिस्टेंसी वोटिंग की तुलना में अधिक लागत प्रभावी और सुव्यवस्थित विधि है, जो प्रभावी चयनात्मक स्वचालन (selective automation) को सक्षम बनाता है जहाँ उच्च-आत्मविश्वास वाले आउटपुट को स्वचालित रूप से संसाधित किया जाता है जबकि अनिश्चित मामलों को मानव समीक्षा के लिए चिह्नित किया जाता है।
यह शोध पत्र एक उपयोगकर्ता अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि सिमेंटिक इंटरेक्शन-सक्षम नैरेटिव मैप्स, सेंसमेकिंग कार्यों में टाइमलाइन बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करते हैं, क्योंकि वे गहरे अंतर्दृष्टि को सुगम बनाते हैं और विश्लेषकों को कम पैरामीटर हेरफेर के साथ एआई-एक्सट्रैक्टेड नैरेटिव्स को परिष्कृत करने के लिए सुधारात्मक और योगात्मक मार्ग प्रदान करते हैं।