10753 पेपर
यह शोध पत्र TIDE को प्रस्तुत करता है, जो डिफ्यूजन लार्ज लैंग्वेज मॉडल्स के क्रॉस-आर्किटेक्चर डिस्टिलेशन के लिए पहला फ्रेमवर्क है, जो विषम 8B और 16B शिक्षकों से 0.6B छात्र में सफलतापूर्वक ज्ञान स्थानांतरित करने के लिए तीन नवीन घटकों का उपयोग करता है, जो कोड जनरेशन जैसे बेंचमार्क में ऑटोरेग्रेसिव बेसलाइन से काफी बेहतर प्रदर्शन करता है।
यह अध्ययन प्रदर्शित करता है कि वैश्विक पाक परंपराएं भाषा और अन्य प्रतीकात्मक प्रणालियों में पाए जाने वाले सार्वभौमिक सांख्यिकीय नियमों का पालन करती हैं, जो यह प्रकट करती हैं कि जटिल रेसिपी संरचनाएं अधिमान्य पुन: उपयोग और क्रमिक संशोधन जैसी सरल, सीमित जनरेटिव प्रक्रियाओं से उत्पन्न होती हैं।
यह लेख प्रासंगिक समस्याओं को रेखांकित करके, इन दृष्टिकोणों की उपयुक्तता और सीमाओं का विश्लेषण करके, और भविष्य की आशाजनक अनुसंधान दिशाओं का खाका खींचकर, मुख्य रूप से संवाद-आधारित प्रणालियों पर ध्यान केंद्रित करते हुए, प्राकृतिक भाषा प्रसंस्करण के लिए नवीनतम सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) विधियों का एक अवलोकन प्रदान करता है।
यह शोध पत्र एक "गेस वॉट टेक्सटाइल" कार्य के माध्यम से बड़े भाषा मॉडलों और मानवीय स्पर्श अनुभवों के बीच संवेदी संरेखण की जांच करता है, जो यह प्रकट करता है कि हालांकि कुछ हद तक संरेखण मौजूद है, यह विभिन्न प्रकार के वस्त्रों में काफी भिन्न होता है और अक्सर मानवीय व्यक्तिपरक धारणाओं से मेल खाने में विफल रहता है।
यह शोध पत्र अटेंशन मैप्स (attention maps), टोकन प्रोबेबिलिटीज (token probabilities) और पुनरावर्ती रूप से गणना किए गए अनिश्चितता स्कोर (recurrently computed uncertainty scores) पर एक रिग्रेशन मॉडल को प्रशिक्षित करके लार्ज लैंग्वेज मॉडल की अनिश्चितता को मापने की एक नवीन विधि प्रस्तावित करता है ताकि कई डेटासेट्स और मॉडल्स में मतिभ्रम (hallucinations) का प्रभावी ढंग से पता लगाया जा सके और चयनात्मक पीढ़ी (selective generation) में सुधार किया जा सके।
यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के लिए एक नवीन पर्यवेक्षित अनिश्चितता मात्रा निर्धारण (सुपरवाइज्ड अनसर्टेन्टी क्वांटिफिकेशन) पद्धति प्रस्तुत करता है जो कई परतों में टोकन-स्तरीय एम्बेडिंग्स के लिए महलानोबिस डिस्टेंस (महालनोबिस डिस्टेंस) को अनुकूलित करती है, जो अनुक्रम-स्तरीय जनरेशन और तथ्य-जांच कार्यों दोनों में सत्यता की अभिव्यक्ति के लिए मौजूदा दृष्टिकोणों की तुलना में बेहतर सटीकता और सामान्यीकरण प्रदर्शित करती है।
यद्यपि लार्ज लैंग्वेज मॉडल्स इवेंट डिटेक्शन कार्यों के लिए स्वतंत्र एनोटेटर्स के रूप में पर्याप्त विश्वसनीय नहीं हैं, फिर भी वे प्रभावी सहायकों के रूप में कार्य करते हैं जो मानव विशेषज्ञों द्वारा इवेंट सेट क्यूरेट करने और वेरिएबल्स को एनोटेट करने के लिए आवश्यक समय और मानसिक प्रयास को काफी कम कर देते हैं।
यह सर्वेक्षण व्यापक रूप से इस बात की जांच करता है कि कैसे लार्ज लैंग्वेज मॉडल्स (LLMs) प्रॉम्पटिंग, फाइन-ट्यूनिंग और प्रेफरेंस ऑप्टिमाइज़ेशन जैसी विविध रणनीतियों के माध्यम से मशीन ट्रांसलेशन को रूपांतरित कर रहे हैं, जिसमें विशेष रूप से लो-रिसोर्स परिदृश्यों, डॉक्यूमेंट-लेवल संदर्भों और मूल्यांकन चुनौतियों पर ध्यान केंद्रित किया गया है, जो अंततः LLM-आधारित MT को केवल स्केल के बजाय डेटा गुणवत्ता और अलाइनमेंट द्वारा संचालित एक विकास के रूप में रूपरेखा प्रस्तुत करता है।
यह अध्ययन प्रकट करता है कि विजन-लैंग्वेज मॉडल मानव सदृश पूर्वाग्रह प्रदर्शित करते हैं, क्योंकि वे छवियों की उपस्थिति में फर्जी समाचारों को पुनः साझा करने की अपनी प्रवृत्ति में उल्लेखनीय वृद्धि करते हैं, और यह संवेदनशीलता विशिष्ट व्यक्तित्व लक्षणों द्वारा और अधिक बढ़ जाती है तथा विभिन्न मॉडल आर्किटेक्चर के अनुसार भिन्न होती है।
यह शोध पत्र "N-rep" प्रस्तुत करता है, जो एक लागत-कुशल टेक्स्ट-टू-SQL विधि है जो महंगे चेन-ऑफ-थॉट रीजनिंग या फाइन-ट्यूनिंग पर निर्भर रहे बिना, मजबूती सुनिश्चित करने के लिए कई स्कीमा रिप्रजेंटेशन्स का लाभ उठाकर मात्र $0.039 प्रति क्वेरी पर BIRD बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।