Evaluating Large language models on Understanding Korean indirect Speech acts
यह अध्ययन एक विशेष डेटासेट का निर्माण करके और स्वचालित एवं मानवीय दोनों मूल्यांकनों का उपयोग करके, कोरियाई अप्रत्यक्ष वाक्-प्रपंचों (indirect speech acts) को समझने की विभिन्न लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि जबकि क्लॉड3-ओपस (Claude3-Opus) जैसे प्रोप्राइटरी मॉडल ओपन-सोर्स विकल्पों की तुलना में बेहतर प्रदर्शन करते हैं, फिर भी कोई भी अभी तक संदर्भ-निर्भर इरादों की व्याख्या करने में मानव-स्तर की दक्षता के बराबर नहीं पहुँच पाया है।