Evaluating Large language models on Understanding Korean indirect Speech acts
本研究は、特化したデータセットを構築し、自動評価と人間による評価の両方を用いることで、様々な大規模言語モデルが韓国語の間接発話行為を理解する能力を評価しており、Claude 3 Opusのようなプロプライエタリなモデルはオープンソースの代替モデルを凌駕しているものの、文脈依存的な意図を解釈する能力において人間レベルの熟達度に達しているものはまだ存在しないことを明らかにしている。