Evaluating Large language models on Understanding Korean indirect Speech acts
Este estudio evalúa la capacidad de diversos modelos de lenguaje de gran tamaño para comprender los actos de habla indirectos en coreano mediante la construcción de un conjunto de datos especializado y el empleo de evaluaciones tanto automatizadas como humanas, revelando que, si bien los modelos propietarios como Claude3-Opus superan a las alternativas de código abierto, ninguno iguala aún la competencia de nivel humano en la interpretación de intenciones dependientes del contexto.