💻 computer science

Evaluating Large language models on Understanding Korean indirect Speech acts

Este estudio evalúa la capacidad de diversos modelos de lenguaje de gran tamaño para comprender los actos de habla indirectos en coreano mediante la construcción de un conjunto de datos especializado y el empleo de evaluaciones tanto automatizadas como humanas, revelando que, si bien los modelos propietarios como Claude3-Opus superan a las alternativas de código abierto, ninguno iguala aún la competencia de nivel humano en la interpretación de intenciones dependientes del contexto.

Autores originales: Youngeun Koo, Jiwoo Lee, Dojun Park, Seohyun Park, Sungeun Lee

Publicado 2026-08-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Youngeun Koo, Jiwoo Lee, Dojun Park, Seohyun Park, Sungeun Lee

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás charlando con un amigo y este dice: "Hace un frío glacial aquí". Si estás parado junto a un aire acondicionado estropeado, es probable que solo esté declarando un hecho. Pero si estás sentado en una sala cálida con las ventanas cerradas, probablemente esté insinuando: "Por favor, cierra la ventana" o "Sube la calefacción". Este vacío entre lo que las palabras dicen literalmente y lo que realmente significan es el ingrediente secreto de la conversación humana. En el mundo de la ciencia, esto se llama pragmática: el estudio de cómo el contexto cambia el significado. Aunque las computadoras se han vuelto increíblemente buenas traduciendo idiomas o resolviendo problemas matemáticos, a menudo luchan con esta habilidad de "leer entre líneas". Podrían tomar tu indirecta de forma literal y simplemente decir: "Sí, la temperatura es baja", perdiendo el punto por completo. Esto es importante porque, a medida que empezamos a confiar en los asistentes de IA para todo, desde programar reuniones hasta dar consejos, necesitamos que entiendan no solo nuestras palabras, sino nuestras intenciones.

Este artículo es como una historia de detectives donde investigadores pusieron a prueba a un grupo de modelos de Inteligencia Artificial (IA) para ver si podían descifrar el código de las indirectas. Los científicos se centraron en el coreano, un idioma donde el contexto es el rey, y construyeron un cuestionario especial basado en una teoría clásica de cómo los humanos usamos el lenguaje. Crearon 240 escenarios donde la misma frase podía significar dos cosas muy diferentes dependiendo de la situación. Por ejemplo, decir "El hielo es delgado" podría ser un simple hecho, o podría ser una advertencia para que los niños no pisen un estanque congelado. Los investigadores querían ver si la IA podía distinguir entre una declaración directa y una petición, promesa o expresión de emoción indirecta.

Los resultados fueron una mezcla de "nada mal" y "todavía queda un largo camino por recorrer". Los investigadores probaron 12 modelos de IA diferentes, que iban desde sistemas masivos y costosos hasta otros más pequeños y de código abierto. El claro ganador fue un modelo llamado Claude3-Opus. Obtuvo aproximadamente un 71.94% en un examen de opción múltiple y un 65% en una prueba más abierta donde tenía que explicar su razonamiento. Aunque esto es impresionante, es importante notar que incluso el mejor modelo de IA no venció a los humanos. Los participantes humanos en el estudio puntuaron alrededor del 77.64%, demostando que las personas siguen siendo las maestras en comprender las sutiles señales sociales.

El estudio encontró que la mayoría de los modelos de IA son excelentes tomando las cosas de forma literal pero terribles adivinando el significado oculto. Si una frase era una petición directa, la IA la entendía correctamente la mayor parte del tiempo. Pero cuando la petición era indirecta —como decir "Hace un buen día afuera" para sugerir salir a caminar en lugar de solo hablar sobre el clima— la mayoría de los modelos tropezaban. Tendían a quedarse estancados en el significado literal de las palabras. Curiosamente, los modelos de IA fueron sorprendentemente buenos entendiendo cumplidos indirectos o modismos (como decir que alguien es un "chef" porque cocinó una comida excelente), pero tuvieron más dificultades con las peticiones indirectas.

Los investigadores también notaron algunos comportamientos curiosos en la forma en que la IA se comportaba. Algunos modelos más pequeños, al ser interrogados en coreano, respondieron accidentalmente en inglés, como si estuvieran confundidos sobre con quién estaban hablando. Otros intentaron forzar respuestas de opción múltiple incluso cuando la pregunta pedía una explicación de texto libre, como si estuvieran intentando engañar en un examen que ya habían visto antes. El artículo sugiere que, aunque estos modelos de IA son poderosos, todavía carecen del entendimiento profundo e intuitivo del contexto humano que tiene incluso un adolescente. Son como estudiantes que se han memorizado el diccionario pero que aún no han aprendido a tener una conversación real. El estudio concluye que para que la IA sea verdaderamente útil, necesitamos enseñarles a mirar más allá de la superficie de las palabras y comprender el mundo desordenado y lleno de contexto de la intención humana.

Resumen Técnico: Evaluación de Modelos de Lenguaje de Gran Escala en la Comprensión de Actos de Habla Indirectos en Coreano

Planteamiento del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLM) han demostrado una notable competencia en tareas tradicionales de Procesamiento de Lenguaje Natural (NLP), como la categorización, la traducción y el razonamiento lógico, su capacidad para comprender las intenciones humanas en contextos conversacionales sigue siendo subevaluada. Los benchmarks actuales se centran predominantemente en el procesamiento de conocimiento y significados literales explícitos, descuidando a menudo la pragmática —el estudio del uso del lenguaje dentro de contextos específicos—.

Existe una brecha crítica en la evaluación de qué tan bien los LLM comprenden los actos de habla indirectos, donde la intención real del hablante difiere del significado literal del enunciado. Esto es particularmente desafiante en el coreano, un idioma de alto contexto donde la información de trasfondo compartida y las pistas situacionales son esenciales para una comunicación efectiva. Las evaluaciones existentes rara vez abordan el matiz de distinguir entre intenciones directas e indirectas basadas en el contexto conversacional, una capacidad crucial para que los LLM actúen como agentes personales en la vida diaria.

Metodología

Construcción del Conjunto de Datos

Los autores construyeron un conjunto de datos de evaluación especializado que consta de 240 ítems en coreano, fundamentados en la Teoría de los Actos de Habla de Searle. El conjunto de datos categoriza los actos de habla en cinco tipos (Representativos, Directivos, Comisivos, Expresivos, Declarativos) y se centra en tres tipos específicos de actos de habla indirectos donde una oración declarativa (Representativa) realiza un acto ilocucionario diferente:

ReDi (Representativo $\to$ Directivo): Una declaración de hechos utilizada para sugerir o solicitar una acción (p. ej., "Hace buen tiempo afuera" implicando "Salgamos").
ReCo (Representativo $\to$ Comisivo): Una declaración de hechos utilizada para hacer una promesa o compromiso.
ReEx (Representativo $\to$ Expresivo): Una declaración de hechos utilizada para expresar emoción o elogio.

Para probar la dependencia del contexto, el conjunto de datos empareja 80 ítems de cada tipo en 40 pares. En cada par, el mismo enunciado se presenta en dos escenarios diferentes: uno donde funciona como un acto de habla directo y otro donde funciona como un acto de habla indirecto.

Modelos Evaluados

El estudio evaluó 12 LLM, divididos en dos categorías:

Modelos Propietarios (8): GPT-3.5, GPT-4, Claude3-Haiku, Claude3-Sonnet, Claude3-Opus, Mistral-small, Mistral-medium y Mistral-large.
Modelos de Código Abierto (4): Llama3-8B, Qwen1.5-14B, Solar-10.7B y T3Q-ko-solar (una versión de Solar ajustada para coreano).

Configuración Experimental

Se emplearon dos configuraciones experimentales para evaluar el desempeño:

Pregunta de Opción Múltiple (MCQ): Se presentó a los modelos un contexto y un enunciado, y se les pidió seleccionar la intención correcta del acto de habla de entre cuatro opciones (una correcta, un tipo "opuesto" y dos tipos aleatorios). El desempeño se midió mediante la tasa de acuerdo (precisión) a través de tres ensayos por ítem.
Pregunta de Respuesta Abierta (OEQ): Se pidió a los modelos que describieran la intención del enunciado. Las respuestas fueron calificadas cualitativamente por evaluadores humanos en una escala de 1 a 5 basada en la precisión de la intención inferida y el significado literal, y luego reescaladas a una escala de 0 a 100.

Línea Base Humana

Para establecer un Estándar de Oro (Gold Standard), 52 participantes humanos (de entre 20 y 30 años, con diversos trasfondos académicos, excluyendo a estudiantes de lingüística) completaron la misma prueba MCQ. Estos datos sirven como el punto de referencia para comparar el desempeño de los LLM frente a la competencia pragmática humana.

Principales Contribuciones

Desarrollo de un Conjunto de Pruebas de Comprensión de Actos de Habla: Un conjunto de datos especializado y disponible públicamente diseñado para evaluar la capacidad de los LLM para interpretar tres categorías de actos de habla indirectos dentro de marcos contextuales en coreano.
Recolección de Datos de Referencia Humanos: El establecimiento de una línea base de desempeño humano (Estándar de Oro) para cuantificar la brecha entre los LLM actuales y la comprensión pragmática de nivel humano.
Evaluación y Análisis Sistemático: Una evaluación exhaustiva de 12 LLM utilizando formatos tanto de MCQ como de OEQ, incluyendo un análisis detallado del desempeño a través de diferentes tipos de actos de habla (ReDi, ReCo, ReEx) y una comparación con la comprensión de la implicatura conversacional.

Resultados

Desempeño General

Superioridad Humana: Los participantes humanos alcanzaron un puntaje promedio de MCQ de 77.64, superando significativamente a todos los LLM evaluados.
Clasificación de Modelos: Claude3-Opus emergió como el modelo con mejor desempeño con un puntaje de MCQ de 71.94 y un puntaje de OEQ de 90.37. Fue el único modelo que mostró una precisión equilibrada para actos de habla directos e indirectos, con una diferencia de puntaje de solo 5.55% (69.17 para directos vs. 74.72 para indirectos).
Propietarios vs. Código Abierto: Los modelos propietarios generalmente superaron a los de código abierto. Entre los modelos de código abierto, Solar-10.7B fue el que mejor desempeñó (65.0 en MCQ), mientras que T3Q-ko-solar (ajustado) mostró de hecho una caída en el desempeño en comparación con el modelo Solar base en la inferencia basada en contexto.
Brecha Directo vs. Indirecto: La mayoría de los LLM (excepto Claude3-Opus) demostraron un desempeño significativamente menor en actos de habla indirectos en comparación con los directos. Por ejemplo, GPT-3.5 obtuvo 63.61 en actos directos pero solo 36.67 en actos indirectos.

Análisis por Tipo de Acto de Habla

ReEx (Expresivo): Tanto los humanos como los LLM alcanzaron los puntajes más altos en este tipo, probablemente debido a la prevalencia de expresiones idiomáticas en el conjunto de datos que los modelos han aprendido bien.
ReDi (Directivo): Esta fue la categoría más desafiante para todos los modelos. Las oraciones declarativas que afirman hechos (p. ej., "Está agotado") fueron frecuentemente malinterpretadas como provisión de información en lugar de peticiones o sugerencias indirectas.
ReCo (Comisivo): El desempeño fue intermedio, situándose entre ReDi y ReEx.

Hallazgos Cualitativos (OEQ)

Claude3-Opus demostró un razonamiento sofisticado, proporcionando a menudo explicaciones detalladas y formatos de lista para justificar sus interpretaciones.
Llama3 exhibió una desalineación significativa, generando frecuentemente respuestas en inglés a pesar de los prompts en coreano y produciendo tokens ilegibles.
Solar mostró signos de sobreajuste a los benchmarks de MCQ, generando a menudo sus propias opciones de opción múltiple (A, B, C) incluso en tareas abiertas, un comportamiento que no es típico de la resolución de problemas humanos.

Correlación con la Implicatura

El estudio encontró una correlación moderada (0.67) entre la comprensión de los actos de habla y la comprensión de la implicatura conversacional. Sin embargo, la correlación fue mayor (0.73) específicamente para los actos de habla indirectos, lo que sugiere que los mecanismos para interpretar intenciones indirectas e implicaturas conversacionales están estrechamente relacionados, particularmente respecto a la máxima de relación de Grice.

Significado y Reivindicaciones

Los autores afirman que este estudio proporciona una evaluación pragmática necesaria de los LLM, yendo más allá de los benchmarks basados en el conocimiento para evaluar el "nivel más alto de la capacidad lingüística": la competencia pragmática.

Limitaciones Actuales: El estudio concluye que, si bien los LLM están avanzando, ningún modelo actual ha alcanzado el nivel de desempeño humano en la comprensión de actos de habla indirectos. La mayoría de los modelos luchan por distinguir entre intenciones literales e implícitas, particularmente cuando el enunciado es una declaración de hechos utilizada para realizar una petición.
Sensibilidad al Contexto: Los resultados resaltan que los modelos entrenados en grandes conjuntos de datos sobresalen en el significado literal, pero a menudo fallan al inferir intenciones más profundas cuando el significado literal es suficiente pero contextualmente inapropiado.
Direcciones Futuras: Los autores enfatizan la necesidad de mayor investigación para mejorar la comprensión de los actos de habla indirectos de los LLM para una interacción humano-computadora más natural. Proponen trabajos futuros que involucren conversaciones de múltiples turnos simuladas y la expansión de estos conjuntos de datos a otros idiomas (inglés, chino, alemán) para validar la robustez a través de contextos lingüísticos.

El artículo se posiciona como un paso fundacional para cerrar la brecha entre el modelado de lenguaje estadístico y la verdadera comprensión pragmática, argumentando que la evaluación rigurosa de los actos de habla es esencial para la próxima generación de IA conversacional.