💬 NLP

Beyond Understanding: Evaluating the Pragmatic Gap in LLMs' Cultural Processing of Figurative Language

Este estudio evalúa la brecha pragmática en el procesamiento cultural de los modelos de lenguaje grande mediante la prueba de su capacidad para comprender y utilizar expresiones figurativas en árabe y inglés, revelando que, aunque pueden interpretar significados, tienen dificultades significativas para aplicarlos adecuadamente en contextos culturales específicos, especialmente en el árabe egipcio.

Autores originales: Mena Attia, Aashiq Muhamed, Mai Alkhamissi, Thamar Solorio, Mona Diab

Publicado 2026-02-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mena Attia, Aashiq Muhamed, Mai Alkhamissi, Thamar Solorio, Mona Diab

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Modelos de Lenguaje Grandes (como los "cerebros" de IA que usamos hoy) son como estudiantes universitarios brillantes que han leído casi todos los libros del mundo. Pueden recitar datos, traducir idiomas y escribir ensayos perfectos. Pero, ¿qué pasa cuando les pides que entiendan un chiste local, un refrán de la abuela o una expresión que solo tiene sentido si conoces la cultura de un vecindario específico?

Aquí es donde entra este estudio, que podemos llamar "El examen de cultura general de la IA".

1. El Problema: Saber la definición vs. Saber usarlo

Los investigadores querían saber si estas IAs solo saben definir las cosas (como un diccionario) o si realmente saben usarlas en la vida real (como un nativo).

Para probarlo, usaron un truco de detective: las expresiones figuradas (modismos y refranes).

El Modismo: Es como decir "está lloviendo a cántaros". Un robot puede saber que significa "llueve mucho", pero ¿sabe cuándo es apropiado decirlo? ¿Sabe que no debes usarlo en un funeral?
El Refrán: Es como un consejo de la abuela. Por ejemplo, en Egipto hay un refrán que dice: "No vendas agua en el pueblo de los vendedores de agua".
- Significado literal: Vender agua donde ya hay mucha agua.
- Significado real: No intentes engañar o competir con los expertos en su propio terreno.
- El desafío: Para entender esto, la IA no solo necesita saber árabe, necesita saber la historia de los vendedores de agua en Egipto y la canción de 1966 que lo hizo famoso.

2. La Prueba: Tres niveles de dificultad

Los investigadores pusieron a 22 IAs (desde modelos pequeños hasta los gigantes como GPT-4 y Claude) a pasar tres pruebas, como si fueran niveles de un videojuego:

Nivel 1: El Traductor (Comprensión).
- La pregunta: "¿Qué significa este refrán?"
- Resultado: Las IAs fueron bastante buenas. Como estudiantes que han leído mucho, pudieron explicar la mayoría de los refranes en inglés y árabe estándar.
Nivel 2: El Actor (Uso Práctico).
- La pregunta: "Aquí tienes una situación de una oficina. Usa el modismo correcto para completar la frase."
- Resultado: ¡Desastre! Aquí es donde las IAs tropezaron. Aunque sabían qué significaba la frase, no sabían cuándo usarla. Fue como tener a alguien que sabe la teoría de conducir, pero se pone a sudar frío cuando tiene que estacionar en la vida real. La precisión cayó un 14% en comparación con solo explicar el significado.
Nivel 3: El Detective de Emociones (Connotación).
- La pregunta: "¿Esta frase es positiva, negativa o neutral?"
- Resultado: Las IAs tuvieron dificultades para captar el "sabor" o la intención emocional detrás de las palabras, especialmente en dialectos locales.

3. Los Hallazgos: La Brecha Cultural

El estudio descubrió una jerarquía de dificultad muy clara, como una montaña:

La cima (Más fácil): Refranes en inglés. Las IAs son muy buenas aquí porque han leído millones de libros en inglés.
La mitad (Más difícil): Refranes en árabe estándar. Aquí ya hay un pequeño salto hacia abajo en el rendimiento.
El valle (Lo más difícil): Modismos en árabe egipcio coloquial (el habla callejera).
- La analogía: Imagina que la IA es un turista que ha estudiado el mapa de Egipto (árabe estándar), pero cuando lo llevas a un mercado local donde la gente habla rápido y usa jerga (egipcio), se pierde completamente.
- El rendimiento en los modismos egipcios fue un 10% peor que en los refranes estándar.

4. La Gran Revelación: La "Brecha Pragmática"

El descubrimiento más importante es que entender no es lo mismo que usar.
Las IAs pueden actuar como un diccionario perfecto, pero fallan como un amigo conversador. Si le das un contexto (una frase de ejemplo), mejoran un poco, pero siguen teniendo problemas para "sentir" la cultura.

5. La Solución: "Kinayat" (El Nuevo Mapa)

Como no existía un mapa para este territorio, los autores crearon Kinayat.

Es el primer conjunto de datos (dataset) de modismos egipcios diseñado específicamente para probar si la IA sabe usar estas frases, no solo definirlas.
Es como si los investigadores hubieran creado un "examen de conducir" real en lugar de un examen de teoría de tráfico.

En Resumen

Este estudio nos dice que, aunque las IAs son genios de los datos, aún les falta "sentido común cultural". Pueden recitarte un refrán, pero si no entienden la vida, las emociones y la historia detrás de él, no podrán usarlo correctamente en una conversación real.

La moraleja: Para que la IA sea verdaderamente inteligente, no basta con que lea más libros; necesita aprender a vivir, sentir y entender las sutilezas de las culturas locales, especialmente en los dialectos que la gente usa todos los días en la calle.

Resumen Técnico: Evaluación de la Competencia Pragmática y Cultural en Modelos de Lenguaje Grande (LLMs)

1. El Problema

A pesar de los avances significativos de los Modelos de Lenguaje Grande (LLMs) en la comprensión y generación multilingüe, existe una brecha crítica en su capacidad para procesar significado culturalmente arraigado. Los LLMs actuales a menudo fallan al interpretar y utilizar expresiones figurativas (como modismos y refranes) que codifican conocimiento local, valores sociales y matices pragmáticos.

El problema central no es solo la comprensión semántica literal, sino la competencia pragmática: la habilidad de usar estas expresiones de manera apropiada en contextos específicos, inferir connotaciones afectivas y navegar por la subjetividad cultural. La literatura previa se ha centrado mayoritariamente en la comprensión (explicar el significado), ignorando el uso práctico y la adaptación cultural, especialmente en idiomas como el árabe, donde los dialectos y la cultura juegan un papel fundamental.

2. Metodología

Los autores diseñaron un marco de evaluación integral que utiliza el lenguaje figurativo como un proxy para medir la competencia cultural y el conocimiento local.

Datos y Conjuntos de Datos:
- Kinayat (Nuevo): Un conjunto de datos original de 325 modismos del árabe egipcio (dialecto hablado), extraídos de la obra Al-Kinayat Al-'Amiyya (1949) y anotados para significado figurativo y uso pragmático.
- Jawaher: Un conjunto de datos existente con 198 refranes en 20 dialectos árabes.
- MAPS: Un conjunto de datos multilingüe utilizado aquí solo para los 394 refranes en inglés.
Modelos Evaluados: Se evaluaron 22 modelos (abiertos y cerrados), incluyendo arquitecturas como LLaMA 3.1, Gemma 2, Qwen 2.5, Aya, Mistral, Jais, y modelos propietarios como GPT-4o, Claude 3.5 Sonnet y Gemini.
Tareas de Evaluación:
1. Comprensión de Opción Múltiple (MCQ): Seleccionar la explicación correcta de un modismo/refrán frente a una incorrecta.
2. Uso Pragmático (Nueva Tarea): Dado un contexto (una oración con un espacio en blanco), el modelo debe seleccionar el modismo correcto para completar la frase. Esto evalúa la adecuación contextual y social.
3. Comprensión Contextual: Igual que la MCQ, pero proporcionando la oración de uso del modismo como contexto adicional.
4. Negación: Identificar la explicación incorrecta en lugar de la correcta, para probar la robustez del razonamiento.
5. Generación de Explicaciones: Producir explicaciones en lenguaje natural.
6. Completado de Refranes: Predecir la última palabra de un refrán (evaluación de memorización).
7. Comprensión de Connotación: Clasificar si la expresión tiene una carga positiva, negativa o neutral.
Procesamiento de Distractores: Para evitar que los modelos adivinen basándose en distractores obvios, se generaron explicaciones incorrectas utilizando dos estrategias: una plantilla general y una basada en Etiquetado de Roles Semánticos (SRL) para crear distractores más sutiles y plausibles.

3. Contribuciones Clave

Introducción de la Tarea de Uso Pragmático: Evaluar no solo si el modelo entiende un modismo, sino si puede usarlo correctamente en un contexto social y lingüístico específico.
Kit de Evaluación Unificado: Un marco que cruza idiomas (inglés vs. árabe) y tipos de lenguaje figurativo (refranes vs. modismos dialectales), evaluando interpretación, adecuación contextual e inferencia connotativa.
Lanzamiento de Kinayat: El primer conjunto de datos de modismos del árabe egipcio diseñado específicamente para evaluar tanto la comprensión figurativa como el uso pragmático.

4. Resultados Principales

Los resultados revelan una jerarquía de rendimiento consistente y brechas significativas:

Brecha Lingüística y Cultural:
- El rendimiento en refranes en inglés es superior al de los refranes en árabe (promedio 4.29% más alto).
- Dentro del árabe, el rendimiento en modismos egipcios (Kinayat) es significativamente peor que en los refranes en árabe estándar (MSA) (10.28% más bajo). Esto sugiere que los modelos luchan más con dialectos coloquiales y conocimiento cultural específico que con formas más estandarizadas.
La "Brecha Pragmática" (Pragmatics Gap):
- Existe una caída drástica en el rendimiento al pasar de la comprensión a la aplicación práctica. La precisión en la tarea de Uso Pragmático fue en promedio un 14.07% menor que en la tarea de Comprensión (MCQ).
- La precisión máxima alcanzada en el uso pragmático fue del 85.33% (Claude 3.5 Sonnet), indicando que incluso los modelos más avanzados tienen dificultades para aplicar modismos correctamente en contexto.
- Proporcionar la oración de contexto en la tarea de MCQ mejoró la precisión en un 10.66%, demostrando que el contexto es vital pero insuficiente para cerrar la brecha completa.
Memorización vs. Razonamiento:
- Los modelos muestran una capacidad de memorización muy baja para completar refranes en árabe (10.65% de precisión) en comparación con el inglés (75.43%), lo que indica una representación insuficiente de la cultura árabe en los datos de entrenamiento. Sin embargo, su rendimiento en tareas de comprensión es alto, sugiriendo que pueden razonar sin depender puramente de la memorización.
Connotación y Subjetividad:
- Los modelos tienen dificultades para captar matices afectivos. Incluso en muestras con un acuerdo del 100% entre anotadores humanos, los modelos alcanzaron un máximo de 85.58% de acuerdo en la clasificación de connotaciones de modismos.
Análisis de Modelos:
- Los modelos cerrados (Claude, GPT, Gemini) superaron consistentemente a los modelos de código abierto.
- Se observó una correlación positiva moderada entre el tamaño del modelo y el rendimiento en tareas pragmáticas ( $R^2 = 0.6$ ), más fuerte que en tareas de comprensión pura.

5. Significado e Implicaciones

Este trabajo demuestra que el lenguaje figurativo es un diagnóstico efectivo para el razonamiento cultural en los LLMs. Las conclusiones clave son:

Comprensión $\neq$ Competencia: Los modelos pueden interpretar el significado figurativo de una expresión, pero fallan sistemáticamente al intentar usarla de manera socialmente apropiada. Esto revela una limitación fundamental en la "inteligencia cultural" de los LLMs.
Desventaja de los Dialectos: Existe una brecha sistémica en el manejo de variedades lingüísticas de bajo recurso o dialectales (como el árabe egipcio) en comparación con las formas estándar o el inglés, lo que perpetúa desigualdades en la representación cultural.
Necesidad de Evaluación Pragmática: Las métricas tradicionales de comprensión (como MCQ) son insuficientes. La evaluación futura debe centrarse en la generación y el uso contextual para capturar verdaderamente la capacidad de un modelo de interactuar con la cultura humana.
Recurso para la Comunidad: El lanzamiento de Kinayat proporciona una base sólida para futuras investigaciones en NLP cultural, permitiendo a la comunidad desarrollar modelos más sensibles a los matices dialectales y pragmáticos.

En resumen, el artículo concluye que, aunque los LLMs han avanzado en la interpretación semántica, aún carecen de la profundidad pragmática necesaria para navegar el terreno cultural y social del lenguaje figurativo, especialmente en contextos no occidentales y dialectales.