💬 NLP

FFE-Hallu:Hallucinations in Fixed Figurative Expressions:Benchmark of Idioms and Proverbs in the Persian Language

Este artículo presenta FFE-Hallu, el primer referente para evaluar las alucinaciones en expresiones figuradas fijas dentro del idioma persa, revelando que los modelos de lenguaje extensos actuales tienen dificultades con la fundamentación cultural y generan o no detectan frecuentemente modismos y proverbios fabricados.

Autores originales: Faezeh Hosseini, Mohammadali Yousefzadeh, Yadollah Yaghoobzadeh

Publicado 2026-01-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Faezeh Hosseini, Mohammadali Yousefzadeh, Yadollah Yaghoobzadeh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a hablar un lenguaje humano. Podrías pensar que si el robot conoce las definiciones de diccionario de palabras como "patear" y "cubo", puede entender la frase "patear el cubo" (morir). Pero en realidad, esa frase no significa literalmente patear un balde; es un código cultural fijo para decir "morir".

Este artículo, FFE-HALLU, es como una prueba de "detector de mentiras" especializada para la IA, diseñada para ver si estos robots están inventando sus propios códigos culturales o si realmente comprenden los reales.

Aquí está el desgbre de lo que hicieron los investigadores, utilizando analogías sencillas:

1. El Problema: La trampa del "Modismo Falso"

Los Modelos de Lenguaje Extensos (LLM) son excelentes escribiendo oraciones que suenan bien. Pero cuando se trata de Expresiones Figurativas Fijas (FFEs) —como modismos ("romper una pierna") y proverbios ("una puntada a tiempo")— a menudo se confunden.

Los investigadores definen un tipo específico de error llamado Alucinación Figurativa.

La Analogía: Imagina a un robot intentando contar un chiste. Dice: "¿Por qué el espantapájaros ganó un premio? ¡Porque era sobresaliente en su campo!". Ese es un chiste real.
La Alucinación: El robot luego dice: "¿Por qué la tostadora ganó un premio? ¡Porque estaba crujiente en su campo!".
- Suena como un chiste. Sigue las reglas de la gramática. Pero es falso. No existe en la cultura humana.
- El peligro es que, si un hablante no nativo escucha esto, podría pensar: "¡Oh, ese es un dicho persa real!", y usarlo, quedando en evidencia o difundiendo desinformación.

2. La Solución: El examen "FFE-HALLU"

Los autores crearon una prueba llamada FFE-HALLU específicamente para el idioma persa. Construyeron un "gimnasio" con 600 ejercicios para probar el músculo cultural de la IA. La prueba tiene tres estaciones principales:

Estación 1: El desafío "Del Significado a la Frase"
- La Tarea: Se le da a la IA una definición (ej. "Arrepentirse de un error y prometer no volver a hacerlo") y se le pide que diga el modismo persa real para ello.
- La Trampa: En lugar de decir el modismo real, la IA podría inventar uno falso que suene plausible pero que nunca ha sido usado por un humano.
- El Resultado: Algunos de los modelos más avanzados (como GPT-4.1) acertaron aproximadamente un 60%. Otros (como Qwen) fueron terribles, inventando modismos falsos en casi el 70% de los casos.
Estación 2: El juego de detective "¿Falso o Real?"
- La Tarea: Se le muestra a la IA una frase y se le pregunta: "¿Es este un modismo persa real?".
- La Trampa: Los investigadores crearon 200 modismos "falsos" que parecen y suenan exactamente como los reales (por ejemplo, cambiando una palabra en una frase real o alterando su significado).
- El Resultado: Esta fue la parte más difícil. Incluso los modelos inteligentes se confundieron. Cuando se les preguntó "¿Es esto falso?", muchos dijeron "No" (pensando que era real) cuando en realidad era una mentira. Es como un guardia de seguridad que piensa que una identificación falsa perfecta es real porque se ve muy bien.
Estación 3: La prueba del "Traductor"
- La Tarea: Se le da a la IA un modismo en inglés (ej. "Está lloviendo gatos y perros") y debe encontrar el modismo equivalente en persa, no una traducción palabra por palabra.
- La Trampa: Si la IA traduce literalmente ("Está lloviendo felinos y cánidos"), eso es una alucinación porque no es como hablan los hablantes de persa.
- El Resultado: La mayoría de los modelos tuvieron dificultades para encontrar el equivalente cultural, inventando frases nuevas o traduciendo de forma demasiado literal.

3. Los Hallazgos: ¿Quién aprobó y quién falló?

Los investigadores probaron seis modelos de IA diferentes:

Los mejores desempeños: GPT-4.1 y Claude 3.7 fueron los mejores. Generalmente podían encontrar los modismos reales y rechazar los falsos, aunque todavía cometieron algunos errores.
Los que tuvieron dificultades: Modelos como DeepSeek, Gemma y Qwen fallaron a menudo. Tendían a "sobregenerar", lo que significa que inventaban con confianza modismos falsos que sonaban muy reales pero que eran completamente inventados.
El problema del "Adulador": Algunos modelos eran tan ansiosos por complacer que, cuando se les preguntaba "¿Es esto falso?", decían "No" (lo que significa "Sí, es real") incluso cuando era una fabricación completa.

4. El problema del "Juez"

El artículo también se preguntó: ¿Puede una IA juzgar el trabajo de otra IA?
Intentaron usar una IA para calificar las respuestas de las otras.

La Analogía: Es como pedirle a un estudiante que califique el ensayo de otro estudiante.
El Resultado: Funcionó aceptablemente para preguntas fáciles, pero cuando se trataba de detectar modismos falsos sutiles, los jueces de IA a menudo los pasaban por alto. No podían distinguir entre una "respuesta incorrecta" y una "respuesta inventada". Los investigadores encontraron que los expertos humanos (hablantes nativos de persa) eran los únicos que podían detectar de manera confiable estas mentiras sutiles.

Resumen

Este artículo es una etiqueta de advertencia para la IA. Muestra que, aunque la IA puede escribir oraciones fluidas, a menudo carece de fundamentación cultural. Puede sonar como si conociera los modismos de una cultura, pero en realidad los está inventando sobre la marcha.

Los investigadores construyeron una prueba para demostrar esto, mostrando que incluso los modelos de IA más inteligentes son propensos a las "alucinaciones figurativas": contar mentiras culturales que suenan como la verdad. Hasta que la IA aprenda a distinguir entre un dicho cultural real y un falso convincente, no podemos confiar plenamente en ellos para tareas que requieren una comprensión cultural profunda.

Resumen Técnico: FFE-HALLU

Definición del Problema

Los Modelos de Lenguaje Extensos (LLMs) han demostrado un éxito notable en diversas tareas de PLN, pero continúan teniendo dificultades con el lenguaje figurado, específicamente con las Expresiones Figurativas Fijas (FFEs), tales como modismos y proverbios. A diferencia de las frases literales, las FFEs están ancladas culturalmente, son mayoritariamente no compositivas y son convencionalmente fijas. El artículo identifica un modo de fallo específico y poco explorado denominado alucinación figurativa: la generación o el respaldo de expresiones que suenan idiomáticas y plausibles, pero que no existen como expresiones fijas auténticas en la lengua de destino.

Mientras que las alucinaciones fácticas a menudo pueden verificarse contra fuentes de conocimiento externas, las alucinaciones figurativas son más insidiosas debido al "efecto de verdad ilusoria", donde las estructuras de sonido familiar son percibidas como verdaderas incluso por lectores informados. Esto plantea riesgos significativos para aplicaciones que requieren competencia cultural, como la traducción automática y los sistemas de diálogo, particularmente para usuarios no nativos que pueden aceptar expresiones fabricadas como auténticas.

Metodología

Para abordar esta brecha, los autores introducen FFE-HALLU, el primer benchmark integral diseñado para evaluar la alucinación figurativa en los LLMs, con un enfoque específico en el idioma persa. El benchmark consiste en 600 instancias curadas divididas en tres tareas complementarias:

Generación de FFE a partir del significado:
- Objetivo: Probar si un modelo puede recuperar un modismo o proverbio válido dada una definición figurativa.
- Datos: 200 modismos/proverbios persas auténticos con definiciones obtenidas del diccionario Abadis y paráfrasis de GPT-4o.
- Evaluación: Los resultados se categorizan como Correctos (FFE auténtica que coincide con el significado), Incorrectos (FFE auténtica con significado erróneo) o Alucinados (frase literal o expresión inexistente).
Detección de FFE Falsas:
- Objetivo: Evaluar la capacidad del modelo para distinguir entre expresiones auténticas y fabricaciones plausibles.
- Datos: 200 FFEs fabricadas utilizando cuatro estrategias controladas:
  - Perturbación de palabras: Reemplazo de elementos léxicos clave en modismos reales.
  - Inversión semántica: Reversión o distorsión del significado de estructuras reales.
  - Mimetismo estructural/sintáctico: Generación de nuevas expresiones siguiendo plantillas comunes de proverbios sin utilizar material léxico real.
  - Fabricación cultural/histórica: Uso de elementos culturalmente relevantes (por ejemplo, figuras históricas, rituales) para crear expresiones convincentes pero inválidas.
- Evaluación: Se le pregunta a los modelos "¿Es esta FFE falsa?" y "¿Es esta FFE real?" para medir la consistencia y las tasas de alucinación (aceptaciones falsas).
Traducción de FFE a FFE (Inglés → Persa):
- Objetivo: Evaluar la transferencia translingüística del significado idiomático sin recurrir a la traducción literal o a la invención.
- Datos: 200 pares bilingües Inglés-Persa con equivalentes verificados.
- Evaluación: Los resultados se categorizan como Correctos (FFE culturalmente equivalente), Incorrectos (FFE existente con significado erróneo) o Alucinados (traducción literal o expresión inventada).

Configuración Experimental:
Los autores evaluaron seis LLMs multilingües de última generación (GPT-4.1, Claude 3.7 Sonnet, Gemma3-27B, DeepSeek-V3, DeepSeek-R1 y Qwen3-235B). La evaluación involucró tanto la anotación humana por parte de hablantes nativos de persa como la evaluación automática utilizando LLM-como-juez (GPT-4.1 y Gemini 2.5 Pro) para evaluar la fiabilidad de las métricas automáticas para tareas figurativas.

Resultados Clave

Varianza en el Desempeño de los Modelos: GPT-4.1 demostró el desempeño más robusto en todas las tareas, logrando la mayor precisión en generación (60.5%) y traducción (65%), y las tasas de alucinación más bajas. Claude 3.7 Sonnet mostró fuertes capacidades de generación pero tuvo dificultades significativas en la detección de FFEs falsas (tasa de alucinación de 61.75%).
Debilidad en Modelos de Pesos Abiertos: Modelos como DeepSeek-V3, Gemma3-27B y Qwen3-235B exhibieron debilidades severas. Qwen3-235B, por ejemplo, alucinó en casi el 70% de las tareas de generación y el 94% de las tareas de traducción, produciendo a menudo expresiones agramaticales o enteramente fabricadas.
Inestabilidad de la Detección: El desempeño en la tarea de Detección de FFE Falsas fue altamente sensible al encuadre del prompt. Mientras que la mayoría de los modelos funcionaron bien cuando se les preguntó "¿Es esto real?", su precisión cayó drásticamente cuando se les preguntó "¿Es esto falso?", indicando inestabilidad al rechazar contenido fabricado.
Limitaciones de la Evaluación Automática: El estudio encontró que la evaluación automática (LLM-como-juez) es un desafío para la alucinación figurativa. Gemini 2.5 Pro mostró una mejor alineación con los juicios humanos (mayor $\kappa$ de Cohen) que GPT-4.1, particularmente al distinguir FFEs alucinadas de aquellas que son simplemente incorrectas. Sin embargo, los jueces automáticos tuvieron dificultades a medida que las tasas de alucinación aumentaban, clasificando a menudo expresiones inexistentes como meramente "incorrectas" en lugar de expresiones reales.

Significancia y Contribuciones

El artículo realiza cuatro contribuciones primarias:

Introducción de FFE-HALLU: El primer benchmark diseñado específicamente para evaluar la alucinación figurativa en los LLMs, centrándose en las expresiones figurativas fijas en persa.
Marco de Tareas: La propuesta de tres tareas complementarias (Generación, Detección, Traducción) que sondean distintos aspectos de la competencia figurativa y el anclaje cultural.
Análisis Empírico: Una evaluación detallada de seis LLMs multilingües SOTA, revelando debilidades sistemáticas en la generación figurativa, la detección y la transferencia translingüística, particularmente en modelos de pesos abiertos.
Validez de la Evaluación: Una evaluación de la fiabilidad de los métodos de LLM-como-juez para la alucinación figurativa, destacando la necesidad de anotación humana experta para tareas culturalmente matizadas.

Los autores concluyen que el dominio del lenguaje figurado requiere más que fluidez multilingüe; demanda una comprensión cultural genuina. Los hallazgos subrayan la necesidad de benchmarks dirigidos para evaluar y mitigar la alucinación figurativa, ya que los modelos actuales frecuentemente generan o respaldan expresiones culturalmente inválidas que pueden confundir a los usuarios.

Limitaciones

Los autores reconocen que la detección de alucinaciones figurativas depende fuertemente de la intuición y el juicio de los hablantes nativos, lo que restringió el benchmark al persa. Además, el tamaño del conjunto de datos (600 elementos) es modesto debido a la dificultad de curar y validar modismos a escala. El artículo señala que, si bien el juicio automático ofrece escalabilidad, sigue siendo imperfecto y no debe reemplazar la anotación humana experta, especialmente en casos culturalmente sutiles.