💬 NLP

Parallelograms Strike Back: LLMs Generate Better Analogies than People

Este estudio demuestra que los grandes modelos de lenguaje generan analogías de cuatro términos de mayor calidad y más alineadas con la estructura geométrica de paralelogramos que los humanos, no por una sensibilidad superior a la similitud local, sino porque los humanos suelen producir respuestas débiles que no cumplen con las restricciones relacionales que los modelos de lenguaje satisfacen de manera más consistente.

Autores originales: Qiawen Ella Liu, Raja Marjieh, Jian-Qiao Zhu, Adele E. Goldberg, Thomas L. Griffiths

Publicado 2026-03-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Qiawen Ella Liu, Raja Marjieh, Jian-Qiao Zhu, Adele E. Goldberg, Thomas L. Griffiths

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que el cerebro humano y la Inteligencia Artificial (IA) son dos chefs muy diferentes intentando cocinar el mismo plato: un analogía.

Una analogía es como un juego de "A es a B, como C es a...". Por ejemplo: Rey es a Reina, como Hombre es a... ¿Mujer?

Los científicos de este estudio querían saber: ¿Quién es mejor cocinando estas analogías, las personas o las IAs modernas? Y más importante aún: ¿Por qué?

Aquí tienes la historia de lo que descubrieron, explicada de forma sencilla:

1. La Regla del "Rombo Mágico" (El Modelo del Paralelogramo)

Desde hace mucho tiempo, los científicos pensaban que nuestro cerebro funciona como un mapa geométrico. Imagina que cada palabra es un punto en un mapa. La relación entre dos palabras (como Rey y Reina) es una flecha que va de un punto a otro.

Para resolver la analogía, el cerebro debería tomar la flecha de "Rey a Reina" y aplicarla al "Hombre" para llegar a "Mujer". Esto se llama el modelo del paralelogramo. Es como si tu mente hiciera cálculos matemáticos invisibles para encontrar la respuesta perfecta.

Sin embargo, estudios anteriores dijeron: "¡Espera! La gente no hace eso. Cuando la gente responde rápido, eligen la palabra que más se parece a la última (C) por pura coincidencia, sin hacer los cálculos geométricos. Es como adivinar en lugar de calcular."

2. El Gran Experimento: Humanos vs. IAs

Los investigadores probaron esto poniendo a 6 IAs de última generación (como GPT y otros modelos potentes) contra 390 personas humanas. Les dieron miles de acertijos de analogías y pidieron a otros humanos que calificaran quién dio la mejor respuesta.

El resultado sorprendente:
¡Las IAs ganaron! Los humanos calificaron las respuestas de las máquinas como mejores que las de las personas.

3. ¿Por qué ganaron las IAs? (La clave del secreto)

Aquí es donde la historia se pone interesante. ¿Acaso las IAs tienen un cerebro geométrico superior? No exactamente.

La trampa de la "cola larga": Las IAs son muy consistentes. Si les preguntas algo, suelen dar la misma respuesta "segura" y correcta la mayoría de las veces. Los humanos, en cambio, somos creativos pero también... dispersos. A veces damos respuestas geniales, pero a menudo damos respuestas "flojas", obvias o incorrectas (la llamada "cola larga" de respuestas débiles).
La comparación justa: Cuando los científicos quitaron las respuestas raras y débiles de los humanos y solo compararon las respuestas más comunes (las que todos decimos), ¡la ventaja de la IA desapareció! Ambas partes eran igual de buenas en sus respuestas principales.

Entonces, ¿por qué las IAs parecen mejores en general?
Porque no cometen tantos errores. Los humanos a veces se distraen, se cansan o eligen la palabra fácil y rápida (como "niño" en lugar de "inmadurez"), mientras que la IA siempre intenta seguir la regla geométrica perfecta.

4. La Verdad Oculta: Lo que valoramos vs. Lo que hacemos

El hallazgo más profundo es una paradoja:

Lo que hacemos: Tanto humanos como IAs, cuando piensan rápido, tienden a usar la "similitud local" (elegir la palabra que suena parecida) en lugar de la regla geométrica perfecta.
Lo que valoramos: Sin embargo, cuando nos piden calificar una analogía, preferimos la que sigue la regla geométrica perfecta (el paralelogramo).

La metáfora final:
Imagina que el modelo del paralelogramo es como una receta de pastel perfecta.

Las IAs siguen la receta al pie de la letra casi siempre.
Los humanos a veces siguen la receta, pero otras veces improvisan con ingredientes que no encajan bien (porque estamos cansados o distraídos).
Cuando alguien prueba el pastel, siempre dice que el que sigue la receta es más rico, aunque el humano también sepa cocinar bien.

Conclusión:
El estudio nos dice que el modelo geométrico (el paralelogramo) no es una mala teoría sobre cómo funcionan las analogías. El problema no es que la teoría esté mal, sino que nosotros, los humanos, a veces fallamos en seguirla. Las IAs, al ser más constantes y menos propensas a distracciones, logran crear esas analogías "perfectas" que nuestro cerebro reconoce y valora, incluso si las IAs no "piensan" exactamente como nosotros.

En resumen: Las máquinas no son más inteligentes que nosotros en crear analogías, pero son más disciplinadas en seguir las reglas que a nosotros nos gustan.

Resumen Técnico: Parallelograms Strike Back

1. Planteamiento del Problema

Las analogías de cuatro términos ( $A:B::C:D$ ) se han modelado clásicamente de forma geométrica como "paralelogramos" en un espacio mental, donde la relación entre conceptos se representa como vectores (modelo de Rumelhart & Abrahamson, 1973). Sin embargo, investigaciones recientes (Peterson et al., 2020) sugieren que este modelo describe mal cómo los humanos generan analogías, indicando que las heurísticas de similitud local (elegir una palabra similar a $C$ ) explican mejor el comportamiento humano.

El estudio se plantea la siguiente pregunta crítica: ¿El modelo de paralelogramo falla porque es un modelo incorrecto de las relaciones analógicas, o falla porque los humanos no son muy hábiles para generar analogías que preserven estrictamente la relación? Los autores proponen utilizar Grandes Modelos de Lenguaje (LLMs) como un sistema de comparación para distinguir entre estas dos posibilidades.

2. Metodología

Datos y Estímulos:
- Se utilizaron 846 ítems de analogías de palabras del conjunto de datos de Peterson et al. (2020), que incluye fuentes de Green et al. (2010), Kmiecik & Morrison (2013) y SemEval-2012 Task 2 (con etiquetas de relaciones semánticas).
- Se compararon las respuestas de 6 LLMs de última generación (2 cerrados: GPT-5-mini, o4-mini; 4 abiertos: DeepSeek-V3.1, Qwen3-235B, Qwen3-32B, Gemma-3-27B) contra las 26,265 respuestas humanas originales.
- Cada LLM se probó con 4 formulaciones de prompt semánticamente equivalentes y 10 repeticiones por prompt (temperatura = 1.0), generando un total de 203,040 respuestas.
Evaluación Humana:
- Se reclutaron 390 participantes nativos de inglés (EE. UU.) para calificar la similitud relacional entre la relación $A:B$ y la completada $C:D$ en una escala de 1 a 7.
- Se analizaron 4,048 analogías completas (combinando estímulos con respuestas humanas y de LLMs).
Análisis Computacional:
- Espacio de Embedding: Se utilizaron vectores GloVe (300 dimensiones) para mapear las palabras en un espacio semántico.
- Métricas de Predicción: Se compararon tres reglas para predecir la respuesta $D$ $D$ :
  1. Modelo de Paralelogramo: $D = C + (B - A)$ .
  2. Similitud $C:D$ : Basada solo en la similitud entre $C$ y $D$ .
  3. Heurística del Vecino Más Cercano (NN): Decide si buscar cerca de $B$ o $C$ basándose en la proximidad de $A$ .
- Métricas de Accesibilidad: Se calculó la frecuencia de las palabras (log-frecuencia) para medir la accesibilidad léxica.
- Análisis de Representaciones Internas: Se extrajeron embeddings de las capas residuales de los modelos de código abierto para ver si sus representaciones internas seguían la estructura del paralelogramo.

3. Contribuciones Clave

Validación del Modelo de Paralelogramo: Demuestran que, aunque el modelo de paralelogramo no explica perfectamente cómo generan las analogías los humanos, sí captura robustamente lo que los humanos valoran como una buena analogía.
Superioridad de los LLMs en Calidad Percibida: Los LLMs generan analogías que son sistemáticamente calificadas como mejores por humanos que las generadas por personas.
Desglose de la Ventaja de los LLMs: La ventaja no proviene de que los LLMs sean uniformemente superiores en todas sus respuestas, sino de que los humanos producen una "cola larga" de respuestas de baja calidad, mientras que los LLMs se concentran en respuestas dominantes de alta calidad.
Distinción entre Representación Interna y Salida: Se demuestra que la alineación con el paralelogramo en el espacio GloVe predice la calidad humana, pero esta alineación no necesariamente refleja la estructura geométrica interna de las representaciones de los LLMs.

4. Resultados Principales

Calidad de las Analogías:
- Los LLMs obtuvieron puntuaciones de similitud relacional significativamente más altas que los humanos (efecto medio $b \approx 0.13 - 0.18$ ).
- La ventaja fue consistente en la mayoría de los modelos, excepto en Qwen3-32B, que no mostró diferencia significativa.
Predicción por Modelos Geométricos:
- Tanto las respuestas humanas como las de los LLMs fueron mejor predichas por heurísticas de similitud local ( $C:D$ y NN) que por el modelo de paralelogramo puro.
- Sin embargo, la brecha de rendimiento entre el modelo de paralelogramo y las heurísticas locales fue mucho menor para los LLMs que para los humanos. Esto indica que los LLMs se alinean más estrictamente con la estructura relacional geométrica que los humanos.
Factores Predictivos de la Calificación:
- Alineación de Paralelogramo: Una mayor alineación con el vector del paralelogramo en GloVe predijo fuertemente una mejor calificación humana ( $\beta > 0.20$ ).
- Accesibilidad Léxica: Los LLMs tendían a usar palabras de menor frecuencia (menos accesibles) que los humanos. Estas palabras menos frecuentes fueron calificadas como mejores.
- Similitud Local: Contrariamente a la intuición, una mayor similitud local entre $C$ y $D$ predijo peores calificaciones cuando se controlaban otros factores.
Análisis de Respuestas Modales (Más Frecuentes):
- Cuando se restringió el análisis solo a las respuestas modales (las más frecuentes), la ventaja general de los LLMs sobre los humanos desapareció (no hubo diferencia estadística significativa).
- Esto confirma que la ventaja de los LLMs se debe a que los humanos generan muchas respuestas débiles y dispersas (cola larga), mientras que los LLMs evitan estas respuestas de baja calidad.
- No obstante, incluso entre las respuestas modales, la alineación del paralelogramo y la menor frecuencia de palabras siguieron siendo predictores significativos de una mejor calificación.
Representaciones Internas:
- La alineación del paralelogramo calculada en el espacio GloVe externo predijo las calificaciones humanas mejor que las representaciones internas extraídas de las capas de los propios LLMs. Esto sugiere que los LLMs no necesariamente "piensan" en paralelogramos geométricos, sino que generan salidas que satisfacen las restricciones relacionales que los humanos perciben como válidas.

5. Significado e Implicaciones

Reevaluación Cognitiva: El estudio desafía la noción de que el modelo de paralelogramo es un modelo psicológico deficiente. En su lugar, sugiere que el modelo es una buena descripción de la estructura de las analogías ideales, pero los humanos a menudo fallan en producirlas debido a limitaciones cognitivas (carga cognitiva, recuperación de memoria), optando por heurísticas de similitud local más fáciles.
Capacidad de los LLMs: Los LLMs demuestran una capacidad superior para mantener restricciones relacionales complejas en tareas de generación abierta, superando a los humanos en consistencia, aunque no necesariamente en "creatividad" o diversidad de respuestas (ya que los humanos son más diversos, pero también más propensos a errores).
Validación de Modelos: El uso de sistemas artificiales (LLMs) permite aislar variables y probar teorías cognitivas de una manera que los datos humanos por sí solos no permiten, revelando que la "calidad" de una analogía está intrínsecamente ligada a su estructura geométrica relacional, independientemente de quién la genere.

En conclusión, el artículo sugiere que los paralelogramos no han muerto; siguen siendo una representación válida de lo que constituye una buena analogía, y los LLMs son mejores ejecutores de esta estructura que los humanos, en gran parte porque los humanos a menudo se desvían hacia respuestas más accesibles pero menos precisas.