🤖 AI

Structural Ranking of the Cognitive Plausibility of Computational Models of Analogy and Metaphors with the Minimal Cognitive Grid

Este artículo aplica el marco de la Cuadrícula Cognitiva Mínima para evaluar y clasificar sistemáticamente la plausibilidad cognitiva de los principales modelos computacionales de analogía y metáfora, incluidos SME, CogSketch, METCL y los LLM, mediante un enfoque cuantitativo formalizado basado en la relación funcional/estructural, la generalidad y la coincidencia de rendimiento.

Autores originales: Alessio Donvito, Antonio Lieto

Publicado 2026-05-06

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alessio Donvito, Antonio Lieto

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un juez en un concurso de talentos, pero en lugar de cantantes o bailarines, los concursantes son programas informáticos que intentan actuar como pensadores humanos. Específicamente, están tratando de resolver acertijos que involucran analogías (como "A es a B como C es a D") y metáforas (como "Mi trabajo es una cárcel").

Los autores de este artículo, Alessio Donvito y Antonio Lieto, crearon un sistema de puntuación especial llamado Cuadrícula Cognitiva Mínima (MCG). Imagina esta cuadrícula como un taburete de tres patas. Para que una computadora se siente cómodamente en el taburete y sea considerada un modelo "cognitivamente plausible" (es decir, que piensa como un humano, no solo que parece hacerlo), necesita equilibrarse sobre las tres patas.

Así funcionan las tres patas, usando analogías simples:

Pata 1: La Coincidencia del Plano (Ratio Funcional/Estructural)

La Pregunta: ¿Construye la computadora su respuesta de la misma manera que lo hace el cerebro humano, o simplemente obtiene la respuesta correcta por magia?

La Analogía: Imagina a dos personas intentando construir una casita para pájaros.
- Persona A (El Modelo Estructural): Usa madera, clavos y un martillo, siguiendo exactamente los mismos pasos que un carpintero. Pueden ser lentos, pero su proceso es similar al humano.
- Persona B (El Modelo Funcional): Usa una impresora 3D o un cortador láser. Obtienen exactamente la misma casita para pájaros, pero la máquina interna es totalmente diferente a las manos de un humano.
La Afirmación del Artículo: Los autores argumentan que, para que una computadora sea un buen modelo de cómo pensamos, necesita usar el enfoque de "madera y clavos" (estructural).
- SME y CogSketch: Estos son como los carpinteros. Utilizan reglas específicas (como "una cosa se mapea a una cosa") que imitan cómo los humanos hacen analogías. Obtienen puntuaciones altas aquí.
- LLM (como GPT-4): Estos son como las impresoras 3D. Son increíbles para hacer la casita para pájaros (obtener la respuesta correcta), pero lo hacen adivinando patrones de una biblioteca masiva de libros, no siguiendo pasos lógicos similares a los humanos. Obtienen puntuaciones muy bajas aquí porque su "maquinaria interna" es ajena al pensamiento humano.
- METCL: Este es un carpintero de punto medio. Utiliza un conjunto diferente de planos (centrándose en la categorización en lugar del mapeo), por lo que obtiene una puntuación intermedia.

Pata 2: El Navaja Suiza (Generalidad)

La Pregunta: ¿Puede la computadora realizar muchos tipos diferentes de pensamiento, o es un caballo de un solo truco?

La Analogía:
- El Especialista: Un maestro jugador de ajedrez que puede vencer a un gran maestro pero no puede atarse los zapatos ni cocinar un huevo.
- El Generalista: Alguien que puede jugar al ajedrez, cocinar, conducir un coche y resolver problemas matemáticos.
La Afirmación del Artículo: Los autores examinan si estos sistemas pueden manejar matemáticas, acertijos visuales, lenguaje e incluso movimiento físico (habilidades sensoriales/motoras).
- LLM: Estos son los Generalistas definitivos. Pueden leer, escribir, hacer matemáticas y mirar imágenes. Obtienen la puntuación más alta aquí.
- SME y CogSketch: Estos son los Especialistas. Son excelentes en acertijos lógicos específicos (como patrones visuales), pero no pueden realmente hacer matemáticas ni entender oraciones complejas. Obtienen una puntuación baja aquí.
- METCL: También es un especialista, centrado principalmente en metáforas lingüísticas.

Pata 3: La Prueba del Espejo (Coincidencia de Rendimiento)

La Pregunta: Cuando la computadora se equivoca, ¿comete el mismo tipo de errores que cometería un humano?

La Analogía: Imagina que estás tomando un examen.
- Si te equivocas en una pregunta porque malinterpretaste el concepto, ese es un error "humano".
- Si te equivocas porque la computadora falló o adivinó al azar, ese es un error "máquina".
- El objetivo es ver si los "fallos" de la computadora parecen confusión humana.
La Afirmación del Artículo:
- SME y CogSketch: Son excelentes en esto. Cuando fallan un acertijo visual (como las Matrices Progresivas de Raven), fallan en los mismos acertijos difíciles exactos con los que los humanos luchan. Incluso tardan una cantidad de tiempo similar para pensar. Obtienen una puntuación muy alta.
- LLM: A menudo obtienen la respuesta correcta, pero cuando fallan, sus errores se ven diferentes a los de los humanos. Pueden confundirse por un ligero cambio en la redacción que no descolocaría a una persona. Obtienen una puntuación más baja aquí.

El Marcador Final

Los autores combinan estas tres puntuaciones para ver quién gana el título de "Plausibilidad Cognitiva". Decidieron que la Pata 1 (El Plano) es la más importante porque el objetivo principal es entender cómo piensan los humanos, no solo obtener la respuesta correcta.

El Ganador (Bajo reglas estrictas): CogSketch y SME. Aunque son "caballos de un solo truco" (baja generalidad), piensan como humanos. Son los mejores modelos para estudiar la mente humana.
El Subcampeón: METCL. Se sienta en el medio, haciendo algunas cosas similares a los humanos pero no tan exhaustivamente como los dos primeros.
La Caja "Mágica": LLM (GPT-4, etc.). Son increíblemente inteligentes y versátiles (alta generalidad), pero no piensan como humanos. Si quieres una herramienta para resolver problemas, son excelentes. Pero si quieres un modelo para explicar por qué los humanos piensan como lo hacen, el artículo dice que no son la mejor opción.

La Gran Conclusión

El artículo concluye que ser "inteligente" (obtener la respuesta correcta) es diferente a ser "cognitivamente plausible" (pensar como un humano).

Los LLM son como un superactor que puede memorizar un guion perfectamente y sonar exactamente como un humano, pero en realidad no siente las emociones.
SME/CogSketch son como un actor de método que realmente siente las emociones y piensa a través de la lógica del personaje, incluso si no puede memorizar tantas líneas.

Los autores construyeron esta cuadrícula para ayudar a los científicos a decidir qué programa informático es el mejor "actor de método" para estudiar la mente humana. Descubrieron que, aunque los "superactores" (LLM) son impresionantes, los "actores de método" (SME/CogSketch) siguen siendo el estándar de oro para comprender la mecánica del pensamiento humano.

Resumen Técnico: Clasificación Estructural de la Plausibilidad Cognitiva de Modelos Computacionales de Analogía y Metáfora con la Cuadrícula Cognitiva Mínima

Enunciado del Problema
La creación e interpretación de analogías y metáforas son fundamentales para la competencia semántica humana. Aunque se han propuesto numerosos modelos computacionales para replicar estas capacidades, existe una falta de marcos sistemáticos y cuantitativos para evaluar su plausibilidad cognitiva —específicamente, la medida en que sus mecanismos internos se alinean con los procesos cognitivos humanos en lugar de meramente producir salidas funcionalmente equivalentes. Los sistemas actuales de Inteligencia Artificial, particularmente los Modelos de Lenguaje Grande (LLM), a menudo logran un alto rendimiento en tareas de analogía pero operan mediante mecanismos (por ejemplo, reconocimiento estadístico de patrones) que difunden fundamentalmente de la cognición humana. El artículo aborda la necesidad de una métrica estandarizada para distinguir entre artefactos "funcionales" (que imitan la salida) y modelos "estructurales" (que imitan mecanismos cognitivos internos), evaluando así su poder explicativo en la ciencia cognitiva.

Metodología: La Cuadrícula Cognitiva Mínima (MCG)
Los autores emplean y operacionalizan formalmente la Cuadrícula Cognitiva Mínima (MCG), un marco propuesto por Lieto (2021) para clasificar sistemas artificiales según su precisión estructural en relación con objetivos biológicos o cognitivos. La metodología implica una evaluación cuantitativa en tres dimensiones distintas:

Relación Funcional/Estructural (FSR): Esta dimensión evalúa el equilibrio entre la replicación funcional (coincidencia de salida) y la implementación estructural (coincidencia de mecanismo). Los autores definen una métrica, $FSRM$, basada en un conjunto de restricciones estructurales derivadas de dos teorías cognitivas principales:
- Teoría del Mapeo Estructural (SMT): Las restricciones incluyen mapeo uno a uno, conectividad paralela, sistematicidad (preferencia por estructuras relacionales interconectadas) y proyección inferencial.
- Teoría de la Categorización de la Metáfora (CTM): Las restricciones incluyen categorización (interpretar metáforas como enunciados de inclusión de clase) y selección de propiedades (transferencia de características salientes).
  Los modelos se puntúan según si implementan estos mecanismos estructuralmente ( $s_i=1$ ) o meramente funcionalmente ( $s_i=0$ ), ponderados por la importancia teórica de cada restricción.
Generalidad (GM): Esta dimensión evalúa la amplitud de las funciones cognitivas que un modelo puede simular, fundamentada en la taxonomía Cattell-Horn-Carroll (CHC) de las capacidades cognitivas humanas. Los autores evalúan los modelos en cinco dominios: Conocimiento Cuantitativo, Razonamiento Fluido, Procesamiento Visual, Conocimiento Lingüístico/Verbal y Capacidades Sensoriales/Motoras. Se asignan puntuaciones basadas en cobertura completa (1), cobertura parcial (0.5) o ausencia (0), con un esquema de ponderación específico que enfatiza la importancia de las capacidades sensoriales/motoras en la cognición encarnada.
Coincidencia de Rendimiento (PMM): Esta dimensión cuantifica la alineación entre el comportamiento del modelo y el comportamiento humano, considerando no solo la precisión sino también los patrones de error y los tiempos de respuesta. La puntuación es una suma ponderada de:
- Delta de Precisión: La desviación respecto al rendimiento base humano.
- Patrones de Error: Si el modelo replica la distribución de errores humanos (por ejemplo, fallando en los mismos ítems difíciles).
- Tiempos de Respuesta: La similitud en la latencia de ejecución en comparación con los tiempos de reacción humanos.

Contribuciones Clave

Operacionalización Formal: El artículo proporciona una operacionalización matemática rigurosa de la MCG, transformando distinciones teóricas cualitativas en puntuaciones cuantitativas ($FSRM$, $GM$, $PMM$) que permiten la comparación directa de arquitecturas de IA dispares.
Métrica Unificada de Plausibilidad Cognitiva (CPM): Los autores introducen una puntuación compuesta, $CPM = \lambda \cdot FSR'_M + \mu \cdot GM + \nu \cdot PMM$ , que integra las tres dimensiones. Proponen un esquema de ponderación ( $\lambda=0.5, \mu=0.25, \nu=0.25$ ) que prioriza la fidelidad estructural, argumentando que el poder explicativo en la ciencia cognitiva depende principalmente de la alineación de los mecanismos internos con la teoría humana.
Análisis Comparativo Sistemático: El marco se aplica a cuatro clases distintas de sistemas:
- SME (Motor de Mapeo Estructural) y CogSketch: Sistemas simbólicos basados en SMT.
- METCL: Un modelo basado en lógica para la generación de metáforas basado en CTM.
- LLM: Incluyendo GPT-3.5, GPT-4 y GPT-4o.

Resultados
La evaluación produce perfiles distintos para cada sistema:

SME y CogSketch: Logran las Puntuaciones Estructurales más altas ( $FSR'_M \approx 0.606$ ) debido a su implementación explícita de restricciones SMT (mapeo uno a uno, sistematicidad). También demuestran la mayor Coincidencia de Rendimiento ( $PMM \approx 0.923$ ) en las Matrices Progresivas de Raven, replicando la precisión humana y los patrones de error. Sin embargo, obtienen puntuaciones muy bajas en Generalidad ( $GM \approx 0.063–0.125$ ) ya que carecen de capacidades en razonamiento cuantitativo, procesamiento del lenguaje y tareas sensomotoras.
METCL: Ocupa una posición intermedia. Obtiene una puntuación moderada en Fidelidad Estructural ( $FSR'_M \approx 0.407$ ) al implementar restricciones CTM (categorización, selección de propiedades) pero carece de restricciones estructurales basadas en SMT. Su Generalidad es limitada ( $GM \approx 0.125$ ) y la Coincidencia de Rendimiento es moderada ( $PMM \approx 0.714$ ).
LLM: Exhiben la mayor Generalidad ( $GM \approx 0.500–0.800$ ), cubriendo dominios cuantitativos, fluidos, visuales y lingüísticos. Sin embargo, muestran una Fidelidad Estructural muy baja ( $FSR'_M \approx 0.109$ ), fallando en implementar restricciones SMT como la sistematicidad o el mapeo uno a uno en un sentido mecánico. Su Coincidencia de Rendimiento es mixta ( $PMM \approx 0.578$ ), a menudo mostrando alta precisión pero patrones de error divergentes (por ejemplo, fallando en tareas ricas en distractores donde los humanos tienen éxito) y careciendo de datos de alineación temporal.

Bajo el esquema de ponderación no igualitaria propuesto (priorizando la plausibilidad estructural), CogSketch y SME se clasifican más altos en plausibilidad cognitiva general. Bajo un esquema de ponderación igualitaria, los LLM superan a METCL debido a su superior generalidad, un resultado que los autores describen como "paradójico" dada la falta de restricciones inspiradas cognitivamente en los LLM.

Significado y Afirmaciones
El artículo afirma que la MCG ofrece un "plan" para una comparación generalizable y reproducible de sistemas de IA basada en su plausibilidad biológica o cognitiva, en lugar de solo en su salida funcional.

Poder Explicativo: Los autores argumentan que la Relación Funcional/Estructural es la dimensión crítica para la ciencia cognitiva porque evalúa si el éxito de un modelo se basa en mecanismos relevantes para el fenómeno (por ejemplo, mapeo relacional) en lugar de generalización estadística.
Distinción del Conductismo: El marco busca evitar un "conductismo renovado" penalizando sistemas que logran un rendimiento a nivel humano mediante procesos internos no humanos.
Escalabilidad: La metodología se presenta como una herramienta escalable para evaluar generaciones actuales y futuras de IA, proporcionando un lenguaje de medición común entre arquitecturas simbólicas, subsimbólicas e híbridas.
Limitaciones: Los autores reconocen modestamente las limitaciones, incluida la disponibilidad desigual de datos de referencia (los LLM se prueban en más conjuntos de datos que SME/CogSketch), la falta de datos de tiempo de respuesta para algunos sistemas y el hecho de que los pesos de las restricciones se basan actualmente en relevancia teórica en lugar de derivación basada en datos. Sugieren que el trabajo futuro debe centrarse en expandir los conjuntos de datos y refinar los esquemas de ponderación para extender aún más la generalizabilidad del marco.