Can Large Language Models Simulate Human Cognition Beyond Behavioral Imitation?

1. El Problema

El avance de los Modelos de Lenguaje Grande (LLMs) ha reavivado una pregunta fundamental en la inteligencia artificial: ¿Hasta qué punto las máquinas pueden simular la cognición humana genuina, en lugar de simplemente imitar comportamientos superficiales?

Existen limitaciones críticas en los enfoques actuales para evaluar esto:

• Datos Sintéticos: Muchos conjuntos de datos de "razonamiento" son generados por LLMs, lo que significa que son artefactos externos de procesos cognitivos simulados, no cognición humana real.
• Agregación de Población: Los benchmarks existentes suelen mezclar trazas de razonamiento de múltiples individuos, colapsando los patrones cognitivos individuales en estadísticas de nivel poblacional, lo que rompe la consistencia de la cognición humana subyacente.
• Falta de Datos Reales: La cognición humana es implícita, heurística y difícil de externalizar paso a paso en entornos naturales.

El objetivo del trabajo es distinguir si los LLMs pueden internalizar y transferir patrones cognitivos individuales (como la filosofía de identificación de problemas o la motivación) o si solo están imitando estilos de escritura y métodos específicos (imitación conductual).

2. Metodología

Los autores proponen un nuevo marco de trabajo basado en la investigación longitudinal de científicos reales.

A. El Benchmark (Datos)

• Fuente de Datos: Se utilizaron las publicaciones científicas de 217 investigadores destacados en el campo de la IA (filtrados por índice h y rankings de AMiner).
• Representación Cognitiva: Las secciones de introducción de los artículos se tratan como una externalización del proceso cognitivo del autor (definición del problema, motivación, enfoque y solución).
• Estructura del Dataset:
  • Se creó un corpus personalizado para cada autor.
  • División Temporal y Temática: Se aplicó un protocolo de segmentación donde los temas de investigación históricos (entrenamiento) se utilizan para inferir patrones, y los temas más recientes y no vistos (prueba) se utilizan para evaluar la generalización.
  • Desafío: El modelo debe resolver un nuevo problema en un dominio desconocido manteniendo la coherencia cognitiva con el historial del autor, evitando la mera copia de estilos o métodos específicos de un solo tema.
• Annotación: Se empleó una doble vía:
  • Annotación Experta: 10 doctorandos expertos extrajeron manualmente elementos cognitivos (Fondo, Motivación, Enfoque, Solución) para garantizar alta fidelidad.
  • Annotación Automática: Uso de OCR y LLMs para escalar la recolección de datos.

B. Marco de Evaluación

Se propone una métrica de alineación cognitiva multinivel para evaluar la consistencia entre la cognición artificial generada y la humana real:

1. Cobertura Léxica: ROUGE y BertScore (nivel superficial).
2. Similitud Semántica: Evaluación mediante LLM-as-a-Judge.
3. Consistencia Cognitiva (Núcleo del estudio): Se definen cinco dimensiones basadas en teorías psicológicas (Witkin, Kirton):
   • Premisa Fundamental: ¿Inherita la perspectiva y el encuadre del problema del autor?
   • Preferencia Estratégica: ¿Mantiene las tendencias de toma de decisiones (ej. preferencia por marcos teóricos vs. aplicaciones prácticas)?
   • Mapeo Lógico: ¿Preserva los patrones de razonamiento (ej. formalización simbólica)?
   • Estilo de Palabras Clave: ¿Usa el vocabulario y las expresiones habituales del autor?
   • Evitación de Tabúes: ¿Evita métodos o suposiciones que el autor ha criticado históricamente?

C. Experimentos

Se evaluaron LLMs de última generación (GPT-5.1, Gemini-2.5, Qwen-3, Llama-3.1) bajo diferentes condiciones:

• BASE: Sin contexto histórico.
• OTHER: Historia de otros autores (control de interferencia).
• SELF: Historia del autor objetivo (entorno cruzado de dominios).
• SELFAKIN: Historia del mismo autor pero en el mismo dominio (fuga conductual).
• LEAKY: Acceso a la trayectoria cognitiva real (límite superior).
• Técnicas de Mejora: Prompting basado en teoría (rasgos de personalidad, guía cognitiva) y métodos de aprendizaje (fine-tuning individual vs. unificado).

3. Resultados Clave

Pregunta 1: ¿Pueden los LLMs lograr la simulación conductual?

Respuesta: Sí.

• Los LLMs modernos pueden imitar comportamientos observables y decisiones específicas de un individuo con gran eficacia.
• Al condicionar con el historial del autor (SELF), los modelos superan significativamente a las respuestas genéricas o a las de otros autores (OTHER) en métricas léxicas y semánticas.
• Sin embargo, la evaluación humana indica que el 89% de los casos son clasificados como imitación a nivel de comportamiento (copiar métodos históricos) en lugar de una verdadera simulación cognitiva.

Pregunta 2: ¿Pueden los LLMs lograr la internalización cognitiva?

Respuesta: No, aún no.

• Los modelos actuales fallan en abstraer y transferir procesos cognitivos latentes a través de dominios.
• La brecha entre SELF (dominio cruzado) y SELFAKIN (mismo dominio) es grande. Los modelos obtienen puntuaciones mucho más altas cuando tienen acceso a trabajos recientes del mismo tema, lo que sugiere que dependen de la similitud semántica superficial en lugar de invariancias cognitivas profundas.
• Incluso con acceso a la trayectoria real (LEAKY), el rendimiento mejora sustancialmente, lo que indica que los LLMs actuales no pueden inferir la lógica interna del autor sin una pista explícita.
• Los modelos muestran una "tendencia perezosa": evitan extraer la cognición meta-nivel y toman atajos imitando enfoques técnicos específicos o ignorando el contexto histórico.

Pregunta 3 y 4: ¿Qué tan efectivas son las técnicas de mejora?

• Prompting (Teoría/Personalidad): Proporciona mejoras moderadas en la alineación cognitiva, pero su efectividad está limitada por la capacidad cognitiva base del modelo. A menudo reconfigura la expresión del razonamiento sin inducir una abstracción cognitiva más profunda.
• Métodos Basados en Aprendizaje (Fine-tuning):
  • Individual: Capturan regularidades estadísticas superficiales en lugar de patrones cognitivos abstractos.
  • Unificado: Mejoran drásticamente las métricas léxicas (ROUGE) pero sufren un colapso sistemático en el rendimiento cognitivo. Esto sugiere que el entrenamiento masivo promedia los rasgos cognitivos individuales, borrando las firmas cognitivas únicas.

4. Contribuciones Principales

1. Revisión del problema de simulación humana: Un estudio sistemático a gran escala sobre la capacidad de los LLMs modernos para simular la cognición, más allá del comportamiento.
2. Nuevo Benchmark: Un conjunto de datos basado en la historia cognitiva auténtica de investigadores reales, combinado con desplazamientos de dominio explícitos para evaluar la generalización cognitiva controlada.
3. Análisis Exhaustivo: Evaluación de modelos SOTA y técnicas de mejora, demostrando que las técnicas actuales refuerzan el ajuste estadístico en lugar de la internalización cognitiva.

5. Significado y Conclusión

El estudio revela una limitación a nivel de paradigma en el desarrollo actual de LLMs.

• Limitación: Los LLMs dependen de la emergencia pasiva de capacidades a partir del entrenamiento a gran escala, lo cual es efectivo para la imitación conductual pero insuficiente para la internalización cognitiva robusta.
• Implicación: La "comprensión" humana que muestran los modelos es a menudo una completación de patrones sofisticada en lugar de una simulación cognitiva genuina.
• Futuro: Para avanzar hacia una modelación cognitiva real, se requiere un cambio de paradigma: pasar de la exposición pasiva de datos a objetivos de aprendizaje activo de alto nivel, como el meta-aprendizaje cognitivo, la auto-supervisión orientada a la abstracción o marcos de aprendizaje por refuerzo alineados explícitamente con los procesos de razonamiento humano, en lugar de solo con recompensas de resultados.

En resumen, aunque los LLMs pueden actuar como "actores" convincentes que imitan el estilo y los métodos de un científico, aún carecen de la capacidad de internalizar y replicar la estructura profunda de su pensamiento y toma de decisiones a través de nuevos contextos.