Comparing Semantic Navigation in Humans and Large Language Models using Natural Language Processing

Resumen Técnico: Comparación de la Navegación Semántica en Humanos y Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
La recuperación de la memoria semántica se conceptualiza como un proceso de navegación a través del espacio conceptual. Si bien investigaciones previas han utilizado la Tarea de Fluidez Verbal (VFT, por sus siglas en inglés) para modelar la búsqueda semántica humana —enmarcándola a menudo como un equilibrio entre la explotación local (agrupamiento o clustering) y la exploración global (cambio o switching)—, los avances recientes en los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen una nueva vía de comparación. Aunque los LLMs generan lenguaje coherente y sus representaciones internas muestran cierta alineación con la actividad cerebral humana, sigue sin estar claro si su dinámica de búsqueda subyacente refleja los procesos cognitivos humanos. Trabajos previos indican que las redes semánticas derivadas de los LLMs suelen exhibir un agrupamiento local más débil y una integración global más pobre que las redes humanas. Sin embargo, existe una brecha en la cuantificación de cómo estos sistemas progresan a través del contenido semántico de manera paso a paso, particularmente utilizando métricas que den cuenta del contexto acumulativo de la historia de recuperación en lugar de tratar las palabras como puntos estáticos independientes.

Metodología
El estudio empleó un diseño comparativo utilizando datos conductuales de 82 participantes humanos y los resultados de tres LLMs de última generación: GPT-4o, Gemini-2.5-Pro y Claude-Sonnet-4.5.

• Tarea: Todos los agentes realizaron una tarea de fluidez verbal semántica para la categoría "animales". Los datos humanos se obtuvieron de la base de datos SNAFU (límite de 3 minutos). Los LLMs fueron instados mediante una inducción de juego de roles (adoptando personas ocupacionales específicas) para aumentar la diversidad de la producción. Para asegurar la comparabilidad sin imponer límites de tiempo artificiales a los modelos, las longitudes de salida de los LLMs se emparejaron con la distribución empírica de los recuentos de respuestas humanas.
• Manipulación Experimental: Los LLMs fueron probados a través de ocho configuraciones de temperatura (de 0.0 a 1.0) para modular la estocasticidad del muestreo, variando desde salidas deterministas hasta altamente diversas.
• Métricas de PLN: El estudio aplicó un marco basado en trayectorias e inspirado en la física (Toro-Hernández et al., 2026) utilizando embeddings contextuales acumulativos (vía text-embedding-3-large de OpenAI, validado con otros sistemas). Se calcularon tres métricas complementarias:
  1. Distancia al Siguiente (Distance to Next): La distancia de coseno entre los estados semánticos acumulativos sucesivos, midiendo la magnitud de los "saltos semánticos" entre elementos consecutivos.
  2. Entropía: La entropía de Shannon de la distribución del tamaño del paso, cuantificando la predictibilidad y la variabilidad de la trayectoria de búsqueda.
  3. Distancia al Centroide (Distance to Centroid): La distancia de coseno promedio de los embeddings no acumulativos respecto al centroide de los elementos únicos generados, indexando la dispersión global o el agrupamiento.

Resultados Clave

• Humano vs. Línea Base de LLM: Los humanos exhibieron una entropía significativamente mayor (tamaños de paso menos predecibles), saltos semánticos más grandes (Distancia al Siguiente) y una dispersión global más amplia (Distancia al Centroide) en comparación con todos los LLMs. Esto indica que la búsqueda humana es más variable y exploratoria, mientras que los LLMs demuestran una navegación más rígida, localmente agrupada y conservadora.
• Diferencias entre Modelos: Entre los LLMs, Claude-Sonnet-4.5 mostró los tamaños de paso más pequeños y el agrupamiento local más estrecho. GPT-4o exhibió el agrupamiento global más fuerte (menor Distancia al Centroide).
• Efectos de la Temperatura: El ajuste de la temperatura produjo solo una alineación parcial con los perfiles humanos.
  • Entropía y Distancia al Siguiente: La alineación fue específica de cada modelo. Claude se aproximó a los niveles humanos en temperaturas de intermedio-altas (0.75–0.90), mientras que Gemini y GPT-4o mostraron convergencia en los extremos (0.0, 1.0) y en puntos intermedios específicos.
  • Distancia al Centroide: Esta métrica fue la más difícil de igualar. Solo bandas estrechas de temperatura para Claude y Gemini fueron estadísticamente indistinguibles de los humanos. GPT-4o permaneció persistentemente no similar a los humanos en todas las configuraciones, mostrando una dispersión global consistentemente reducida.
• Perfil Integrado: Ninguna configuración de temperatura única permitió que ningún LLM reprodujera el perfil humano completo en las tres dimensiones simultáneamente.

Significancia y Reivindicaciones
El artículo argumenta que la búsqueda semántica humana implementa un equilibrio distintivo entre la explotación local y la exploración global que los arquitecturas actuales de LLM no logran reproducir, incluso con el ajuste de parámetros. Los hallazgos desafían la noción de los LLMs como "participantes de silicio" directos en la investigación cognitiva. Los autores sugieren que las desviaciones sistemáticas observadas —específicamente la incapacidad de igualar simultáneamente la impredecibilidad, la magnitud del paso y la dispersión global— probablemente se derivan de los objetivos de entrenamiento de los LLMs modernos (por ejemplo, el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana o RLHF), que optimizan el rendimiento tipo asistente en lugar de una replicación fiel de los procesos cognitivos humanos.

El estudio concluye que, si bien los LLMs pueden imitar el comportamiento humano en métricas aisladas bajo condiciones específicas, carecen de la firma conductual integrada de la navegación semántica humana. Por consiguiente, los investigadores deben actuar con cautela al utilizar los LLMs como sustitutos cognitivos sin una validación extensa a través de múltiples dimensiones teóricamente motivadas, ya que calibrar para una métrica puede distorsionar otras. Los resultados resaltan la necesidad de trabajos futuros para explorar si objetivos de entrenamiento alternativos o modificaciones arquitectónicas podrían capturar mejor los principios computacionales que subyacen a la búsqueda de la memoria semántica humana.