Characterizing Human Semantic Navigation in Concept Production as Trajectories in Embedding Space

Aquí presento un resumen técnico detallado del artículo "Characterizing Human Semantic Navigation in Concept Production as Trajectories in Embedding Space", publicado en la conferencia ICLR 2026.

1. Problema y Motivación

Las representaciones semánticas humanas se pueden entender como un espacio de conocimiento estructurado y dinámico a través del cual las personas navegan para recuperar y manipular significados. Los modelos cognitivos tradicionales (como los de fluidez verbal) han caracterizado este proceso mediante dos componentes principales: agrupación (explotación de una subcategoría) y cambio (exploración hacia una nueva subcategoría).

Sin embargo, estos enfoques presentan limitaciones:

• Dependen de pipelines de preprocesamiento lingüístico intensivos en mano de obra y heterogéneos, lo que dificulta la comparabilidad entre estudios.
• Ofrecen una visión binaria (agrupar/cambiar) que pierde la granularidad paso a paso del proceso de búsqueda.
• No capturan adecuadamente la naturaleza acumulativa y dependiente del contexto de la recuperación semántica, donde la memoria de trabajo y el control inhibitorio juegan un papel crucial.

El objetivo del trabajo es superar estas limitaciones proponiendo un marco computacional que modele la producción de conceptos como trayectorias en un espacio de incrustación (embedding space), permitiendo una cuantificación matemática y automatizada de la dinámica de navegación semántica.

2. Metodología

Los autores proponen un marco que transforma secuencias de palabras generadas por participantes en trayectorias geométricas dentro de espacios vectoriales de alta dimensión.

A. Construcción de Trayectorias Acumulativas

A diferencia de los enfoques anteriores que calculan incrustaciones de forma independiente para cada palabra, este método utiliza incrustaciones acumulativas:

• Para una secuencia de $N$ ítems, el punto $x_t$ en la trayectoria no representa solo el ítem $t$, sino que resume el contexto de los ítems $1$a$t$ (ej. si la secuencia es "gato", "perro", el vector $x_2$ codifica "gato perro").
• Esto captura las dependencias entre ítems sucesivos y modela la semántica dependiente de la memoria, generando una trayectoria única para cada par participante-concepto.

B. Métricas Geométricas y Dinámicas

Se extraen cinco métricas inspiradas en la física y la teoría de la información para caracterizar la navegación:

1. Distancia al Siguiente (Distance to Next): Mide el cambio momentáneo en el estado semántico (cosine distance entre embeddings consecutivos normalizados). Indica la magnitud de los "saltos semánticos".
2. Entropía: Calcula la variabilidad y predictibilidad de la secuencia de distancias. Una alta entropía sugiere una búsqueda menos predecible y más errática.
3. Velocidad: Definida como la diferencia vectorial entre embeddings consecutivos ($v_t = x_{t+1} - x_t$). Captura la dirección y magnitud del movimiento en el espacio semántico.
4. Aceleración: Definida como el cambio en la velocidad ($a_t = v_{t+1} - v_t$). Cuantifica la inestabilidad o los cambios bruscos en la dirección de la búsqueda.
5. Distancia al Centróide: Mide la dispersión global de la trayectoria respecto al centro de gravedad de todas las propiedades generadas por un sujeto para un concepto. Indica si la búsqueda es centrada (exploración estrecha) o dispersa.

C. Datos y Modelos

El marco se evaluó en cuatro conjuntos de datos multilingües y diversas tareas:

• Neurodegenerativo (Español): Pacientes con Parkinson (PD), demencia frontotemporal (bvFTD) y controles sanos.
• Fluidez de Insultos (Inglés): Generación de palabras en categorías (animales, letras, insultos).
• Listado de Propiedades (Italiano y Alemán): Generación de atributos para conceptos concretos en 10 categorías.

Se utilizaron múltiples modelos de incrustación (OpenAI text-embedding-3-large, Google text-embedding-004, Qwen3-Embedding-0.6B) y se compararon con una línea base no acumulativa (fastText).

3. Contribuciones Clave

• Marco de Trayectorias Semánticas: Propone una nueva forma de ver la recuperación semántica no como una lista de ítems, sino como un movimiento continuo y dinámico en un espacio geométrico.
• Automatización y Escalabilidad: Elimina la necesidad de anotación manual de "agrupación" y "cambio", ofreciendo un pipeline automatizado que preserva la estructura rica de los datos.
• Validación Multilingüe y Multimodelo: Demuestra que las dinámicas observadas son robustas a través de diferentes idiomas y arquitecturas de modelos (causales vs. bidireccionales), sugiriendo una geometría convergente en las representaciones aprendidas.
• Distinción entre Dinámica Local y Global: Identifica que las métricas locales (velocidad, aceleración) son consistentes entre modelos, mientras que las métricas globales (distancia al centróide) dependen de la geometría específica del espacio de incrustación.

4. Resultados Principales

• Diferenciación Clínica (Dataset Neurodegenerativo):
  • Los pacientes (PD y bvFTD) mostraron mayor distancia al siguiente, velocidad y aceleración en comparación con los controles sanos, indicando una trayectoria volátil con "saltos semánticos" erráticos y cambios bruscos de dirección.
  • Presentaron mayor entropía, reflejando una búsqueda menos predecible y más desorganizada.
  • Paradójicamente, mostraron menor distancia al centróide, lo que sugiere que, a pesar de su volatilidad local, su exploración semántica global está más restringida y cerca de un significado central (posiblemente debido a una pérdida de trazas sensoriomotoras que enriquecen el espacio semántico).
• Fluidez de Insultos:
  • Los insultos generaron los "saltos semánticos" más grandes (alta velocidad/aceleración) y la mayor entropía, indicando una exploración muy variable dentro de un espacio semántico compacto (baja distancia al centróide).
  • Esto contrasta con categorías taxonómicas como "animales", que mostraron una navegación más estructurada y predecible.
• Comparación de Modelos y Acumulación:
  • Las métricas de trayectoria (velocidad, aceleración, entropía) mostraron una alta correlación entre diferentes modelos de incrustación, validando que las dinámicas no son artefactos de un modelo específico.
  • Efecto de la Longitud de la Trayectoria: Las incrustaciones acumulativas funcionaron mejor en trayectorias largas (dataset neurodegenerativo, fluidez de insultos), capturando patrones semánticos más amplios. En trayectorias cortas (datasets italiano y alemán), las incrustaciones no acumulativas (estáticas) a veces ofrecieron mejores resultados, ya que la acumulación en secuencias muy breves no aporta suficiente contexto y puede diluir la señal.

5. Significado e Impacto

Este trabajo establece un puente fundamental entre la modelación cognitiva y las representaciones aprendidas por IA.

• Investigación Clínica: Ofrece biomarcadores cuantitativos automatizados para la estratificación de trastornos neurodegenerativos y psiquiátricos, basados en la dinámica de la búsqueda semántica en lugar de solo en el contenido léxico.
• Análisis Translingüístico: Proporciona una metodología estandarizada para comparar la organización semántica entre diferentes idiomas y culturas.
• Cognición Artificial: Abre la puerta a evaluar cómo los Agentes de IA (LLMs) navegan en sus propios espacios semánticos en comparación con los humanos, permitiendo pruebas de hipótesis sobre la dinámica de búsqueda en sistemas artificiales.

En resumen, el artículo demuestra que tratar la producción de lenguaje como una trayectoria física en un espacio vectorial permite extraer firmas dinámicas sutiles que revelan la salud cognitiva, la estructura semántica y la naturaleza de la exploración mental humana.