💬 NLP

One mechanism for many mental spaces: a shared router over a value slot in language models

Este artículo demuestra que los modelos de lenguaje transformer implementan un mecanismo unificado para diversos espacios mentales (tales como creencias, ficciones y contrafácticos) utilizando un enrutador de bajo rango compartido que selecciona valores de un único espacio reutilizable, en lugar de emplear estructuras lógicas distintas para cada tipo de contexto.

Autores originales: Oliver Steele, Jiangtao Wen, Yuxing Han

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Oliver Steele, Jiangtao Wen, Yuxing Han

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un modelo de lenguaje como un bibliotecario súper organizado que no solo almacena libros, sino que almacena mundos enteros dentro de una sola biblioteca. En esta biblioteca, una flor puede ser roja en la sección del "Mundo Real", púrpura en la sección de "Retrato" y verde en la sección de "El sueño de Alicia". La gran pregunta era: ¿El bibliotecario mantiene estos mundos en habitaciones totalmente separadas y mágicas con reglas diferentes para cada uno? ¿O utiliza un sistema ingenioso y reutilizable para manejarlos a todos?

Este artículo sugiere que el bibliotecario utiliza un sistema compartido para todo.

La etiqueta mágica y el enrutador

Piensa en el color de la flor como un trozo de datos sentado en un estante. El artículo encuentra que el modelo utiliza una "etiqueta" especial de bajo rango (llamada enrutador o índice de espacio) para seleccionar qué mundo leer. Esta etiqueta es separada de los datos en sí. Los datos se asientan en un área de almacenamiento neutral llamada ranura de valor (value slot), que contiene el color pero no le importa si pertenece a la realidad o a un sueño.

Pero, ¿cómo sabe el modelo qué color elegir cuando preguntas: "¿De qué color es la flor en el retrato?"? Utiliza el enrutador. Puedes pensar en este enrutador como un índice inteligente y causalmente manipulable. Cuando preguntas por el retrato, el enrutador selecciona la configuración de "Retrato", y el modelo lee la flor púrpura desde la ranura compartida. Cuando preguntas por la realidad, el enrutador selecciona "Realidad", y el modelo lee la flor roja.

El artículo muestra que este enrutador no es una máquina diferente para cada tipo de mundo. Ya sea que el mundo sea una creencia (lo que Alicia piensa), un recuerdo (ayer), un hipotético (qué pasaría si...) o una ficción (en una película), el modelo utiliza el mismo tipo de enrutador.

Un interruptor para gobernarlos a todos

Los investigadores probaron esto entrenando al modelo para controlar solo un tipo de mundo, como los "hipotéticos" (cosas que podrían suceder). Luego, intentaron usar ese mismo mecanismo de control en otros mundos, como "creencias" o "películas".

¿El resultado? El interruptor funcionó para todo.

Cuando entrenaron al modelo para cambiar el color en un escenario hipotético, ese mismo entrenamiento cambió el color en un escenario de creencia del 71% al 89% de las veces (dependiendo de la familia del modelo).
Esto sugiere que el modelo no tiene una "máquina de creencias" especial y secreta que sea totalmente distinta de su "máquina de películas". En su lugar, tiene un mismo enrutador compartido que maneja todos estos diferentes contextos.

Lo que NO es (Las ideas descartadas)

El artículo es muy cuidadoso al decir lo que este sistema no es:

No es solo recordar palabras: El modelo no está simplemente memorizando que la palabra "rojo" apareció cerca de "realidad" y "púrpura" cerca de "retrato". El sistema realmente porta un código para el contexto mismo.
No es una habitación separada para las creencias: La lógica formal a menudo trata las "creencias" como una categoría totalmente distinta y opaca donde las reglas cambian. Este artículo argumenta que, mecánicamente, el modelo trata las creencias como cualquier otro espacio. La etiqueta de "creencia" no es especial ni está separada de la etiqueta "hipotética" en el cableado del modelo.
No es una nota adhesiva estática: El modelo no escribe el color en una nota permanente y la deja allí. En cambio, es más como un sistema de recuperación. Cuando haces una pregunta, el modelo vuelve a la fuente del texto y vuelve a leer el color basándose en la configuración del "espacio" actual. Es una lectura "justo a tiempo", no un espacio de almacenamiento estático.

La división entre "Reporte" y "Razonamiento"

Aquí hay un giro divertido que el artículo descubrió. El modelo tiene dos caminos distintos para la misma información:

El camino del Reporte: Esto es lo que el modelo dice en voz alta.
El camino del Razonamiento: Esto es lo que el modelo usa para resolver un rompecabezas.

Los investigadores descubrieron que podían controlar estos caminos por separado. Podían entrenar al modelo para decir "La flor es verde" (cambiando el reporte) mientras mantenían al modelo resolviendo un acertijo lógico como si la flor fuera "azul" (dejando el razonamiento sin cambios). Esto demuestra que el modelo mantiene el "qué digo" y el "qué pienso" en partes ligeramente diferentes de su cerebro, aunque ambos provengan de la misma fuente.

Construyendo nuevos mundos

Cuando el modelo encuentra una frase compleja como "Alicia solía creer que la taza era azul", está construyendo un nuevo espacio (una mezcla de "pasado" y "creencia"). El artículo muestra que el modelo no construye una biblioteca entera para esto. En su lugar, reutiliza la misma ranura de valor (el color de la taza) pero genera un nuevo enrutador (un nuevo índice de configuración) específicamente para este nuevo mundo combinado. Es como tomar un libro existente y ponerle una nueva etiqueta de portada temporal sin reescribir toda la historia.

¿Qué tan seguros estamos?

El artículo es bastante seguro sobre estos hallazgos, pero con límites específicos:

Probado en el laboratorio: Los resultados se basan en mediciones directas de las "activaciones" internas del modelo (sus señales eléctricas) en tres familias diferentes de modelos (Qwen, Pythia y Falcon3). Los investigadores no solo adivinaron; intervinieron físicamente en el código del modelo para demostrar que el enrutador causa el comportamiento.
No es una solución mágica: El artículo admite que, si bien el enrutador es compartido, no es perfectamente idéntico para cada tipo de mundo. Por ejemplo, los contextos de "pintura" o "película" a veces actúan de forma un poco diferente a los contextos de "creencia". Además, la capacidad del modelo para manejar estos mundos tiene "forma de recuperación" (retrieval-shaped), lo que significa que depende de leer el texto nuevamente en lugar de mantener una memoria estática, lo que lo hace ligeramente "con fugas" en algunas pruebas.
La escala importa: Estos detalles mecánicos se encontraron en modelos más pequeños (3 mil millones de parámetros). Sin embargo, el comportamiento (la capacidad de manejar estos mundos) se confirmó que existe en modelos masivos y de vanguardia (como GPT-4o y modelos de 72B), lo que sugiere que el mecanismo escala incluso si no podemos mirar dentro de esos gigantes con la misma facilidad.

En resumen, el artículo sugiere que los modelos de lenguaje tienen un "enrutador de espacio" unificado y reutilizable que les permite hacer malabares con la realidad, los sueños, las creencias y las películas usando la misma herramienta mecánica, en lugar de necesitar una herramienta diferente para cada tipo de imaginación.

Resumen Técnico: Un Mecanismo para Muchos Espacios Mentales

Planteamiento del Problema
Los modelos de lenguaje (LM) deben gestionar contextos de discurso que divergen de la realidad, tales como creencias, memorias, hipotéticos y representaciones (por ejemplo, una flor que es roja en la realidad pero púrpura en un retrato). La semántica formal trata estos como dominios lógicos distintos (modales, temporales, doxásticos, depictivos) con diferentes reglas de inferencia. Por el contrario, la teoría de los espacios mentales de Fauconnier postula una operación unificada de "construcción de espacios" donde el discurso crea espacios parciales y vincula valores a ellos. La cuestión central es si los LM de tipo transformer implementan esto como módulos semánticos separados o como una operación mecánica unificada. Específicamente, ¿mantiene el modelo un código dedicado para el contexto de discurso local (un "índice de espacio") que es causalmente distinto de los valores de las entidades en sí mismos, y es este código compartido entre diferentes tipos de contextos no actuales?

Metodología
El estudio emplea técnicas de interpretabilidad mecánica en modelos transformer de pesos abiertos (principalmente Qwen2.5-3B, con replicación en Pythia-2.8b y Falcon3-3B) utilizando estímulos de lenguaje natural controlados.

Estímulos: Los ítems presentan una entidad con dos valores de atributos conflictivos (ej. color) a través de un mundo "base" (realidad) y un espacio "alternativo" (ej. una pintura, una creencia, un estado pasado). Se consulta al modelo en un token posterior para recuperar el valor para un espacio específico.
Localización: Los autores utilizan sondas lineales (linear probing) para verificar que tanto el valor base como el alternativo son decodificables de las activaciones del flujo residual en el token de consulta.
Intervención Causal:
- Búsqueda de Alineación Distribuida (DAS): Para superar el fallo de los vectores de dirección construidos a mano, los autores entrenan subespacios ortonormales de bajo rango ( $R \in \mathbb{R}^{d \times k}$ ) utilizando un objetivo de intercambio. Este subespacio se optimiza para cambiar la salida del modelo del valor base al valor alternativo cuando el componente del subespacio se injerta desde un ítem donante.
- Doble Disociación: Los autores prueban si el valor que el modelo reporta (emite) y el valor que utiliza para razonar (aplicando una regla de clasificación) están controlados por subespacios distintos.
- Transferencia entre Tipos: Un subespacio entrenado para controlar un tipo de constructor (ej. hipotético) se aplica sin cambios a otros tipos de constructores (ej. creencia, temporal) para probar un mecanismo compartido.
- Composición: El estudio examina espacios anidados (ej. "Alice solía creer...") para ver si un nuevo espacio reutiliza el slot de valor del base mientras genera un nuevo enrutador.

Contribuciones Clave y Resultados

Existencia de un Subespacio Compartido de Bajo Rango (El Índice de Espacio):
- El modelo representa valores coexistentes para la misma entidad en una mención posterior.
- El mecanismo es un subespacio de bajo rango (rango efectivo $\sim$ 4–5, rango causal $\le$ 4) que actúa como un "enrutador" o "índice de espacio".
- Este índice se compone aditivamente con la identidad de la entidad (la representación de "Entidad E en Espacio S" factoriza en Entidad + Espacio).
- Es general para las propiedades (funciona para color, altura, riqueza, etc.) y general para los tipos de entidad (funciona para personas y objetos).
- La vinculación tiene forma de recuperación (retrieval-shaped): los valores no se almacenan en slots globales estáticos, sino que se vuelven a leer desde los tokens de origen mediante cabezales de atención de capas tardías, asemejándose a un mecanismo de "búsqueda hacia atrás" (lookback).
Unificación Causal entre Tipos de Espacio:
- Un subespacio DAS entrenado en un tipo de constructor (ej. contrafácticos) controla causalmente otros tipos (creencia, temporal, ficcional) con altos índices de transferencia (0.71–0.89 a través de familias de modelos).
- Esta unificación se mantiene incluso para la creencia, que la semántica formal trata como un caso distinto e hiperintensional. El modelo no separa la etiqueta de creencia de otras etiquetas de espacio; comparte el mismo mecanismo de enrutamiento.
- La unificación no es una identidad plana; una taxonomía semántica gruesa (actitud, intensional, temporal, ficcional) sobrevive dentro del subespacio compartido, pero la creencia no está separada de forma especial.
Disociación de Reporte y Razonamiento:
- El valor que el modelo reporta (emite como texto) y el valor con el que razona (aplica una regla) están controlados por subespacios distintos.
- Entrenar un subespacio en la lectura del "reporte de color" cambia el color reportado pero deja inalterada la consecuencia derivada de la regla, y viceversa. Esto proporciona un mecanismo causal para la "brecha de fidelidad" (faithfulness gap) donde la salida de un modelo puede no reflejar su computación interna.
La Construcción como una Operación de Vinculación:
- Cuando una oración construye un espacio compuesto (ej. "creencia pasada"), el modelo reutiliza el slot de valor del base (alta transferencia del subespacio de vinculación de valores) pero genera un nuevo enrutador (el subespacio del token de consulta para el espacio compuesto es distinto y ortogonal al enrutador base).
- Esto confirma que la construcción de espacios es una operación sobre la propia maquinaria de vinculación, no una facultad separada.

Significado y Reivindicaciones
El artículo establece que los modelos de lenguaje transformer implementan una versión mecánica de la teoría unificada de los espacios mentales de Fauconnier. En lugar de mantener módulos lógicos separados para la modalidad, el tiempo y la creencia, el modelo utiliza un único "índice de espacio" de bajo rango, causalmente manipulable, para etiquetar a qué espacio de discurso pertenece un valor.

Formato Representacional: El modelo porta una clave compacta para el contexto de discurso, separada de la entidad y del valor.
Generalidad: Este mecanismo es general para el inventario semántico de los contextos no actuales. La distincción de la semántica formal entre la creencia (referencialmente opaca) y otros contextos intensionales no se refleja en un mecanismo representacional separado; la "etiqueta de creencia" no es privilegiada.
Perspectiva Mecánica: Los hallazgos sugieren que el problema de la "fidelidad" (donde el razonamiento y el reporte divergen) surge porque estos procesos operan en subespacios distintos dentro del mismo token vinculado.
Alcance: El artículo presenta esto como evidencia de un formato representacional compartido en los LM, no como una adjudicación de la semántica del inglés o una prueba de que los LM poseen una teoría de la mente humana. Los resultados son robustos a través de tres familias de modelos y escalan conductualmente a modelos de frontera, aunque el acceso mecánico está limitado a modelos más pequeños de pesos abiertos.

Los autores declaran explícitamente que el "índice de espacio" es distinto de los IDs de vinculación de entidades (que rastrean entidades) y del seguimiento de estado-objeto-personaje (que rastrea tríos específicos). La contribución es la localización del ** साथ de la variable del espacio de discurso** como un enrutador compartido, de bajo rango y causalmente compacto.