💬 NLP

From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs

Este estudio demuestra que la geometría semántica oculta de los modelos de lenguaje grandes puede recuperarse significativamente a partir de su comportamiento en tareas de elección forzada, las cuales predicen mejor las similitudes internas que las asociaciones libres o los baselines léxicos.

Autores originales: Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz Günther

Publicado 2026-02-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz Günther

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una caja negra mágica (un modelo de Inteligencia Artificial) que puede hablar y escribir como un humano. Pero, ¿sabes realmente cómo piensa esa caja por dentro? ¿Tiene un "cerebro" organizado de la misma manera que el nuestro?

Este artículo es como una investigación detectivesca para responder a esa pregunta. Los autores querían saber si podemos entender la geografía interna de la mente de una IA (sus "activaciones" ocultas) simplemente observando lo que dice (su "comportamiento").

Aquí tienes la explicación, traducida a un lenguaje sencillo con analogías:

1. El Problema: La Caja Negra vs. El Mapa Mental

Imagina que la IA es un arquitecto que vive en una ciudad invisible. Nosotros no podemos entrar a su casa para ver los planos (sus datos internos), pero sí podemos pedirle que nos dé direcciones.

Lo que hacen los científicos: En lugar de entrar a la casa, le hacen dos tipos de preguntas a la IA sobre palabras (como "perro", "gato", "ratón") para ver cómo las relaciona.
El objetivo: Comparar el mapa de relaciones que la IA dibuja con sus respuestas, con el mapa real que tiene guardado en su "cerebro" digital.

2. Los Dos Juegos de Prueba

Para ver cómo piensa la IA, usaron dos métodos diferentes, como si fueran dos juegos distintos:

Juego A: La Asociación Libre (Free Association)
- La analogía: Es como un juego de "asociación de palabras" en una fiesta. Les dices "Perro" y la IA grita todo lo que se le ocurra: "gato", "correr", "hueso", "peludo", "perrito".
- El resultado: Es caótico y creativo, pero un poco desordenado. Es como intentar dibujar un mapa de la ciudad basándose en los gritos aleatorios de la gente en la calle.
Juego B: La Elección Forzada (Forced Choice)
- La analogía: Es como un examen de opción múltiple muy estricto. Les dices "Perro" y les das una lista de 16 opciones. Deben elegir exactamente dos que tengan más sentido.
- El resultado: Es más ordenado. Es como pedirle a la gente que señale en un mapa las dos calles más cercanas a su casa.

3. La Gran Descubierta: ¿Qué funciona mejor?

Aquí viene la sorpresa del estudio. Los investigadores compararon los mapas que hicieron con los juegos anteriores con el "mapa real" que tenían en el cerebro de la IA.

El hallazgo: El juego de Elección Forzada fue un éxito rotundo. El mapa que la IA dibujó al tener que elegir entre opciones se parecía muchísimo a su estructura interna real. Fue como si la IA hubiera dicho: "Ah, si me obligas a elegir entre estas opciones, te muestro cómo organizo mis ideas realmente".
El fracaso: La Asociación Libre fue mucho menos precisa. Fue como intentar adivinar la estructura de la ciudad basándose en los gritos aleatorios; había demasiada "ruido" y no se parecía tanto a la realidad interna.

¿Por qué?
Imagina que la Asociación Libre es como lanzar dardos a un tablero a ciegas; a veces aciertas, pero es difícil ver el patrón. La Elección Forzada es como poner los dardos en un tablero con líneas guía; te obliga a la IA a concentrarse y revelar sus prioridades reales.

4. ¿Qué significa esto para nosotros?

Este estudio nos enseña tres cosas importantes:

Podemos "leer la mente" de la IA sin entrar en ella: Si solo tenemos acceso a lo que la IA dice (su comportamiento), podemos inferir bastante bien cómo está organizada su mente interna, siempre y cuando le hagamos las preguntas correctas (como la Elección Forzada).
No todas las preguntas sirven: Pedirle a una IA que "hable libremente" no siempre nos dice cómo piensa. A veces, ponerle límites y opciones (como en un examen) revela más sobre su lógica interna.
Todos piensan parecido: Descubrieron que, aunque las IAs son diferentes, todas comparten una "geografía mental" muy similar. Es como si todas tuvieran el mismo plano de la ciudad, aunque vivan en casas diferentes.

En resumen

Este papel nos dice que la forma en que preguntamos importa. Si queremos entender cómo funciona una Inteligencia Artificial, no basta con dejarla hablar libremente. Si le damos un marco estructurado (como elegir entre opciones), podemos ver con mucha claridad cómo organiza sus conocimientos, casi como si pudiéramos ver sus "neuronas" digitales funcionando.

Es como descubrir que, para entender cómo piensa un amigo, a veces es mejor hacerle un test de opción múltiple que preguntarle "¿qué piensas?".

Aquí presento un resumen técnico detallado del artículo "From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs" (De las Asociaciones a las Activaciones: Comparando la Geometría Semántica Conductual y de Estados Ocultos en LLMs), traducido y adaptado al español.

Resumen Técnico: De las Asociaciones a las Activaciones

1. El Problema

En la ciencia cognitiva, el conocimiento semántico se considera una estructura latente que no se puede observar directamente, sino que debe inferirse a través del comportamiento (por ejemplo, asociaciones de palabras). Con el advenimiento de los Grandes Modelos de Lenguaje (LLMs), surge una pregunta fundamental: ¿Hasta qué punto la geometría semántica interna (los estados ocultos) de un LLM puede recuperarse o inferirse únicamente a partir de su comportamiento observable?

A diferencia de los humanos, en los LLMs tanto el comportamiento (salidas) como las representaciones internas (activaciones de capas) son observables. Sin embargo, no está claro si las tareas conductuales estándar (como la asociación libre o la elección forzada) capturan fielmente la organización semántica interna del modelo, o si solo reflejan ruido superficial. El objetivo es determinar si las mediciones conductuales pueden servir como instrumentos de medición precisos para "ver" dentro de la caja negra de un LLM.

2. Metodología

Los autores diseñaron un marco experimental riguroso que compara la geometría semántica derivada del comportamiento con la geometría de los estados ocultos en capas.

Modelos y Datos:
- Se evaluaron 8 modelos transformadores ajustados por instrucciones (incluyendo Falcon3, Gemma-2, Llama-3.1, Mistral, Phi-4, Qwen2.5 y rnj-1).
- Se utilizó un vocabulario compartido de 5,000 sustantivos de alta frecuencia.
- Se recolectaron más de 17.5 millones de ensayos experimentales.
Paradigmas Conductuales:
Se utilizaron dos paradigmas psicolingüísticos clásicos para construir matrices de similitud basadas en el comportamiento:
1. Elección Forzada (Forced Choice - FC): Dada una palabra clave y un conjunto de 16 candidatos, el modelo debe seleccionar exactamente 2 palabras más relacionadas. Esto genera una matriz de respuestas densa y controlada.
2. Asociación Libre (Free Association - FA): Dada una palabra clave, el modelo genera 5 palabras asociadas. Esto produce una matriz más dispersa y con colas pesadas.
Extracción de Estados Ocultos:
Para cada palabra, se extrajeron representaciones de las capas ocultas del transformador bajo cuatro estrategias de contexto:
- Promedio (Averaged): Promedio de 50 oraciones naturales del corpus C4.
- Significado (Meaning): Prompt fijo de definición ("¿Cuál es el significado de la palabra...?").
- Tarea (FC/FA): El prompt utilizado en los experimentos conductuales correspondientes.
Análisis de Similitud Representacional (RSA):
Se utilizó RSA para correlacionar las matrices de similitud de pares de palabras derivadas del comportamiento ( $S_{beh}$ ) con las matrices de similitud de los estados ocultos en cada capa ( $S_{hid}^{\ell}$ ).
- Se compararon contra baselines léxicos (FastText, BERT) y un consenso entre modelos (cross-model consensus).
- Se realizó un análisis de superposición de vecinos más cercanos (NN@k) para evaluar la consistencia local.
- Se empleó regresión Ridge con palabras de prueba (held-out) para predecir la similitud de estados ocultos no vistos basándose únicamente en similitudes conductuales y léxicas.

3. Contribuciones Clave

Alineación Comportamiento-Activación: Se proporciona una caracterización detallada de cuándo y cómo la estructura de similitud interna coincide con la semántica conductual, demostrando que la elección forzada alinea mucho mejor que la asociación libre.
Predictibilidad desde el Comportamiento: Se demuestra que la similitud conductual (especialmente la FC) puede predecir similitudes de estados ocultos en palabras no vistas, superando a baselines léxicos y al consenso entre modelos.
Recurso de Datos: Se liberó un conjunto de datos masivo y reproducible con más de 17.5 millones de ensayos de asociación de LLMs en Hugging Face, junto con todo el código de procesamiento.

4. Resultados Principales

Superioridad de la Elección Forzada (FC): El comportamiento de elección forzada se alinea significativamente mejor con la geometría de los estados ocultos que la asociación libre.
- Correlación RSA media (FC): ~0.46 (con estrategias de extracción alineadas a la tarea).
- Correlación RSA media (FA): ~0.19.
- La FC concentra las observaciones en un espacio compartido, reduciendo el ruido, mientras que la FA dispersa la masa de probabilidad, resultando en matrices más dispersas y con menor relación señal-ruido.
Efecto de la Estrategia de Extracción: La alineación varía según la capa del transformador y el contexto de extracción.
- Los prompts de "Significado" y "Tarea" muestran los picos de alineación en capas intermedias tempranas (capas 10-12).
- El enfoque de "Promedio" (contextos naturales) desplaza el pico de alineación a capas más profundas.
Predicción de Estados Ocultos: En la regresión Ridge con palabras de prueba, añadir la similitud conductual (FC) a los baselines léxicos y de consenso mejoró el $R^2$ en un +0.022 en promedio. Esto indica que las mediciones conductuales retienen información recuperable sobre la organización semántica interna, incluso sin acceso a los logits.
Consenso entre Modelos: La geometría compartida entre diferentes modelos (consenso) es un predictor muy fuerte de la estructura interna de un modelo objetivo, sugiriendo la existencia de un subespacio semántico "universal" o "platónico".

5. Significado e Implicaciones

Validación de la Inferencia Conductual: El estudio valida empíricamente una premisa central de la ciencia cognitiva: el comportamiento estructurado está restringido por estados internos y puede revelar parcialmente la organización semántica subyacente.
Interpretabilidad de LLMs: Demuestra que es posible inferir aspectos de la geometría semántica interna de un modelo (caja negra) utilizando únicamente sus salidas discretas, sin necesidad de acceso a los pesos o logits del modelo.
Diseño de Experimentos: Sugiere que para estudiar la semántica interna de los LLMs, las tareas de elección forzada son instrumentos de medición superiores a las tareas de producción abierta (asociación libre), ya que proporcionan una señal más limpia y recuperable.
Limitaciones: Los resultados se limitan a sustantivos en inglés de alta frecuencia y son correlacionales (no causales). Sin embargo, establecen una base sólida para futuros estudios sobre la relación entre comportamiento y representaciones internas en IA.

En conclusión, el trabajo demuestra que la "geometría oculta" de los LLMs es recuperable a través de la conducta, pero la fidelidad de esta recuperación depende críticamente del diseño del paradigma experimental, siendo la elección forzada la metodología más efectiva para mapear la semántica interna.