🤖 machine learning

Context Is King: How In-Context Specification Shapes the Geometry of Concepts

Este artículo demuestra que la estructura geométrica de los conceptos en los modelos de lenguaje de gran tamaño está determinada dinámicamente por las especificaciones en contexto en lugar de por prioris preentrenados fijos, con la capacidad de anular limpiamente estos prioris y de utilizar causalmente la geometría impuesta, lo cual emerge únicamente en los modelos más grandes.

Autores originales: Elad David, Max Fomin

Publicado 2026-07-28

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Elad David, Max Fomin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando comprender cómo piensa un robot gigante y superinteligente. Durante mucho tiempo, los científicos creyeron que, dentro del cerebro de este robot, había una biblioteca de hechos gigante e inalterable. Si le preguntabas por los días de la semana, el robot sacaba un círculo perfecto y prefabricado de sus estanterías donde el lunes siempre estaba al lado del martes. Si preguntabas por los meses, sacaba un círculo diferente. Esta idea sugería que el cerebro del robot era como un mapa estático, fijo para siempre una vez construido, esperando ser consultado cada vez que se hacía una pregunta.

Pero, ¿y si esa biblioteca no es tan rígida como pensábamos? ¿Qué pasaría si el robot no solo consulta un mapa, sino que en realidad dibuja uno nuevo cada vez que hablas con él, basándose exactamente en lo que acabas de decir? Esta es la gran pregunta que los científicos se plantean sobre los "Modelos de Lenguaje de Gran Escala" (el nombre elegante para estos gigantescos robots de IA). Quieren saber: ¿es la comprensión del mundo del robot un hecho permanente y almacenado, o es una forma flexible que cambia según la conversación? Comprender esto nos ayuda a determinar si estos robots realmente "saben" cosas o si son simplemente increíblemente buenos siguiendo las reglas del momento.

El gran descubrimiento del artículo: La regla "El contexto es el Rey"

Un equipo de investigadores de Zenity decidió poner a prueba esta idea con un experimento divertido y ligeramente travieso. Hicieron una pregunta simple: si le dices a un robot una regla completamente inventada sobre cómo funciona el mundo, ¿te creerá o se quedará con lo que aprendió antes?

Tomaron modelos como Gemma y Qwen (que son como versiones muy avanzadas de los robots mencionados anteriormente) y les dieron un calendario "redefinido". Imagina decirle al robot: "Oye, olvida todo lo que sabes. En este nuevo mundo, el único orden válido de los días es miércoles, luego lunes, luego viernes". No le dieron al robot ningún ejemplo para aprender; simplemente declararon la regla como un hecho.

El resultado impactante: El robot no solo fingió seguir la regla; de hecho, reconfiguró su cerebro para ajustarse a ella.

Cuando los investigadores miraron dentro de la "mente" del robot (específicamente, en los patrones matemáticos que crea justo antes de responder), descubrieron algo asombroso. El robot no solo dijo las palabras "miércoles, lunes, viernes". De hecho, organizó los conceptos de esos días en una forma completamente nueva en su cerebro que coincidía con la nueva regla.

La visión antigua: El robot tiene un círculo fijo de días.
La nueva visión: El robot dibuja una forma nueva sobre la marcha. Si le dices que los días están en un círculo, forman un círculo. Si le dices que están en una línea recta, forman una línea. Si le dices que son un árbol genealógico, se convierten en un árbol.

El artículo llama a esto "El contexto es el Rey". Lo más importante no es lo que el robot aprendió en el pasado (su "conocimiento previo preentrenado"); es lo que tú le dices en este preciso momento (la "especificación en contexto"). El cerebro del robot es tan flexible que, cuando le das una regla nueva y fuerte, la nueva forma que construye domina la estructura antigua almacenada. El mapa antiguo no desaparece para siempre; sigue siendo real y está almacenado en los pesos, pero en el momento en que el contexto lo contradice, el robot cambia para usar el nuevo mapa definido por el contexto.

Cómo lo demostraron (El "truco de magia")

Para asegurarse de que el robot no estaba simplemente fingiendo, los investigadores realizaron un experimento de "parcheo causal". Esto es como un truco de magia donde intercambias el cerebro de un personaje por el de otro para ver qué sucede.

Le dijeron al robot el nuevo y extraño orden de los días.
Tomaron la "señal cerebral" del día "lunes" y la intercambiaron con la señal del "miércoles".
Le preguntaron al robot: "¿Qué viene después del lunes?".

Si el robot solo estuviera consultando una lista almacenada, se habría confundido o habría dado la respuesta incorrecta. Pero debido a que el robot había construido un nuevo mapa basado en tu regla, respondió basándose en el nuevo mapa. Dijo que el día después del "lunes" era lo que la nueva regla decía que venía después del "lunes", a pesar de que el "lunes" ahora estaba actuando como "miércoles". Esto demostró que el robot realmente estaba usando la nueva forma que acababa de construir, no solo recitando hechos antiguos.

El inconveniente: Depende del tamaño del robot

Aquí está el giro: no todos los robots son igualmente buenos en esto. Los investigadores descubrieron que esta capacidad de redibujar completamente su mapa del mundo depende en gran medida del tamaño del robot.

Los robots grandes (como Gemma-31B y Qwen-27B): Estos son los superinteligentes. Pueden escuchar tu nueva regla, anular el mapa antiguo y dibujar una forma nueva, limpia y perfecta. En instrucciones directas y simples, siguen el nuevo orden con una precisión casi perfecta (alcanzando un 100% de éxito en las pruebas). Sin embargo, incluso para estos modelos grandes, el rendimiento puede disminuir si la tarea se vuelve más difícil (como dar muchos pasos en el nuevo orden) o si se les permite pensar en voz alta de forma "libre" sin instrucciones estrictas.
Los robots pequeños (como Gemma-2B o Qwen-4B): Estos son los modelos más jóvenes y pequeños. Pueden escuchar la regla e intentar dibujar una nueva forma, pero es desordenado. Es como si intentaran dibujar un círculo perfecto con una mano temblorosa. Pueden captar la idea general, pero no pueden dejar ir completamente sus viejos recuerdos. A veces, incluso se confunden y vuelven a la antigua forma de pensar, o no logran construir un mapa utilizable en absoluto.

El artículo sugiere que "construir" una nueva forma es fácil incluso para los robots pequeños, pero "usar" esa forma de manera perfecta y limpia es una habilidad que solo llega con el tamaño. Es como cómo un niño puede aprender un juego nuevo, pero solo un maestro puede jugarlo perfectamente sin cometer errores.

Qué significa para el futuro

Este estudio cambia la forma en que entendemos la IA. Sugiere que estos modelos no tienen una única "visión del mundo" fija dentro de ellos. En cambio, su comprensión del mundo es fluida. Es como un camaleón que cambia sus colores no solo para coincidir con el fondo, sino para coincidir con la historia que le estás contando.

Si le dices a una IA capaz que el mundo es plano, podría organizar temporalmente sus pensamientos como si el mundo fuera plano. Si le dices que los días de la semana son un árbol, construirá un árbol. La "verdad" dentro de la IA no es un hecho estático; es un cómputo que ocurre en ese mismo instante, moldeado por la conversación.

Los investigadores advierten que no saben exactamente cómo el robot construye estas formas desde cero o si solo está reordenando muebles viejos. Pero una cosa está clara: el robot te está escuchando y está cambiando de opinión para coincidir con tu historia. El contexto que proporcionas es el rey, y el robot es su súbdito cambiante de forma.

Resumen Técnico: El contexto es el rey: Cómo la especificación en contexto moldea la geometría de los conceptos

Planteamiento del problema

La investigación actual en interpretabilidad suele postular que los Modelos de Lenguaje de Gran Escala (LLM) almacenan conceptos estructurados como variedades geométricas fijas dentro de sus pesos (por ejemplo, los días de la semana formando un círculo, y los meses otra). Esta "hipótesis de la representación lineal" sugiere que las relaciones semánticas corresponden a desplazamientos o formas topológicas fijas aprendidas durante el preentrenamiento y recuperadas durante la inferencia. Sin embargo, no está claro si estas estructuras geométricas son propiedades intrínsecas y estáticas de los modelos o ensamblajes dinámicos construidos bajo demanda a partir del contexto de entrada. Específicamente, ¿una especificación en contexto conflictiva simplemente desplaza la posición de un concepto dentro de una variedad fija, o reconfigura fundamentalmente la topología de la representación misma?

Metodología

Los autores investigan esto forzando un conflicto directo entre los conocimientos previos (priors) preentrenados de un modelo y una especificación declarativa en contexto.

1. Marco experimental:

Especificación en contexto: Los autores definen una "especación" como una regla declarativa que afirma relaciones entre un conjunto de entidades sin proporcionar ejemplares. Esto puede ser un orden (por ejemplo, "El único orden válido es: Miércoles, Lunes...") o una jerarquía (por ejemplo, "P es el padre de A y B").
Régimen de conflicto: El estudio impone especificaciones que contradicen la comprensión natural del modelo (por ejemplo, redefiniendo el orden de los días de la semana o aplicando una estructura jerárquica a conceptos cíclicos).
Entidades: Los experimentos cubren priors cíclicos fuertes (días de la semana, meses, horas del reloj), priors débiles (signos del zodiaco), priors no cíclicos (notas musicales) y tokens arbitrarios sin significado.
Formas superficiales: Las especificaciones se presentan como listas numeradas o aristas de adyacencia, con o sin una arista de "cierre" (wrap edge) para cerrar un ciclo.

2. Medición y análisis:

Análisis de Similitud de Representación (RSA): La métrica principal es la correlación de Spearman entre la Matriz de Disimilitud de Representación (RDM) de los centroides de las entidades (extraídos del flujo residual en el último token antes de la generación) y una plantilla teórica (por ejemplo, distancia cíclica o profundidad de árbol). Crucialmente, los centroides están centrados en la media para eliminar direcciones anisotrópicas en el flujo residual.
Parcheo de activación (Activation Patching): Para establecer causalidad, los autores realizan un parcheo de sustitución de entidades. Sobrescriben la activación residual de una entidad ( $E_{orig}$ ) con la de otra entidad ( $E_{patch}$ ) del mismo contexto y observan si la salida del modelo sigue al sucesor de la entidad parcheada de acuerdo con el orden impuesto por el contexto en lugar del orden preentrenado.
Barrido de escala (Scale Sweep): El estudio evalúa ocho modelos ajustados por instrucciones de tres familias distintas (Gemma, Qwen, Llama) que van desde 2B hasta 31B de parámetros para determinar cómo la escala del modelo afecta la formación y el uso de estas geometrías.

Principales contribuciones y resultados

1. El contexto dicta el tipo de topología, no solo la posición
El artículo demuestra que la especificación en contexto determina la topología de la geometría del concepto, no meramente un desplazamiento dentro de una forma fija.

Cambio de topología: Cuando una regla declarativa define una jerarquía, la geometría de las entidades (incluso las cíclicas como los días de la semana) se reorganiza en un árbol estratificado por profundidad. Inversamente, una regla cíclica fuerza un anillo a convertirse en una estructura de árbol.
Tokens arbitrarios: Este efecto ocurre incluso con tokens arbitrarios sin significado donde no existe un prior preentrenado, lo que demuestra que la geometría se construye a partir de la especificación y no se recupera.
Evidencia: En Gemma-31B, una jerarquía impuesta sobre los días de la semana produce un RSA de profundidad de +0.67, mientras que un ciclo impuesto produce un RSA cíclico de +0.72. La dimensionalidad efectiva cambia en consecuencia (de ~4.8 para un anillo natural a ~1.8 para un árbol impuesto).

2. La geometría del conjunto de contexto domina a los priors preentrenados
Cuando el contexto entra en conflicto con un prior preentrenado fuerte, la geometría del conjunto de contexto predomina.

Dominancia: En modelos capaces (Gemma-31B, Qwen-27B), el RSA al orden impuesto es alto (+0.80 a +0.90), mientras que el RSA al orden natural y preentrenado colapsa cerca de cero (por ejemplo, -0.03 para los días).
Uso causal: El parcheo de activación confirma que esta geometría se usa causalmente. Cuando se intercambia la activación de una entidad, la respuesta del modelo sigue al sucesor definido por el mapa impuesto por el contexto, no por el mapa preentrenado. Esta "doble disociación" (seguir el orden impuesto en un contexto impuesto y el orden natural en un contexto natural) descarta la simple búsqueda en una tabla fija.

3. Fidelidad controlada por la escala: Formación frente a Uso
La capacidad de formar una geometría aproximada está presente incluso en modelos pequeños, pero la capacidad de usarla de manera limpia y fiel está controlada por la escala.

Modelos pequeños: Modelos como Gemma-2B o Qwen-9B pueden formar una geometría impuesta aproximada (superando los valores nulos), pero el mapa suele ser "con fugas" o unidireccional. Por ejemplo, el parcheo podría afectar la respuesta bajo el contexto impuesto pero fallar al intentar cambiar bajo el contexto natural, o la geometría podría ser un anillo con autointersecciones en lugar de un ciclo limpio.
Modelos grandes: Los mapas limpios y atravesables y la doble disociación causal completa emergen solo en modelos más grandes (Gemma-12B/31B, Qwen-27B).
Implicación: Un mecanismo presente en un modelo grande (geometría dependiente del contexto fiel) puede estar ausente o ser fundamentalmente diferente en un modelo más pequeño de la misma familia.

4. Localización del mecanismo
El estudio localiza la formación de este mapa en una etapa intermedia de la red (aproximadamente 0.45–0.75 de profundidad).

Identidad a Vinculación: Las capas tempranas codifican la identidad del token, pero hacia la etapa media, la identidad se vincula a la posición impuesta por el contexto. El parcheo en estas capas medias es más efectivo para dirigir la salida.

Significado y afirmaciones

El artículo afirma que la estructura geométrica de los conceptos en los LLM no es una propiedad fija e intrínseca almacenada en los pesos, sino una computación establecida por el contexto.

Reencuadre de los "Modelos de Mundo": Aunque los modelos pueden almacenar estructuras similares a modelos de mundo, estas no son la representación única o final utilizada durante la inferencia. La "geometría que el modelo utiliza" es la que especifica el contexto, incluso si contradice el prior almacenado.
Mecánico vs. Instruccional: Este es un fenómeno mecánico, no simplemente de seguimiento de instrucciones. El tipo de topología cambia bajo demanda, se forma en tokens sin prior de los cuales heredar y cambia bajo ediciones causales.
Precaución en la transferencia: Los hallazgos sugieren que la interpretabilidad a nivel de circuito y las propiedades geométricas observadas en modelos pequeños pueden no transferirse a modelos más grandes. Los modelos pequeños pueden formar una aproximación tosca de un mapa dependiente del contexto, pero la geometría limpia y operativamente causal es una capacidad que emerge con la escala.

Los autores concluyen que las geometrías de los "modelos de mundo" recuperadas deben leerse como dependientes del contexto y no como intrínsecas, y que el comportamiento del modelo es impulsado por un mapa construido bajo demanda a partir de la especificación.