🤖 machine learning

Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames

Este artículo demuestra que las estructuras relacionales de alto orden en los estados ocultos de los Transformers pueden detectarse mediante la entropía del signo de Plücker y dirigirse eficazmente mediante intervenciones dirigidas sobre la geometría del marco relacional, recuperando así salidas conductuales correctas en modelos Llama de diversas escalas.

Autores originales: Mazen Kobrosly

Publicado 2026-05-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mazen Kobrosly

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un modelo de lenguaje grande (como los que impulsan los chatbots) como una ciudad masiva y bulliciosa. Dentro de esta ciudad, la información fluye a través de calles llamadas "estados ocultos". La mayoría de los investigadores han estado observando esta ciudad estudiando edificios individuales (neuronas), semáforos únicos (cabezas de atención) o carreteras específicas (direcciones). Se preguntan: "¿Qué hace este edificio específico?"

Este artículo plantea una pregunta diferente: "¿Cómo se ve la relación entre varios edificios en su conjunto?"

El autor, Mazen Kobrosly, propone que cuando un modelo comprende una relación compleja (como "A es a B como C es a D"), no solo ilumina unos pocos puntos aleatorios. En cambio, los tokens (palabras) involucrados forman una forma geométrica específica y rígida en el espacio interno del modelo. El artículo denomina a esto un "Marco de Relación".

A continuación se presenta un desglose de los hallazgos del artículo utilizando analogías simples:

1. El "Nivel de Fontanero" (Detectando la Forma)

Para encontrar estas formas, el autor inventó una herramienta llamada Entropía de Signo de Plücker.

La Analogía: Imagina que tienes un conjunto de tres palos flotando en un espacio tridimensional. Puedes organizarlos para formar una pirámide. Si cambias el orden de los palos, la pirámide podría volcarse o darse la vuelta. Este "giro" es un cambio en la orientación (como una mano izquierda frente a una mano derecha).
La Prueba: El autor examina grupos de palabras que deberían estar relacionadas (por ejemplo, tres palabras que forman un acertijo lógico específico) y grupos de palabras que son simplemente un desorden sin sentido.
El Hallazgo: Cuando el modelo procesa las palabras relacionadas correctas, se organizan en una orientación geométrica muy consistente y predecible (como una pirámide perfectamente construida). Cuando las palabras están desordenadas, parecen un montón desordenado de palos sin una forma consistente.
El Resultado: Esta "firma geométrica" se encontró en modelos Llama de diferentes tamaños (8 mil millones, 70 mil millones y 405 mil millones de parámetros). Cuanto más grande es el modelo, más clara y consistente es esta forma.

2. La "Cuadrícula Mágica" (El Experimento)

Para probar que esta forma realmente causa que el modelo piense correctamente, el autor creó un juego llamado Ensayo de Cuadrícula de Bordes.

La Analogía: Imagina una hoja de cálculo con 8 filas y 8 columnas.
- Estado Limpio: Las marcas de "SÍ" forman una línea diagonal perfecta (la Fila 1 conecta con la Columna 1, la Fila 2 con la Columna 2, etc.). El modelo identifica correctamente esto como un "patrón diagonal".
- Estado Corrupto: Las marcas de "SÍ" están desordenadas de modo que varias filas apuntan a la misma columna. El modelo identifica correctamente esto como un "patrón duplicado".
La Intervención: El autor tomó el estado "Corrupto" (donde el modelo estaba confundido) e intentó "dirigirlo". No solo empujó al modelo; intentó remodelar físicamente la "nube" interna de datos que representa esas palabras.

3. La "Escultura de Arcilla" (Dirigiendo el Modelo)

El autor intentó corregir el modelo "Corrupto" moviendo sus datos internos de diferentes maneras. Imagina los datos como un bloque de arcilla.

Intento A: Mover el Centro (Solo Centroides): Intentaron simplemente empujar todo el bloque de arcilla en la dirección de la respuesta "Limpia".
- Resultado: Fracaso. El modelo permaneció confundido. Mover el centro de masa no arregló la lógica.
Intento B: Añadir Ruido: Añadieron estática aleatoria a los datos.
- Resultado: Fracaso. El modelo permaneció confundido.
Intento C: Remodelar el Bloque (Solo Forma): Mantuvieron el bloque en el mismo lugar pero lo remodelaron para que coincidiera con la geometría de la respuesta "Limpia". Torcieron y giraron la arcilla hasta que se veía exactamente como la escultura "Limpia".
- Resultado: ¡Éxito! El modelo comenzó de repente a dar la respuesta correcta.

La Idea Clave: No era dónde estaban los datos (la ubicación) lo que importaba; era cómo se organizaban los datos en relación consigo mismos (la forma). El modelo necesita el "esqueleto" geométrico específico de la relación para funcionar.

4. La "Transferencia de Planos" (Éxito Transversal)

El autor probó si esta "Forma Limpia" era una solución universal.

Tomaron la "Forma Limpia" de un acertijo específico y la aplicaron a un diferente acertijo con la misma estructura pero palabras distintas.
Resultado: ¡Funcionó! El modelo resolvió el nuevo acertijo.
La Trampa: Esto solo funcionó si la "Forma Limpia" provenía de un ejemplo resuelto correctamente. Si intentaron transferir una "Forma Limpia" de un ejemplo corrupto, falló. Esto demuestra que el modelo no solo está memorizando palabras específicas; está aprendiendo un formato geométrico portátil para la "correctitud".

Resumen de las Afirmaciones

El artículo hace tres afirmaciones específicas, nada más:

Detección: Podemos detectar que los modelos representan relaciones como formas geométricas específicas (Marcos de Relación) utilizando una herramienta matemática llamada entropía de signo de Plücker.
Intervención: Podemos corregir los errores de razonamiento de un modelo no cambiando las palabras, sino remodelando quirúrgicamente la "nube" geométrica interna de la relación para que coincida con un ejemplo correcto.
Especificidad: Esto funciona debido a la forma de los datos, no solo a su ubicación o tamaño. El modelo depende de esta disposición geométrica específica para obtener la respuesta correcta.

Lo que el artículo NO afirma:

No afirma haber encontrado el "alma" de la IA.
No afirma que esto funcione para cada tipo de pregunta (se probó en cuadrículas lógicas específicas).
No afirma haber mapeado todo el circuito de cómo el modelo construye estas formas (solo observó la forma en sí, no la "maquinaria" que la construye).

En resumen, el artículo muestra que dentro de la "caja negra" de una IA grande, las relaciones tienen una forma 3D distinta y medible, y si puedes corregir esa forma, puedes corregir la respuesta de la IA.

Resumen Técnico: Geometría de Rango Relacional en Transformadores

Enunciado del Problema

La interpretabilidad mecánica actual se centra en gran medida en objetos locales o de bajo orden, como neuronas individuales, cabezas de atención, características dispersas o direcciones lineales en el flujo residual. Aunque efectivos para características localizadas, estas herramientas dejan una brecha fundamental: no describen adecuadamente la geometría de las relaciones entre múltiples tokens como un objeto unificado. La literatura reciente sugiere que los conceptos pueden formar variedades curvas y que el enlace relacional sigue siendo una dificultad sistemática para los modelos de vanguardia. Este trabajo postula que, cuando un modelo representa una relación entre varios tokens, la relación misma constituye un objeto geométrico distinto: un marco relacional, definido como la configuración del estado oculto de las tuplas de tokens participantes. El problema central es determinar si estos marcos poseen una estructura de orientación medible e indexada por rango y si esta estructura puede ser dirigida para influir en el comportamiento del modelo.

Metodología

1. Diagnóstico: Entropía de Signo de Plücker

Para detectar la geometría de las relaciones, el trabajo introduce la entropía de signo de Plücker, una estadística diagnóstica derivada de las coordenadas de Plücker (menores determinantes).

Proyección: Los estados ocultos se proyectan en un subespacio fijo de baja dimensión (dimensión $p=64$ ) utilizando una matriz de proyección gaussiana.
Medición de Orientación: Para una tupla de $k$ tokens, el método calcula el signo del determinante del menor de fila seleccionado en la incrustación de los tokens de los $k$ vectores singulares izquierdos superiores. Este signo registra la orientación (quiralidad) de la tupla descartando la escala.
Cálculo de Entropía: La entropía de estos signos se calcula en conjuntos de tuplas de relación verdaderas, tuplas desordenadas (mismos tokens, enlace roto) y controles aleatorios. Una entropía de signo más baja indica una firma de orientación más consistente.
Hipótesis de Rango: El trabajo hipotetiza que una relación de $r$ argumentos exhibirá su mayor consistencia de orientación (menor entropía) en el rango de Plücker $k=r$ . El diagnóstico mide el "margen diagonal", comparando la brecha de entropía en el rango esperado $k=r$ frente a otros rangos admisibles.

2. Intervención: Ensayo de Limpieza/Corrupción de Cuadrícula de Bordes

Para probar si estos marcos son accionables, el trabajo emplea un ensayo de cuadrícula de bordes utilizando cuadrículas de $8 \times 8$ de tokens de fila/columna con marcadores SÍ/NO.

Configuración: Los prompts comparten el mismo andamio de fila/columna y vocabulario, pero difieren en el mapa de relación SÍ/NO (Limpio: mapa de identidad coherente; Corrupto: mapa de destino duplicado). Esto crea un entorno controlado donde cambia el estado de la relación mientras la estructura superficial permanece fija.
Rutas de Dirección: El estudio parchea estados ocultos en posiciones específicas de tokens marcadores SÍ/NO (Capa 5) para mover la nube de "marcadores de relación corruptos" hacia la nube "limpia". Se prueban varias familias de intervención:
- Basada en forma: Reemplazando la disposición relativa de los marcadores (forma centrada) manteniendo fijo el centroide.
- Basada en centroide: Traduciendo solo el vector medio.
- Basada en subespacio: Moviendo el subespacio de Grassmann abarcado por la nube.
- Controles: Ruido de norma igual, rotaciones aleatorias y parches en sitios incorrectos.
Lectura: La recuperación se mide mediante dos métricas en la capa de lectura (Capa 35 para 70B/405B):
1. Recuperación Conductual: El desplazamiento en los logit de respuesta hacia la respuesta limpia.
2. Recuperación Geométrica Residual: El desplazamiento en un vector de hoja relacional residual (construido a partir de productos exteriores de tokens de fila/columna) hacia la geometría limpia.
3. Recuperación Acoplada: Una métrica que asegura que el comportamiento y la geometría se muevan juntos a lo largo de la ruta.

Contribuciones Clave

Ensayo Diagnóstico Indexado por Rango: El trabajo demuestra que las tuplas de relación de $r$ argumentos controladas exhiben una mayor consistencia de signo de orientación en el rango de Plücker esperado $k=r$ en modelos de la familia Llama de 8B, 70B y 405B. Esta señal es más uniforme en el modelo 405B y persiste a través de auditorías de múltiples plantillas, distinguiéndola de artefactos de nivel superficial.
Ensayo de Cuadrícula de Bordes con Puerta de Competencia: Un diseño experimental novedoso que aísla la geometría de los marcadores de relación del andamio del prompt circundante, permitiendo una intervención precisa en el estado de la relación sin alterar la estructura de la tarea.
Evidencia Intervencional para Marcos Relacionales: El estudio muestra que en modelos competentes (70B y 405B), dirigir la forma de la nube de marcadores de relación (específicamente la geometría ordenada del estado limpio) recupera tanto el comportamiento de respuesta limpia como la geometría relacional residual. Crucialmente, la traducción solo del centroide y el ruido de norma igual no logran esta recuperación, lo que indica que la forma estructurada, y no solo la media o la magnitud de la perturbación, es el objeto causalmente efectivo.

Resultados

Detección: En todos los tamaños de modelo, las tuplas de relación verdaderas muestran márgenes diagonales positivos en el rango esperado ( $k=r$ para solo argumentos, $k=r+1$ para predicado más argumento). El modelo 405B muestra márgenes positivos consistentes en todos los constructores y aridades probados ( $r=3$ a $6$), mientras que 8B y 70B muestran variaciones estructuradas pero específicas del constructor.
Dirección: En 70B y 405B, las rutas suaves de marcos relacionales (marcador lineal, solo forma, forma de Grassmann) logran una recuperación casi completa del punto final tanto del comportamiento como de la geometría residual.
- Forma vs. Centroide: Las intervenciones solo de forma recuperan el comportamiento casi tan efectivamente como las intervenciones completas de centroide más forma, mientras que la traducción solo del centroide produce una recuperación insignificante ( $\approx 0.002$ ).
- Controles de Sitio/Orden: Permutar el orden de las formas limpias o reflejarlas anula la recuperación, confirmando que la geometría ordenada es esencial. La transferencia cruzada de prompts de la forma limpia tiene éxito, pero transferir una forma corrupta o aplicar deltas limpios a sitios incorrectos falla.
- Lectura de Plücker: Las intervenciones exitosas también restauran la lectura de Plücker de los marcadores de borde (estructura de signo del determinante) hacia el estado limpio, cerrando el puente entre las mitades diagnóstica e intervencional del estudio.
Limitaciones: El modelo 8B se identifica como un límite de competencia; carece de la competencia conductual de referencia para anclar la afirmación de dirección, aunque se observa algún movimiento geométrico. Los resultados de transferencia cruzada de prompts son específicos del estado limpio de mapa de identidad utilizado en el banco de prompts y aún no prueban la transferencia a través de contenidos relacionales arbitrarios.

Significado y Afirmaciones

El trabajo afirma establecer un puente a nivel de estado desde la detección de relaciones hasta la intervención en marcos relacionales. Argumenta que la geometría de rango relacional es tanto detectable mediante estadísticas de signo de determinante como dirigible mediante intervenciones en estados ocultos que recuperan el comportamiento dependiente de la relación.

El significado radica en desplazar la unidad de análisis de características aisladas o direcciones lineales hacia configuraciones finitas y ordenadas de estados ocultos de tokens. Los resultados sugieren que, para relaciones de orden superior, el modelo utiliza un objeto geométrico (el marco relacional) cuya forma estructurada es el principal impulsor del comportamiento correcto. Esto proporciona un control concreto a nivel de relación para la interpretabilidad mecánica, distinto pero complementario a objetos a nivel de circuito o de características. El trabajo afirma explícitamente que no pretende haber localizado la circuitería completa aguas arriba/aguas abajo, sino haber identificado un objeto de estado medible y dirigible que media el comportamiento relacional.