💬 NLP

A Gauge Theory of Superposition: Toward a Sheaf-Theoretic Atlas of Neural Representations

Este trabajo propone un marco de teoría de gauge discreto y atlas de haces para modelar la superposición en grandes modelos de lenguaje, identificando obstrucciones medibles a la interpretabilidad global (como el atascamiento local, el cizallamiento de proxy y la holonomía no trivial) y validando experimentalmente en un modelo Llama-3.2-3B la computabilidad de estas métricas y la estabilidad de sus límites de interferencia.

Autores originales: Hossein Javidnia

Publicado 2026-03-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hossein Javidnia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que un modelo de lenguaje grande (como el que usa esta IA) es como una biblioteca gigante y caótica donde se guardan todos los conocimientos del mundo.

La idea tradicional de los científicos era pensar que esta biblioteca tenía un solo catálogo universal. Es decir, creían que si buscabas la palabra "manzana", siempre encontrarías la misma definición y el mismo significado, sin importar si estabas leyendo un libro de cocina, un poema o un manual de ingeniería.

El problema:
Los autores de este artículo descubrieron que esa idea es falsa. En realidad, la biblioteca no tiene un solo catálogo. Tiene muchos pequeños mapas locales (como mapas de diferentes ciudades).

En el "mapa de la cocina", "manzana" significa fruta para tartas.
En el "mapa de la ingeniería", "manzana" podría referirse a una empresa tecnológica o una unidad de medida.
A veces, estos mapas se superponen y entran en conflicto.

El título del artículo habla de un "Átlas de Sheaf" (una palabra matemática compleja), pero podemos traducirlo a algo más sencillo: Un sistema de mapas locales que a veces no encajan perfectamente entre sí.

Aquí te explico los tres grandes problemas (obstáculos) que encontraron, usando analogías:

1. El Atasco Local (Jamming)

Imagina que en un pequeño pueblo (un "contexto" o situación), hay demasiados camiones intentando entrar por una carretera muy estrecha.

La analogía: La IA intenta guardar demasiadas ideas diferentes en un espacio muy pequeño al mismo tiempo.
El resultado: Se crea un "atasco". Las ideas se mezclan y se distorsionan porque no hay suficiente espacio para todas. La IA tiene que "apretar" las definiciones, lo que hace que a veces se equivoque o confunda conceptos.

2. La Desalineación de los Mapas (Shearing)

Imagina que tienes dos mapas de dos ciudades vecinas. Ambos intentan mostrar cómo ir de la Plaza A a la Plaza B.

La analogía: Un mapa dice que la calle es recta, pero el otro mapa dice que hay que girar 45 grados.
El resultado: Cuando la IA intenta viajar de un contexto a otro (por ejemplo, de hablar de cocina a hablar de ingeniería), los mapas no coinciden. Hay una "fricción" o un error de traducción. No es que uno esté mal, es que no encajan perfectamente cuando intentas unirlos. Esto se llama "cizallamiento" o shearing.

3. El Bucle Mágico (Holonomy)

Imagina que caminas en un círculo alrededor de una montaña.

La analogía: Si empiezas en un punto, caminas por un camino, das la vuelta a la montaña y vuelves al mismo punto, deberías estar exactamente igual que al principio.
El resultado: En la IA, a veces, si das la vuelta a un ciclo de conceptos, no terminas igual que empezaste. El significado ha cambiado sutilmente dependiendo del camino que tomaste. Es como si el mapa tuviera un "giro" oculto que hace que la realidad sea diferente según cómo la recorras. Esto significa que no existe una única verdad global que funcione siempre.

¿Qué hicieron los autores?

En lugar de intentar forzar a la IA a tener un solo diccionario perfecto (lo cual es imposible), crearon una herramienta de diagnóstico para medir estos problemas:

Miden el atasco: ¿Cuántas ideas están chocando en un mismo espacio?
Miden la desalineación: ¿Qué tan mal encajan los mapas cuando cambiamos de tema?
Miden el bucle: ¿Cuánto cambia el significado si damos la vuelta a un tema?

¿Por qué es importante?

Antes, si la IA se equivocaba, decíamos: "Ah, falló". Ahora, con este nuevo mapa, podemos decir:

"Falló porque había demasiada información en ese momento (atasco)".
"Falló porque los contextos no encajaban bien (desalineación)".
"Falló porque el significado dependía del camino que tomamos (bucle)".

En resumen:
Este artículo nos dice que la inteligencia artificial no es un libro de texto con una sola verdad absoluta. Es más bien como un mosaico de miles de pequeños espejos. A veces se reflejan bien, a veces se rompen, y a veces se distorsionan. Los autores han creado una brújula para entender exactamente cuándo y por qué esos espejos se rompen, lo que nos ayuda a construir IAs más seguras y comprensibles.

1. El Problema: Limitaciones de la Interpretabilidad Global

La interpretación mecánica actual de los Modelos de Lenguaje Grande (LLMs) suele asumir que una única diccionario de características global puede explicar uniformemente las representaciones de una capa a través de todos los contextos. Sin embargo, la literatura sobre modelos de juguete y resultados a gran escala sugiere que esta premisa falla debido al fenómeno de superposición: las redes neuronales empaquetan más características de las que su dimensión ambiental permite, creando direcciones dispersas que inducen interferencia y hacen que la identidad de las características dependa del contexto.

El problema central es que intentar forzar una descripción global única ignora la naturaleza local y dependiente del contexto de las representaciones, lo que lleva a fallos en la interpretación cuando se intenta "pegar" descripciones locales en una narrativa global coherente.

2. Metodología: Un Marco Teórico de Gauge y Haz

El autor propone reformular la interpretación como un problema de construcción de un atlas local a global, utilizando herramientas de la topología algebraica y la geometría de la información.

Conceptos Fundamentales:

Complejo de Contexto Estratificado: El espacio de contextos se modela como un complejo simplicial (implementado como un grafo de clústeres de activaciones). Cada clúster actúa como un "chart" (carta) local.
Espacios de Características Locales: A cada clúster se le asigna un espacio de características local. Se utilizan dos representaciones: una base PCA ortogonal para el transporte y un diccionario sobredeterminado (sparse coding) para analizar la interferencia.
Transportes Parciales Rectangulares: Las transiciones entre clústeres vecinos se modelan mediante mapas de transporte parciales ( $T_{vu}$ ).
Geometría de la Información: Se utiliza la métrica de Fisher (o Gauss-Newton) local para ponderar las interacciones de características, identificando cuáles son predictivamente consecuentes.

Los Tres Obstáculos Geométricos (Obstrucciones):

El marco identifica tres mecanismos específicos que impiden la interpretabilidad global:

O1: Atascamiento Local (Local Jamming): Ocurre cuando la carga activa de características excede el ancho de banda de Fisher disponible en un contexto local.
O2: Cizallamiento de Proxy (Proxy Shearing): Mismatch entre el transporte geométrico derivado de los datos y una correspondencia fija (proxy) a través de las superposiciones de clústeres.
O3: Holonomía No Trivial: Dependencia del camino en el transporte alrededor de bucles en el grafo de contextos. Si el transporte alrededor de un ciclo no es la identidad, existe una obstrucción topológica a la trivialización global.

3. Contribuciones Clave y Resultados Teóricos

El artículo presenta cuatro resultados principales que conectan la teoría con la experimentación empírica en un modelo Llama 3.2 3B congelado:

Resultado A: Identidad de Gauge en Árbol de Expansión (Spanning-tree gauge identity).
- Se demuestra un teorema constructivo: tras fijar el gauge en un árbol de expansión del grafo, los defectos en las aristas del árbol se vuelven cero, y el defecto en cada cuerda (chord) es exactamente igual a la holonomía de su ciclo fundamental.
- Impacto: Esto hace que la holonomía sea computable e invariante de gauge, transformándola de una estadística abstracta de bucles a una cantidad directamente verificable.
Resultado B: El Cizallamiento (Shearing) como Límite Inferior de Desajuste.
- Se prueba que la puntuación de cizallamiento ( $D_{shear}$ ) establece un límite inferior para la energía de desajuste de transferencia en los datos de superposición.
- Impacto: Un alto cizallamiento implica un desajuste inevitable entre contextos, independientemente de la elección de correspondencia, convirtiendo este obstáculo en una medida operativa de fallo.
Resultado C: Interferencia Certificada (Certified Jamming).
- Se establece un límite inferior no vacío para la interferencia en subconjuntos de átomos consecuentes.
- Impacto: Proporciona una garantía matemática de que la interferencia es forzada en ciertos subconjuntos de características, con cobertura alta y cero violaciones en múltiples semillas aleatorias e hiperparámetros.
Resultado D: Estabilidad de los Estimadores.
- Mediante experimentos de bootstrap y tamaño de muestra, se demuestra que las métricas de cizallamiento y holonomía son estables y convergen, especialmente en subsistemas bien condicionados (filtrados por persistencia).

4. Validación Empírica

Los autores evaluaron el marco en el modelo Llama 3.2 3B Instruct utilizando corpus de texto (WikiText-103, C4) y código (The Stack).

Robustez: Los resultados se validaron no solo en el modelo base, sino también en Qwen 2.5 3B y Gemma 2 2B, mostrando que los diagnósticos se transfieren entre familias de modelos.
Análisis por Capas: Se observó que los obstáculos geométricos varían sistemáticamente con la profundidad de la red (no son artefactos de una sola capa), mostrando perfiles no monótonos.
Control de Nulo: Al reemplazar las bases locales aprendidas por bases aleatorias, la holonomía y el cizallamiento aumentaron drásticamente, confirmando que las señales observadas dependen de la alineación local aprendida y no son artefactos genéricos de cualquier marco ortonormal.
Estabilidad: Las métricas permanecieron estables ante cambios en la granularidad del atlas, la construcción del grafo y la regularización del transporte.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la interpretación mecánica:

De Global a Local-Global: Cambia el objetivo de "descubrir un diccionario global único" a "construir un atlas con obstrucciones medibles".
Diagnósticos Cuantificables: Convierte la dependencia del contexto de una advertencia informal en un conjunto de diagnósticos computables y falsables (atascamiento, cizallamiento, holonomía).
Herramientas Prácticas: Proporciona primitivas de evaluación reproducibles para determinar cuándo y por qué falla la interpretabilidad global, separando los fallos debidos a la sobrecarga local, la incompatibilidad entre cartas y la dependencia del camino.
Fundamento Matemático: Introduce formalismos de teoría de gauge y haces (sheaf theory) en el aprendizaje profundo, ofreciendo un lenguaje riguroso para la consistencia local-global en redes neuronales.

En conclusión, el artículo demuestra que la superposición en los LLMs no es simplemente ruido, sino una estructura geométrica compleja que puede ser mapeada, medida y diagnosticada mediante un atlas de representaciones, revelando las razones fundamentales por las que una visión global única es a menudo imposible.