🤖 machine learning

Cross-Layer Interaction under Weight-Space Ablation: A Closed-Form Attention Jacobian Bound and a Test on a Real Pretrained Model

Este artículo extiende los límites teóricos sobre las interacciones entre capas en la ablación del espacio de pesos mediante la derivación de un límite de Jacobiano de atención en forma cerrada verificado en un modelo preentrenado real y demostrando resultados empíricos mixtos en un circuito emergente de identificación de objeto indirecto.

Autores originales: Abdallah Khemais

Publicado 2026-08-05

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Abdallah Khemais

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando comprender cómo funciona el cerebro de un robot gigante y superinteligente. Este cerebro no es un simple bloque de metal; está construido como una larga línea de montaje con muchas estaciones, o "capas", donde la información se transmite hacia abajo por la línea. En cada estación, el cerebro hace dos cosas principales: presta atención a pistas específicas (como un detective que se concentra en un testigo) y procesa esas pistas a través de un módulo de pensamiento (como una calculadora procesando números). Los científicos llaman a las partes que transportan estas pistas "portadores".

Para averiguar qué hace cada parte, los investigadores juegan al juego del "¿qué pasaría si?". Intentan dos trucos diferentes: el Parcheo de Activación (Activation Patching), donde intercambian una pieza del pensamiento actual del robot con un pensamiento de una situación diferente para ver si el robot se confunde, y la Ablación de Pesos (Weight Ablation), donde efectivamente "apagan" una parte del cableado del cerebro para ver si el robot deja de funcionar. Por lo general, estos dos trucos cuentan la misma historia. Sin embargo, a veces, cuando las estaciones del robot están conectadas de formas complicadas, los trucos dan respuestas diferentes. La gran pregunta es: ¿por qué no están de acuerdo y cuánto afecta una parte del cerebro a otra que se encuentra muy lejos en la línea? Comprender esto es crucial porque, si queremos arreglar o controlar estos cerebros gigantes, necesitamos saber exactamente cómo interactúan sus engranajes internos, no solo cómo se ven en la superficie.

Este artículo es como una historia de detectives que toma una pista encontrada en un modelo pequeño y simple, e intenta ver si se mantiene en un robot masivo y real. El autor comienza con un descubrimiento de un "artículo compañero" (un estudio hermano del mismo autor) que demostró que, en una estación aislada y única, apagar un tipo específico de módulo de pensamiento (el MLP) no afecta en absoluto a la parte de la atención. Es como apagar la calculadora en una estación de una fábrica sin afectar la lupa del detective. Sin embargo, esa prueba solo funcionó para una estación a la vez. Los robots reales tienen docenas de estaciones, y las partes que los científicos quieren apagar suelen estar muy separadas.

El primer movimiento importante del autor es descomponer el caos de un robot de múltiples estaciones en una suma ordenada de partes. Demuestra que la confusión total causada por apagar partes a través de muchas capas puede dividirse en dos cosas: un efecto de "misma estación" (que comprenden perfectamente) y un resto de "entre capas" (el desorden que ocurre cuando la Estación A cambia la entrada para la Estación B). Demuestran que este resto desordenado no es solo ruido aleatorio; tiene una forma matemática precisa, como una doble integral (una forma elegante de decir que es el efecto acumulado de dos cambios sucediendo al mismo tiempo).

Pero aquí está el giro: aunque pueden describir la forma del desorden, aún no pueden poner un número concreto a qué magnitud llega cuando se encadenan muchas estaciones. Para hacer eso, necesitaron una nueva herramienta: un "límite de Jacobiano" (Jacobian bound) para la parte de la atención del cerebro. Piensa en esto como un cartel de límite de velocidad para qué tan rápido un cambio en una pista puede propagarse a través del mecanismo de atención. El autor derivó este límite de velocidad en una fórmula de forma cerrada (una ecuación exacta y limpia) y la probó contra un cerebro de robot real ya preentrenado llamado Qwen2.5-1.5B-Instruct. Revisaron 12 puntos específicos en este cerebro real y el límite de velocidad se mantuvo firme en cada ocasión: cero violaciones. Sin embargo, son honestos sobre el límite: verificaron el límite de velocidad para una estación, pero aún no han demostrado que, si se encadenan 28 estaciones, los errores no exploten en algo inútil. Así que, la matemática es exacta, pero el "gran número" final para toda la cadena sigue siendo una pregunta abierta.

Para ver si sus teorías funcionan en algo real, el autor fue en busca de un circuito oculto dentro del robot Qwen que le ayuda a resolver la "Identificación de Objeto Indirecto" (figurar quién le dio un objeto a quién en una oración como "La pelota fue dada a Mary por John"). Ellos no diseñaron este circuito; este surgió naturalmente mientras el robot aprendía a hablar. Encontraron un pequeño grupo compartido de neuronas que actúa como el núcleo de esta habilidad, apareciendo en casi todos los casos de prueba, además de algunas neuronas de "respaldo" adicionales que son específicas para cada oración.

Cuando probaron el patrón de tres vías (¿apagar el circuito colapsa la lógica del robot?, ¿los dos trucos no están de acuerdo?, ¿hay una interacción desordenada?), los resultados fueron una mezcla genuina.

Colapso: En cuatro de cinco oraciones de prueba, apagar el circuito confundió al robot, tal como se predijo. Pero en una oración ("Anna/Mike"), al robot apenas le importó, mostrando que estos circuitos no siempre son 100% fiables.
Disociación: Los dos trucos (parcheo frente a apagado) siempre estuvieron en desacuerdo, confirmando que, de hecho, están midiendo cosas diferentes.
Interacción: En tres de las cinco oraciones, midieron una "interacción no nula", lo que significa que las partes sí se afectaron entre sí. Crucialmente, estas interacciones ocurrieron entre capas que estaban lejos entre sí, no contiguas. Esto sugiere que el "resto entre capas" desordenado que el autor identificó es real y medible en un cerebro real, a pesar de que el límite matemático exacto para él todavía se está trabajando.

En resumen, el artículo demuestra que la "interacción desordenada" entre partes distantes de una red neuronal es un fenómeno real y medible que puede descomponerse en piezas matemáticas exactas. Encontraron una nueva herramienta para medir una pieza de ese desorden y la verificaron en un robot real, pero el paso final de encadenar esa herramienta a través de toda la profundidad del robot sigue siendo un trabajo en progreso. La conclusión no es un problema resuelto, sino un mapa mucho más claro de dónde reside el misterio.

Declaración del Problema
Este artículo aborda dos limitaciones específicas de un trabajo complementario (mismo autor) respecto al análisis causal de redes neuronales mediante el parcheo de activaciones (activation patching) y la ablación en el espacio de pesos (weight-space ablation). El artículo complementario estableció una fórmula de interacción de primer orden exacta para dos portadores (una cabeza de atención y el MLP de su capa) dentro de un único bloque residual de un modelo idealizado. Sin embargo, dejó dos brechas críticas:

Alcance multi-capa: El teorema complementario no dice nada sobre las interacciones entre portadores separados por múltiples capas, lo cual es el caso genérico en los transformadores reales. No tiene en cuenta cómo una ablación en una capa anterior se propaga para afectar la computación de una capa posterior.
Alcance empírico: Los resultados del artículo complementario se verificaron únicamente en transformadores sintéticos pequeños entrenados desde cero para una tarea condicional específica. Sigue sin saberse si estas predicciones teóricas se mantienen para los circuitos "emergentes" encontrados en modelos grandes y genuinamente preentrenados con lenguaje natural.

Metodología
El artículo extiende el marco teórico del trabajo complementario utilizando descomposiciones matemáticas exactas y límites de forma cerrada, y luego valida estos hallazgos en un modelo real preentrenado.

Extensión Teórica (Descomposición Multi-capa): El autor deriva una identidad exacta (Proposición 1) que muestra que la brecha de interacción para un subconjunto arbitrario de portadores ablados que abarcan múltiples capas se descompone en una suma de términos de "mismo bloque" (uno por cada capa afectada) más un "residuo entre capas" ( $R_\times$ ).
Identidad Exacta Entre Capas: Para el caso de dos capas afectadas, el residuo $R_\times$ se aisla exactamente como una integral doble de una derivada parcial mixta de segundo orden (Proposición 2), aplicando el teorema fundamental del cálculo un nivel arriba.
Límites de Forma Cerrada:
- Jacobiano de Atención: Para acotar el residuo entre capas, el autor deriva un límite de forma cerrada y puntual sobre el Jacobiano de la salida de una sola cabeza de atención con respecto a un token de clave (key) o valor (value) perturbado (Proposición 3).
- Constante de Curvatura: El autor calcula en forma cerrada la constante de curvatura $\Lambda$ requerida para el límite de segundo orden del artículo complementario, utilizando únicamente los pesos entrenados (Proposición 4), en lugar de asumirla.
Verificación Empírica:
- Chequeo Sintético: La descomposición multi-capa se prueba en las cinco instancias de transformadores sintéticos del artículo complementario.
- Chequeo de Modelo Real: El autor busca un circuito emergente para la Identificación de Objeto Indirecto (IOI) en Qwen2.5-1.5B-Instruct utilizando una búsqueda codiciosa (greedy) de parcheo de activaciones. Luego mide el patrón tripartito (colapso, disociación e interacción) en este circuito.

Contribuciones Clave

Descomposición Multi-capa Exacta: El artículo proporciona una descomposición exacta de los efectos de interacción multi-capa en términos de mismo bloque y un residuo específico entre capas. Demuestra que los términos de mismo bloque son cero si solo se ablan los MLPs y son iguales al término acotado del artículo complementario si la capa alimenta directamente la lectura (readout).
Límite del Jacobiano de Atención de Forma Cerrada: El artículo deriva un límite de forma cerrada para la norma del operador del Jacobiano del subbloque de atención. Este límite se verifica puntualmente contra los pesos reales de Qwen2.5-1.5B-Instruct con cero violaciones.
Constante de Curvatura Explícita: El artículo suministra la constante de curvatura $\Lambda$ , previamente no exhibida, en forma cerrada, calculada a partir de las normas espectrales de los pesos del MLP entrenado y las escalas de normalización.
Evidencia Empírica en Modelos Preentrenados: El artículo identifica un circuito IOI emergente en un modelo preentrenado de 1.5 mil millones de parámetros e informa resultados empíricos mixtos respecto a las predicciones teóricas de colapso, disociación e interacción.

Resultos

Teóricos: La identidad de descomposición se cumple exactamente. El límite derivado del Jacobiano de atención se verifica puntualmente en pesos reales (12 sitios, 0 violaciones), aunque el autor señala que encadenar este límite a través de muchas capas sigue sin estar verificado y probablemente sea laxo debido a la acumulación de laxitud.
Experimentos Sintéticos: En los modelos sintéticos, la identidad de descomposición multi-capa se cumple con precisión de punto flotante. Sin embargo, el residuo entre capas $R_\times$ es a menudo del mismo orden de magnitud que la suma del mismo bloque, y ambos términos frecuentemente se cancelan parcialmente entre sí. Por lo tanto, la suma del mismo bloque por sí sola no es un indicador fiable de la interacción total en configuraciones multi-capa.
Modelo Real (Qwen2.5-1.5B-Instruct):
- Descubrimiento de Circuito: Se encontró un núcleo compartido (Capa 25/Cabeza 9) y soporte específico de instancia para la tarea IOI.
- Colapso: Se observó claramente en 4 de 5 instancias, pero estuvo ausente en una (Anna/Mike), donde la ablación del circuito apenas redujo la brecha de decisión.
- Disociación: Se observó una brecha significativa entre los efectos de parcheo y de ablación en las 5 instancias, confirmando que son operaciones distintas.
- Interacción: Se encontró una interacción no nula medible en 3 de 5 instancias. Crucialmente, los pares de capas involucrados en estas interacciones no estaban en la configuración de un solo bloque probada en el artículo complementario. Por lo tanto, estos resultados son sugestivos del caso multi-capa, pero no constituyen una prueba directa del teorema de un solo bloque.

Significancia y Reivindicaciones
El artículo afirma cerrar la brecha entre las garantías teóricas de un solo bloque y la realidad de las arquitecturas de transformadores multi-capa, pero lo hace con una honestidad explícita sobre las limitaciones restantes.

Establece que las interacciones multi-capa pueden descomponerse exactamente, aislando el "residuo entre capas" como la cantidad específica que permanece sin acotar.
Proporciona los ingredientes matemáticos necesarios (el límite del Jacobiano de atención y la constante de curvatura) para potencialmente acotar este residuo, verificándolos puntualmente en pesos reales.
Demuestra que los patrones cualitativos (colapso, disociación, interacción) observados en modelos sintéticos aparecen en circuitos emergentes de modelos preentrenados reales, pero con una "fidelidad genuinamente mixta".
El autor establece explícitamente que no pretende haber acotado el residuo entre capas a través de profundidades arbitrarias, ni afirma que los resultados de interacción en Qwen2.5 prueben que el teorema de un solo bloque se aplique a casos multi-capa. En su lugar, presenta los resultados mixtos como evidencia de que la teoría no es meramente un artefacto del entrenamiento sintético, mientras destaca que el signo y la magnitud de las interacciones multi-capa siguen siendo una cuestión abierta y compleja.

Más como este