🤖 machine learning

Continuous-Depth Field Theory for Transformer Patching and Mechanistic Interpretability

Este artículo propone un marco de teoría de campos de profundidad continua que modela la parcheación de activaciones de Transformer como inserciones de fuentes localizadas y predice cambios conductuales aguas abajo mediante respuestas de funciones de Green, estableciendo así un lenguaje matemático de sensibilidades y campos propagados para organizar e inferir intervenciones mecanísticas.

Autores originales: David N. Olivieri, Antonio F. Pérez Rodríguez

Publicado 2026-05-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: David N. Olivieri, Antonio F. Pérez Rodríguez

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Transformer (el tipo de IA detrás de modelos como GPT-2) no como una pila de código informático, sino como un río gigante y fluido.

En este río:

La profundidad es la distancia que el agua ha recorrido río abajo (desde la fuente hasta el océano).
Los tokens (las palabras en una oración) son como diferentes barcos flotando uno al lado del otro en el río.
La corriente residual es el agua misma, que transporta toda la información a medida que fluye de una capa del modelo a la siguiente.

Este artículo propone una nueva forma de entender cómo podemos "ajustar" o "parchar" estos modelos de IA para cambiar su comportamiento. En lugar de simplemente adivinar qué parte del código hay que arreglar, los autores tratan el modelo como un campo físico donde podemos predecir exactamente cómo una pequeña alteración se propagará a través del sistema.

A continuación se presenta el desglose de sus ideas utilizando analogías cotidianas:

1. La "gota en el estanque" (El parche como fuente)

Por lo general, cuando los investigadores quieren ver qué está haciendo una parte específica de la IA, realizan un "parcheo de activación". Esto es como tomar una instantánea del cerebro de la IA en un momento específico, intercambiarla con una instantánea de un escenario diferente y observar cómo cambia la salida.

Los autores describen esto como tirar una piedra al río.

La piedra: El "parche" (el cambio que realizas).
La onda: El efecto que viaja río abajo a través del resto del modelo.
La teoría: Argumentan que si conoces la forma del río (la estructura del modelo), puedes predecir exactamente cómo se propagará esa onda, qué tamaño alcanzará y a qué barcos (tokens) golpeará, sin necesidad de tirar la piedra un millón de veces para averiguarlo.

2. El "mapa de sensibilidad" (Predecir el efecto)

Para predecir hacia dónde irá una onda, necesitas un mapa. Los autores introducen un campo de sensibilidad.

Piensa en esto como un mapa meteorológico que muestra la velocidad del viento. Algunos puntos del río son muy sensibles (una piedra pequeña crea una ola enorme); otros son tranquilos (una piedra apenas produce salpicaduras).
El artículo muestra que puedes calcular este "mapa de viento" una sola vez. Una vez que lo tienes, no necesitas probar cada dirección posible en la que podrías lanzar una piedra. Puedes predecir matemáticamente: "Si lanzo una piedra aquí, en esta dirección, la onda golpeará la respuesta con esta fuerza".
El resultado: Descubrieron que, para cambios pequeños, esta predicción es increíblemente precisa. Es como saber que una brisa suave moverá una pluma, pero un huracán derribará un árbol.

3. La "función de Green" (El propagador de ondas)

El artículo utiliza un concepto llamado función de Green. En términos sencillos, esto es un "manual de reglas de las ondas".

Responde a la pregunta: "Si pertubo el agua en el punto A, ¿cómo se mueve el agua en el punto B?".
Los autores descubrieron que estas ondas no solo van rectas hacia abajo; se propagan lateralmente hacia otras palabras (tokens) y viajan más profundo en el modelo.
Lo probaron midiendo cómo un cambio en una capa afectaba a capas mucho más abajo. Descubrieron que el "manual de reglas de las ondas" funciona bien, pero solo si el cambio no es demasiado grande. Si lanzas un bloque de piedra (un cambio masivo), el agua se vuelve caótica y las reglas simples se desmoronan. Pero para pequeños empujones, las reglas se mantienen perfectamente.

4. La "reingeniería inversa" (Encontrar la piedra correcta)

Por lo general, los investigadores prueban parches aleatorios para ver qué sucede. Este artículo invierte el guion. Proponen un problema inverso.

El objetivo: "Quiero que la IA diga 'París' en lugar de 'Londres'".
La vieja forma: Intentar parchear cada capa y cada palabra hasta tener suerte.
La nueva forma: Utilizar el "manual de reglas de las ondas" (función de Green) y el "mapa de sensibilidad" para calcular matemáticamente exactamente dónde y cómo lanzar la piedra para crear esa onda específica.
Es como ser un ingeniero de sonido que sabe exactamente qué perilla girar para corregir una frecuencia específica en una canción, en lugar de girar todas las perillas al azar.

5. La "traducción" entre modelos (Escalado)

Finalmente, los autores sugieren una forma de transferir conocimiento de un modelo pequeño a uno grande.

Imagina que tienes un pequeño estanque (un modelo de IA pequeño) y un océano masivo (un modelo de IA grande).
Si lanzas una piedra en el pequeño estanque y observas las ondas, puedes usar ese patrón para adivinar dónde lanzar una piedra en el océano para obtener un resultado similar.
Lo llaman una "geometría de respuesta latente compartida". Esencialmente, la "física" de cómo fluye la información podría ser la misma en modelos pequeños y grandes, solo que a diferentes escalas. Esto podría permitirnos descubrir cómo arreglar un modelo gigante estudiando primero uno diminuto.

Resumen de hallazgos

Los autores probaron estas ideas en modelos GPT-2 y descubrieron:

Los cambios pequeños se comportan de forma predecible: Si empujas el modelo suavemente, las matemáticas predicen el resultado casi perfectamente.
Las ondas se propagan: Los cambios no se quedan locales; viajan a través de las capas y afectan a diferentes palabras de manera estructurada.
Existen puntos de alta sensibilidad: Solo unos pocos "golpes" específicos en el río importan más para la respuesta final.
Los cambios en el prompt son solo ondas: Cambiar la oración de entrada (por ejemplo, de "Capital de España" a "Capital de Francia") es matemáticamente similar a lanzar una piedra específica en el río. El modelo reacciona a este "desplazamiento" de una manera predecible, lo que nos permite dirigir la respuesta.

En resumen: Este artículo proporciona una "física de la IA" matemática que convierte el parcheo de prueba y error en una ciencia predecible y calculable. Sugiere que podemos tratar las intervenciones en la IA como problemas de ingeniería donde podemos calcular la fuerza y la ubicación exactas necesarias para obtener un resultado deseado.

Resumen Técnico: Teoría de Campos de Profundidad Continua para la Parchadura de Transformers y la Interpretabilidad Mecanicista

Enunciado del Problema
La interpretabilidad mecanicista busca identificar los circuitos internos responsables del comportamiento de los Transformers mediante la intervención en las activaciones (por ejemplo, parchadura de activaciones, rastreo causal, parchadura de caminos). Si bien estos métodos localizan con éxito sitios y direcciones con significado conductual, a menudo dependen de una enumeración exhaustiva de capas, tokens y subespacios. Este artículo aborda la pregunta complementaria: ¿Pueden dichas intervenciones organizarse, predecirse y reconstruirse utilizando un marco unificado de teoría de campos sobre la profundidad y la posición del token? Los autores proponen tratar el flujo residual no como una secuencia discreta de capas, sino como un campo continuo, permitiendo que la parchadura se formule como un problema de inserción de fuente localizada dentro de un formalismo de respuesta lineal.

Metodología
El artículo desarrolla una teoría de campos de profundidad continua donde el flujo residual $R(t, x)$ del Transformer se modela como un campo sobre una red de profundidad-token. Aquí, el índice de capa $\ell$ se mapea a una coordenada de profundidad $t \in [0, T]$ , y el índice del token se mapea a una coordenada espacial $x$ .

Formulación de Teoría de Campos:
- Parchadura como Inserción de Fuente: Un parche de activación se modela como un término de fuente localizado $J(t, x)$ añadido a la ecuación de evolución de la profundidad: $\partial_t R(t, x) = F_t[R](x) + J(t, x)$ .
- Objetos de Respuesta: El marco define dos objetos de respuesta principales:
  - Campo de Sensibilidad ( $a(t, x)$ ): La derivada funcional de un observable $y$ (por ejemplo, diferencia de logits) con respecto al campo residual, $a(t, x) = \delta y / \delta R(t, x)$ . Esto predice el efecto de un parche.
  - Función de Green ( $G(t, x; t', x')$ ): La función de respuesta de dos puntos $\delta R(t, x) / \delta R(t', x')$ , que describe cómo se propaga una perturbación en $(t', x')$ hacia $(t, x)$ .
- Respuesta Lineal: En un régimen lineal local, el cambio en un observable se aproxima mediante $\delta y \approx \int dt dx \, a(t, x) J(t, x)$ .
- Problema Inverso (Inferencia de Parche): El marco reformula la inferencia del sitio de parche como un problema variacional restringido. Dado un desplazamiento conductual deseado, se busca una fuente $J$ dispersa que satisfaga la ecuación integral $\Delta R_{target} \approx \int G J$ . Esto se resuelve utilizando un principio de acción con un campo adjunto (coestado) $\lambda(t, x)$ , que corresponde al campo de sensibilidad.
Validación Empírica:
La teoría se prueba en Transformers autoregresivos estilo GPT-2 utilizando intervenciones discretas en el flujo residual. Los experimentos miden:
- Linealidad Local y Superposición: Verificando que las pequeñas perturbaciones exhiben una escala lineal y que los efectos de las intervenciones combinadas se suman linealmente.
- Predicción de Sensibilidad: Comparando los efectos de parche medidos con las predicciones derivadas de sensibilidades de primer orden (gradientes de autograd).
- Propagación Residual: Midiendo el campo residual aguas abajo $\delta R$ inducido por un parche localizado para caracterizar la "respuesta de Green".
- Composición: Probando si la propagación a través de una capa intermedia aproxima el producto de operadores de Green ( $G(t_2; t_0) \approx G(t_2; t_1)G(t_1; t_0)$ ).
- Representaciones Reducidas: Analizando operadores de Green "cortados" (propagación a nivel de componente entre sitios fijos) y puntuaciones de sitios de sensibilidad para reducir la dimensionalidad.
- Desplazamientos de Prompt: Tratando la diferencia entre dos prompts como una fuente localizada para probar si actúa como una dirección de transformación.

Contribuciones Clave

Marco de Teoría de Campos: El artículo establece un formalismo donde la parchadura se ve como inserción de fuente localizada, la atribución como predicción de campo de sensibilidad y la propagación como respuesta empírica de función de Green.
Formulación de Inferencia Adjoint: Plantea la inferencia del sitio de parche como un problema inverso resoluble mediante un principio variacional adjunto, avanzando más allá de la simple enumeración hacia un problema de reconstrucción restringido.
Régimen de Respuesta Lineal Empírico: Los autores identifican un régimen lineal local acotado en modelos GPT-2 donde las sensibilidades de primer orden predicen con precisión los efectos de parche y se cumple la superposición.
Propagación Estructurada: Los experimentos demuestran que las perturbaciones residuales se propagan de manera estructurada y anisotrópica a través de la profundidad y la posición del token, exhibiendo propiedades composicionales aproximadas consistentes con la teoría linealizada.
Descripciones Reducidas: El artículo muestra que los sitios de alta sensibilidad y los operadores de Green cortados proporcionan descripciones tratables y de baja dimensión del espacio de respuesta residual, que de otro modo sería de alta dimensión.
Hipótesis de Escala: Se propone teóricamente que la geometría de la respuesta (huellas dactilares de la función de Green) podría compartirse entre diferentes escalas de modelos. Esto sugiere que la información de respuesta de un modelo más pequeño podría definir mapas candidatos de sitios de parche para un modelo más grande, siempre que se utilicen anclajes locales.

Resultados

Linealidad: Las perturbaciones locales exhiben un régimen lineal acotado donde los errores de no linealidad y superposición permanecen bajos (por debajo del 20% en los rangos probados) para amplitudes moderadas.
Precisión de Predicción: Las sensibilidades de autograd ( $a(t, x)$ ) predicen con éxito los efectos escalares de parche medidos en varios sitios y direcciones residuales, validando la aproximación de primer orden.
Estructura de Propagación: Las intervenciones localizadas generan campos de respuesta aguas abajo estructurados que se propagan de manera anisotrópica. La prueba de composición confirma que los campos residuales intermedios retienen información suficiente para reproducir las respuestas aguas abajo dentro del régimen perturbativo.
Concentración de Sitios: Las puntuaciones de sensibilidad ( $\|a(t, x)\|$ ) son altamente no uniformes, concentrándose en un pequeño conjunto de sitios capa-token, lo que permite reducir el espacio de búsqueda de intervenciones.
Desplazamiento de Prompt: Las diferencias entre prompts actúan como direcciones de transformación locales. Sus efectos son predichos por sensibilidades causales, son más efectivos en capas posteriores y pueden desplazar con éxito las clasificaciones de respuestas objetivo en el vocabulario.

Significado y Afirmaciones
El artículo afirma proporcionar un "lenguaje práctico" para organizar experimentos de parchadura, cambiando el paradigma de enumerar intervenciones a estimar cantidades de respuesta (sensibilidades y núcleos). Al establecer empíricamente la base de respuesta lineal, el trabajo hace que la reconstrucción de mecanismos internos esté matemáticamente bien planteada: la función de Green sirve como operador directo para un problema inverso que identifica sitios y direcciones de parche.

Los autores enmarcan modestamente su hipótesis de escala como una motivación para trabajo futuro en lugar de un resultado probado, señalando que depende de una "hipótesis de respuesta latente compartida" y requiere anclajes locales (pesos, activaciones o parches dispersos) para ser viable. La contribución principal es la unificación de herramientas de interpretabilidad mecanicista (parchadura, rastreo, dirección) bajo una única teoría de campos de profundidad continua, ofreciendo una ruta principista desde la medición hasta la inferencia y potencialmente hasta la transferencia entre escalas de modelos.