🤖 machine learning

Targeted Recovery of Weight-Space Mechanisms From Neural Networks

Este artículo presenta la Descomposición de Parámetros Dirigida (tPD), un método escalable que aísla circuitos computacionales específicos dentro de redes neuronales grandes mediante el uso de un componente de alto rango de tipo "atrapa-todo" para gestionar datos no objetivo, permitiendo así la recuperación eficiente y la manipulación quirúrgica de mecanismos con un costo computacional significativamente reducido.

Autores originales: Antoine Vigouroux, Lee Sharkey

Publicado 2026-07-16

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Antoine Vigouroux, Lee Sharkey

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante y mágica donde cada libro ha sido escrito por un robot superinteligente que aprendió a hablar leyendo casi todo lo que hay en internet. Este robot, conocido como un Modelo de Lenguaje Grande (o LLM, por sus siglas en inglés), es increíblemente bueno para terminar tus frases, escribir código o contar historias. Pero aquí está el truco: nadie sabe realmente cómo lo hace. Es como una caja negra. Introduces una pregunta y sale una respuesta perfecta, pero los engranajes que giran dentro son un caos enredado de miles de millones de diminutos interruptores (llamados parámetros) que ningún humano puede leer fácilmente.

Los científicos que estudian la "interpretabilidad mecánica" son como detectives que intentan desarmar esta caja negra para ver los engranajes. Quieren encontrar los circuitos específicos dentro del cerebro del robot que son responsables de tareas particulares, como saber que "París" es la capital de "Francia" o saber cómo escribir una línea de código CSS. Un método reciente llamado "Descomposición de Parámetros" intenta hacer esto descomponiendo el cerebro del robot en partes diminutas con un único propósito. Sin embargo, este método es como intentar mapear cada calle de un país enorme solo para encontrar la ruta hacia tu panadería local: requiere una cantidad enorme de tiempo, dinero y potencia de cómputo. Es tan costoso que actualmente es imposible hacerlo para los robots más grandes y brillantes que existen.

Aquí es donde entra un nuevo artículo de Antoine Vigouroux y Lee Sharkey. Ellos proponen un atajo ingenioso llamado "Descomposición de Parámetros Dirigida" (o tPD, por sus siglas en inglés). En lugar de intentar mapear todo el cerebro del robot a la vez, se preguntan: "¿Y si solo nos importa cómo el robot maneja una cosa específica, como el código CSS o un truco matemático concreto?". Su método construye una red de seguridad gigante que atrapa todo lo que el robot hace fuera de esa única cosa, permitiendo que los científicos concentren su energía solo en los engranajes específicos que importan. Probaron esto en cerebros de robots más pequeños y descubrieron que funciona tan bien como el método costoso de mapeo completo, pero utiliza una fracción mínima de la potencia de cómputo. De hecho, pudieron realizar una cirugía delicada para eliminar la memoria del robot sobre comandos específicos (como "import numpy as") e incluso intercambiarlos para que el robot dijera "import pandas as" en su lugar, todo sin romper la capacidad del robot para hacer cualquier otra cosa. Es una forma de realizar una cirugía cerebral delicada en la IA sin necesidad de todo un hospital de equipo.

La Gran Idea: La Red de Seguridad de "Captura Total"

Piensa en una red neuronal (el cerebro del robot) como una orquesta masiva. Cada instrumento (o peso) desempeña un papel en la creación de la música. La forma antigua de entender esta orquesta era intentar escribir la partitura de cada instrumento tocando cada nota en cada canción posible. Esta es la "descomposición de modelo completo" que mencionan los autores. Es precisa, pero es como intentar transcribir una sinfonía mientras la banda toca mil canciones diferentes a la vez. Toma una eternidad y requiere un equipo enorme de músicos (computadoras) para seguir el ritmo.

Los autores se dieron cuenta de que si solo quieres entender cómo la orquesta toca una canción específica (como un fragmento de código CSS), no necesitas transcribir todo el concierto. Solo necesitas saber qué instrumentos están tocando esa canción. Pero hay un problema: si solo escuchas esa única canción, podrías pensar que un instrumento está tocando una nota cuando en realidad solo está emitiendo un sonido debido al eco de la sala. No puedes saber si un instrumento es realmente importante para esa canción o si simplemente está ahí para las otras canciones.

Para resolver esto, los autores inventaron un componente de "captura total". Imagina que estás grabando la orquesta. Colocas un micrófono en los instrumentos específicos que te interesan (el "objetivo"), pero también colocas una manta gigante y súper sensible de cancelación de ruido sobre el resto del escenario. Esta manta (llamada componente $\Delta$ ) atrapa todos los sonidos de los otros instrumentos que no forman parte de tu canción objetivo.

Al entrenar el sistema con dos flujos de datos a la vez —la canción específica que quieres estudiar y una gran mezcla de otras canciones aleatorias— la manta de "captura total" aprende a absorber todo lo que no es el objetivo. Esto obliga a los micrófonos específicos a captar solo los instrumentos que son verdaderamente esenciales para la canción objetivo. Si un instrumento solo se usa para las otras canciones, la manta lo traga y los micrófonos permanecen en silencio. Esto significa que los científicos pueden encontrar los "circuitos" exactos para una tarea específica sin necesidad de mapear toda la orquesta.

Lo Que Encontraron: Velocidad, Precisión y Cirugía

El equipo probó esta idea en modelos de juguete (robots simples y pequeños) y descubrieron que funcionaba perfectamente. Cuando le pidieron al sistema que solo mirara tres características específicas, encontró exactamente los tres mecanismos necesarios, ignorando los otros 97. Fue como encontrar tres llaves específicas en un llavero gigante sin tener que mirar las otras 97 llaves. No solo encontró las llaves correctas, sino que lo hizo mucho más rápido —unas cinco veces más rápido que el método antiguo— y necesitó una computadora mucho más pequeña para realizar la tarea.

Luego pasaron a un modelo de lenguaje real, un transformador de 4 bloques entrenado con un conjunto de datos masivo llamado "The Pile". Querían ver si podían aislar los mecanismos que manejan el código CSS. Usando su método dirigido, lograron extraer un submodelo de "solo CSS". Este submodelo utilizó solo aproximadamente el 7% de la potencia de cómputo (FLOPs) del método de descomposición completo.

Los resultados fueron impactantes. Cuando ejecutaron este modelo de solo CSS en código CSS, funcionaba igual que el robot original. Pero cuando intentaron que hablara inglés o Python, colapsaba por completo, a menudo repitiendo la palabra "the" o "count". Esto demostió que habían aislado con éxito el "cerebro de CSS" del resto del robot. Aún más genial, encontraron subcomponentes específicos que eran responsables de cosas como reconocer la indentación en el código CSS, pero no en el código Python. Cuando apagaron estos componentes específicos, el robot dejó de entender la indentación de CSS, pero su capacidad para escribir código Python permaneció perfectamente intacta.

La Prueba Definitiva: Cirugía Cerebral en un Modelo de 12 Bloques

La parte más emocionante del artículo ocurrió cuando aplicaron esto a un modelo más grande, un transformador de 12 bloques con 85 millones de parámetros de no-embedding. Se centraron en una tarea muy específica: el hábito del robot de completar la frase "import numpy as" con "np" e "import pandas as" con "pd". Estos son comandos comunes en la programación de Python.

Usando su método dirigido, identificaron 248 subcomponentes específicos responsables de estas completaciones. Luego, realizaron una "cirugía" digital.

Primero, ablacionaron (apagaron) los componentes específicos de "numpy". ¿El resultado? El robot ya no podía completar "import numpy as" con "np". Era como si la memoria de esa asociación específica hubiera sido borrada. Pero aquí está la magia: la capacidad del robot para escribir todo lo demás —texto en inglés, otro código, frases aleatorias— permaneció completamente intacta. No se confundió ni empezó a cometer errores en otros lugares.

Luego, intentaron algo más audaz: reconfigurar (rewiring). Dado que cada componente tiene una dirección de "entrada" y una de "salida", intercambiaron las direcciones de salida de los componentes de "numpy" y "pandas". Básicamente, le dijeron a la parte de "numpy" del cerebro que hablara con la voz de "pandas", y viceversa.

El resultado fue extraño y perfecto. Cuando escribías "import numpy as", el robot ahora lo completaba con "pd". Cuando escribías "import pandas as", lo completaba con "np". No fue un simple error; había intercambiado genuinamente el conocimiento. Y, de nuevo, este cambio fue increíblemente específico. El comportamiento del robot en el resto de internet (más de 100,000 tokens de datos generales) permaneció casi idéntico al original. Los "efectos secundarios" fueron insignificantes.

Por Qué Esto Importa (y Lo Que No)

Este artículo sugiere que no necesitamos esperar a que supercomputadoras mapeen todo el cerebro de una IA gigante para entenderla o editarla. Podemos hacer zoom en comportos específicos, aislar los engranajes que los hacen funcionar e incluso ajustarlos, todo mientras dejamos que el resto de la máquina funcione sin problemas.

Sin embargo, los autores son cuidadosos de no prometer de más. Señalan que este método funciona mejor para tareas específicas y bien definidas, como secuencias memorizadas (como "import numpy") o tipos de código específicos (como CSS). Admiten que editar el "conocimiento del mundo" complejo (como hechos sobre historia o ciencia) podría ser más difícil porque el cerebro podría utilizar múltiples formas redundantes para almacenar el mismo hecho. Si el robot tiene dos engranjes que hacen el mismo trabajo, apagar uno podría no detener al robot en su tarea, porque el otro engranje simplemente tomará el control. También señalan que su modelo más grande seguía siendo diminuto comparado con los modelos de "frontera" utilizados hoy en día, por lo que podrían surgir nuevos desafíos al escalar.

Pero por ahora, esta "Descomposición de Parámetros Dirigida" es una herramienta poderosa. Es como tener un escalpelo en lugar de un mazo. En lugar de intentar entender todo el robot a la vez, ahora podemos levantar suavemente la tapa, mirar exactamente la parte que nos da curiosidad e incluso darle un pequeño empujón, todo sin romper el resto de la máquina.

Resumen Técnico: Recuperación Dirigida de Mecanismos en el Espacio de Pesos de Redes Neuronales

Planteamiento del Problema

La Descomposición de Parámetros (PD) es una técnica para la ingeniería inversa de redes neuronales que consiste en descomponer las matrices de pesos en subcomponentes interpretables de rango 1 ( $U_c V_c^\top$ ) que implementan roles funcionales únicos. Aunque la PD se ha aplicado con éxito a modelos de juguete y se ha escalado a transformadores pequeños (por ejemplo, un modelo de 4 bloques con 28 millones de parámetros), escalar este enfoque a los Modelos de Lenguaje Extensos (LLM) de vanguardia presenta obstáculos significativos. La descomposición del modelo completo requiere recursos computacionales vastos, lo que la convierte en una labor costosa y arriesgada. Además, sin una verdad fundamental (ground truth) que guíe la ingeniería de tales descomposiciones a gran escala, el paisaje de optimización se vuelve cada vez más difícil de navegar. Los métodos existentes requieren que la descomposición reconstruya el comportamiento del modelo a través de todo su distribución de entrada, un requisito que puede ser innecesario para objetivos de interpretabilidad específicos.

Metodología: Descomposición de Parámetros Dirigida (tPD)

Los autores proponen la Descomposición de Parámetros Dirigida (tPD), una variante de la PD que identifica selectivamente los mecanismos que procesan un subconjunto específico de datos (los "datos objetivo") en lugar de toda la distribución de entrada.

Mecanismo Central

Una PD estándar entrenada solo con datos objetivo produce una solución subdeterminada: aunque reconstruye las salidas de los datos objetivo, los subcomponentes quedan sin restricciones en las direcciones ortogonales al subespacio de activación de dichos datos. Esto provoca efectos impredecibles al ablacionar componentes en entradas que no son el objetivo.

Para resolver esto, la tPD entrena sobre dos flujos de datos paralelos:

Flujo Objetivo: Un conjunto de datos más pequeño de entradas que el usuario desea explicar (por ejemplo, prompts o subtareas específicas).
Flujo No Objetivo: Datos muestreados de la distribución de entrenamiento original del modelo.

El modelo de descomposición aproxima la matriz de pesos original $W$ como:
$W \approx W' = \sum_{i=1}^{C} m_i U_i V_i^\top + m_\Delta \left( W - \sum_{i=1}^{C} U_i V_i^\top \right)$
Donde:

$U_i V_i^\top$ son los subcomponentes dispersos de rango 1 destinados a capturar los mecanismos activos en los datos objetivo.
$\Delta = W - \sum U_i V_i^\top$ es un componente de rango completo y de captura general que captura todos los mecanismos no descompuestos explícitamente (es decir, aquellos que están inactivos en los datos objetivo).
$m_i$ y $m_\Delta$ son máscaras controladas por una red de importancia causal auxiliar y optimización adversarial.

Dinámica de Entrenamiento

En Datos Objetivo: El componente $\Delta$ es ablacionado adversarialmente (las máscaras se ajustan entre 0 y 100%) para maximizar la pérdida de reconstrucción. Esto obliga al modelo a reconstruir las salidas de los datos objetivo utilizando únicamente el conjunto disperso de subcomponentes de rango 1.
En Datos No Objetivo: El componente $\Delta$ está totalmente habilitado ( $m_\Delta = 1$ ). Se permite que los subcomponentes de rango 1 se activen, pero no se requiere que sumen los pesos originales.
Restricciones Adversariales: Tanto los subcomponentes inactivos como el componente $\Delta$ son ablacionados adversarialmente para asegurar que las salidas del modelo permanezcan inalteradas para cualquier híbrido de matrices originales y ablacionadas. Esto impone una fidelidad mecanística, asegurando que los subcomponentes identificados sean causalmente importantes y que el componente $\Delta$ no interfiera con los mecanismos objetivo.
Importancia-Minimalidad: La función de pérdida minimiza el número de subcomponentes activos. Los mecanismos activos solo en datos no objetivo son empujados hacia el componente $\Delta$ , mientras que los mecanismos activos en datos objetivo se moldean para interferir mínimamente con los datos no objetivo.

Contribuciones Clave

Marco de Descomposición Dirigida: Introducción de tPD, que desacopla la necesidad de una descomposición de modelo completo de la capacidad de extraer circuitos interpretables para tareas específicas.
El Componente $\Delta$ : Una adición arquitectónica novedosa que gestiona los datos no objetivo, resolviendo el problema de la subdeterminación inherente al entrenar la PD en conjuntos de datos estrechos.
Eficiencia: Demostración de que tPD reduce significativamente los requisitos computacionales (huella de memoria y pasos de optimización) en comparación con la PD de datos completos.
Edición Mecanística: Demostración de que tPD permite intervenciones quirúrgicas (ablación y reconfiguración o rewiring) en mecanismos específicos con efectos secundarios insignificantes en entradas no relacionadas.

Resultados

1. Validación en Modelo de Juguete (TMCC)

En el Modelo de Juguete de Computación Comprimida (TMCC), la tPD recuperó con éxito los mecanismos de verdad fundamental para un subconjunto de 3 características de entrada de un total de 100.

Precisión: Identificó exactamente los tres mecanismos que procesan las características objetivo sin activaciones espurias en los datos no objetivo.
Eficiencia: El modelo de descomposición requirió significativamente menos ranuras de subcomponentes (tan solo 5 frente a 100) y convergió en ~500 pasos en comparación con los ~2,500 pasos de la PD de datos completos.

2. Consistencia en Transformadores

Validado en un transformador de 4 bloques entrenado con The Pile:

Reproducibilidad: Las descomposiciones inicializadas desde diferentes semillas aleatorias convergieron a circuitos altamente similares (alta similitud de coseno en los vectores $U$ y $V$ ) al apuntar a prompts como "import numpy as" e "import pandas as".
Componibilidad: Las descomposiciones de conjuntos objetivo anidados (por ejemplo, {numpy, pandas} frente a {numpy} solo) fueron coherentes, siendo la descomposición conjunta la unión de los componentes encontrados en las descomposiciones individuales.

3. Extracción de Submodelo Solo-CSS

Los autores extrajeron un submodelo que contiene solo los mecanismos que procesan código CSS de un transformador de 4 bloques.

Eficiencia de Recursos: Esto requirió solo ~7% de los FLOPs de la descomposición de datos completos publicada.
Rendimiento: El modelo "Solo-CSS" (usando solo los 1,638 subcomponentes identificados) igualó el rendimiento del modelo original en datos de CSS (divergencia KL ≈ 0.6) mientras colapsaba en otros lenguajes (divergencia KL ≥ 2), aislando efectivamente la computación específica de CSS.
Especificidad: La ablación de subcomponentes específicos (por ejemplo, los que manejan la indentación o las unidades en CSS) degradó el rendimiento de CSS pero dejó los otros lenguajes sin cambios, demostrando una alta especificidad mecanística.

4. Edición de Conocimiento en un Transformador de 12 Bloques

Aplicado a un transformador de 12 bloques (85 millones de parámetros) para editar secuencias memorizadas ("import numpy as" $\to$ "np" e "import pandas as" $\to$ "pd").

Ablación: Los autores identificaron 248 subcomponentes específicos para estos prompts. Ablacionarlos completamente suprimió la capacidad del modelo para completar estas secuencias manteniendo el comportamiento en los datos generales de The Pile (KL < $10^{-2}$ ).
Reconfiguración (Rewiring): Al intercambiar las direcciones de salida (vectores $U$ ) de subcomponentes específicos, los autores reconfiguraron con éxito el modelo para que produzca "pd" para "import numpy as" y "np" para "import pandas as". Este cambio fue altamente específico, con efectos secundarios insignificantes en contextos no relacionados.
Comparación: Una descomposición "ingenua" (solo datos objetivo, sin $\Delta$ ) resultó en fuertes efectos secundarios en los datos no objetivo al ser ablacionada, confirmando la necesidad del marco tPD.

Significancia y Reivindicaciones

El artículo afirma que tPD es una herramienta práctica para la interpretabilidad de alcance estrecho, permitiendo la localización de circuitos, el desaprendizaje (unlearning) y la edición a escalas donde la PD de datos completos es actualmente inviable. Sugiere que tPD puede servir como precursor de una descomposición de datos completos al presentar hechos sobre modelos objetivo que pueden anclar esfuerzos de ingeniería más grandes.

Los autores mantienen la modestia respecto al alcance de sus afirmaciones:

Granularidad: Los subcomponentes de tPD procesan la porción del espacio de activación abarcada por los datos objetivo y no son necesariamente idénticos a los subcomponentes de datos completos.
Complejidad: Los casos de edición demostrados involucran secuencias memorizadas cortas y específicas de tokens. Editar conocimiento complejo del mundo puede requerir una ingeniería más elaborada.
Redundancia: El artículo reconoce que si un modelo utiliza mecanismos redundantes para una tarea, la tPD (al igual como la PD de datos completos) podría recuperar solo un subconjunto, pudiendo omitir algunos mecanismos que son absorbidos por el componente $\Delta$ .
Escala: Los modelos más grandes probados (comparables a GPT-2-small) siguen siendo pequeños para los estándares de vanguardia; escalar la tPD aún más podría revelar desafíos imprevistos.

En resumen, la tPD ofrece una vía computacionalmente eficiente para la ingeniería inversa de comportamientos específicos en redes neuronales sin el costo prohibitivo de descomponer todo el modelo, siempre que los datos objetivo se elijan para capturar plenamente el comportamiento de interés.