🤖 AI

Finding Usable Weight Mechanisms with Tiled SVD

Este artículo propone un método para extraer mecanismos de peso interpretables directamente de las capas lineales de redes neuronales utilizando SVD por teselas de columnas para definir las características como triples de activación-escritura-fuerza, demostrando un rendimiento perfecto en todos los sitios probados en un modelo Gemma-2-2B al tiempo que libera el código asociado y la suite de evaluación.

Autores originales: Ash Manvi, Samreena Tajreen

Publicado 2026-08-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ash Manvi, Samreena Tajreen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de entender cómo funciona el cerebro de un robot gigante y superinteligente. Durante mucho tiempo, los científicos han sido como detectives tratando de descifrar qué está pensando el robot observando sus "notas" (activaciones) mientras resuelve problemas. Construyeron diccionarios especiales para etiquetar estas notas, dándoles nombres como "gato" o "justicia" para patrones específicos de actividad. Es un poco como tener un traductor que te dice: "¡Ah, justo ahora el robot está pensando en un gato!". Pero hay un inconveniente: este traductor es una herramienta separada, no es parte del cerebro real del robot. Es como tener un manual que explica la máquina, en lugar de ver los engranajes y las palancas moviéndose dentro.

La gran pregunta que aborda este artículo es: ¿Podemos encontrar los verdaderos "engranajes" dentro del cerebro del robot que realizan el pensamiento, sin necesidad de un manual separado? Los autores están mirando los "cables" (pesos) que conectan las diferentes partes del cerebro. Quieren encontrar interruptores específicos y utilizables que enciendan y apaguen las ideas. Si podemos encontrar estos interruptores directamente en el cableado, no solo estaremos adivinando qué piensa el robot; podremos ver exactamente cómo construye sus pensamientos, paso a paso. Esto es crucial porque si entendemos la mecánica real, podríamos ser capaces de corregir errores o dirigir al robot en direcciones más seguras, en lugar de solo adivinar lo que significa.

La historia del artículo: Encontrando los verdaderos engranajes

Los autores, Ash Manvi y Samreena Tajreen de Aquin Labs, decidieron dejar de mirar las "notas" del robot y empezar a mirar directamente sus "diagramas de cableado". Se centraron en un tipo específico de cerebro de robot llamado Gemma-2-2B y preguntaron: "Si cortamos el cableado en trozos pequeños y manejables, ¿podemos encontrar los interruptores exactos que controlan los pensamientos del robot?".

Para hacer esto, utilizaron una herramienta matemática llamada SVD (Descomposición en Valores Singulares). Piensa en la SVD como una forma superpotente de tomar una bola de estambre desordenada y enredada y desenredarla en hilos rectos y ordenados. Normalmente, los científicos desenredan toda la bola de estambre a la vez para encontrar los hilos más grandes. Pero los autores tenían la corazonada de que los hilos más útiles podrían estar escondidos en secciones más pequeñas y específicas. Así que probaron un truco nuevo: SVD por teselas (Tiled SVD).

Imagina el cableado del robot como una gigantesca pared de interruptores. En lugar de intentar desenredar toda la pared a la vez, la dividieron en pequeñas teselas cuadradas (como un mosaico). Desenredaron cada pequeña tesela por separado. De cada tesela, extrajeron un "montaje de mecanismo", que es solo un nombre elegante para un paquete triple:

El Disparador (v): La señal específica que activa el interruptor.
La Escritura (u): La dirección en la que el interruptor empuja los pensamientos del robot.
La Fuerza (σ): Qué tan fuerte empuja ese interruptor.

Los autores no se limitaron a adivinar si estos interruptores funcionaban; construyeron una prueba rigurosa para ver si eran mecanismos reales o simplemente ruido aleatorio. Comprobaron tres cosas principales:

Elevación de Energía: ¿Hace que activar este interruptor el cerebro del robot trabaje más de una manera útil? Descubrieron que su enfoque "por teselas" (cortar la pared en piezas pequeñas) era mucho mejor para encontrar estos interruptores poderosos que mirar la pared completa de una sola vez.
Cobertura: ¿Cubren estos interruptores suficiente parte del cerebro del robot? Descubrieron que solo unos pocos interruptores por tesela eran suficientes para explicar casi todo lo que el robot estaba haciendo.
Direccionamiento Causal: Si giraban estos interruptores manualmente, ¿cambiaba el robot su opinión de una manera predecible? Probaron esto inyectando señales en el "flujo residual" del robot (la autopista principal por donde viajan los pensamientos) y comprobando si las respuestas finales del robot cambiaban según lo esperado.

Lo que encontraron

Los resultados fueron sorprendentemente exitosos. Probaron siete tipos diferentes de cableado en cada una de las capas del cerebro del robot (26 capas en total). Eso son 182 puntos diferentes que revisaron.

Los interruptores "grandes": Para los dos tipos principales de interruptores que realmente escriben nuevos pensamientos en la memoria del robot (llamados mlp.down y attn.o), utilizaron una prueba completa que incluía comprobar si el robot cambiaba su opinión correctamente. Todos los 52 de estos puntos pasaron la prueba.
Los interruptores "ayudantes": Para los otros cinco tipos de interruptores que ayudan a procesar información pero no escriben directamente en la memoria, utilizaron una prueba un poco más simple. Todos los 130 de estos puntos pasaron la prueba.

En total, 182 de 182 puntos pasaron la prueba. Esto significa que encontraron con éxito mecanismos reales y utilizables en cada una de las partes del cerebro del robot que examinaron.

Lo que esto significa (y lo que no)

Los autores son muy claros sobre lo que no hicieron. No encontraron un diccionario de palabras como "gato" o "amor". No reemplazaron los métodos antiguos de "toma de notas" (como los autoencoders dispersos) para descubrir nuevos conceptos. En cambio, demostraron que si miras el cableado en pequeños fragmentos por teselas, puedes encontrar las reglas físicas reales que el robot utiliza para pensar.

También descubrieron que, para algunas partes del cerebro, no puedes simplemente mirar el cableado bruto; tienes que mirar la "ruta efectiva" (cómo fluye la señal cuando el robot está trabajando). Una vez que ajustaron esto, los interruptores funcionaron perfectamente.

El artículo sugiere que este enfoque "por teselas" es una mejor manera de encontrar los engranjes internos del robot que mirar todo el sistema a la vez. Es un método reproducible y honesto que demuestra que podemos encontrar las "reglas de peso" (la matemática real dentro del cerebro) que impulsan el comportamiento del robot, sin necesidad de un traductor externo que nos diga qué está sucediendo. Aunque solo probaron esto en un modelo de robot específico y un tipo de texto, el método que construyeron ahora está disponible para que cualquiera lo use para explorar otros cerebros.

Resumen Técnico: Hallazgo de Mecanismos de Peso Utilizables mediante SVD por Teselas

Planteamiento del Problema
Los enfoques dominantes actuales en la interpretabilidad mecanicista dependen del entrenamiento de diccionarios de aproximación (proxies), tales como los autoencoders dispersos (SAEs), para etiquetar características basadas en el texto de máxima activación. Aunque estos atlas identifican conceptos con éxito, la "identidad" de una característica reside en el diccionario aprendido y no en los pesos de la red propiamente dichos. En consecuencia, las reglas de peso específicas que realmente escriben en el flujo residual permanecen implícitas. Además, los métodos existentes suelen utilizar la Descomposición en Valores Singulares (SVD) meramente como una lente o un primitivo de circuito, en lugar de como una prueba riguroosa para determinar qué fragmentación específica de una matriz de pesos ( $W$ ) produce mecanismos utilizables y sobre la distribución.

Metodología
Los autores proponen extraer "monturas de mecanismos" (mechanism mounts) directamente de los sitios lineales dentro de la red utilizando SVD por teselas de columnas (column-tiled SVD).

Monturas de Mecanismo: Una montura se define como una triple $(v, u, \sigma)$ que representa un disparador (trigger), una dirección de escritura y una intensidad. La identidad de un mecanismo es la propia regla de peso, no una etiqueta verbal.
Estrategia de Teselado: En lugar de realizar la SVD sobre toda la matriz de pesos, las columnas de entrada de $W$ se particionan en teselas. Cada tesela se factoriza de forma independiente ( $B_t = U_t \Sigma_t V_t^\top$ ). Se retienen los modos top- $k$ de cada tesela para formar las monturas.
Métricas de Evaluación: Los autores introducen un stack de medición juzgado por la elevación de energía de escritura completa (full-write energy lift) en lugar de la elevación local de la tesela.
- Elevación de Energía de Escritura Completa ( $L_{full}$ ): Mide qué tan bien una dirección $u$ explica la energía del tensor de escritura real $\Delta h_t$ a través del conjunto de datos. Esta métrica evita la ventaja tautológica de las teselas de una sola columna que inflan las métricas locales.
- Saturación de Cobertura: Evalúa la fracción de la norma de Frobenius de $W$ recuperada por las reconstrucciones de rango- $k$ por tesela. Requiere que la elevación se sature tempranamente (dentro de 1–2 modos) y no colapse significativamente.
- Verificación de Dirección Causal (Experimento C): Para escrituras residuales, los autores inyectan la dirección de dirección (steer direction) después del RMSNorm post-subcapa y miden la correlación de Spearman ( $\rho$ ) entre los cambios resultantes en los logits y el desembedding de la dirección de escritura.
Monturas de Trayectoria Efectiva (Effective-Path Mounts): Para sitios no residuales como mlp.up y attn.v, los pesos brutos de los módulos suelen fallar en las verificaciones causales. El método construye "mapas efectivos" (por ejemplo, ponderando mlp.up por las activaciones medias de la puerta o utilizando mínimos cuadrados con regularización ridge para attn.v) para capturar el uso real sobre la distribución.

Configuración Experimental

Modelo: Google Gemma-2-2B (26 capas).
Datos: Datos de entrenamiento raw de WikiText-2, submuestreados a 16,384 tokens.
Sitios: Se evalúan los siete mapas lineales por capa:
- Escrituras Residuales (Verificaciones A/B/C): mlp.down, attn.o.
- No Residuales (Solo verificaciones A/B): mlp.gate, mlp.up, attn.q, attn.k, attn.v.
Baselines: El enfoque de SVD por teselas se compara contra SVD de matriz completa, muestreo de columnas y baselines aleatorios.

Resultados Clave
El conjunto propuesto fue aplicado a los 182 sitios-capa (7 sitios $\times$ 26 capas).

Experimento A (Fragmentación): El SVD por teselas logró consistentemente una mayor elevación de energía de escritura completa que la SVD de matriz completa, el muestreo de columnas y los baselines aleatorios en todas las profundidades para las escrituras residuales. Esto indica que la estructura local de columnas en $W$ no se resume bien mediante una única SVD global.
Experimento B (Cobertura): La elevación de la cobertura se saturó rápidamente, alcanzando su máximo rendimiento con solo 1 o 2 modos por tesela. Los modos adicionales añadían principalmente redundancia.
Experimento C (Profundidad Causal): Para las escrituras residuales, la alineación entre los logits dirigidos y el desembedding de la dirección de escritura aumentó con la profundidad. Las capas tempranas (0–5) mostraron una alineación débil (justificando una exención para la verificación C1), mientras que las capas finales alcanzaron altas correlaciones ( $\rho \approx 0.91$ para mlp.down, $\rho \approx 0.75$ para attn.o).
Veredicto Agregado: El conjunto pasó 182/182 sitios-capas.
- Los sitios residuales (mlp.down, attn.o) pasaron las verificaciones A, B y C (52/52).
- Los sitios no residuales pasaron las verificaciones A y B (130/130), siempre que mlp.up y attn.v utilizaran monturas de trayectoria efectiva.

Significancia y Reivindicaciones
Los autores posicionan este trabajo no como un reemplazo para los autoencoders dispersos en el descubrimiento de conceptos, ni como un método para generar nombres de conceptos legibles por humanos. En cambio, la significancia radica en:

Fragmentación Justa: Demostrar que el SVD por teselas es un método superior para extraer mecanismos de peso utilizables en comparación con la SVD global o el muestreo de columnas bajo un presupuesto equivalente.
Resultado Negativo sobre Métricas Locales: Resaltar que las métricas de elevación de la tesela local son tautológicas y que la elevación de energía de escritura completa es un criterio necesario de usabilidad.
Protocolo Reproducible: Proporcionar un "protocolo honesto de múltiples sitios" que valida la extracción de mecanismos en todos los mapas lineales de un bloque Transformer, incluyendo una verificación causal condicionada por la profundidad.
Definición de Identidad: Establecer que la "identidad" de un mecanismo es la propia regla de peso, independiente de diccionarios externos.

El artículo concluye que, con monturas de trayectoria efectiva para capas específicas, un conjunto de verificaciones simple y reproducible puede validar mecanismos utilizables en toda la arquitectura de un modelo. Los autores liberan el código de la librería, el constructor del corpus y los puntos de entrada del experimento para apoyar este protocolo.

La historia del artículo: Encontrando los verdaderos engranajes

Lo que encontraron

Lo que esto significa (y lo que no)

Más como este