🤖 machine learning

Polymorphism Is Rotation: Operational Mechanistic Interpretability from a Two-Layer Transformer to Pythia-70m

Este artículo demuestra que los transformadores entrenados de forma independiente calculan funciones idénticas utilizando coordenadas internas mutuamente ininteligibles relacionadas mediante una rotación aleatoria uniforme, un fenómeno denominado «polimorfismo» que puede resolverse mediante un único ajuste ortogonal de Procrustes para permitir la transferencia directa de diccionarios de características y vectores de dirección sin reentrenamiento.

Autores originales: Jordan F. McCann

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jordan F. McCann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tú y un amigo estáis construyendo ambos castillos de Lego idénticos y complejos a partir del mismo manual de instrucciones. Ambos termináis con castillos que se ven exactamente iguales por fuera y realizan las mismas funciones exactas (tienen las mismas puertas, ventanas y torres).

Sin embargo, dentro de vuestros castillos, los "planos" de cómo están dispuestos los ladrillos son completamente diferentes. De hecho, son tan diferentes que si intentaras usar el plano interno de tu amigo para entender tu propio castillo, te quedarías confundido. No es que vuestros castillos sean diferentes; es que estáis hablando dos "idiomas internos" diferentes para describir lo mismo.

Este artículo denomina a este fenómeno "Polimorfismo". Significa "misma función, diferentes coordenadas internas".

Aquí está el desglose de lo que los investigadores encontraron, utilizando analogías simples:

1. El "Decodificador" frente al "Codificador" (El problema del diccionario)

En la investigación de IA, los científicos a menudo intentan entender qué está pensando un modelo observando sus "características" (como un diccionario de conceptos). Descubrieron que si observaban el final del proceso (el "decodificador"), los diccionarios parecían casi idénticos entre dos modelos diferentes. Era como si dos personas usaran exactamente el mismo diccionario para escribir una historia.

El Giro: Los investigadores se dieron cuenta de que, aunque el diccionario (el decodificador) era el mismo, la forma en que leían el diccionario (el codificador) estaba completamente desordenada.

La Analogía: Imagina a dos personas leyendo un libro. La persona A lo lee normalmente. La persona B tiene el libro rotado 90 grados y lo lee al revés. Si solo miras las palabras a las que señalan (el decodificador), coinciden perfectamente. Pero si intentas leer las notas de la persona B usando la perspectiva de la persona A, las notas no tienen sentido. Las "notas" (activaciones) están en un marco de referencia rotado.

2. El Fallo Catastrófico

Cuando los investigadores intentaron tomar el "diccionario de características" del Modelo A y aplicarlo directamente al Modelo B, falló completamente. La reconstrucción de los pensamientos internos del modelo fue peor que simplemente adivinar la respuesta promedio.

La Analogía: Es como intentar usar un mapa de la ciudad de Nueva York para navegar por Londres. Los hitos (columnas del decodificador) podrían parecerse en una lista, pero las calles (coordenadas internas) están orientadas de manera diferente. Si sigues el mapa de Nueva York en Londres, te perderás inmediatamente.

3. La Solución Mágica: Una Multiplicación de Matrices

El mayor descubrimiento del artículo es cómo solucionar esto. No necesitas reentrenar los modelos ni cambiar sus cerebros. Solo necesitas aplicar una única "rotación" matemática (un tipo específico de operación matemática llamada ajuste de Procrustes) para alinear los dos modelos.

La Analogía: Imagina que tú y tu amigo estáis mirando ambos una escultura, pero estáis parados en lados opuestos de una plataforma giratoria. Veis el mismo objeto, pero desde ángulos diferentes. Si solo giras tu plataforma para que coincida con la de tu amigo, de repente vuestras vistas se alinean perfectamente.
El Resultado: Una vez que aplicaron esta única "rotación" a los datos internos del Modelo B, el diccionario del Modelo A funcionó perfectamente en el Modelo B. El "idioma interno" se tradujo instantáneamente.

4. ¿Es una Rotación Específica o Aleatoria?

Los investigadores querían saber: ¿Es esta rotación un desplazamiento específico y significativo, o es simplemente caos aleatorio?

El Hallazgo: Es esencialmente aleatoria. La rotación entre dos modelos entrenados independientemente es como un giro aleatorio en una ruleta. No es un ángulo "especial"; es simplemente una rotación aleatoria uniforme.
La Analogía: Si giras un globo terráqueo al azar y lo detienes, la orientación es aleatoria. El artículo muestra que cada vez que se entrenan dos modelos de IA desde cero, terminan con un "globo" que se detiene en un ángulo aleatorio en relación con el otro.

5. Qué Significa Esto para la "Dirección" (Cambio de Comportamiento)

El artículo también probó los "vectores de dirección": herramientas utilizadas para empujar a un modelo a comportarse de manera diferente (por ejemplo, hacerlo más educado o más creativo).

El Hallazgo: Si intentas usar un "empujón de dirección" del Modelo A en el Modelo B sin arreglar primero la rotación, a menudo falla o incluso hace lo opuesto a lo que quieres.
La Analogía: Imagina que tienes un control remoto para un coche de juguete (Modelo A). Si intentas usar ese control remoto en un coche de juguete diferente (Modelo B) que está orientado en una dirección diferente, pulsar "Adelante" podría hacer que el segundo coche vaya "Izquierda" o "Atrás". Primero tienes que averiguar hacia dónde está orientado el segundo coche (la rotación) y ajustar las señales de tu control remoto en consecuencia.

Resumen de las "Reglas"

El artículo establece tres reglas principales sobre cómo se relacionan estos modelos:

Misma Función, Diferentes Coordenadas: Dos modelos entrenados por separado hacen el mismo trabajo pero usan "mapas" internos diferentes.
El Decodificador Miente: Solo porque las características del "final de la línea" parezcan similares no significa que los modelos entiendan las cosas de la misma manera.
La Solución es Barata: Puedes alinear dos modelos totalmente diferentes con un único cálculo matemático simple (una multiplicación de matrices) sin necesidad de reentrenarlos.

La Escala del Descubrimiento

Los investigadores demostraron esto en dos niveles:

El Modelo de "Juguete": Un modelo diminuto y simple (104.000 parámetros) donde pudieron revisar cada ladrillo individual para asegurar que la teoría era cierta.
El Modelo "Real": Un modelo de lenguaje mucho más grande y del mundo real (Pythia-70m) con 70 millones de parámetros. La misma regla de "rotación aleatoria" también se mantuvo aquí.

La Conclusión Final: Los modelos de IA son como gemelos que hablan el mismo idioma pero con diferentes acentos y orientaciones. Hacen las mismas cosas, pero para entenderse entre sí, solo necesitas rotar tu perspectiva. Una vez que lo haces, sus secretos internos se vuelven legibles.

Resumen Técnico: El Polimorfismo es Rotación

Declaración del Problema

El campo de la interpretabilidad mecanicista, particularmente en lo que respecta a los Autoencoders Dispersos (SAE), ha dependido en gran medida de la similitud del coseno de las columnas del decodificador como métrica principal para la "universalidad"—la afirmación de que los transformadores entrenados de forma independiente aprenden las mismas características internas. La literatura reciente reporta altas similitudes de coseno (a menudo >0.9) entre las columnas del decodificador de modelos entrenados con diferentes semillas aleatorias, interpretando esto como evidencia de que los diccionarios de características son compartidos.

Sin embargo, este artículo identifica un modo de fallo crítico: mientras que las columnas del decodificador pueden alinearse, los codificadores SAE fallan catastróficamente cuando se aplican a activaciones de una semilla diferente. Aplicar un SAE entrenado en la Semilla A al flujo residual de la Semilla B resulta en varianza explicada (EV) negativa, lo que significa que la reconstrucción es peor que predecir la media constante. Esto sugiere que la métrica de "universalidad" mide únicamente la geometría del decodificador mientras ignora una desalineación fundamental en el marco de lectura del codificador. El problema central es que los modelos entrenados de forma independiente computan la misma función pero operan en sistemas de coordenadas internos mutuamente ininteligibles.

Metodología

Los autores emplean un marco operativo de cuatro barras riguroso y pre-registrado para probar afirmaciones mecanicistas, asegurando la falsabilidad:

Barra B (Conductual): Divergencia KL media entre el modelo y una especificación constructiva.
Barra P (Paramétrica): Error Cuadrático Medio (MSE) máximo por entrada de peso después de la alineación de simetría.
Barra C (Causal): Correlación entre los efectos de parche de componente predichos y medidos.
Barra Pr (Predictiva): Correlación entre las pérdidas de ablación de componente predichas y medidas.

Correcciones Metodológicas Clave:

Gradientes Integrados (IG) vs. Parcheo de Atribución (AP): Los autores demuestran que, en la convergencia, el AP se correlaciona negativamente con los efectos de parche medidos debido a la dominancia del ruido en los gradientes cerca de los mínimos. Sustituyen el AP por Gradientes Integrados, que, mediante el axioma de completitud, proporcionan un predictor matemáticamente exacto de los efectos de ablación de la media (logrando $r > 0.999$ ).
Especificación Constructiva: En lugar de compilar una especificación teórica (por ejemplo, mediante Tracr), los autores derivan una "especificación constructiva" directamente de la semilla primaria entrenada, plegando RMSNorm y anotando roles, asegurando que la especificación refleje la implementación real del modelo.

Configuración Experimental:

Escala de Juguete: Un transformador de dos capas con 104k parámetros entrenado en Dyck-3 de profundidad acotada (una tarea de emparejamiento de paréntesis). Esto permite una interpretación mecanicista completa de cada peso.
Escala Ampliada: Nueve semillas Pythia-70m entrenadas de forma independiente (71M parámetros, $d_{model}=512$ ) entrenadas en The Pile.
Cohortes: Los experimentos comparan semillas con pesos de E/S congelados compartidos (para aislar la rotación interior) y semillas con inicialización independiente.

Contribuciones y Resultados Clave

1. La Hipótesis de la Rotación

El artículo propone que los transformadores entrenados de forma independiente de la misma arquitectura computan la misma función hasta una rotación ortogonal de la base del flujo residual.

Polimorfismo: El fenómeno donde los modelos comparten una función pero poseen "coordenadas internas mutuamente ininteligibles".
La Solución: Una única multiplicación matricial ortogonal (ajuste de Procrustes) en un único lote de activaciones alinea las bases de dos semillas.
Recuperación: Después de aplicar esta rotación, la EV de reconstrucción SAE entre semillas se restaura a menos de 0.025 EV de la línea base dentro de la semilla en el modelo de juguete y 0.85–0.99 EV en Pythia-70m.

2. Naturaleza Estadística de la Rotación

La rotación no es una alineación estructurada y aprendible, sino una toma aleatoria uniforme del grupo ortogonal $SO(d_{model})$ .

Distribución de Haar: El espectro de valores propios de la matriz de rotación $R$ es estadísticamente indistinguible de la medida de Haar en $SO(d)$ (prueba de Kolmogorov–Smirnov $p \approx 1.000$ ).
Distancia de Frobenius: La distancia $\|R - I\|_F$ coincide con la predicción teórica para una matriz ortogonal aleatoria ( $\sqrt{2d_{model}}$ ) dentro de un 0.1% para Pythia-70m.
Decodificador vs. Codificador: La alta similitud de coseno del decodificador (98%) es una coincidencia geométrica estática. El codificador lee desde un marco rotado, causando el fallo funcional.

3. Regímenes de Transferencia de Vectores de Dirección

El artículo caracteriza cómo los vectores de dirección (intervenciones de diferencia de medias) se transfieren entre semillas basándose en su alineación con el subespacio invariante de la rotación:

Transferencia Limpia: Vectores fijados por pesos de entrada/salida compartidos (por ejemplo, el contador de profundidad en el modelo de juguete) se transfieren sin corrección.
Transferencia Parcial: Vectores que se superponen con el subespacio rotado requieren un desplazamiento de dosis.
Transferencia Invertida: Vectores que residen principalmente en el subespacio rotado se transfieren con signos invertidos.
Escala Pythia: En modelos sin E/S compartidas (Pythia-70m), todas las direcciones están rotadas, causando una transferencia universal invertida. Sin corrección de rotación, los vectores de dirección aplicados entre semillas degradan el rendimiento.

4. Limitaciones de la Alineación de Parámetros

Los autores demuestran que la búsqueda de simetría a nivel de parámetros (alineación de pesos mediante permutaciones y rotaciones) no puede resolver completamente la desalineación.

Incluso después de optimizar para el MSE de los pesos, el MSE a nivel de activación permanece alto.
La optimización conjunta de la pérdida de pesos y activación no logra superar el umbral de la Barra P; las rotaciones óptimas para los pesos y las óptimas para las activaciones se encuentran en cuencas desconectadas del paisaje de pérdida. Esto confirma que la rotación es un fenómeno a nivel de activación no capturado completamente por las simetrías de parámetros.

Significado y Afirmaciones

El artículo afirma resolver el "puzzle del coseno del decodificador" mostrando que la universalidad es equivalencia de rotación, no alineación de coordenadas literal.

Refinamiento de la Universalidad SAE: La similitud del coseno del decodificador es necesaria pero no suficiente para la universalidad de características. Una métrica completa debe incluir la EV de reconstrucción entre semillas y la capacidad de aplicar una corrección de rotación.
Utilidad Práctica: La corrección de rotación es computacionalmente barata (una multiplicación matricial por par de modelos) y no requiere reentrenamiento. Permite la transferencia de diccionarios de características SAE y vectores de dirección entre modelos entrenados de forma independiente con alta fidelidad.
Rigor Metodológico: Al utilizar un marco pre-registrado con umbrales falsables, el artículo distingue entre "ajuste de historias" y afirmaciones mecanicistas verificadas. El fallo de las Barras P, C y Pr entre semillas (sin rotación) sirve como motivación empírica para la hipótesis.
Alcance: Los hallazgos se mantienen a través de un modelo de juguete de 104k parámetros y un modelo a escala de familia de 71M parámetros. Los autores declaran explícitamente que la replicación a escala de frontera (10B+) sigue siendo una prueba empírica abierta, aunque el diseño experimental para dicha prueba es directo.

El artículo concluye que las bases del flujo residual de los transformadores entrenados de forma independiente son, en una primera aproximación, muestras aleatorias uniformes del grupo ortogonal, y que el "polimorfismo" es la realidad operativa de esta deriva geométrica.