Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability

Resumen Técnico: Estructura Intrínseca: Identificabilidad Espectral para la Interpretabilidad Mecanicista

Planteamiento del Problema
La interpretabilidad mecanicista (MI) busca explicar el comportamiento de las redes neuronales identificando circuitos internos. Sin embargo, existe una brecha fundamental: los métodos actuales, como los Autoencoders Dispersos (SAEs), sufren de variabilidad entre ejecuciones, donde diferentes semillas de entrenamiento o anchuras de diccionario recuperan características materialmente distintas de las mismas activaciones. No existe una garantía teórica de que estas estructuras descubiertas sean propiedades intrínsecas del modelo o meramente artefactos del procedimiento de descubrimiento. Este artículo aborda la cuestión de la identificabilidad: ¿podemos definir un primitivo mecanicista que esté determinado únicamente por el propio modelo, independientemente del sistema de coordenadas o del algoritmo de recuperación específico?

Metodología
Los autores reformulan el paso hacia adelante (forward pass) del transformador como un sistema dinámico controlado donde la profundidad actúa como el tiempo.

1. Formulación de Sistema Dinámico: Sea $x_\ell$ el estado del flujo residual en la capa $\ell$ y $u_\ell$ la entrada de control exógena (escrituras de atención). La actualización de la capa se modela como $x_{\ell+1} = F(x_\ell, u_\ell) = x_\ell + u_\ell + m(x_\ell + u_\ell)$, donde $m$ representa la subcapa MLP.
2. Levantamiento de Koopman (Koopman Lifting): La dinámica no lineal $F$ se eleva a un operador lineal $\mathcal{K}$ que actúa sobre un espacio de observables $\Psi$. Si el rango del diccionario $\mathcal{H}_N$ es K-invariante (cerrado bajo la dinámica), el operador se restringe a una matriz de dimensión finita $A$.
3. Realización de Koopman: El sistema se representa mediante una terna $(A, B, C)$, donde $A$ es la matriz de transición, $B$ codifica la respuesta al control y $C$ es la lectura (read-out). El espectro $\sigma(A)$ (autovalores) se propone como el objeto intrínseco e independiente de la coordenada de interés.
4. Estimación: Los autores utilizan la Descomposición de Modos Dinámicos Extendida con Control (EDMDc) para estimar $(A, B)$ a partir de datos de calibración (estados residuales y escrituras de atención).
5. Marco Teórico: El artículo establece las condiciones (riqueza del diccionario, excitación persistente, separación espectral) bajo las cuales el espectro es recuperable.

Contribuciones Claves

• Teorema de Identificabilidad Espectral (Teorema 6.1): El artículo demuestra que el espectro de la realización de Koopman es identificable a partir de $M$ muestras de calibración a la tasa paramétrica $M^{-1/2}$, salvo por permutación. Es el primer teorema de identificabilidad para un primitivo de interpretabilidad mecanicista.
  • Los autovalores son únicos salvo por permutación e invariantes ante cualquier cambio de base del diccionario.
  • Un límite inferior minimax coincidente (Teorema 7.1) confirma que ningún estimador puede lograr una tasa mejor en $M$.
  • Se deriva una garantía de autovalores sin brechas (Teorema 6.8) utilizando el emparejamiento óptimo (Wasserstein-$\infty$), eliminando la necesidad de una estricta separación espectral para la recuperación de autovalores, aunque la separación sigue siendo necesaria para la recuperación de autovectores.
• Robustez ante Colas Pesadas (Teorema 7.2): Los autores extienden la garantía de identificabilidad a las activaciones de colas pesadas utilizando un estimador de mediana de medias (median-of-means), mostrando que la tasa $M^{-1/2}$ se mantiene bajo condiciones de cuarto momento.
• Disociación Modal-Principal (Teorema 8.1): El artículo demuestra una disociación estructural: si la realización es no normal (lo cual confirman las mediciones empíricas), las direcciones principales de las activaciones (que maximizan la varianza) no pueden coincidir con los modos de Koopman (que portan la dinámica). Esto implica que el "objeto identificable" (espectro) y el "objeto legible" (componentes principales) son distintos.
• Completitud Algebraica del Cálculo de Intervención (Teorema 9.2): Los proyectores espectrales de $A$ generan un álgebra conmutativa que es completa para intervenciones de primer orden (parcheo de activación, parcheo de ruta, etc.), proporcionando un representante único de forma cerrada para cualquier intervención en la dinámica elevada.
• Origen Estructural de la Variabilidad de los SAE (Teorema 9.5): El artículo demuestra que la variabilidad de ejecución a ejecución de los SAE es una consecuencia estructural de su función objetivo, la cual falla al no imponer la K-invariancia (DR2). Se propone una penalización de invariancia explícita como remedio.
• Reducción Dependiente de la Instancia (Teorema 10.1): Se deriva un límite certificado de reducción de modelo que aprovecha el bajo rango efectivo de las escrituras de atención, ofreciendo un certificado de error estrictamente más agudo que los límites clásicos de Enns–Glover en el régimen de los transformadores.

Resultados Experimentales
La teoría fue evaluada en tres transformadores preentrenados: GPT-2 small, Gemma-2-2B y Qwen3-8B-Base.

• Convergencia: La distancia espectral entre las estimaciones de mitades divididas converge a medida que $M$ aumenta. En Qwen3-8B-Base, el diccionario espectral alcanzó el exponente predicho de $-0.506 \pm 0.031$, coincidiendo con la tasa teórica $M^{-1/2}$.
• Brecha de Invariancia de los SAE: Los diccionarios de los SAE exhibieron residuos de proyección significativamente mayores (violaciones de invariancia) en comparación con los diccionarios espectrales y aleatorios, confirmando el Teorema 9.5. Esta brecha mostró ser sensible a las reglas de selección de características (por ejemplo, varianza vs. frecuencia).
• Desempeño de la Intervención: Cuando se probó en el circuito de Identificación de Objeto Indirecto (IOI), los modos de Koopman superaron a las direcciones aleatorias pero fueron inferiores al Análisis de Componentes Principales (PCA) al ablacionar el comportamiento del circuito. La brecha de desempeño decayó $4.1\times$ a medida que la distancia de profundidad aumentó, de acuerdo con el teorema de disociación.
• Criterio de Universalidad: Una prueba espectral de universalidad cruzada no logró distinguir entre réplicas de semilla de la misma arquitectura, indicando que el sesgo de desajuste del diccionario (no solo el error de muestreo) limita las afirmaciones actuales de universalidad.
• Colas Pesadas: Contrario a las expectativas, el proceso de "levantamiento" (funciones de Fourier aleatorias) eliminó eficazmente las colas pesadas del flujo residual, haciendo que el estimador robusto de mediana de medias resultara innecesario para los diccionarios específicos probados (excepto en una capa específica de Qwen3).

Significancia y Reivindicaciones
El artículo afirma situar la interpretabilidad mecanicista en un fundamento de identificabilidad riguroso.

1. Huella Intrínseca: El espectro de Koopman es una huella digital intrínseca del modelo, recuperable con un margen de error declarado, lo que la distingue de los artefactos del método de descubrimiento.
2. Límites de la Legibilidad: El artículo afirma explícitamente que la identificabilidad no implica legibilidad. Debido a que las realizaciones de los transformadores son no normales, los modos matemáticamente identificables (espectro de Koopman) son estructuralmente distintos de las direcciones basadas en la varianza (PCA) que los humanos suelen encontrar interpretables.
3. Estructural vs. Algorítmico: La variabilidad observada en los SAE no es un problema de ajuste de hiperparámetros, sino un fallo estructural de la función objetivo al no imponer la invariancia dinámica.
4. Implicaciones de Seguridad: Para los argumentos de seguridad que requieren la identificación de un mecanismo $Y$ responsable del comportamiento $X$, este trabajo proporciona un certificado de que $Y$ es una propiedad del modelo y no del procedimiento. Sin embargo, advierte que este certificado no garantiza la cobertura conductual ni la legibilidad humana.

Los autores concluyen que, si bien el espectro de Koopman proporciona una descomposición matemáticamente sólida de la dinámica de profundidad de los transformadores, no es un sustituto directo para el descubrimiento de circuitos legibles para humanos, y que los dos objetos (identificable vs. legible) son fundamentalmente diferentes en el régimen no normal ocupado por estos modelos.