Resumen Técnico: Los Transformers Convergen hacia Núcleos Algorítmicos Invariantes

1. Planteamiento del Problema

El obstáculo central de la interpretabilidad mecánica en las redes neuronales es la subdeterminación. Aunque el entrenamiento restringe el comportamiento de un modelo (el mapeo de entradas a salidas), no restringe la realización interna de dicho comportamiento. Modelos entrenados de forma independiente exhiben a menudo una equivalencia funcional: realizan la misma tarea con configuraciones de pesos y circuitos internos muy distintos. Este fenómeno, observado en la geometría del paisaje de pérdida, la fusión de modelos y sistemas biológicos (por ejemplo, la degeneración y la deriva del sistema), plantea un desafío fundamental: si los mecanismos no se generalizan a través de las realizaciones, ¿qué explicaciones son "reales"?

Los esfuerzos actuales de interpretabilidad suelen centrarse en detalles de implementación específicos (por ejemplo, cabezales de atención concretos o características dispersas), que pueden ser idiosincrásicos de una única ejecución de entrenamiento. Este artículo sostiene que, para lograr una comprensión mecánica generalizable, la investigación debe desplazar su enfoque de la circuitería específica de la realización hacia los invariantes: estructuras computacionales estables compartidas entre ejecuciones de entrenamiento independientes.

2. Metodología: Extracción del Núcleo Algorítmico (ACE)

El artículo introduce la Extracción del Núcleo Algorítmico (ACE, por sus siglas en inglés), un marco diseñado para aislar subespacios de baja dimensión que sean tanto necesarios como suficientes para una tarea e invariantes a través de las realizaciones de los modelos. El método operacionaliza principios de la teoría de sistemas lineales (específicamente la descomposición de Kalman y la truncación balanceada) para los transformers.

El flujo de trabajo de ACE consta de tres etapas:

1. Extraer: Para una capa de transformer dada con dimensión oculta $D$ y $N$ entradas, el método computa la interacción entre las activaciones centradas en la media ($H$) y los Jacobianos de las salidas relevantes para la tarea ($J$). Al realizar la Descomposición en Valores Singulares (SVD) de $HJ^\top$, ACE identifica direcciones que son conjuntamente activas y relevantes. Los vectores singulares principales definen un subespacio de baja dimensión (el "núcleo") mapeado de vuelta al espacio de activación.
2. Validar: El núcleo extraído se valida causalmente mediante ablación. Un núcleo se considera suficiente si proyectar las activaciones sobre él preserva el rendimiento de la tarea, y necesario si eliminarlo (proyectar sobre el complemento) reduce el rendimiento a niveles de azar.
3. Identificar: La estructura computacional dentro del núcleo se recupera ajustando operadores lineales (por ejemplo, $z_{t+1} \approx Az_t$) a las coordenadas del núcleo e inspeccionando sus propiedades espectrales (autovalores) para determinar la dinámica subyacente.

3. Resultados Clave

A. Tareas de Cadenas de Markov Sintéticas

En transformers de una sola capa entrenados en una cadena de Markov de cuatro estados:

• Parámetros Divergentes, Núcleos Convergentes: Los modelos entrenados con diferentes semillas aleatorias lograron una precisión casi óptima, pero tuvieron una similitud de coseno casi nula en sus pesos.
• Subespacios 3D Invariantes: ACE aisló con éxito un núcleo de 3 dimensiones en cada modelo. Estos núcleos eran necesarios y suficientes para la tarea.
• Alineación Geométrica vs. Estadística: Aunque los núcleos residían en subespacios casi ortogonales (solapamiento de proyectores $\approx 0.02$), exhibieron un alineamiento estadístico casi perfecto (Correlación de Canónica $\approx 0.99$).
• Recuperación de la Dinámica: Los operadores lineales ajustados dentro de estos núcleos recuperaron los autovalores exactos de la matriz de transición de la cadena de Markov real, demostrando que los modelos codifican las mismas dinámicas de transición en diferentes sistemas de coordenadas.

B. Suma Modular y Grokking

En transformers de dos capas entrenados en suma modular ($a + b \equiv c \mod p$):

• Emergencia en el Grokking: Los núcleos algorítmicos cristalizaron (se condensaron en subespacios de baja dimensión, necesarios/suficientes) de forma coincidente con el fenómeno de "grokking" (la transición tardía de la memorización a la generalización).
• Dinámicas Rotacionales: El ajuste automatizado de operadores reveló que, en el momento del grokking, los autovalores de los operadores del núcleo se fijaron sobre el círculo unitario, indicando la emergencia de dinámicas cíclicas/rotacionales requeridas para la aritmética modular.
• Inflación del Núcleo bajo Regularización: Bajo un decaimiento de pesos continuo después del grokking, los núcleos se "inflaron" de ~15 a ~60 dimensiones. Esta inflación fue impulsada por la redundancia: mientras que el número de dimensiones suficientes para el rendimiento permaneció estable, el número de dimensiones necesarias para evitar el rendimiento por azar se expandió. El decaimiento de pesos actuó como una fuerza de redistribución, esparciendo los pesos a través de todos los modos funcionalmente equivalentes (hasta el máximo teórico de $\lfloor p/2 \rfloor$).
• Ley de Escala Inversa: El artículo deriva un vínculo teórico entre la redundancia funcional, la regularización y el tiempo de grokking. Postula que la equivalencia funcional acelera la transición a la generalización, produciendo una ley de escala inversa para el tiempo de grokking: $\tau_{grok} \propto 1/(\omega p)$, donde $\omega$ es el decaimiento de peso y $p$ es la redundancia. Barridos empíricos de $\omega$ y $p$ validaron esta predicción.

C. Grandes Modelos de Lenguaje (LLMs)

ACE se aplicó a seis modelos preentrenados que abarcan cuatro familias (GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, Qwen2.5) y más de dos órdenes de magnitud en escala (de 117M a 32B de parámetros) en la tarea de concordancia de número sujeto-verbo:

• Núcleo 1D Universal: Se identificó un único eje causal unidimensional en las capas tardías de los seis modelos.
• Control Causal: Este eje es necesario y suficiente para la concordancia. Proyectar las activaciones sobre él predice el margen de logit singular-plural. Crucialmente, invertir el signo de este eje invierte las preferencias de número gramatical en toda la generación abierta (por ejemplo, cambiar "The key... are" por "The key... is").
• Alineación de la Arquitectura Cruzada: A pesar de las diferencias en arquitectura, tokenización y datos de entrenamiento, las coordenadas de estos núcleos 1D se alinearon significativamente entre los modelos (correlaciones de Spearman de hasta 0.93). Esto sugiere un mecanismo compartido e invariante para el número gramatical que es independiente de los detalles de implementación.

4. Significado y Reivindicaciones

El artículo afirma que, bajo la aparente complejidad de los transformers entrenados, subyace una estructura computacional compartida y más simple. Las principales contribuciones son:

1. Un Cambio en el Paradigma de la Interpretabilidad: Pasar del estudio de realizaciones de circuitos específicos al estudio de los invariantes. Los autores argumentan que las explicaciones mecánicas deben estar ancladas en cantidades estables e invariantes a la implementación, en lugar de detalles idiosincrásicos.
2. Operacionalización de los Invariantes: El marco ACE proporciona un método para aislar estos invariantes, validar causalmente y recuperar los algoritmos que implementan sin presuponer su forma.
3. Explicación Mecánica del Grokking: El artículo proporciona una teoría que vincula la equivalencia funcional, la regularización y el tiempo de grokking, sugiriendo que la redundancia permite que el decaimiento de pesos acelere la transición hacia la generalización al distribuir los pesos a través de modos válidos.
4. Evidencia de Modelos de Mundo Internos: La recuperación de las estructuras de la tarea real (espectros de Markov, operadores cíclicos) sugiere que estos núcleos codifican representaciones internas del proceso generador de datos, alineándose con el "principio del modelo interno" de la teoría de control.
5. Implicaciones para la Fusión de Modelos: La observación de que modelos funcionalmente equivalentes embeben sus núcleos en subespacios casi ortogonales explica la dificultad de la fusión de modelos (la interpolación ingenua falla). Esto sugiere que alinear los núcleos algorítmicos, en lugar de los pesos, puede ser un enfoque con fundamento para la recombinación de modelos.

El artículo concluye que apuntar a los invariantes ofrece un camino más tratable hacia la comprensión mecánica y el control, señalando que, aunque la dimensionalidad de los núcleos para tareas de razonamiento complejo sigue siendo una pregunta abierta, la estabilidad del núcleo de concordancia 1D a través de escalas masivas sugiere que la dimensionalidad del núcleo puede no depender estrictamente del tamaño del modelo.