🤖 machine learning

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories

Este artículo demuestra que analizar los gradientes de pérdida en lugar de las actualizaciones del optimizador revela un fuerte acoplamiento previamente oculto entre la sensibilidad a la dirección del gradiente y las características de la hipótesis del centroide lineal, mostrando que restringir las actualizaciones de atención a subespacios de bajo rango acelera el aprendizaje profundo mientras que las actualizaciones naturales de rango completo son altamente redundantes en rango.

Autores originales: Yongzhong Xu

Publicado 2026-04-29

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yongzhong Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Panorama General: Observar un Coche Conducir vs. Mirar el Camino

Imagina que estás intentando entender cómo un coche autónomo aprende a navegar por una ciudad compleja. Quieres saber: ¿Qué giros y carriles específicos están ayudando realmente al coche a aprender la ruta?

Durante mucho tiempo, los investigadores han estado observando el movimiento real del coche (la trayectoria del optimizador) para averiguarlo. Observan el camino que recorrió el coche en los últimos minutos, dibujan una línea por el medio de ese trayecto y dicen: "¡Ajá! El coche está aprendiendo al moverse en esta dirección específica".

Este artículo argumenta que observar el movimiento del coche es engañoso.

Los autores afirman que el movimiento del coche es una mezcla desordenada de:

Momento: El coche aún está deslizándose por los giros que hizo hace 10 segundos.
Escalado Adaptativo: El coche está ajustando su velocidad según lo resbaladizo que se siente el camino.
Decaimiento de Pesos: El coche está intentando mantenerse en el centro del carril incluso cuando no lo necesita.
Objetivos Conflictivos: En un entorno de múltiples tareas, el coche está intentando ir a la tienda de comestibles, al gimnasio y a la oficina todo a la vez. El camino que toma es un compromiso, no una ruta clara hacia ningún destino único.

El artículo afirma que para entender verdaderamente qué está aprendiendo el coche, no debes observar dónde fue el coche. En su lugar, debes mirar las señales de tráfico y el mapa (los gradientes) que el coche estaba viendo justo ahora.

El Descubrimiento Central: El "Camino Desordenado" vs. La "Señal Clara"

Los investigadores probaron esto en un modelo informático que aprendía problemas matemáticos (como la suma y la multiplicación). Utilizaron una "prueba" para ver si el modelo estaba formando características específicas (como una regla mental para sumar números).

1. La Vieja Forma (Observar el Coche):
Cuando analizaron el camino que tomó el modelo (la "Actualización"), los resultados de la prueba fueron débiles y confusos.

El Resultado: El modelo parecía estar aprendiendo, pero la "dirección" del aprendizaje parecía aleatoria. En tareas complejas donde el modelo tenía que hacer cuatro cosas a la vez, la prueba falló por completo. Parecía que el modelo no estaba aprendiendo nada específico en absoluto.
La Analogía: Es como intentar averiguar el destino de un excursionista mirando sus huellas de barro. Las huellas son un desorden confuso de resbalones, paradas y cambios de dirección, por lo que no puedes decir hacia dónde intentaban realmente ir.

2. La Nueva Forma (Mirar el Mapa):
Los investigadores cambiaron a analizar los gradientes (la señal matemática cruda que le dice al modelo hacia dónde moverse antes de que el optimizador desordenado intervenga).

El Resultado: De repente, la señal se volvió increíblemente clara. La "dirección" del aprendizaje fue de 30 a 100 veces más fuerte que antes.
La Analogía: En lugar de mirar las huellas de barro, miraron las coordenadas del GPS a las que el excursionista apuntaba en ese segundo exacto. La dirección era nítida, clara y perfectamente alineada con el destino.

Conclusión Clave: El "optimizador" (el algoritmo que actualiza el modelo) añade tanto ruido e historia que oculta la verdadera señal de aprendizaje. Tienes que eliminar el momento y la historia para ver lo que el modelo está realmente aprendiendo.

El Problema de Múltiples Tareas: La "Reunión del Comité"

El artículo también examinó un modelo que intentaba aprender cuatro problemas matemáticos diferentes al mismo tiempo (Sumar, Restar, Multiplicar y una fórmula compleja de cuadrados).

La Vieja Visión: Cuando miraron el camino combinado del modelo, parecía un desastre. El modelo estaba intentando satisfacer a cuatro "comités" diferentes, y el camino resultante era un compromiso que no satisfacía bien a ninguno de ellos. La herramienta de diagnóstico dijo: "Este modelo no está aprendiendo ninguna característica específica".
La Nueva Visión: Cuando miraron el "mapa" para cada comité por separado (calculando el gradiente para la suma, luego para la resta, etc.), descubrieron que el modelo estaba en realidad aprendiendo muy bien para las cuatro tareas.
La Analogía: Imagina un comité de cuatro personas intentando decidir un pedido de almuerzo.
- La Vieja Forma: Miras el compromiso final y desordenado (por ejemplo: "Pidamos una ensalada con ingredientes de pizza"). Parece una mala decisión que no satisface a nadie.
- La Nueva Forma: Escuchas lo que cada persona individualmente quería pedir. Te das cuenta de que la Persona A realmente quería una ensalada y la Persona B realmente quería pizza. El "compromiso desordenado" fue solo el resultado de su discusión, pero sus deseos individuales eran claros y fuertes.

Conclusión: En el entrenamiento de múltiples tareas, el "camino de compromiso" oculta el hecho de que el modelo está aprendiendo con éxito características distintas para cada tarea. Debes separar las tareas para ver el aprendizaje.

La Sorpresa "Rank-3": Se Trata del Tamaño, No de la Dirección

Los investigadores realizaron un experimento más. Preguntaron: "¿Necesitamos que el modelo aprenda en estas direcciones específicas que encontramos, o simplemente en cualquier dirección de baja dimensión?"

Obliguaron al modelo a aprender solo usando un pequeño y simple "subespacio" (una pequeña rebanada tridimensional de su enorme cerebro).

El Resultado: El modelo aprendió más rápido (aproximadamente 2,3 veces más rápido) cuando se le obligó a usar esta pequeña rebanada.
El Giro: No importaba qué rebanada usaban. Ya sea que usaran la rebanada "inteligente" que encontraron con su nuevo método, o una rebanada completamente aleatoria, el modelo aprendía igual de rápido.
La Analogía: Imagina que intentas meter una maleta grande en el maletero pequeño de un coche.
- Podrías pensar: "Necesito doblar la ropa de esta forma específica para que quepa".
- Pero el experimento mostró que mientras simplemente comprimas la maleta (reduzcas la dimensión), cabe y llega más rápido. No importa si doblas las camisas o los pantalones primero; lo que importa es el acto de comprimir el espacio.

Conclusión: Las "direcciones" específicas en las que el modelo aprende son solo un síntoma del proceso de aprendizaje, no la causa. La verdadera magia es que el modelo no necesita su cerebro completo y desordenado para aprender estos trucos matemáticos; solo necesita una versión pequeña y comprimida de él.

Resumen para el Público General

Deja de mirar las huellas: Si quieres entender cómo aprende la IA, no mires el camino que recorrió (las actualizaciones del optimizador). Ese camino está demasiado desordenado con historia y compromisos.
Mira el mapa: Observa las instrucciones crudas (gradientes) que la IA está siguiendo ahora mismo. Esto revela las verdaderas "direcciones" del aprendizaje, que son mucho más fuertes y claras.
Separa las tareas: Si una IA está haciendo muchas cosas a la vez, el camino combinado parece un fracaso. Tienes que mirar cada tarea individualmente para ver que en realidad está teniendo éxito.
La simplicidad gana: La IA aprende más rápido cuando se la obliga a ser simple. No necesita direcciones complejas y específicas para aprender; solo necesita estar restringida a un espacio más pequeño y simple.

El artículo nos dice esencialmente que nuestras herramientas actuales para "interpretar" la IA están mirando la cosa equivocada. Al cambiar a una visión más limpia de los datos, podemos ver que la IA está aprendiendo de manera mucho más efectiva y simple de lo que pensábamos.

1. Planteamiento del Problema

En la interpretabilidad mecánica, una pregunta central es identificar qué direcciones en el espacio de parámetros corresponden a la formación de características específicas (circuitos). Un enfoque diagnóstico común implica analizar la estructura de bajo rango de las trayectorias del optimizador (actualizaciones de parámetros, $\Delta \theta$ ) utilizando la Descomposición en Valores Singulares (SVD) sobre ventanas deslizantes. Este método, conocido como Update SED (Diagnostics de Borde Espectral de Actualización), asume que las direcciones en las que se mueve el optimizador reflejan fielmente las direcciones relevantes para la formación de características.

Los autores argumentan que esta suposición es defectuosa en las pipelines de entrenamiento modernas (que utilizan AdamW con momento, escalado adaptativo y decaimiento de peso) y especialmente en escenarios multitarea. Plantean que las actualizaciones del optimizador agregan y distorsionan la señal subyacente del gradiente, potencialmente oscureciendo o destruyendo la alineación entre los diagnósticos basados en trayectorias y la formación real de características.

2. Metodología

El estudio investiga esta hipótesis utilizando grokking en tareas de aritmética modular (suma, resta, multiplicación y $a^2+b^2$ ) dentro de una arquitectura Transformer de 2 capas. Los autores comparan dos clases de estimadores espectrales frente a la Hipótesis de Centroides Lineales (LCH), que postula que las características se forman a lo largo de direcciones que maximizan la sensibilidad de los centroides específicos de la tarea.

Estimadores Clave Comparados:

Update SED: Realiza SVD sobre una ventana deslizante de actualizaciones reales de parámetros de AdamW ( $\Delta \theta_t$ ). Esto captura el "camino" recorrido por el optimizador.
Gradient SED: Realiza SVD sobre una ventana deslizante de gradientes crudos ( $g_t = \nabla_\theta L$ $g_{t} = \nabla_{θ} L$ ) evaluados en los parámetros actuales. Esto captura la dirección de "descenso más pronunciado" del paisaje de pérdida, despojado de artefactos del optimizador (momento, escalado adaptativo, decaimiento de peso).
- Extensión Multitarea: En escenarios multitarea, los autores calculan gradientes por operación ( $g_{op}$ ) mediante la retropropagación de la pérdida de cada tarea por separado, en lugar de utilizar el gradiente de la pérdida total agregada.

Métrica Diagnóstica:

El acoplamiento entre una dirección espectral $v_k$ y la formación de características se mide mediante la razón perturbativa $R_k$ :
$R_k(t) = \frac{A(v_k, t)}{\text{mediana}_j A(r_j, t)}$
Donde $A(v, t)$ mide el cambio en el centroide de la tarea cuando los parámetros de atención se perturban a lo largo de la dirección $v$ . Una $R_k$ alta indica que la dirección $v$ es altamente sensible a la formación de características.

Intervenciones Causales:

Los autores realizan intervenciones causales restringiendo las actualizaciones de atención a subespacios de bajo rango (Rango-3) definidos ya sea por la base SED o por una base aleatoria. Prueban dos métodos de proyección:

Proyección de Actualización: Proyectar la actualización final de AdamW.
Proyección de Gradiente: Proyectar el gradiente antes de que el optimizador AdamW calcule sus momentos de momento y escalado adaptativo.

3. Resultados Clave

A. Resultados de Tarea Única: Gradiente vs. Actualización

Fallo de Update SED: En modelos de tarea única, Update SED produce razones de acoplamiento modestas ( $\bar{R}_k \approx 3\text{--}9\times$ ). La suma parece anómalamente acoplada, mientras que la multiplicación es débil.
Éxito de Gradient SED: Reemplazar actualizaciones con gradientes crudos aumenta las razones de acoplamiento en 30–100 $\times$ ( $\bar{R}_k \approx 100\text{--}330\times$ $\overset{ˉ}{R}_{k} \approx 100 - 330 \times$ ).
- La multiplicación se convierte en la tarea más fuertemente acoplada, invirtiendo la clasificación de Update SED.
- La "dispersión de operaciones" (varianza entre tareas) se reduce significativamente.
Rol de la Ventana Deslizante: El alto acoplamiento en $W=1$ (gradiente instantáneo) sugiere que la dirección del gradiente en sí misma es el motor principal. La ventana deslizante ( $W=20$ ) actúa principalmente como un mecanismo de eliminación de ruido, reduciendo la razón de manera monótona pero manteniendo una señal órdenes de magnitud superior a la aleatoria.

B. Resultados Multitarea: El Fallo Crítico de la Agregación

Colapso de Update SED: En el entrenamiento multitarea, Update SED falla por completo, produciendo $\bar{R}_k \le 1$ (peor que aleatorio). La actualización agregada del optimizador, que equilibra cuatro objetivos competitivos, se vuelve ortogonal a cualquier subespacio relevante para las características de una sola tarea.
Recuperación de Gradient SED: Utilizar gradient SED por operación recupera un acoplamiento fuerte ( $\bar{R}_k \approx 20\text{--}45\times$ $\overset{ˉ}{R}_{k} \approx 20 - 45 \times$ ).
- Crucialmente, la señal de gradient SED multitarea es más fuerte que la señal de Update SED de tarea única.
- Esto demuestra que la formación de características es robusta en escenarios multitarea, pero está oculta por la agregación de gradientes competitivos en el paso de actualización del optimizador.

C. Intervenciones Causales: Rango vs. Dirección

Aceleración: Restringir las actualizaciones a un subespacio de Rango-3 acelera el grokking en aproximadamente 2.3 $\times$ .
Independencia de la Dirección: Esta aceleración ocurre independientemente de si el subespacio es la base SED (alineada con características) o una base aleatoria.
- Proyección de Gradiente: Al proyectar el gradiente antes de la optimización, eliminar el subespacio SED (manteniendo aleatorio) no tiene efecto negativo, y mantener solo rango aleatorio 3 acelera el entrenamiento tanto como mantener la base SED.
- Proyección de Actualización: Experimentos iniciales sugirieron que eliminar SED ayudaba, pero esto fue un artefacto del momento interno y el escalado adaptativo de AdamW filtrando información de vuelta a la trayectoria. La proyección de gradiente elimina este artefacto.
Conclusión: La restricción de rango (reduciendo redundancia) es el factor causal de la aceleración, no la dirección específica. La actualización natural de AdamW en atención es "redundante en rango", conteniendo principalmente movimiento no funcional para la transición de grokking.

4. Contribuciones Clave

Cambio Metodológico: Demuestra que la estructura del gradiente, y no las trayectorias del optimizador, es el objeto correcto para el análisis espectral de la formación de características. Las actualizaciones del optimizador introducen distorsiones cualitativas que ocultan las direcciones relevantes para las características.
Interpretabilidad Multitarea: Identifica la agregación de gradientes entre tareas competitivas como un obstáculo general para la interpretabilidad a nivel de circuito. El análisis de gradientes resuelto por tarea es necesario para recuperar la estructura de características en el entrenamiento multitarea.
Clarificación Causal: Muestra que, si bien las direcciones derivadas del gradiente son fuertes diagnósticos de la formación de características, no son únicas causales. El factor clave es la naturaleza de bajo rango de la actualización, no la alineación específica con la base del gradiente.
Identificación de Artefactos: Revela que las observaciones anteriores de "variedad de rango-1" en grokking estaban parcialmente oscurecidas por el ruido y la distorsión inherentes a las actualizaciones de AdamW.

5. Significado

Para la Interpretabilidad: Este trabajo desafía la práctica estándar de analizar trayectorias de actualización de parámetros (por ejemplo, PCA sobre diferencias de pesos) para encontrar circuitos. Argumenta que tales métodos subestiman sistemáticamente la formación de características, especialmente en escenarios multitarea complejos o de gran escala (como Mezcla de Expertos).
Para la Dinámica de Entrenamiento: Sugiere que el "camino natural" recorrido por optimizadores como AdamW es a menudo ineficiente y redundante. Restringir la optimización a rangos inferiores puede acelerar significativamente el aprendizaje sin sacrificar el rendimiento.
Direcciones Futuras: Los hallazgos implican que, para modelos a gran escala (LLMs, ajuste de instrucciones), analizar gradientes por tarea (o aproximaciones como Lanczos sobre el Fisher empírico) es esencial para entender cómo se forman circuitos específicos, en lugar de depender del análisis agregado de trayectorias.

En resumen, el artículo argumenta que el gradiente es la señal, y el optimizador es el ruido. Para entender cómo las redes neuronales aprenden características, se debe analizar el paisaje del gradiente crudo, particularmente descompuesto por tarea, en lugar de la trayectoria distorsionada que el optimizador recorre a través del espacio de parámetros.