Resumen Técnico: Recuperable pero no Estacionario: Estructuras Lineales Locales en Pesos y Activaciones

1. Planteamiento del Problema

Los enfoques recientes para la edición y adaptación de modelos preentrenados —como los vectores de tareas, LoRA, el direccionamiento de activaciones (activation steering) y la búsqueda aleatoria alrededor de los pesos— se basan en una suposición geométrica compartida: que los comportamientos aprendidos corresponden a direcciones lineales de baja dimensión fijas en el espacio de pesos o en el espacio de activaciones. La hipótesis predominante sugiere que existe un "plano de tarea" como un subespacio estático a través de un checkpoint, y que moverse a lo largo de este plano permite la adición o eliminación de comportamientos específicos de una tarea sin necesidad de reentrenamiento.

Sin embargo, no está claro si estas estructuras lineales son verdaderamente globales y estáticas, o si son locales y evolutivas. Además, la eficacia de la búsqueda aleatoria en espacios de alta dimensión (por ejemplo, $10^9$ parámetros) es contraintuitiva; si las direcciones útiles fueran agujas en un pajar de extrema rareza, la muestra aleatoria teóricamente debería fallar. Este artículo investiga la verdadera naturaleza de estas estructuras lineales: su dimensionalidad, su estacionariedad y la relación entre las perturbaciones de los pesos y el direccionamiento de las activaciones.

2. Metodología

Los autores emplean un bucle experimental de "recuperación tras el olvido" para generar un vector de adaptación de verdad fundamental ($\Delta_{GD}$) contra el cual se miden los subespacios candidatos. El bucle consta de tres fases:

1. Entrenamiento Multitarea: Entrenar un modelo en una mezcla de tareas hasta alcanzar un checkpoint $\theta_{mt}$.
2. Olvido: Continuar el entrenamiento en una sola tarea hasta que el rendimiento en otras tareas se degrade, alcanzando $\theta_{forg}$.
3. Recuperación: Reentrenar brevemente en la mezcla original para recuperar las tareas perdidas, alcanzando $\theta_{rec}$.

El desplazamiento $\Delta_{GD} = \theta_{rec} - \theta_{forg}$ sirve como el objetivo de la adaptación. Los autores evalúan los subespacios candidatos midiendo cuánto de $\Delta_{GD}$ capturan y realizando una búsqueda aleatoria dentro de estos subespacios.

Escalas Experimentales

• Transformers Sintéticos: Un Transformer causal controlado de 4 capas y 128 dimensiones entrenado en tareas de secuencias de dígitos (copiar, revertir, ordenar, módulo-suma).
• Adaptadores LoRA: Ajuste fino (fine-tuning) utilizando adaptadores de rango deficiente sobre arquitecturas base de DistilGPT-2 y GPT-2.
• Modelos de Lenguaje de Gran Escala (LLMs): Experimentos en Qwen2.5 (0.5B, 3B, 7B) y OLMo-7B.

Marco Teórico

El artículo desarrolla un marco teórico para explicar la eficacia de la búsqueda aleatoria y la selección de subespacios:

• Teorema Best-of-N: Demuestra que, en un régimen de linealidad local, la búsqueda aleatoria gaussiana isotrópica captura una señal útil con una varianza independiente de la dimensión ambiente $D$. La ganancia esperada escala con $\sqrt{\log N}$ (donde $N$ es el presupuesto de búsqueda), pero no con $D$.
• Densidad de Señal vs. Masa: Una proposición demuestra que, para un tamaño de paso fijo, un subespacio más pequeño y bien alineado produce una señal de búsqueda mayor que un subespacio más grande que simplemente contiene la dirección objetivo, debido a la dilución de la densidad de la señal ($\|P_U a\|/\sqrt{r}$).
• Recuperación de Krylov: Un lema que muestra que el desplazamiento de recuperación reside en un subespacio de Krylov generado por el Hessiano y el gradiente inicial, en lugar de una dirección fija. Esto implica que el subespacio relevante evoluciona a medida que la trayectoria se despliega.
• Identidad de Pushforward: Establece un vínculo teórico entre las perturbaciones de los pesos ($\delta\theta$) y los cambios en las activaciones ($\Delta h$) mediante el Jacobiano $D_\theta h$, sugiriendo que los movimientos de pesos útiles tienen "sombras" en el espacio de activaciones que pueden servir como vectores de direccionamiento.

3. Contribuciones Clave y Resultados

A. Las estructuras lineales son locales y móviles, no estáticas

El hallazgo central es que la hipótesis del "plano de tarea" es incorrecta.

• Los planos estáticos fallan: Los subespacios medidos en el checkpoint del olvido (plano de tarea local) o antes del olvido (plano de pre-interferencia) capturan solo una pequeña fracción del desplazamiento de recuperación (por ejemplo, ~15% y <2% respectivamente en experimentos de LoRA).
• Alineación de la trayectoria: La dirección de recuperación se captura mejor mediante un prefijo de trayectoria (trajectory prefix): una base formada por los primeros pasos de la ruta de recuperación. En los experimentos de LoRA, los primeros 10 pasos de recuperación capturaron ~77% del desplazamiento total $\Delta_{GD}$, y los primeros 20 pasos capturaron ~90%.
• Deriva (Drift): La orientación del subespacio de la tarea local deriva significativamente durante la recuperación (el solapamiento del ángulo principal cae de 1.0 a ~0.12–0.17 en 100 pasos), confirmando que la geometría relevante es un haz móvil, no un plano fijo.

B. Eficacia de la búsqueda aleatoria e independencia de la dimensión

El artículo proporciona una justificación teórica de por qué la búsqueda aleatoria funciona en altas dimensiones:

• Independencia de la Dimensión: La proyección de una perturbación gaussiana isotrópica sobre una dirección útil tiene una varianza independiente del número total de parámetros.
• Ventana de Escala: La búsqueda aleatoria solo es efectiva dentro de una escala de perturbación específica donde el paisaje de pérdida es localmente lineal (por ejemplo, $\sigma \approx 10^{-4}$ en Qwen2.5-0.5B). Fuera de esta ventana, la curvatura domina y los movimientos aleatorios se vuelven destructivos.
• Calidad de la Búsqueda: La búsqueda aleatoria realizada dentro del subespacio del prefijo de la trayectoria supera significativamente a la búsqueda dentro de planos de tareas estáticos o en el espacio isotrópico, confirmando la predicción teórica de que la "densidad" de la señal importa más que la "masa" del subespacio.

C. Conexión entre perturbaciones de pesos y direccionamiento de activaciones

Los autores validan el vínculo entre las ediciones de pesos y el direccionamiento de activaciones:

• Paso de Gradiente como Vector de Direccionamiento: Un solo paso de gradiente en Qwen2.5-0.5B produce una perturbación de peso cuya transformación pushforward al espacio de activaciones se alinea con un vector de direccionamiento de adición de activación contrastiva (CAA) (similitud de coseno $\approx 0.58$) en las capas finales del decodificador (19–20).
• Reutilización: Inyectar este cambio de activación inducido por el gradiente en un modelo limpio mejora la precisión en datos no vistos (hasta +10 puntos en BoolQ), de forma comparable a los vectores de direccionamiento derivados de pares contrastivos etiquetados.
• Puente de Búsqueda Aleatoria: Las perturbaciones de pesos aleatorias seleccionadas (Best-of-N) también pueden convertirse en vectores de direccionamiento que mejoran el rendimiento, aunque el efecto es más ruidoso y dependiente de la tarea.

D. Geometría de bajo rango a escala

• Sintético/LoRA: Se observa una estructura clara de bajo rango (rango efectivo 2–8) en los gradientes de las tareas.
• LLMs: La afirmación de bajo rango solo se confirma parcialmente en escalas de miles de millones de parámetros. Mientras que algunos entornos (por ejemplo, Qwen-3B MLP) muestran rangos distinguibles del ruido, otros (por ejemplo, Qwen-7B) muestran rangos efectivos indistinguibles del ruido de muestreo, lo que sugiere que la estimación de rango naive es difícil a esta escala.

4. Significado y Reivindicaciones

El artículo afirma ofrecer una comprensión geométrica corregida de la adaptación en redes entrenadas:

1. Refutación de los Vectores de Tarea Estáticos: Las estructuras lineales relevantes no son direcciones de tarea globales y fijas, sino geometrías locales evolutivas (haces de trayectoria tipo Krylov) que persisten parcialmente a través de los espacios de parámetros y activaciones.
2. Unificación de Métodos: El trabajo unifica las actualizaciones de gradiente, la búsqueda de parámetros aleatoria y el direccionamiento de activaciones bajo una única perspectiva de geometría diferencial. Postula que las perturbaciones exitosas de parámetros inducen direcciones reutilizables en el espacio de activaciones, y que la búsqueda aleatoria funciona porque muestppea eficientmente dentro de estos regímenes lineales locales.
3. Implicaciones Prácticas:
   • Entrenamiento Multitarea: La especialización secuencial es frágil porque el plano de la tarea local deriva; los cronogramas simultáneos son más robustos.
   • Estrategia de Búsqueda: Para encontrar direcciones útiles, se debe buscar dentro del inicio de la trayectoria de la trayectoria de adaptación en lugar de en subespacios de tareas estáticas.
   • Direccionamiento (Steering): Los vectores de direccionamiento de activaciones pueden derivarse de perturbaciones de pesos (incluso de un solo paso de gradiente), cerrando la brecha entre la edición en el espacio de pesos y el control en el espacio de activaciones.

Los autores mantienen la modestia, señalando que, si bien la búsqueda aleatoria puede superar al descenso de gradiente en tareas específicas y controladas, es inestable y no es un reemplazo para el descenso de gradiente. Los resultados se presentan como un punto de partida para un análisis más profundo de las estructuras lineales locales, con limitaciones respecto a la escala de la evidencia (más fuerte en modelos sintéticos y de pequeño LoRA) y la naturaleza parcial de los hallazgos de bajo rango en modelos de miles de millones de parámetros.