Resumen Técnico: El ajuste fino de los Vision Transformers se beneficia de los componentes no suaves

Declaración del Problema

Si bien la suavidad de las arquitecturas transformer ha sido ampliamente estudiada en relación con la generalización, la estabilidad del entrenamiento y la robustez adversarial, su papel específico en el aprendizaje por transferencia (finetuning) sigue siendo poco comprendido. Los supuestos predominantes sugieren que promover la suavidad (por ejemplo, mediante la regularización de Lipschitz) es beneficioso para el aprendizaje. Sin embargo, en el contexto de la adaptación de modelos fundacionales a tareas de seguimiento (downstream), una excesiva suavidad puede restringir la capacidad de un componente para adaptar sus salidas ante cambios en las entradas, dificultando así el rendimiento. El artículo aborda la siguiente pregunta: ¿Qué componentes de los transformers deberían priorizarse durante el ajuste fino y por qué?

Metodología

Los autores proponen un análisis sistemático, componente por componente, de los Vision Transformers (ViTs) basado en una nueva métrica llamada plasticidad.

1. Definición de Plasticidad

El artículo define la plasticidad de un componente de un transformer $f$ como su tasa de cambio promedio con respecto a las perturbaciones de la entrada. Formalmente, para un componente $f$ y una distribución uniforme $\nu$ sobre pares distintos de secuencias de tokens $(x, y)$, la plasticidad $P(f)$ es:
$$P(f) = \mathbb{E}_{(x,y)\sim\nu} \left[ \frac{\|f(x) - f(y)\|_F}{\|x - y\|_F} \right]$$

• Alta Plasticidad ($P(f) > 1$): Indica baja suavidad (no suave), donde el componente amplifica los cambios de la entrada en promedio.
• Baja Plasticidad ($P(f) < 1$): Indica alta suavidad, donde el componente contrae los cambios de la entrada.

2. Análisis Teórico

Los autores derivan límites superiores teóricos de la plasticidad de los componentes estándar de los ViT:

• LayerNorm: Se demuestra que tiene un límite superior ajustado que depende del inverso de la desviación estándar mínima de los tokens y la norma del peso.
• Capas Feedforward (FC): Limitadas por la norma espectral de las matrices de pesos.
• Multi-Head Self-Attention (MHA): Limitada por un término que involucra las normas espectrales de los pesos y la longitud de la secuencia $n$. El análisis muestra que la MHA tiene un límite más laxo (mayor potencial de plasticidad) en comparación con las LayerNorms y las capas lineales, particularmente a medida que aumenta la longitud de la secuencia.

Esto conduce a un ranking teórico de plasticidad: MHA $\to$ FC1 $\approx$ FC2 $\to$ LN2 $\to$ LN1.

3. Validación Empírica

• Medición de Plasticidad: Los autores computaron la métrica de plasticidad en ViTs preentrenados (Base, Large, Huge) a través de 11 diversos benchmarks de clasificación (incluyendo CIFAR, DomainNet, Flowers, Pets) y extendieron el análisis a modelos de autoaprendizaje supervisado (DINOv3) y LLMs (GPT-2).
• Experimentos de Ajuste Fino: Para aislar el efecto de componentes específicos, los autores realizaron más de 1,000 ejecuciones de ajuste fino en un ViT de 86 millones de parámetros. En cada ejecución, solo se actualizaba un tipo específico de componente (por ejemplo, solo MHA, solo FC1, solo LN1) mientras los demás permanecían congelados.
• Optimización: Los experimentos se realizaron utilizando tanto los optimizadores SGD como Adam a través de un barrido de tasas de aprendizaje y semillas aleatorias para asegurar la robustez.

Resultados Clave

1. Ranking Empírico de Plasticidad

Los datos experimentales confirmaron el ranking teórico. A través de todos los benchmarks y escalas de modelos (de ViT-Base a ViT-Huge, y extendiéndose a DINOv3 y GPT-2):

• MHA exhibió consistentemente la mayor plasticidad ($P(f) > 1$).
• Las capas Feedforward (FC1, FC2) le siguieron con alta plasticidad.
• Las LayerNorms (LN2, LN1) exhibieron la menor plasticidad ($P(f) < 1$), actuando como componentes "rígidos" o suaves.

2. Rendimiento del Ajuste Fino

Los experimentos de ajuste fino por componente revelaron una correlación directa entre la plasticidad y el rendimiento en tareas de seguimiento:

• Precisión Superior: Adaptar componentes de alta plasticidad (MHAs y capas FC) produjo consistentemente una precisión top-1 más alta que adaptar componentes de baja plasticidad (LayerNorms).
• Significancia Estadística: En conjuntos de datos desafiantes (por ejemplo, CIFAR-100, Sketch, Clipart), las capas MHA y FC superaron significativamente a las LayerNorms. Por ejemplo, ajustar solo MHA a menudo superó las líneas base de ajuste fino completo en conjuntos de datos pequeños.
• Robustez: Los componentes de alta plasticidad demostraron una mayor estabilidad a través de diferentes tasas de aprendizaje y semillas de inicialización, mostrando una menor varianza en el rendimiento.
• Dinámicas de Optimización: El artículo observó que los componentes de alta plasticidad generan normas de gradiente más grandes durante el entrenamiento, lo que conduce a un descenso de la pérdida más pronunciado y una convergencia más rápida hacia los mínimos locales. Esto contrasta con los componentes suaves, que restringen las normas de gradiente y resultan en una optimización más lenta.

3. Comparación con Métodos de Parámetros Eficientes (PEFT)

El estudio encontró que el ajuste fino selectivo de componentes de alta plasticidad (por ejemplo, MHA) puede ser competitivo o superior a los métodos populares de PEFT como LoRA, incluso con significativamente menos parámetros entrenables. Por ejemplo, el ajuste fino de solo las LayerNorms con Adam superó a LoRA en CIFAR-100 con 15 veces menos parámetros, aunque el ajuste de MHA generalmente produjo los mejores resultados.

Significado y Reivindicaciones

El artículo afirma ofrecer una nueva perspectiva sobre las propiedades funcionales de los transformers, desafiando la sabiduría convencional de que la suavidad es universalmente deseable para el aprendizaje.

• Cambio de Paradigma: Los autores argumentan que, si bien la suavidad ayuda a la generalización y la estabilidad en el preentrenamiento, la falta de suavidad (alta plasticidad) es el factor crítico que permite una adaptación efectiva durante el ajuste fino.
• Guía Práctica: El trabajo proporciona una guía con principios para los profesionales: al diseñar estrategias de ajuste fino de parámetros eficientes, se debe dar prioridad a los módulos de atención y las capas feedforward en lugar de las capas de normalización.
• Puente Teórico-Práctico: El artículo logra unir los límites teóricos de las constantes de Lipschitz con las dinámicas de optimización empíricas, demostrando que la "plasticidad" de un módulo dicta su capacidad para portar información sobre los datos de seguimiento y facilitar la optimización basada en gradientes.

Los autores concluyen que comprender y aprovechar la plasticidad de los componentes no suaves es esencial para diseñar métodos de adaptación más eficientes para los modelos fundacionales.