Resumen Técnico: HORST: Composición de Geometrías de Optimizadores para el Entrenamiento de Transformers Escasos

Enunciado del Problema

La esparsificación de modelos Transformer sigue siendo un desafío fundamental. Si bien la esparsificación de redes (eliminación de pesos redundantes) ofrece una vía prometedora para la compresión de modelos y la inferencia eficiente, consistentemente conduce a una degradación significativa del rendimiento en Transformers, particularmente en niveles altos de esparsidad donde la compresión es más valiosa. En contraste, las redes convolucionales se esparsifican de manera más efectiva.

Los autores argumentan que esta disparidad se debe al sesgo implícito de los optimizadores utilizados durante el entrenamiento. Los Transformers estándar dependen de optimizadores adaptativos como AdamW, que exhiben un sesgo implícito $L_\infty$. Este sesgo favorece la estabilidad al igualar las magnitudes de los pesos entre parámetros, una geometría fundamentalmente en conflicto con el sesgo $L_1$ requerido para la esparsidad, que exige concentrar la masa de los pesos en un pequeño subconjunto de parámetros mientras impulsa el resto a cero. Por el contrario, el descenso de gradiente estándar (utilizado en CNN) induce un sesgo $L_2$, y el descenso de coordenadas (un descenso más pronunciado basado en $L_1$) es teóricamente ideal para la esparsidad pero computacionalmente inviable para redes profundas grandes.

Los intentos existentes de inducir esparsidad mediante descenso de espejo (por ejemplo, usando entropía hiperbólica) a menudo fallan en el contexto de Transformers porque reemplazan directamente el gradiente, perdiendo la estabilidad proporcionada por los métodos adaptativos. El problema central es una tensión geométrica: la estabilidad de los optimizadores adaptativos ($L_\infty$) entra en conflicto con los requisitos de esparsidad ($L_1$).

Metodología

El artículo propone HORST (Operador Hiperbólico para Entrenamiento Escaso Robusto), un optimizador modular que resuelve esta tensión componiendo pasos de optimización como operadores funcionales no conmutativos.

1. Marco de Composición de Operadores

Los autores tratan las actualizaciones de optimización como operadores que actúan sobre vectores de parámetros y gradientes. Identifican dos clases distintas de operadores:

• Operadores de Descenso Más Pronunciado: Acotados e invariantes a la escala (por ejemplo, Descenso de Signo, que aproxima Adam). Estos proporcionan estabilidad pero inducen un sesgo $L_\infty$.
• Operadores de Descenso de Espejo: Lineales pero generalmente no acotados. Mapas de espejo específicos, como el mapa de espejo de entropía hiperbólica, inducen un sesgo $L_1$ que promueve la esparsidad.

2. No Conmutatividad y Orden de Operaciones

Una idea teórica clave es que estas clases de operadores son no conmutativas.

• Aplicar un paso de espejo seguido de un paso de descenso más pronunciado ($S \circ M$) resulta en que el operador de descenso más pronunciado domine, anulando efectivamente el sesgo de esparsidad.
• Aplicar un paso de descenso más pronunciado seguido de un paso de espejo ($M \circ S$) permite que el mapa de espejo actúe sobre la actualización basada en signos, heredando con éxito la estabilidad del descenso más pronunciado mientras induce el sesgo de esparsidad $L_1$.

3. El Algoritmo HORST

HORST implementa la composición $M_R \circ S$ en un entorno discreto y práctico:

1. Actualización Estable: Primero realiza una actualización adaptativa estándar (AdamW), que proporciona la estabilidad necesaria y la regularización de tipo $L_\infty$.
2. Inducción de Esparsidad: Luego aplica una actualización exponencial derivada del mapa de espejo de entropía hiperbólica. Este paso reparametriza efectivamente los pesos para favorecer la esparsidad.
3. Regularización Desacoplada: El algoritmo incorpora una descomposición de la decadencia de pesos y un término de regularización adicional ($\beta$) para controlar aún más el sesgo de esparsidad.

La regla de actualización se define como:
$$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$$
$$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$$
Aquí, $\alpha$ controla la fuerza relativa del sesgo de esparsidad. Establecer $\alpha=0$ recupera AdamW estándar.

Contribuciones Clave

1. Dicotomía Geométrica: El artículo formaliza la dicotomía estructural entre el descenso más pronunciado (acotado, estable, sesgo $L_\infty$) y el descenso de espejo (lineal, no acotado, sesgo $L_1$), ilustrando por qué ninguno de los dos por sí solo es suficiente para un entrenamiento robusto de Transformers escasos.
2. Composición de Operadores: Introduce la composición de operadores de optimizador como un principio de diseño, demostrando que el orden de composición es crítico. El orden específico ($M \circ S$) permite que el sistema herede la estabilidad de los métodos adaptativos mientras sobrescribe su sesgo implícito con un sesgo $L_1$ que promueve la esparsidad.
3. Garantía Teórica: Los autores demuestran (Teorema 4.7) que componer el descenso más pronunciado (con respecto a una norma $L_p$, $p \ge 2$) con un mapa de espejo de entropía hiperbólica hace que las iteraciones converjan en dirección a la solución de un problema de minimización $L_1$, sobrescribiendo efectivamente el sesgo $L_\infty$ del optimizador base.
4. Optimizador HORST: Proponen HORST, un optimizador modular que se integra perfectamente con métodos adaptativos estándar (como AdamW) y no requiere evaluaciones de gradiente adicionales, solo una actualización exponencial por parámetro.

Resultados Experimentales

Los autores evalúan HORST en tareas de visión y lenguaje utilizando la pipeline de esparsificación AC/DC (Alternating Compressed/Decompressed).

• Transformers de Visión (DeiT): En ImageNet, HORST-AdamW supera consistentemente a las líneas base de AdamW en todos los niveles de esparsidad (70%, 80%, 90%). Las ganancias son más pronunciadas en alta esparsidad (80–90%), donde el rendimiento de AdamW se degrada bruscamente. Por ejemplo, en una esparsidad del 90% en DeiT-base, HORST alcanza una precisión del 76.83% en comparación con el 68.86% de AdamW.
• Modelos de Lenguaje (GPT-2 Small): En la poda de magnitud no estructurada por capas en un solo paso en SlimPajama-6B, los modelos entrenados con HORST-AdamW exhiben una perplejidad de validación significativamente menor después de la poda en comparación con AdamW y el optimizador HAM. La brecha se amplía en niveles de esparsidad más altos.
• Comparación con HAM: HORST supera sustancialmente a HAM (un optimizador alternante anterior) en DeiT-small con una esparsidad del 90% (70.5% vs 60.06%). Los autores atribuyen esto a la composición de HORST de la actualización exponencial con la propia actualización de AdamW, en lugar de aplicar un paso exponencial basado en gradientes como lo hace HAM.
• Distribución de Pesos: Las visualizaciones confirman que HORST induce una distribución de pesos agudamente concentrada alrededor de cero (indicando sesgo $L_1$), mientras que AdamW retiene un perfil más amplio, cercano a una Gaussiana.

Significado y Afirmaciones

El artículo afirma que el sesgo implícito del optimizador es un cuello de botella principal para el entrenamiento de Transformers escasos. Al tratar los pasos de optimización como operadores componibles, los autores demuestran que es posible desacoplar la estabilidad de los métodos adaptativos de su sesgo geométrico.

El significado de HORST radica en su capacidad para:

• Habilitar el entrenamiento de Transformers de alta esparsidad sin la severa degradación del rendimiento típicamente asociada con dicha compresión.
• Proporcionar un marco principiado y modular para diseñar optimizadores que puedan satisfacer simultáneamente requisitos geométricos conflictivos (estabilidad vs. esparsidad).
• Ofrecer una solución práctica que requiere una sobrecarga computacional mínima (sin evaluaciones de gradiente adicionales) y se integra con pipelines de entrenamiento escaso existentes.

Los autores concluyen que, si bien el límite $L_\infty$ del descenso más pronunciado y su interacción con las actualizaciones de espejo sigue siendo una pregunta teórica abierta, el marco propuesto cierra con éxito la brecha entre la estabilidad del entrenamiento adaptativo y la geometría de la solución escasa.