🤖 machine learning

LionVote: Per-Layer Learning Rate Adaptation for Lion

Este artículo presenta LionVote, un mecanismo de adaptación de la tasa de aprendizaje por capa que utiliza la estabilidad del gradiente y diagnósticos de momento para ajustar dinámicamente las tasas de aprendizaje, logrando mejoras de precisión estadísticamente significativas sobre Lion y AdamW estándar en ViT-Tiny/CIFAR-100 al abordar las disparidades inherentes de la tasa de aprendizaje entre capas en las arquitecturas Transformer.

Autores originales: Kris Atallah (New York University, New York, USA)

Publicado 2026-07-13

📖 6 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Kris Atallah (New York University, New York, USA)

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrenando a un cerebro digital gigante para reconocer gatos, perros y coches. Este cerebro está hecho de muchas capas diferentes, como un edificio de varios pisos. Normalmente, cuando enseñamos a este cerebro, le damos a cada uno de los pisos la misma cantidad de "tiempo de estudio" (una tasa de aprendizaje) a la misma velocidad. Es como si un profesor le dijera a la clase de matemáticas, a la clase de arte y a la clase de gimnasia que todas corran exactamente al mismo ritmo, independientemente de lo que estén haciendo.

Pero, ¿qué pasaría si los estudiantes de matemáticas tuvieran que esprintar, mientras que los de arte tuvieran que pasear?

Ese es el problema que LionVote resuelve. Es una nueva forma de entrenar un tipo específico de cerebro digital llamado "Lion". Los investigadores descubrieron que, si tratas a todas las partes del cerebro por igual, algunas partes se ven abrumadas y otras se aburren.

El gran descubrimiento: La "escala efectiva" del cerebro está mal

Los autores midieron cómo aprende el cerebro Lion y descubrieron algo sorprendente. En una prueba específica (usando un modelo llamado ViT-Tiny en el conjunto de datos CIFAR-100), la "escala efectiva" del cerebro era de 2.6 a 2.8 veces demasiado alta para las partes que manejan la atención y el pensamiento complejo (parámetros MLP). Para las partes que mantienen todo organizado (capas de normalización), era aproximadamente 2 veces demasiado alta.

Piénsalo de esta manera: las partes de la atención están intentando beber de una manguera de incendios, mientras que las partes de organización están bebiendo de una manguera de jardín. Las partes de atención y MLP están recibiendo en realidad una escala efectiva un 32% mayor que las partes de normalización, a pesar de que el profesor (la tasa de aprendizaje global) está girando el grifo en la misma configuración para ambos. Este desajuste hace que sea difícil que el cerebro aprenda de manera eficiente.

La solución: Un sistema de votación para cada capa

Para solucionar esto, los investigadores inventaron LionVote. En lugar de un solo profesor gritando instrucciones a todo el edificio, le dieron a cada capa del cerebro su propio pequeño y persistente "contador de nivel".

Así es como funciona la votación:

El Nivel Compuesto: Cada capa tiene una puntuación (un número entero) que comienza en cero. Esta puntuación actúa como un mando de volumen, subiendo o bajando la tasa de aprendizaje.
Los Dos Votos: Cada pocos épocas (ciclos de entrenamiento), la capa comprueba su propia salud mediante dos pruebas específicas:
- Voto 1 (Verificación de Dirección): ¿Se mueve la capa en una dirección constante o está tambaleándose de un lado a otro? Si el gradiente (la dirección del aprendizaje) es estable, recibe un "pulgar arriba". Si está cambiando salvajemente, recibe un "pulgar abajo".
- Voto 2 (Salud del Momento): ¿Es el impulso (su velocidad e inercia) de la capa demasiado fuerte en comparación con su progreso actual? Si está fuera de control, recibe un "pulgar abajo".
El Desempate: A veces, los dos votos no están de acuerdo (uno dice "ve más rápido", el otro dice "ve más lento"). Cuando esto sucede, el sistema observa la pérdida de validación (una puntuación de qué tan bien lo está haciendo el cerebro en una prueba de práctica). Si la puntuación de la prueba de práctica mejoró, vota para seguir adelante; si empeoró, vota para ir más despacio.

Basándose en estos votos, el "mando de volumen" de la capa (el nivel compuesto) sube o baja. Si una capa es estable, puede recibir un impulso. Si es caótica, recibe un tiempo de espera.

Los resultados: Una pequeña pero real victoria

Cuando lo probaron en el modelo ViT-Tiny:

LionVote logró un 69.71% de precisión.
El optimizador Lion estándar obtuvo un 68.95%.
El popular optimizador AdamW obtuvo un 68.75%.

La diferencia entre LionVote y el Lion estándar es estadísticamente significativa (lo que significa que es probable que sea una mejora real y no solo suerte), con una probabilidad de menos del 2% de que esto haya ocurrido por azar. En la prueba ViT-Tiny/CIFAR-100, LionVote también superó a AdamW, aunque en la prueba ViT-Tiny/CIFAR-10, LionVote empató con AdamW en lugar de superarlo.

Lo que esto NO significa

Es importante saber qué es lo que este método no hace, porque el artículo es muy claro al respecto:

No es una solución mágica para todo. En redes más simples y uniformes (como WideResNet), el método tradicional de ajustar la tasa de aprendizaje manualmente (usando SGD con recocido de coseno) sigue siendo el ganador. LionVote no ayudó allí; de hecho, en algunas pruebas, hizo las cosas ligeramente peores.
No es una solución permanente para todas las tareas. El beneficio depende mucho de cuán diferentes sean las capas. Cuanto más "heterogénea" sea la arquitectura, más ayuda LionVote. En la red uniforme WideResNet, las capas eran demasiado similares para que el sistema de votación encontrara mucho que arreglar.
No es un "configurar y olvidar" para todos los optimizadores. Las reglas específicas para el voto de "Salud del Momento" se derivaron específicamente para el optimizador Lion. Si intentaras usar estas mismas reglas en un optimizador diferente como Adam, podrían no funcionar porque la matemática detrás del momento es distinta.

La conclusión

El artículo sugiere que la adaptación por capa es una herramienta poderosa, pero solo cuando la arquitectura del cerebro es lo suficientemente compleja como para tener necesidades diferentes. LionVote demuestra que, al permitir que cada capa vote sobre su propia velocidad de aprendizaje, podemos extraer un poco de rendimiento adicional (aproximadamente 0.7 puntos porcentuales en esta prueba específica) sin necesidad de adivinar la configuración perfecta a mano.

Es como darse cuenta de que, en una escuela con mucha actividad, el profesor de matemáticas, el de arte y el de gimnasia no deberían estar gritando las mismas instrucciones al mismo volumen. A veces, la clase de matemáticas necesita un susurro, y la clase de gimnasia necesita un megáfono. LionVote es el sistema que permite que cada clase decida por sí misma.

Resumen Técnico: LionVote: Adaptación de la Tasa de Aprendizaje por Capa para Lion

Declaración del Problema

Las redes neuronales profundas no son monolíticas; diferentes tipos de capas (por ejemplo, atención, MLP, normalización) exhiben características de optimización distintas. Los optimizadores estándar como Lion aplican una única tasa de aprendizaje (LR) global a todos los parámetros, lo que puede conducir a una descalibración. Específicamente, la regla de actualización basada en el signo del optimizador Lion descarta la magnitud del gradiente, impidiendo que las capas con inestabilidad direccional compensen mediante actualizaciones más grandes. Esto hace que Lion sea particularmente sensible a la descalibración de la LR por capa en comparación con los métodos de segundo momento como Adam.

Trabajos previos han demostrado que el precondicionamiento adaptativo por capa puede recuperar las ventajas de los métodos adaptativos, pero los enfoques existentes operan de forma sin estado (por ejemplo, LARS, LAMB), aplican la adaptación por coordenada sin historial a nivel de capa, o dependen de asignaciones de capas predefinidas (por ejemplo, Muon). Existe un vacío en los métodos que combinan la adaptación estatal a nivel de capa con el ajuste de la tasa basado en datos que no requiera el ajuste manual de las magnitudes de divergencia.

Metodología: LionVote

LionVote es un mecanismo de tasa de aprendizaje por capa diseñado para el optimizador Lion. Introduce un "nivel compuesto" entero persistente ( $s_i$ ) para cada tensor de parámetros, el cual modula la tasa de aprendizaje base exponencialmente. El sistema opera sin modificar la regla de actualización central de Lion, añadiendo en su lugar un mecanismo de votación que se ejecuta cada $c$ épocas.

Componentes Principales

Nivel Compuesto ( $s_i$ ):
Cada parámetro $i$ mantiene un nivel $s_i \in \{-L, \dots, +L\}$ (por defecto $L=4$ ). La tasa de aprendizaje efectiva es:
$\alpha_i = \text{lr} \cdot \exp(s_i \cdot \beta_1/2)$
donde $\text{lr}$ es la tasa base global y $\beta_1$ es el coeficiente de interpolación de momentum de Lion. Con $\beta_1=0.9$ , un paso unitario en $s_i$ corresponde a un multiplicador de $\times 1.57$ .
Diagnósticos de Votación:
Cada $c$ épocas, dos diagnósticos votan sobre si aumentar, disminuir o mantener la tasa para cada capa:
- Voto 1 (Estabilidad de la Dirección del Gradiente): Calcula la similitud de coseno entre el gradiente medio actual y el de la época anterior.
  - Umbrales: $+1$ si la alineación $> 0.5$ (estable), $-1$ si $< 0$ (invertido), $0$ en otro caso.
  - Derivación: El umbral de $0.5$ corresponde a una supermayoría de dos tercios de pares de signos de coordenadas que coinciden bajo isotropía de coordenadas (fórmula de Sheppard).
- Voto 2 (Salud del Momentum): Calcula la relación entre la norma del EMA del momentum y la norma del gradiente ( $r = \|m\| / \|\bar{g}\|$ $r = ∥ m ∥/∥ \overset{g}{ˉ} ∥$ ).
  - Umbrales: $-1$ si $r > e$ , $+1$ si $r < 1/e$ , $0$ en otro caso.
  - Derivación: Derivado de la constante de tiempo intrínseca de la $\beta_2$ -EMA ( $\beta_2^\tau = e^{-1}$ ).
Desempate (Pérdida de Validación):
Si los dos votos entran en conflicto o ambos se abstienen, un desempate global resuelve la decisión basándose en el cambio relativo en la pérdida de validación ( $\delta$ ).
- Umbral: $\pm 1\%$ , elegido para coincidir con el nivel de ruido de la estimación de la pérdida de entropía cruzada para tamaños típicos de conjuntos de validación.
- Nota: En ViT-Tiny/CIFAR-100, este desempate es la ruta de señal dominante, activándose para aproximadamente el $59\%$ de las decisiones.
Regla de Actualización:
El nivel compuesto $s_i$ se actualiza mediante una regla asimétrica: un voto de $+1$ reinicia los niveles negativos a 0 e incrementa los positivos; un voto de $-1$ reinicia los niveles positivos a 0 y decrementa los negativos. Un voto de $0$ decae el nivel hacia cero.

Contribuciones Clave

Un Mecanismo de Estado por Capa para Lion: El artículo propone un sistema de votación donde los umbrales se derivan de identidades geométricas y constantes de tiempo de EMA en lugar de ser ajustados manualmente. La metodología para derivar estos umbrales (por ejemplo, la convención de la supermayoría de $2/3$ y el factor $e$ para el momentum) se presenta como reutilizable para otros optimizadores.
Miscalibración Cuantificada en Lion: A través de las trayectorias del nivel compuesto, los autores demuestran que en ViT-Tiny/CIFAR-100, la escala efectiva de Lion es sistemáticamente demasiado alta:
- $2.6\times$ – $2.8\times$ demasiado alta para los parámetros de Atención y MLP.
- $\sim 2\times$ demasiado alta para las capas de Normalización.
- Las capas de Normalización reciben una escala efectiva un $32\%$ mayor que las capas de Atención. Esta disparidad no puede ser reproducida por una reducción de la tasa global única.
Dependencia de la Arquitectura y la Tarea: Se muestra que el valor de la adaptación por capa depende de la heterogeneidad arquitectónica y de la tarea específica.
- ViT-Tiny: Muestra ganancias significativas en CIFAR-100 ( $69.7\%$ frente al $69.0\%$ de Lion) debido al gran despliegue en los tipos de capa.
- WideResNet: En arquitecturas CNN uniformes, el SGD ajustado con decaimiento de coseno sigue siendo dominante, y LionVote no proporciona una ventaja consistente.
- Sensibilidad a la Tarea: En ViT-Tiny, LionVote mejora el rendimiento en CIFAR-100 pero degrada significativamente el rendimiento en CIFAR-10 ($-0.88$ pp), lo que indica que la heterogeneidad arquitectónica por sí sola no es suficiente; los factores a nivel de tarea también dictan la utilidad de la adaptación.

Resultados Experimentales

Los experimentos se realizaron en WideResNet y ViT-Tiny a través de CIFAR-10 y CIFAR-100 con 8 semillas aleatorias.

ViT-Tiny / CIFAR-100: LionVote (cadencia 8) alcanza un 69.71% de precisión top-1, superando a Lion (68.95%, $p < 0.02$ ) y AdamW (68.75%). Alcanza el umbral de 68% de precisión aproximadamente 80 épocas más rápido que Lion.
ViT-Tiny / CIFAR-10: LionVote (cadencia 8) alcanza 91.52%, que es estadísticamente inferior al Lion estándar (92.40%, $p < 0.001$ ).
WideResNet: El SGD ajustado con decaimiento de coseno domina todas las configuraciones (por ejemplo, 96.08% en WRN-28-10/CIFAR-10). LionVote no supera consistentemente a Lion o SGD en estas CNN uniformes.
Ablación:
- El desempate es crítico para las ganancias en CIFAR-100; eliminarlo reduce el rendimiento por debajo de Lion.
- El Voto 1 (estabilidad del gradiente) es el principal motor de la diferenciación por capa.
- El Voto 2 (salud del momentum) rara vez se activa en esta carga de trabajo, actuando como un diagnóstico latente.
- Una variante de regla de actualización simétrica logró la precisión individual más alta del estudio (70.54% en ViT/CIFAR-100) pero con mayor varianza.

Significancia y Reivindicaciones

El artículo afirma que LionVote proporciona un mecanismo de adaptación por capa con principios y sin ajustes manuales para optimizadores basados en el signo. Su significancia reside en tres áreas:

Reutilización Metodológica: La derivación de los umbrales de votación a partir de estructuras matemáticas (identidades geométricas, constantes de tiempo de EMA) ofrece un plano para diseñar mecanismos por capa en otros optimizadores sin depender de meta-aprendizaje o de un ajuste extensivo de hiperparámetros.
Diagnóstico de Lion: Cuantifica una descalibración específica en la escala efectiva de Lion a través de tipos de capa, sugiriendo que el trabajo futuro sobre Lion debería considerar el escalado consciente del tipo de capa incluso sin el mecanismo de votación completo.
Valor Contextual: Establece que la adaptación por capa no es una panacea universal. Su valor depende de la heterogeneidad arquitectónica (por ejemplo, ViTs frente a CNNs uniformes) y la dificultad de la tarea. El artículo concluye modestamente que, si bien el mecanismo funciona bien para arquitecturas heterogéneas como ViTs en tareas complejas (CIFAR-100), no ofrece una ventaja consistente en CNNs uniformes o tareas más simples donde Lion ya está cerca de su techo de rendimiento.

Los autores señalan limitaciones, incluyendo la dependencia de la pérdida de validación para el desempate (que idealmente debería ser en un conjunto de división separado), la mayor varianza entre semillas en comparación con el Lion estándar, y que el alcance se limita a los conjuntos de datos CIFAR y tamaños de modelo específicos. Dejan abiertas preguntas sobre la generalización a otros optimizadores y el potencial para una cadencia adaptativa.