Resumo Técnico: LionVote: Adaptação de Taxa de Aprendizado por Camada para o Lion

Declaração do Problema

Redes neurais profundas não são monolíticas; diferentes tipos de camadas (ex: atenção, MLP, normalização) exibem características de otimização distintas. Otimizadores padrão como o Lion aplicam uma única taxa de aprendizado (LR) global para todos os parâmetros, o que pode levar à má calibração. Especificamente, a regra de atualização baseada no sinal do otimizador Lion descarta a magnitude do gradiente, impedindo que camadas direcionalmente instáveis compensem via atualizações maiores. Isso torna o Lion particularmente sensível à má calibração da LR por camada em comparação com métodos de segundo momento como o Adam.

Trabalhos anteriores mostraram que o pré-condicionamento adaptativo por camada pode recuperar as vantagens dos métodos adaptativos, mas as abordagens existentes ou operam de forma sem estado (ex: LARS, LAMB), aplicam adaptação por coordenada sem histórico ao nível da camada, ou dependem de atribuições de camadas pré-definidas (ex: Muon). Existe uma lacuna em métodos que combinam adaptação de nível de camada com estado com ajuste de taxa orientado por dados que não exija a sintonia manual de magnitudes de divergência.

Metodologia: LionVote

O LionVote é um mecanismo de taxa de aprendizado por camada projetado para o otimizador Lion. Ele introduz um "nível composto" inteiro persistente ($s_i$) para cada tensor de parâmetros, que modula a taxa de aprendizado base exponencialmente. O sistema opera sem modificar a regra de atualização central do Lion, mas adiciona um mecanismo de votação que é executado a cada $c$ épocas.

Componentes Principais

1. Nível Composto ($s_i$):
   Cada parâmetro $i$ mantém um nível $s_i \in \{-L, \dots, +L\}$ (padrão $L=4$). A taxa de aprendizado efetiva é:
   $$\alpha_i = \text{lr} \cdot \exp(s_i \cdot \beta_1/2)$$
   onde $\text{lr}$ é a taxa base global e $\beta_1$ é o coeficiente de interpolação de momentum do Lion. Em $\beta_1=0.9$, um passo unitário em $s_i$ corresponde a um multiplicador de $\times 1.57$.

2. Diagnósticos de Votação:
   A cada $c$ épocas, dois diagnósticos votam se devem aumentar, diminuir ou manter a taxa para cada camada:

   • Voto 1 (Estabilidade de Direção do Gradiente): Computa a similaridade de cosseno entre o gradiente médio atual e o da época anterior.
     • Limiares: $+1$ se o alinhamento $> 0.5$ (estável), $-1$ se $< 0$ (invertido), $0$ caso contrário.
     • Derivação: O limiar de $0.5$ corresponde a uma supermaioria de $2/3$ de pares de sinais de coordenadas concordando sob isotropia de coordenadas (fórmula de Sheppard).
   • Voto 2 (Saúde do Momentum): Computa a razão entre a norma EMA do momentum e a norma do gradiente ($r = \|m\| / \|\bar{g}\|$).
     • Limiares: $-1$ se $r > e$, $+1$ se $r < 1/e$, $0$ caso contrário.
     • Derivação: Derivado da constante de tempo intrínseca da $\beta_2$-EMA ($\beta_2^\tau = e^{-1}$).

3. Desempate (Perda de Validação):
   Se os dois votos conflitarem ou ambos se abstiverem, um desempate global resolve a decisão com base na mudança relativa na perda de validação ($\delta$).

   • Limiar: $\pm 1\%$, escolhido para corresponder ao nível de ruído da estimativa de perda de entropia cruzada para tamanhos típicos de conjuntos de validação.
   • Nota: Em ViT-Tiny/CIFAR-100, este desempate é o caminho de sinal dominante, disparando para $\sim 59\%$ das decisões.

4. Regra de Atualização:
   O nível composto $s_i$ é atualizado via uma regra assimétrica: um voto de $+1$ redefine níveis negativos para 0 e incrementa os positivos; um voto de $-1$ redefine níveis positivos para 0 e decrementa os negativos. Um voto de $0$ decai o nível em direção a zero.

Principais Contribuições

1. Um Mecanismo de Estado por Camada para o Lion: O artigo propõe um sistema de votação onde os limiares são derivados de identidades geométricas e constantes de tempo de EMA em vez de serem sintonizados. A metodologia para derivar esses limiares (ex: a convenção de supermaioria de $2/3$ e o fator $e$ para o momentum) é apresentada como reutilizável para outros otimizadores.
2. Miscalibração Quantificada no Lion: Através das trajetórias do nível composto, os autores demonstram que, no ViT-Tiny/CIFAR-100, a escala efetiva do Lion é sistematicamente muito alta:
   • $2.6\times$–$2.8\times$ muito alta para parâmetros de Atenção e MLP.
   • $\sim 2\times$ muito alta para camadas de Normalização.
   • Camadas de Normalização recebem uma escala efetiva $32\%$ maior do que as camadas de Atenção. Essa disparidade não pode ser reproduzida por uma redução de taxa global única.
3. Dependência de Arquitetura e Tarefa: A utilidade da adaptação por camada é mostrada como dependente da heterogeneidade arquitetônica e da tarefa específica.
   • ViT-Tiny: Mostra ganhos significativos no CIFAR-100 ($69.7\%$ vs. $69.0\%$ do Lion) devido à grande dispersão nos tipos de camadas.
   • WideResNet: Em arquiteturas CNN uniformes, o SGD ajustado com cosseno de recuo (cosine annealing) permanece dominante, e o LionVote não oferece vantagem consistente.
   • Sensibilidade à Tarefa: No ViT-Tiny, o LionVote melhora o desempenho no CIFAR-100, mas degrada significativamente o desempenho no CIFAR-10 ($-0.88$ pp), indicando que a heterogeneidade arquitetônica sozinha não é suficiente; fatores ao nível da tarefa também ditam a utilidade da adaptação.

Resultados Experimentais

Experimentos foram conduzidos com WideResNet e ViT-Tiny através de CIFAR-10 e CIFAR-100 com 8 sementes aleatórias.

• ViT-Tiny / CIFAR-100: O LionVote (cadência 8) atinge 69.71% de acurácia top-1, superando o Lion (68.95%, $p < 0.02$) e o AdamW (68.75%). Ele atinge o limiar de 68% de acurácia $\sim 80$ épocas mais rápido que o Lion.
• ViT-Tiny / CIFAR-10: O LionVote (cadência 8) atinge 91.52%, o que é estatisticamente significativamente inferior ao Lion padrão (92.40%, $p < 0.001$).
• WideResNet: O SGD ajustado com cosseno de recuo domina todas as configurações (ex: 96.08% em WRN-28-10/CIFAR-10). O LionVote não supera consistentemente o Lion ou o SGD nessas CNNs uniformes.
• Ablação:
  • O desempate é crítico para os ganhos no CIFAR-100; removê-lo reduz o desempenho abaixo do Lion.
  • O Voto 1 (estabilidade do gradiente) é o principal motor da diferenciação por camada.
  • O Voto 2 (saúde do momentum) raramente dispara neste workload, agindo como um diagnóstico latente.
  • Uma variante de regra de atualização simétrica alcançou a maior acurácia individual do estudo (70.54% em ViT/CIFAR-100), mas com maior variância.

Significância e Alegações

O artigo afirma que o LionVote fornece um mecanismo principiado e não sintonizado para adaptação por camada em otimizadores baseados em sinal. Sua significância reside em três áreas:

1. Reutilização Metodológica: A derivação dos limiares de votação a partir de estruturas matemáticas (identidades geométricas, constantes de tempo de EMA) oferece um modelo para projetar mecanismos por camada em outros otimizadores sem depender de meta-aprendizado ou extensa sintonia de hiperparâmetros.
2. Diagnóstico do Lion: Ele quantifica uma má calibração específica na escala efetiva do Lion entre tipos de camadas, sugerindo que trabalhos futuros sobre o Lion devem considerar o escalonamento consciente do tipo de camada mesmo sem o mecanismo completo de votação.
3. Valor Contextual: Estabelece que a adaptação por camada não é uma panaceia universal. Seu valor é contingente à heterogeneidade arquitetônica (ex: ViTs vs. CNNs uniformes) e à dificuldade da tarefa. O artigo conclui modestamente que, embora o mecanismo funcione bem para arquiteturas heterogêneas como ViTs em tarefas complexas (CIFAR-100), ele não oferece vantagem consistente em CNNs uniformes ou tarefas mais simples onde o Lion já está próximo de seu teto de desempenho.

Os autores observam limitações, incluindo a dependência da perda de validação para o desempate (que idealmente deveria ser em um conjunto separado), a maior variância entre sementes em comparação ao Lion padrão, e o escopo limitado aos datasets CIFAR e tamanhos de modelos específicos. Eles deixam questões em aberto relativas à generalização para outros otimizadores e ao potencial para cadência adaptativa.