Resumo Técnico: HORST: Composição de Geometrias de Otimizadores para Treinamento de Transformers Esparsos

Declaração do Problema

Esparsificar modelos Transformer permanece um desafio fundamental. Embora a esparsificação de redes (remoção de pesos redundantes) ofereça uma rota promissora para compressão de modelos e inferência eficiente, ela consistentemente leva a degradação significativa de desempenho em Transformers, particularmente em níveis altos de esparsidade onde a compressão é mais valiosa. Em contraste, redes convolucionais esparsificam de forma mais eficaz.

Os autores argumentam que essa disparidade decorre do viés implícito dos otimizadores utilizados durante o treinamento. Transformers padrão dependem de otimizadores adaptativos como AdamW, que exibem um viés implícito $L_\infty$. Esse viés favorece a estabilidade ao equalizar as magnitudes dos pesos entre os parâmetros, uma geometria fundamentalmente em desacordo com o viés $L_1$ necessário para esparsidade, que exige concentrar a massa de pesos em um pequeno subconjunto de parâmetros enquanto leva o restante a zero. Por outro lado, o gradiente descendente padrão (usado em CNNs) induz um viés $L_2$, e o gradiente descendente coordenado (um gradiente descendente mais íngreme baseado em $L_1$) é teoricamente ideal para esparsidade, mas computacionalmente inviável para grandes redes profundas.

Tentativas existentes de induzir esparsidade via gradiente descendente espelhado (por exemplo, usando entropia hiperbólica) frequentemente falham no cenário de Transformer porque substituem diretamente o gradiente, perdendo a estabilidade fornecida por métodos adaptativos. O problema central é uma tensão geométrica: a estabilidade dos otimizadores adaptativos ($L_\infty$) conflita com os requisitos de esparsidade ($L_1$).

Metodologia

O artigo propõe HORST (Operador Hiperbólico para Treinamento Esparsos Robusto), um otimizador modular que resolve essa tensão compondo etapas de otimização como operadores funcionais não comutativos.

1. Estrutura de Composição de Operadores

Os autores tratam as atualizações de otimização como operadores atuando sobre vetores de parâmetros e gradientes. Eles identificam duas classes distintas de operadores:

• Operadores de Gradiente Descendente Mais Íngreme: Limitados e invariantes à escala (por exemplo, Descendência de Sinal, que aproxima Adam). Estes fornecem estabilidade, mas induzem um viés $L_\infty$.
• Operadores de Gradiente Descendente Espelhado: Lineares, mas geralmente ilimitados. Mapas espelhados específicos, como o mapa espelhado de entropia hiperbólica, induzem um viés $L_1$ que promove esparsidade.

2. Não Comutatividade e Ordem das Operações

Uma insight teórico chave é que essas classes de operadores são não comutativas.

• Aplicar um passo espelhado seguido de um passo mais íngreme ($S \circ M$) resulta no operador mais íngreme dominando, efetivamente anulando o viés de esparsidade.
• Aplicar um passo mais íngreme seguido de um passo espelhado ($M \circ S$) permite que o mapa espelhado atue na atualização baseada em sinal, herdando com sucesso a estabilidade do gradiente descendente mais íngreme enquanto induz o viés de esparsidade $L_1$.

3. O Algoritmo HORST

HORST implementa a composição $M_R \circ S$ em um cenário discreto e prático:

1. Atualização Estável: Primeiro, realiza uma atualização adaptativa padrão (AdamW), que fornece a estabilidade necessária e a regularização do tipo $L_\infty$.
2. Indução de Esparsidade: Em seguida, aplica uma atualização exponencial derivada do mapa espelhado de entropia hiperbólica. Esta etapa efetivamente reparametriza os pesos para favorecer a esparsidade.
3. Regularização Desacoplada: O algoritmo incorpora decaimento de pesos desacoplado e um termo de regularização adicional ($\beta$) para controlar ainda mais o viés de esparsidade.

A regra de atualização é definida como:
$$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$$
$$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$$
Aqui, $\alpha$ controla a força relativa do viés de esparsidade. Definir $\alpha=0$ recupera o AdamW padrão.

Contribuições Principais

1. Dicotomia Geométrica: O artigo formaliza a dicotomia estrutural entre gradiente descendente mais íngreme (limitado, estável, viés $L_\infty$) e gradiente descendente espelhado (linear, ilimitado, viés $L_1$), ilustrando por que nenhum dos dois sozinho é suficiente para treinamento robusto de Transformers esparsos.
2. Composição de Operadores: Introduz a composição de operadores de otimizadores como um princípio de design, provando que a ordem de composição é crítica. A ordenação específica ($M \circ S$) permite que o sistema herde a estabilidade de métodos adaptativos enquanto sobrescreve seu viés implícito com um viés $L_1$ promotor de esparsidade.
3. Garantia Teórica: Os autores provam (Teorema 4.7) que compor gradiente descendente mais íngreme (em relação a uma norma $L_p$, $p \ge 2$) com um mapa espelhado de entropia hiperbólica faz com que as iterações convirjam em direção à solução de um problema de minimização $L_1$, efetivamente sobrescrevendo o viés $L_\infty$ do otimizador base.
4. Otimizador HORST: Propõem o HORST, um otimizador modular que se integra perfeitamente a métodos adaptativos padrão (como AdamW) e não requer avaliações adicionais de gradiente, apenas uma atualização exponencial por parâmetro.

Resultados Experimentais

Os autores avaliam o HORST em tarefas de visão e linguagem usando o pipeline de esparsificação AC/DC (Comprimido/Descomprimido Alternado).

• Transformers de Visão (DeiT): No ImageNet, o HORST-AdamW supera consistentemente as linhas de base AdamW em todos os níveis de esparsidade (70%, 80%, 90%). Os ganhos são mais pronunciados em alta esparsidade (80–90%), onde o desempenho do AdamW degrada-se abruptamente. Por exemplo, em 90% de esparsidade no DeiT-base, o HORST alcança 76,83% de precisão, comparado a 68,86% para AdamW.
• Modelos de Linguagem (GPT-2 Small): Em poda de magnitude não estruturada camada a camada em uma única passada no SlimPajama-6B, modelos treinados com HORST-AdamW exibem perplexidade de validação significativamente menor após a poda em comparação com AdamW e o otimizador HAM. A lacuna se amplia em níveis de esparsidade mais altos.
• Comparação com HAM: O HORST supera substancialmente o HAM (um otimizador alternado anterior) no DeiT-small em 90% de esparsidade (70,5% vs 60,06%). Os autores atribuem isso à composição do HORST da atualização exponencial com a própria atualização AdamW, em vez de aplicar um passo exponencial baseado em gradiente como o HAM faz.
• Distribuição de Pesos: Visualizações confirmam que o HORST induz uma distribuição de pesos agudamente concentrada em torno de zero (indicando viés $L_1$), enquanto o AdamW retém um perfil mais amplo, próximo ao Gaussiano.

Significado e Alegações

O artigo alega que o viés implícito do otimizador é um gargalo primário para o treinamento de Transformers esparsos. Ao tratar etapas de otimização como operadores composáveis, os autores demonstram que é possível desacoplar a estabilidade dos métodos adaptativos de seu viés geométrico.

O significado do HORST reside em sua capacidade de:

• Permitir treinamento de alta esparsidade de Transformers sem a degradação severa de desempenho tipicamente associada a tal compressão.
• Fornecer um framework principiado e modular para projetar otimizadores que possam satisfazer simultaneamente requisitos geométricos conflitantes (estabilidade vs. esparsidade).
• Oferecer uma solução prática que requer sobrecarga computacional mínima (sem avaliações extras de gradiente) e se integra a pipelines de treinamento esparsos existentes.

Os autores concluem que, embora o limite $L_\infty$ do gradiente descendente mais íngreme e sua interação com atualizações espelhadas permaneça uma questão teórica aberta, o framework proposto conecta com sucesso a lacuna entre a estabilidade do treinamento adaptativo e a geometria da solução esparsa.