Resumo Técnico: Aprendizado em Espaço de Pesos Curvo (SymExpLin)

1. Definição do Problema

O treinamento padrão de redes neurais baseia-se em atualizações aditivas em um espaço de parâmetros linear. No entanto, muitas operações internas de redes são inerentemente multiplicativas (ex: escalonamento de amplitudes de características, ganhos de normalização ou valores singulares). Em um espaço linear, mudanças relativas de mesma magnitude (ex: dobrar vs. reduzir à metade) exigem distâncias de otimização desiguais. Por exemplo, mover um peso de 1,0 para 2,0 requer um passo de tamanho 1,0, enquanto mover de 1,0 para 0,5 requer um passo de 0,5.

Este descompasso cria desafios de otimização:

• Distribuições de Cauda Pesada: Modelos pré-treinados frequentemente exibem distribuições de pesos de cauda pesada, onde uma pequena fração de parâmetros cresce significativamente maior que sua escala de inicialização (ex: 30× maior), enquanto a maioria permanece próxima da inicialização.
• Invariância do Otimizador: Otimizadores adaptativos como o Adam normalizam as atualizações por coordenada, tornando os tamanhos de passo invariantes à magnitude do parâmetro. Consequentemente, um parâmetro pequeno (ex: 0,004) e um parâmetro grande (ex: 0,4) recebem atualizações absolutas semelhantes. Isso resulta em uma diferença de 100× na perturbação relativa, podendo causar uma sobre-perturbação de parâmetros pequenos enquanto parâmetros grandes e críticos são sub-perturbados.
• Escalonamento Estático vs. Dinâmico: Soluções existentes como a Parametrização de Atualização Máxima (µP) abordam descompassos de escala estaticamente com base na largura do tensor na inicialização, mas não se adaptam ao crescimento dinâmico de parâmetros individuais durante o treinamento.

2. Metodologia: SymExpLin (SEL)

Os autores propõem o SymExpLin (SEL), uma reparametrização não linear de pesos que decompõe os pesos efetivos em um caminho simétrico-exponencial e um caminho linear. Isso cria uma geometria de espaço de parâmetros curva onde atualizações aditivas no espaço bruto mapeiam para mudanças proporcionais à magnitude no espaço de peso efetivo.

2.1 A Transformação

O peso efetivo $w_{eff}$ é computado a partir de um peso bruto $w$ usando os seguintes componentes:

1. Caminho Simétrico-Exponencial ($E_\theta$): Uma função aprendível e preservadora de sinal baseada na exponencial simétrica (symexp). Para $|w|$ pequeno, comporta-se linearmente; para $|w|$ grande, cresce exponencialmente. Isso permite que grandes passos brutos produzam maiores deslocamentos efetivos.
   • $E_\theta(|w|) = e_w (\exp(\beta |w| \cdot m - n) - \exp(-n))$
   • Parâmetros: $\beta$ (curvatura), $m$ (multiplicador interno), $n$ (offset para a inclinação na origem), $e_w$ (escala de saída).
2. Caminho Linear ($L_\theta$): Um caminho de identidade $L_\theta(w) = w \cdot l_w$ que fornece uma rota direta de gradiente, hipotetizada para estabilizar a otimização.
3. Envolvimento de Sinal (Sign Wrapping): O sinal do peso bruto é aplicado à soma dos caminhos: $w_{eff} = \text{sign}(w) \cdot (E_\theta(|w|) + L_\theta(w)) + \Delta_\phi$.
4. Resíduo ($\Delta_\phi$): Uma correção aditiva opcional de baixo posto (estilo LoRA).

2.2 Principais Escolhas de Design

• Inicialização Desajustada (Mismatched Initialization): Os autores identificam uma assimetria benéfica onde os pesos brutos são inicializados invertendo uma regra de combinação "congruente" (onde as partes linear e exponencial são somadas fora do envolvimento de sinal), mas o passo à frente usa uma regra de "desajuste" (onde ambas são envolvidas dentro do sinal). Isso resulta em pesos negativos sendo inicializados com uma magnitude menor que os pesos positivos, atuando como um mecanismo inicial de quebra de simetria.
• Parâmetros de Escala Estruturados: As escalas aprendíveis ($e_w, l_w, m, n$) são parametrizadas usando padrões multiplicativos linha-coluna (vetores de posto-1) para equilibrar expressividade e custo computacional.
• Anelamento de Taxa de Aprendizado (Learning Rate Annealing): Um cronograma direcionado é usado para os parâmetros de escala. A escala externa $e_w$ começa com uma taxa de aprendizado alta para se comprometer rapidamente com um sinal, enquanto o multiplicador interno $m$ começa baixo e aumenta via anelamento para refinar a curvatura uma vez que a escala se estabiliza.
• Calibração de Curvatura: O parâmetro de curvatura $\beta$ é definido heuristicamente com base na largura do modelo para garantir que o regime exponencial seja ativado próximo às magnitudes típicas de inicialização (que diminuem conforme a largura aumenta).

3. Principais Contribuições

• SymExpLin (SEL): Uma reparametrização de peso aplicável a qualquer matriz ou viés, decompondo pesos em componentes simétricos-exponenciais e lineares com escalas estruturadas independentemente aprendíveis.
• Inicialização Desajustada: A descoberta de que usar diferentes regras de combinação para a inversão de inicialização versus o passo à frente cria um viés assimétrico benéfico que melhora a otimização inicial.
• Escala Estruturada e Anelamento: Introdução de parâmetros de escala multiplicativos linha-coluna e um cronograma de anelamento de taxa de aprendizado específico para gerenciar controles exponenciais redundantes.
• Praticidade: O método é amigável à implementação. A transformação de treinamento é elemento a elemento e, pós-treinamento, os pesos efetivos são pré-computados e integrados em camadas lineares padrão, resultando em custo zero de inferência.
• Complementaridade: O SEL opera em um eixo dinâmico por parâmetro, complementando métodos estáticos por tensor como o µP.

4. Resultados Experimentais

O método foi avaliado em modelagem de linguagem autorregressiva usando OpenWebText em nove configurações de largura $\{1024, 2048, 3072\}$ e profundidade $\{12, 24, 36\}$.

• Descida de Perda: O SEL consistentemente alcançou uma perda de validação menor que o baseline (Adam com parametrização padrão) em todas as configurações.
• Eficiência de Passo: O SEL alcançou a perda de validação correspondente em 1,32× a 1,49× menos passos de treinamento. Os ganhos foram mais pronunciados em modelos de maior largura (ex: aceleração de 1,49× em 3072×24).
• Aceleração de Tempo de Execução (Wall-Clock Speedup): Apesar de um overhead por passo de 1,7% (modelo pequeno) a 5,5% (modelo grande) devido à transformação, a redução no total de passos resultou em uma aceleração estimada de tempo de execução de 1,29× a 1,37×.
• Ablações:
  • Caminho Linear: Remover o caminho linear resultou em um caso de "falha de aprendizado", confirmando sua necessidade para estabilidade.
  • Desajuste vs. Congruente: A inicialização desajustada superou consistentemente a inicialização congruente, particularmente em modelos menores.
  • Anelamento: O cronograma de taxa de aprendizado com anelamento para parâmetros de escala forneceu melhorias consistentes, embora pequenas, sobre multiplicadores fixos.

5. Significância e Alegações

O artigo afirma que o SEL aborda o descompasso fundamental entre a natureza multiplicativa de muitas computações neurais e a natureza aditiva da otimização padrão. Ao curvar o espaço de parâmetros, o SEL permite que o otimizador dê passos que são naturalmente proporcionais à magnitude dos pesos, fornecendo efetivamente o escalonamento relativo sem exigir ajuste de taxa de aprendizado por parâmetro.

Os autores enfatizam que o SEL é um substituto prático e direto para camadas lineares padrão que:

1. Acelera a convergência, particularmente para modelos com distribuições de pesos de cauda pesada.
2. Não requer mudanças arquiteturais durante a inferência.
3. Pode ser invertido, permitindo que pesos pré-treinados padrão sejam convertidos de volta para o espaço SEL para treinamento contínuo ou fine-tuning.

O trabalho sugere que a parametrização de "espaço log suave" ajuda os pesos a atingirem os alvos de grande magnitude necessários para a computação da rede, que são frequentemente desfavorecidos por atualizações aditivas lineares.