🤖 machine learning

The Quantization Benefits of Residual-Free Transformers

Este artigo demonstra que as conexões residuais em transformadores exacerbam a não-Gaussianidade das ativações e os erros de quantização, mas substituí-las por arquiteturas sem resíduos, treinadas por meio de inicialização ortogonal e otimização espectral, produz modelos com ativações quase Gaussianas que são significativamente mais robustos à quantização de baixo bit, com perda mínima de desempenho em precisão total.

Autores originais: Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Trânsito "Cauda Pesada"

Imagine que você está tentando mover uma quantidade massiva de dados (como uma biblioteca gigante de livros) através de uma rede de computadores para treinar uma IA superinteligente. Para tornar essa movimentação mais rápida e barata, você quer encolher os livros em panfletos minúsculos e leves. Isso é chamado de quantização.

No entanto, há um problema. Nos modelos de IA padrão (chamados Transformers), os dados sendo movidos não estão organizados de forma ordenada. É como uma biblioteca onde 99% dos livros são panfletos finos, mas 1% são enciclopédias massivas e pesadas. Essas "enciclopédias pesadas" são chamadas de outliers.

Se você tentar encolher todos os livros para o mesmo tamanho pequeno para economizar espaço, os panfletos minúsculos cabem perfeitamente, mas as enciclopédias pesadas são esmagadas e perdem todas as suas informações. Isso faz com que a IA cometa erros. As soluções atuais tentam construir caminhões "pesados" especiais apenas para as enciclopédias, mas isso é complicado e caro.

A Descoberta do Artigo: O Culpado "Residual"

Os autores deste artigo fizeram uma pergunta diferente: Por que existem tantas enciclopédias pesadas em primeiro lugar?

Eles descobriram que o problema não é apenas os dados; é a arquitetura (o projeto) da IA. Especificamente, eles culparam a Conexão Residual.

A Analogia: Imagine uma corrida de revezamento.
- IA Padrão (Residual): O corredor passa o bastão para a próxima pessoa, mas eles também continuam segurando seu próprio bastão e o adicionam à pilha. Ao longo de 20 ou 30 voltas (camadas), essa pilha de bastões fica enorme, bagunçada e imprevisível. Esse "acúmulo" cria esses outliers pesados.
- A Nova Ideia (Residual-Free): O corredor passa o bastão e solta o seu próprio. O próximo corredor começa fresco apenas com o novo bastão. A pilha nunca fica bagunçada; ela permanece limpa e uniforme.

O artigo mostra que esse "acúmulo" nos modelos padrão força os dados a se tornarem "de cauda pesada" (cheios de outliers), o que torna muito difícil encolhê-los (quantizá-los) sem perder qualidade.

A Solução: Uma Dieta "Residual-Free"

Os autores propõem construir modelos de IA sem essas conexões de "acúmulo". Eles os chamam de Transformers Residual-Free.

Mas há um problema: remover o mecanismo de "acúmulo" torna a IA muito difícil de treinar. É como tentar correr uma maratona sem a rede de segurança de um bastão de revezamento; você pode tropeçar e cair.

Para corrigir isso, os autores desenvolveram uma "Receita de Treinamento" específica para fazer esses novos modelos funcionarem:

Inicialização Ortogonal: Comece o modelo com pesos perfeitamente equilibrados, como um floco de neve perfeitamente simétrico, para que os dados não fiquem distorcidos desde o início.
Otimizadores Especiais: Use um tipo específico de "treinador" (otimizador matemático) que mantém o modelo equilibrado durante o treinamento, em vez de deixá-lo ficar bagunçado.
Escala de Temperatura: Ajuste o "calor" do modelo à medida que ele fica mais profundo para manter os dados fluindo suavemente.

Os Resultados: A Zona Dourada "Gaussiana"

Quando eles treinaram esses novos modelos, algo mágico aconteceu. Em vez de ter algumas enciclopédias gigantes e muitos panfletos, os dados tornaram-se perfeitamente uniformes.

A Analogia: Imagine uma multidão de pessoas.
- Modelo Antigo: Alguns gigantes e muitos anões. Se você tentar caber todos eles em um ônibus pequeno (quantização de baixa precisão), os gigantes são esmagados e o ônibus quebra.
- Novo Modelo: Todos têm exatamente a mesma altura média. Você pode caber todos eles em um ônibus minúsculo perfeitamente, sem que ninguém seja esmagado.

Em termos matemáticos, os novos modelos mantêm seus dados "próximos de Gaussiana" (uma curva bonita em forma de sino), enquanto os modelos antigos tornam-se "de cauda pesada".

O Trade-off: Um Pouco Mais Lento, Muito Mais Compressível

O artigo encontrou um trade-off claro:

Precisão Total (Sem encolhimento): Os novos modelos "Residual-Free" são ligeiramente menos inteligentes que os antigos modelos "Residual" quando executados em tamanho completo.
Baixa Precisão (Encolhidos): Quando você os encolhe para economizar espaço (usando números de baixa precisão), os novos modelos permanecem inteligentes, enquanto os antigos colapsam.

A Conclusão:
Se você precisa executar uma IA massiva em hardware limitado (como um telefone ou um servidor pequeno) e precisa encolher os dados, a maneira antiga de construir IAs está, na verdade, trabalhando contra você. Ao remover as conexões de "acúmulo" e usar uma receita de treinamento específica, você pode construir modelos projetados naturalmente para serem comprimidos, economizando quantidades massivas de memória e energia sem perder muita precisão.

Resumo das Alegações

Causa: Conexões residuais (o mecanismo de "acúmulo") fazem os dados ficarem bagunçados e cheios de outliers.
Efeito: Essa bagunça faz com que a compressão de dados padrão (quantização) falhe, causando queda na precisão.
Solução: Remover conexões residuais, combinado com técnicas específicas de inicialização e otimização, mantém os dados limpos e uniformes.
Resultado: Esses novos modelos são muito mais robustos à compressão, permitindo implantação eficiente com métodos de compressão simples e uniformes, embora sejam ligeiramente menos precisos em precisão total.

Resumo Técnico: Os Benefícios da Quantização em Transformers sem Conexões Residuais

Declaração do Problema
A escalabilidade de grandes modelos fundacionais está cada vez mais limitada pela sobrecarga de comunicação necessária para transferir ativações, gradientes e estados de otimizadores entre aceleradores no treinamento distribuído. A quantização de baixa precisão oferece uma solução para comprimir esses tensores, mas arquiteturas Transformer padrão frequentemente produzem ativações com caudas pesadas e dominadas por valores atípicos. Essas distribuições de ativação não gaussianas tornam a quantização simples de baixa precisão altamente perdedora, exigindo técnicas complexas e especializadas pós-treinamento (por exemplo, tratamento de valores atípicos em precisão mista, escalonamento por canal ou rotações aprendidas) para manter a precisão. O artigo postula que essa dificuldade de quantização não é meramente uma propriedade do quantizador, mas está fundamentalmente enraizada na própria arquitetura do Transformer, especificamente na presença de conexões residuais.

Metodologia
Os autores investigam a relação entre arquitetura e estatísticas de ativação por meio de uma comparação controlada entre Transformers residuais padrão e Transformers sem conexões residuais.

Análise Teórica: Os autores analisam a evolução das estatísticas de ativação por camada, focando especificamente no excesso de curtose (uma medida da pesadez da cauda e do desvio da gaussianidade).
- Eles demonstram que a mistura densa (inerente aos blocos de autoatenção e MLP) atua como um operador gaussianizante, contraindo o excesso de curtose por um fator de $O(1/d)$ quando as matrizes de pesos permanecem quase isométricas.
- Por outro lado, as conexões residuais preservam o estado de entrada enquanto adicionam uma ramificação transformada. Lemas teóricos mostram que esse caminho aditivo impede a contração de $1/d$ do excesso de curtose, permitindo que a não gaussianidade se acumule e amplifique através das camadas.
- A análise distingue ainda entre otimizadores: Otimizadores Espectrais/De Segunda Ordem (por exemplo, Shampoo, Muon) preservam a geometria quase isométrica das matrizes de pesos, enquanto atualizações coordenadas (por exemplo, AdamW, Sign GD) destroem rapidamente essa isometria, enfraquecendo o efeito gaussianizante mesmo em redes sem conexões residuais.
Receita Prática de Treinamento: Para tornar os Transformers sem conexões residuais treináveis (superando problemas históricos como colapso de rank e falha na propagação de sinal), os autores propõem uma combinação específica de técnicas:
- Inicialização Ortogonal: Inicializar matrizes de pesos (especificamente $W_Q, W_K, W_V, W_O, W_U, W_D$ ) como matrizes ortogonais escalonadas para garantir mistura densa e bem condicionada no início.
- Otimização Espectral/De Segunda Ordem: Utilizar otimizadores como KL Shampoo, Muon ou SOAP para manter a geometria quase isométrica dos pesos durante todo o treinamento.
- Escalonamento de Atenção Sensível à Profundidade: Introduzir um fator de escalonamento de temperatura $\tau_\ell = \beta^{-\ell}$ no mecanismo de atenção para prevenir atenuação ou saturação do sinal à medida que a profundidade aumenta.

Principais Contribuições

Fonte Arquitetural da Dificuldade de Quantização: O artigo identifica as conexões residuais como uma fonte arquitetônica primária da não gaussianidade das ativações. Ele mostra que a mistura residual preserva e amplifica o excesso de curtose, enquanto a mistura sem conexões residuais a contrai.
Explicação Teórica via Excesso de Curtose: Os autores fornecem um quadro teórico explicando por que modelos sem conexões residuais podem manter ativações quase gaussianas. Isso depende da sinergia entre inicialização ortogonal (fornecendo o ponto de partida geométrico correto) e otimização espectral (preservando essa geometria), o que permite que a mistura densa suprima continuamente momentos de ordem superior.
Uma Receita de Treinamento Amigável à Quantização: Os autores demonstram que Transformers sem conexões residuais podem ser treinados efetivamente usando a receita proposta (Inicialização Ortogonal + Otimizador de Segunda Ordem + Escalonamento Sensível à Profundidade), alcançando desempenho comparável a modelos residuais em precisão total, enquanto retêm estatísticas de ativação quase gaussianas.

Resultados Experimentais
Os autores avaliaram modelos de 24 camadas treinados no conjunto de dados FineWeb-Edu e testados em oito benchmarks de raciocínio de senso comum (por exemplo, ARC, BoolQ, HellaSwag).

Estatísticas de Ativação: Modelos sem conexões residuais treinados com KL Shampoo mantiveram o excesso de curtose próximo de zero em todas as camadas e etapas de treinamento, indicando ativações quase gaussianas. Em contraste, modelos residuais (mesmo aqueles treinados com KL Shampoo) desenvolveram ativações não gaussianas com caudas pesadas e excesso de curtose significativamente maior.
Robustez à Quantização: Sob quantização uniforme simples (sem tratamento de valores atípicos ou rotações aprendidas):
- Precisão Total (BF16): Modelos sem conexões residuais mostraram uma pequena queda de desempenho (aproximadamente 1-2% de precisão média) em comparação com as bases residuais.
- Baixa Precisão: À medida que a precisão diminuía (por exemplo, W8A8, W8A6), modelos residuais sofreram degradação acentuada da precisão (queda de até 8-10%). Modelos sem conexões residuais exibiram robustez significativamente maior, superando modelos residuais em +2,7% em W8A8 e +6,6% em W8A6.
- Fidelidade do Sinal: Modelos sem conexões residuais consistentemente alcançaram uma Razão Sinal-Ruído de Quantização (SQNR) mais alta e um Erro Quadrático Médio Normalizado (MSE) mais baixo em todas as larguras de bits.

Significado e Afirmações
O artigo afirma ser o primeiro a identificar e estudar as consequências relevantes para a quantização de arquiteturas sem conexões residuais. Seu argumento central é que a robustez à quantização deve ser vista não apenas como um problema de compressão pós-treinamento, mas como um desafio arquitetônico e de otimização.

Os autores afirmam que, ao remover conexões residuais e empregar uma receita específica de treinamento, é possível criar modelos fundacionais intrinsecamente mais comprimíveis. Embora reconheçam limitações — como uma lacuna modesta de precisão em precisão total e a necessidade de maior escalabilidade para redes mais profundas —, o trabalho motiva uma mudança em direção ao design de arquitetura "amigável à quantização". Os resultados sugerem que futuros modelos fundacionais poderiam considerar conjuntamente arquitetura, otimização e compressão para reduzir as sobrecargas de comunicação e memória que atualmente limitam o treinamento e a implantação em grande escala.