Resumo Técnico: Um Framework Weibull de Dois Parâmetros para Diagnosticar Distribuições de Pesos em Transformers

Problema e Motivação

As ferramentas de diagnóstico atuais para a dinâmica de treinamento de transformers operam em espaços ortogonais que não capturam a estrutura granular dos pesos aprendidos. Métodos como WeightWatcher e HT-SR analisam espectros de autovalores, comprimindo elementos de matriz em distribuições de valores singulares, enquanto o AlphaDecay rastreia a deriva do maior valor singular. A análise de ativação em massa mede magnitudes de ativação. Nenhuma dessas abordagens caracteriza diretamente a distribuição elemento a elemento das magnitudes dos pesos ($|W_{ij}|$), que os autores argumentam ser a representação mais granular do que um modelo aprendeu.

Os autores postulam que estatísticas espectrais agregadas obscurecem diferenças sistemáticas entre componentes funcionais dentro do mesmo modelo (por exemplo, camadas FFN vs. projeções de atenção). Para abordar isso, o artigo propõe aplicar a distribuição Weibull — uma família de dois parâmetros da teoria de valores extremos — como uma lente de diagnóstico para as magnitudes dos pesos elemento a elemento.

Metodologia

O Framework de Diagnóstico Weibull

O framework baseia-se no ajuste dos valores absolutos dos elementos de peso, $|w|$, a uma distribuição Weibull definida por um parâmetro de forma $k$ e um parâmetro de escala $\lambda$:
$$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$$

1. A Âncora de Inicialização:
Na inicialização, os pesos do transformer são Gaussianos i.i.d. ($w \sim \mathcal{N}(0, \sigma_{init}^2)$), o que significa que $|w|$ segue uma distribuição Half-Normal. Ao ajustar essa distribuição Half-Normal a um modelo Weibull usando um protocolo específico, os autores estabelecem uma âncora universal:

• Forma ($k_0$): Aproximadamente 1.20. Este valor é independente da escala de inicialização $\sigma_{init}$ e serve como uma régua de medição adimensional. Qualquer desvio de $k_0 \approx 1.20$ em um modelo treinado é atribuível à dinâmica de treinamento.
• Escala ($\lambda_0$): Aproximadamente $0.8875 \cdot \sigma_{init}$.

2. O Protocolo de Ajuste (Recorte de 80% do Meio):
Para garantir robustez contra outliers e artefatos de precisão numérica, os autores empregam um protocolo de recorte de 80% do meio. Antes do ajuste, os 10% menores e os 10% maiores dos valores $|W_{ij}|$ são descartados.

• Justificativa Teórica: Em coordenadas de probabilidade Weibull, a variância do ruído de amostragem diverge nas caudas ($p \to 0$ e $p \to 1$) e atinge um mínimo próximo a $p \approx 0.80$. Os 10% inferiores carregam ~6.5$\times$ mais ruído do que a região central ótima.
• Efeito: Ajustar dados completos subestima sistematicamente $k$ em 3–7%, frequentemente empurrando modelos para fora da faixa esperada de "Transmissão". O recorte de 80% isola o "corpo" da distribuição, tornando a métrica robusta a outliers de cauda pesada (super-pesos).

3. Classificação Funcional:
O framework particiona os componentes do transformer em duas classes distintas com base em suas trajetórias de $k$:

• Classe de Transmissão: Módulos FFN ($W_{gate}, W_{up}, W_{down}$ ou $W_{FFN\_in}, W_{FFN\_out}$) e projeções de saída de atenção ($W_o$).
• Classe de Seleção: Projeções de entrada de atenção ($W_q, W_k$).

Principais Descobertas

O framework foi aplicado a 12 entradas de modelos abrangendo 7 famílias arquitetônicas (Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3) com contagens de parâmetros variando de 70M a 14B.

1. A Faixa de Transmissão (Estabilidade)

Componentes na Classe de Transmissão exibem estabilidade notável em seu parâmetro de forma $k$.

• Em todas as arquiteturas, funções de ativação (SwiGLU, GeLU), posicionamentos de normalização (Pre-LN, QK-Norm) e tamanhos de modelo, a mediana terminal de $k$ para esses componentes cai no intervalo estreito $[1.186, 1.204]$.
• O coeficiente de variação (CV) entre as 12 entradas é de apenas 0.51%.
• Essa estabilidade sugere que esses componentes preservam a forma da distribuição de inicialização, atuando como condutos de informação em vez de filtros seletivos.

2. A Classe de Seleção (Desvio)

Componentes na Classe de Seleção ($W_q, W_k$) desviam sistematicamente da âncora de inicialização ($k_0 \approx 1.20$), desenvolvendo caudas mais pesadas (menor $k$). A gravidade desse desvio depende da arquitetura:

• MHA armazenada separadamente (OLMo-1, OLMo-2): Mostra o desvio mais profundo, com mediana terminal de $k \in [0.76, 0.99]$.
• Atenção com Consultas Agrupadas (GQA) (LLaMA-3, Mistral, Qwen2.5/3): Mostra desvio mais suave, com mediana terminal de $k \in [1.10, 1.16]$.
• $W_{qkv}$ mesclada (Pythia): Ocupa uma zona transitória $k \in [1.05, 1.18]$, rastreando o orçamento de treinamento adimensional $T/\tau$ monotonicamente.
• Mecanismo: Os autores atribuem esse desvio à necessidade funcional (atenção esparsa), dinâmica de descida de sinal do AdamW e feedback de saturação do softmax. A restrição arquitetônica de compartilhamento de cabeças K no GQA parece limitar mecanicamente a liberdade de especialização disponível para projeções individuais, resultando em um desvio menos severo em comparação com a MHA.

3. Parâmetro de Escala ($\lambda$) e Progresso de Treinamento

Enquanto $k$ rotula a classe funcional, o parâmetro de escala $\lambda$ rotula o progresso de treinamento.

• $\lambda$ cresce substancialmente durante o treinamento (por fatores de 1.4$\times$ a 7.8$\times$).
• Dentro da família Pythia, a média terminal de $\lambda$ para componentes de Transmissão escala com $\sqrt{\eta / \lambda_{wd}}$ (Pearson $r = 0.94$), mostrando consistência direcional com a análise de escala de estado estacionário do AdamW de Fan et al. [2025].
• $\lambda$ cresce uniformemente entre tipos de componentes (por exemplo, $\lambda_O$ e $\lambda_{FFN\_out}$ são altamente correlacionados, $r=0.9967$), refletindo dinâmicas acopladas no fluxo residual.

4. Super-Pesos e Comportamento de Cauda

Enquanto o corpo da distribuição (ajustado via recorte de 80%) permanece conforme Weibull, os autores observam o surgimento de "super-pesos" isolados (outliers tipo rei-dragão) nas caudas extremas de modelos treinados.

• Esses outliers aparecem em todas as famílias arquitetônicas, com razões máximo/q99 variando de ~7$\times$ a mais de 100$\times$.
• O protocolo de 80% do meio é especificamente projetado para ser robusto a esses outliers, garantindo que o $k$ diagnóstico reflita a distribuição em massa em vez de ser arrastado por valores extremos.

Contribuições

1. Um Framework de Diagnóstico: Os autores formalizam um método usando a distribuição Weibull com uma âncora de inicialização principista ($k_0 \approx 1.20$) e um protocolo de ajuste ótimo para ruído (recorte de 80% do meio). Este framework identifica que $W_q$ e $W_k$ desviam sistematicamente da âncora de inicialização, com a magnitude do desvio moldada pela arquitetura de armazenamento.
2. Evidência Empírica Transversal: O artigo documenta uma partição robusta "Transmissão/Seleção" em 12 modelos. Reproduz a estreita faixa de transmissão de FFN e o desvio de Seleção dependente da arquitetura (MHA vs. GQA) sem parâmetros ajustáveis.
3. Ferramentas de Código Aberto: Os autores lançam npm-weibull-py v0.4, uma biblioteca Python que implementa oito funções de diagnóstico (F1–F8) para ajuste e benchmark, juntamente com DATABASE_v9_1, um banco de dados de benchmark de 12 entradas de modelos.

Significado e Limitações

Significado:
O artigo afirma que estatísticas elemento a elemento revelam estrutura que métodos espectrais não conseguem. Ao separar componentes em classes de Transmissão e Seleção, o framework fornece uma visão granular da dinâmica de treinamento onde diferentes camadas e matrizes de projeção evoluem ao longo de trajetórias distintas. Os dois parâmetros Weibull carregam informações independentes: $k$ identifica o papel funcional (Transmissão vs. Seleção), enquanto $\lambda$ rastreia a magnitude do progresso de treinamento.

Limitações (conforme declarado pelos autores):

• Mecanismos Causais: Embora o artigo identifique cinco forças motrizes candidatas para o desvio de Seleção (necessidade funcional, descida de sinal, saturação de softmax, acoplamento residual, orçamento de treinamento), não fornece experimentos de ablação controlada para isolar a contribuição de cada uma. A correlação entre arquitetura MHA/GQA e gravidade do desvio é observacional.
• Escala Transversal: A lei de escala $\lambda \propto \sqrt{\eta / \lambda_{wd}}$ é validada dentro da família Pythia, mas é apenas observacional entre famílias diferentes devido a fatores de confusão como diferentes receitas de inicialização e posicionamentos de normalização.
• Desempenho Downstream: O artigo caracteriza a estrutura estatística dos pesos, mas não estabelece uma correlação direta entre a assinatura $(k, \lambda)$ e o desempenho em tarefas downstream.
• Cobertura de Dados: Para Qwen2.5-14B, estatísticas por bloco são limitadas aos primeiros 27 de 48 camadas devido a restrições de memória de GPU, embora se espere que as afirmações qualitativas se mantenham.

Os autores concluem que este framework oferece uma nova régua de medição independente de arquitetura para diagnosticar o treinamento de transformers, revelando que os componentes de "Seleção" ($W_q, W_k$) são os principais locais de mudança estrutural, enquanto os componentes de "Transmissão" permanecem estatisticamente estáveis.