Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers

Resumo Técnico: Limites de Generalização Adaptativos ao Espectro para Transformers Profundos Treinados

Enunciação do Problema
Compreender por que Transformers fortemente superparametrizados generalizam bem permanece um desafio fundamental na teoria moderna de aprendizado de máquina. Embora os limites de generalização baseados em normas existentes (por exemplo, Edelman et al., 2022; Trauger e Tewari, 2024) tenham removido com sucesso a dependência polinomial explícita nas dimensões ocultas e nos comprimentos de tokens, eles sofrem de duas limitações primárias quando aplicados a modelos profundos e treinados:

1. Acumulação de Profundidade: Eles frequentemente exibem uma dependência exponencial desfavorável ou de alto polinômio na profundidade da rede ($L$) devido a fatores de propagação camada por camada (escalando como $C^L$ ou $L^{3/2}$).
2. Restrições de Normas Fixas: Eles dependem de raios de normas fixas (por exemplo, normas mistas $(2,1)$ ou $(1,1)$) especificados a priori. Esses raios tipicamente crescem com a dimensão oculta ($N$) e falham em se adaptar aos perfis espectrais heterogêneos observados em pesos treinados, onde matrizes de atenção frequentemente exibem estruturas de baixo posto distintas das matrizes de alimentação direta.

Metodologia
Os autores derivam limites de generalização post hoc adaptativos ao espectro para Transformers de múltiplas camadas. As inovações metodológicas centrais incluem:

• Adaptabilidade Post Hoc: Ao contrário dos limites tradicionais onde os parâmetros de complexidade são fixados antes do treinamento, esta abordagem permite que os índices de Schatten ($p$) sejam selecionados após observar os pesos treinados. Esses índices podem ser escolhidos separadamente para cada tipo de matriz (Query-Key, Value, Feedforward) e para cada camada.
• Interpolação Paramétrica: O artigo estende técnicas de interpolação paramétrica (Ledent et al., 2025) para classes de funções com valores matriciais. Ao decompor as matrizes de peso em uma parte principal de baixo posto e uma cauda controlada pela norma de Frobenius, os autores derivam limites de número de cobertura que interpolam entre regimes baseados em posto ($p=0$) e baseados em norma ($p=2$).
• Medidas de Complexidade Espectral: Os limites são expressos em termos de quantidades de Schatten $p$ camada por camada ($\|W\|_{s,p}$) e normas espectrais ($\|W\|_2$). A medida de complexidade é definida como um ínfimo sobre todos os índices de Schatten admissíveis $p \in [0, 2]^{3L}$.
• Análise de Número de Cobertura: A prova constrói números de cobertura para a arquitetura Transformer sob a métrica $\|\cdot\|_{2\to\infty}$. Utiliza um argumento de descascamento dicotômico sobre raios de quantidades de Schatten realizados para garantir que o evento de alta probabilidade se mantenha uniformemente sobre todas as escolhas de $p$, permitindo a seleção post hoc.

Principais Contribuições

1. Teorema 3.1 (Limites Adaptativos ao Espectro): O resultado primário fornece um limite para a lacuna de generalização onde o termo de complexidade envolve um ínfimo sobre índices de Schatten. Isso permite que o limite selecione automaticamente o compromisso mais favorável entre complexidade espectral, dimensão oculta e profundidade para cada matriz aprendida específica.
2. Teorema 4.1 (Interpolação Paramétrica com Valores Matriciais): Uma extensão técnica que fornece limites de número de cobertura para funções lineares com valores matriciais sob restrições simultâneas de norma espectral e quantidades de Schatten. Isso serve como bloco de construção para a análise do Transformer.
3. Comparação Teórica: O artigo demonstra que, em regimes representativos (restrições de norma de Frobenius, Posto e norma espectral), os limites propostos melhoram a dependência da profundidade em comparação com as linhas de base baseadas em normas existentes. Especificamente, a dependência da profundidade melhora de $L^{3/2}$ (em Edelman et al., 2022) para $\sqrt{L}$ ou melhor, dependendo da estrutura espectral.
4. Validação Empírica: Usando checkpoints de BERT Miniatures, os autores constroem "proxies adaptados ao BERT" para os fatores de complexidade principais. Eles observam que os proxies derivados de seus limites adaptativos ao espectro crescem significativamente mais devagar com o aumento da profundidade ($L$) e da dimensão oculta ($N$) em comparação com os proxies derivados de Edelman et al. (2022).

Resultados

• Escalonamento de Profundidade e Dimensão: A análise teórica mostra que, ao selecionar $p$ menores (mais próximos do posto), o fator de propagação camada por camada e os fatores polinomiais de profundidade são reduzidos. Resultados empíricos em checkpoints de BERT confirmam que os fatores de complexidade principais dos limites propostos escalam de forma mais favorável do que contrapartes baseadas em normas à medida que $L$ e $N$ aumentam.
• Heterogeneidade dos Pesos: A análise empírica revela que, enquanto matrizes relacionadas à atenção (Query-Key, Value) são exatamente de baixo posto (devido a restrições de dimensão de cabeças), matrizes de alimentação direta exibem decaimento espectral mais lento. No entanto, mesmo para essas matrizes, a seleção post hoc de $p=0$ (baseada em posto) frequentemente produz o limite mais apertado, porque a redução no termo espectral supera a penalidade dos fatores de escalonamento arquitetural.
• Dependência do Comprimento de Token: Os limites mantêm uma dependência logarítmica no comprimento de token ($T$), consistente com avanços recentes, embora o artigo note que isso surge do argumento de cobertura do tipo $\ell_2$ usado para a abordagem espectral, contrastando com os argumentos do tipo $\ell_1$ usados para remover a dependência de tokens em outros trabalhos.

Significado e Alegações
O artigo alega fornecer uma perspectiva baseada em complexidade sobre como a estrutura espectral de Transformers treinados é refletida nas análises de generalização. Seu significado reside em:

• Adaptabilidade: Ir além de restrições de normas fixas e globais para permitir medidas de complexidade que se adaptam aos perfis específicos de valores singulares dos pesos treinados.
• Interpolação: Oferecer uma ponte teórica entre regimes baseados em posto e baseados em norma, demonstrando que a medida de complexidade ótima é dependente dos dados e pode ser selecionada post hoc.
• Limites Mais Apertados para Modelos Profundos: Fornecer um mecanismo para mitigar os limites frouxos frequentemente associados a redes profundas, explorando a natureza de baixo posto ou compressível das representações aprendidas.

Os autores notam modestamente que sua análise é agnóstica ao treinamento, dependendo apenas de quantidades espectrais post hoc em vez da trajetória de otimização ou regularização implícita. Eles sugerem que trabalhos futuros poderiam integrar estruturas de ativação dependentes de dados e dinâmicas de otimização para limites ainda mais precisos.