Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model

Resumo Técnico: Leis de Escala a partir da Recuperação Sequencial de Características

Enunciado do Problema
Apesar do sucesso empírico das redes neurais, uma teoria preditiva que explique a origem das leis de escala — especificamente como o desempenho melhora como uma lei de potência com dados, computação ou tamanho do modelo — permanece elusiva. Teorias matemáticas existentes frequentemente dependem de modelos linearizados, de kernel ou de características aleatórias, onde a representação é fixada antecipadamente, controlada exclusivamente pelo espectro dessa representação fixa. Por outro lado, observações empíricas sugerem que a aprendizagem não é suave; o treinamento pode exibir platôs e o surgimento sequencial de características. Este artigo aborda a interseção desses fenômenos: podem leis de escala suaves emergir não de um viés espectral fixo, mas da descoberta progressiva e sequencial de características relevantes em modelos profundos e hierárquicos? Os autores investigam uma tarefa de aprendizagem de alta dimensão onde a função alvo é uma composição de transformações não lineares, exigindo a recuperação de características latentes com forças distribuídas de forma anisotrópica e seguindo uma lei de potência.

Metodologia
Os autores propõem um cenário de aprendizagem supervisionada de alta dimensão, matematicamente tratável, envolvendo um paradigma professor-aluno.

• O Modelo: A função alvo $f^\star$ é uma composição de camadas. As entradas $x \in \mathbb{R}^d$ são elevadas a um espaço de alta dimensão de tensores de Hermite de grau-$q$. Uma primeira camada projeta essas entradas em $d_1$ direções latentes definidas por vetores de peso $A^{(1)}$. Uma segunda camada combina essas projeções via uma soma ponderada por lei de potência (pesos $\lambda_i \propto i^{-\gamma}$) e aplica uma não linearidade $g$.
• O Algoritmo: Em vez de descida de gradiente genérica, os autores analisam um algoritmo espectral camada por camada. Este método constrói uma matriz de momentos empírica $\hat{C}$ usando as características de entrada e os rótulos. Os autovetores principais de $\hat{C}$ são usados para estimar as direções latentes da primeira camada. Uma vez recuperadas estas, a segunda camada é estimada no espaço latente de baixa dimensão, seguida por uma leitura escalar.
• Ferramentas Analíticas: A análise depende fortemente da teoria de matrizes aleatórias e de argumentos de perturbação baseados em resolventes. Limites padrão de perturbação de autovetores (por exemplo, Davis–Kahan) são insuficientes porque as lacunas espectrais entre picos de lei de potência diminuem à medida que o índice da característica aumenta. Para superar isso, os autores empregam uma expansão de Neumann da resolvente para derivar limites superiores e inferiores precisos para a recuperação de autovetores individuais. Eles também utilizam ferramentas do caos de Wiener, incluindo fórmulas de produto e integração por partes gaussiana, para controlar as matrizes de momentos de Hermite empíricas sem recorrer a reduções completas de equivalência gaussiana.

Principais Contribuições e Resultados

1. Limites de Recuperação Precisos: O artigo prova limites precisos de complexidade de amostra para a recuperação de direções latentes individuais. Uma direção específica $k$ (com força $a_k \propto k^{-\gamma}$) torna-se detectável apenas quando o tamanho da amostra $n$ excede um limite proporcional a $d^q / a_k^2$. Abaixo deste limite, a direção permanece oculta no volume de ruído; acima dele, a direção é recuperada com alta probabilidade.
2. Aprendizagem Sequencial de Características: A análise demonstra que o algoritmo espectral recupera características sequencialmente: características fortes (pequeno $k$) são aprendidas com tamanhos de amostra pequenos, enquanto características mais fracas exigem significativamente mais dados. Isso cria uma "cascata" de transições abruptas.
3. Surgimento de Leis de Escala: Os autores mostram que o efeito agregado dessas transições abruptas e sequenciais produz um decaimento suave em lei de potência no erro de previsão (Erro Quadrático Médio). Especificamente, para um espectro de lei de potência com expoente $\gamma$, o erro de generalização escala como $MSE(n) \asymp (n/d^q)^{-1 + 1/(2\gamma)}$. Isso fornece um mecanismo onde leis de escala suaves surgem da acumulação de eventos discretos de aprendizagem de características.
4. Vantagem da Profundidade: O método espectral hierárquico explora a estrutura composicional para recuperar a representação latente de grau-$q$ em uma escala de amostra de $n \sim d^q$, enquanto métodos de kernel rasos e não adaptativos exigiriam $n \sim d^{2q}$ para resolver a mesma tarefa.
5. Validação Numérica: Experimentos confirmam a recuperação sequencial prevista, o alisamento de tamanho finito dos limites assintóticos abruptos e a separação no desempenho entre o método espectral hierárquico e as bases de kernel não hierárquicas.

Significância
O artigo afirma fornecer um mecanismo simples e interpretável para o surgimento de leis de escala na aprendizagem profunda. Ele postula que as curvas de aprendizagem em lei de potência não são meramente herdadas de um espectro de kernel fixo, mas podem ser geradas pela organização progressiva de representações através da profundidade. Ao combinar hierarquia (que expõe representações intermediárias) com anisotropia (que dispersa a recuperação de componentes através dos tamanhos de amostra), o modelo demonstra como aprendizes profundos podem recuperar sequencialmente características latentes, convertendo transições espectrais abruptas em leis de escala suaves. O trabalho sugere que as leis de escala na aprendizagem profunda podem refletir o processo dinâmico de descoberta de características, e não apenas as propriedades estáticas de uma representação fixa.