🤖 aprendizado de máquina

A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks

Este artigo deriva uma lei de escala profundidade-largura de forma fechada para o colapso neural em redes lineares profundas, demonstrando que a geometria da representação camada a camada pode ser prevista analiticamente a partir da razão profundidade-largura e das propriedades dos dados sem exigir análise pós-treinamento.

Autores originais: Pankhil Gawade, Kirsten Fischer, Guy Wolf, Ewa Szczurek

Publicado 2026-10-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pankhil Gawade, Kirsten Fischer, Guy Wolf, Ewa Szczurek

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O aprendizado profundo transformou a maneira como as máquinas veem, ouvem e compreendem o mundo, mas o funcionamento interno desses sistemas frequentemente permanece um mistério. Sabemos que as redes neurais são construídas a partir de camadas de unidades de processamento simples, empilhadas para criar uma profundidade imensa, e que cada camada contém milhares dessas unidades, criando uma grande largura. Durante anos, cientistas se perguntaram como o equilíbrio específico entre o número de camadas e o número de unidades em cada camada altera o que a rede realmente aprende. Geralmente, a única maneira de descobrir é construir uma rede, treiná-la com dados e, então, observar os resultados, um processo que nos diz o que aconteceu, mas não por que aconteceu ou como prevê-lo antes do início do treinamento. Um fenômeno fundamental observado nessas redes treinadas é chamado de colapso neural. À medida que uma rede aprende, as representações que ela constrói para diferentes categorias de dados tendem a tornar-se incrivelmente distintas umas das outras, enquanto as representações para itens dentro da mesma categoria tornam-se quase idênticas. É como se a rede organizasse seu mapa interno para que cada exemplo de um gato se agrupe firmemente, e cada exemplo de um cachorro se agrupe firmemente, com os dois grupos situados bem afastados.

Uma equipe de pesquisadores mostrou agora que, para um tipo específico de rede, essa organização não é um acidente aleatório do treinamento, mas um resultado previsível que pode ser calculado antecipadamente. Ao focar em uma versão simplificada de uma rede neural que utiliza matemática linear, os cientistas descobriram uma regra precisa que vincula a arquitetura da rede à geometria dos dados que ela aprende. Eles descobriram que o grau em que a rede comprime pontos de dados semelhantes depende diretamente da razão entre a profundidade da rede e sua largura. Se você souber quantas camadas a rede possui e quantas unidades existem em cada camada, juntamente com as propriedades básicas dos dados que ela está aprendendo, você pode determinar exatamente o quanto a rede comprimirá os dados, sem nunca ter que executar uma única sessão de treinamento. Isso representa uma mudança significativa em relação à abordagem usual de tentativa e erro, oferecendo uma lei matemática clara que descreve como a estrutura de uma rede molda sua compreensão do mundo.

Os pesquisadores abordaram este problema tratando as representações internas da rede não como uma coleção de pontos de dados individuais, mas como um mapa de relacionamentos único e unificado. Eles desenvolveram uma forma de medir a "estreiteza" desses agrupamentos usando um conceito chamado kernel de características (feature kernel), que atua como um projeto de como a rede vê a semelhança entre quaisquer duas partes de dados. Usando esse projeto, eles foram capazes de expressar três medidas diferentes de quão bem a rede organizou seus dados inteiramente em termos deste projeto e dos rótulos dos dados. Isso significa que, em vez de precisar ver os pontos de dados reais dentro da rede para entender seu comportamento, pode-se simplesmente olhar para as relações matemáticas entre eles. A equipe provou que, para redes com uma estrutura específica e simétrica, essas relações seguem um padrão rigoroso conforme os dados se movem da primeira para a última camada.

Nestas redes simétricas, os pesquisadores derivaram uma fórmula exata mostrando que a compressão de dados dentro de cada categoria ocorre em uma progressão geométrica. A cada nova camada pela qual os dados passam, a dispersão de itens semelhantes diminui por um fator constante. Este fator é determinado pela razão entre a profundidade e a largura da rede. Se a rede for muito larga em relação à sua profundidade, a compressão acontece lentamente. Se a rede for profunda em relação à sua largura, a compressão acelera. Crucialmente, a taxa na qual essa compressão ocorre não é um número fixo escolhido pelo engenheiro; ela é determinada pelos próprios dados, pelas configurações iniciais da rede e pela arquitetura, todos trabalhando juntos em um ciclo autossuficiente. Os pesquisadores verificaram esta teoria com simulações computacionais, mostrando que a taxa de compressão prevista coincidiu perfeitamente com o comportamento real da rede. Eles também testaram isso em redes não lineares ligeiramente mais complexas e descobriram que, embora a fórmula exata não se aplicasse, a tendência geral dos dados se organizarem na mesma direção se manteve, sugerindo que o princípio subjacente é robusto.

Este trabalho fornece um raro vislumbre das "leis da natureza" para a inteligência artificial. Assim como um físico pode prever como um gás se expandirá com base na temperatura e na pressão sem observar cada molécula, estes pesquisadores mostraram que é possível prever como uma rede neural organizará seu conhecimento com base em seu tamanho e nos dados que ela vê. As descobertas sugerem que a razão profundidade-largura é um controle fundamental para o aprendizado de representação. Ao compreender esta relação, os designers poderão, eventualmente, escolher a arquitetura certa para uma tarefa específica sem a necessidade de treinar dezenas de modelos diferentes para ver qual funciona melhor. O estudo confirma que a geometria das representações aprendidas não é caótica, mas segue um caminho preciso e calculável, transformando o misterioso processo do aprendizado profundo em algo que pode ser compreendido e previsto desde o início.

Resumo Técnico: Uma Lei de Profundidade-Largura de Forma Fechada para o Colapso Neural em Redes Lineares Profundas

Definição do Problema

A relação entre a arquitetura de redes neurais (especificamente profundidade e largura) e a geometria das representações aprendidas é tipicamente analisada empiricamente após o treinamento. Embora trabalhos anteriores tenham identificado a razão profundidade-largura ( $L/N$ ) como um parâmetro de controle para flutuações de kernel de largura finita e profundidade efetiva, uma compreensão preditiva e de forma fechada de como as escolhas arquiteturais moldam a geometria da representação durante o aprendizado de características permanece elusiva. Especificamente, a evolução do Colapso Neural (NC) — um fenômeno caracterizado pela minimização da variabilidade intra-classe (NC1), formação de médias de classe com estrutura de simplex (NC2) e alinhamento de classificadores com as médias das classes (NC3) — através das camadas da rede não foi derivada analiticamente a partir de primeiros princípios em um cenário de aprendizado de características tratável.

Metodologia

Os autores desenvolvem um arcabouço teórico que combina observáveis de Colapso Neural com a teoria de aprendizado de características autoconstante para redes lineares profundas.

Formulação de Kernel para Observáveis de NC:
O artigo primeiro estende a formulação de kernel do Colapso Neural. Enquanto Kothapalli e Tirer [2025] estabeleceram que o NC1 pode ser expresso via o kernel de características, este trabalho deriva expressões de kernel de forma fechada para o NC2 (desvio angular de um ETF equiangular de simplex) e NC3 (desalinhamento entre o readout de ridge e as médias de classe centradas). Essas expressões dependem exclusivamente do kernel de características $K$ e dos rótulos das classes $Y$ , eliminando a necessidade de coordenadas explícitas de características.
Teoria de Aprendizado de Características:
Os autores adotam o arcabouço de aprendizado de características Bayesiano de Fischer et al. [2024], que deriva equações de autoconstância frente-atrás acopladas para os kernels por camada da Máxima Verossimilhança a Posteriori (MAP). Esta teoria é exata no limite proporcional onde o número de amostras $P$ e a largura da rede $N$ escalam conjuntamente ( $P/N = \alpha$ ).
Geometria de Classe Permutável:
Para obter uma solução analítica, os autores assumem uma geometria de classe permutável, onde o kernel de entrada é invariante sob permutações de amostras dentro das classes e permutações de classes. Sob esta simetria, as equações de kernel de matriz se desacoplam em três canais escalares:
- Média global ( $E$ )
- Médias entre-classes centradas ( $P_B$ )
- Flutuações intra-classe ( $P_W$ )
Esta redução permite a derivação de uma lei geométrica escalar que governa a evolução da razão de variância intra-classe para entre-classe através das camadas.

Principais Contribuições

1. Identidades de Kernel para NC2 e NC3

O artigo fornece novas identidades expressando NC2 e NC3 diretamente em termos do kernel de características $K$ e dos rótulos $Y$ .

NC2 é formulado como a norma de Frobenius da distância entre a matriz Gram normalizada pelo cosseno das médias de classe centradas e a matriz Gram de um ETF de simplex de norma unitária.
NC3 é formulado como o desalinhamento médio de cosseno entre as direções de readout de ridge sem viés e as médias de classe centradas.
Essas identidades permitem o cálculo de todos os três observáveis de NC do conjunto de treinamento sem a necessidade de formar a matriz de características $Z$ .

2. Lei Geométrica Exata de Profundidade

Para redes lineares profundas com estrutura de classe permutável, os autores derivam uma lei exata para a evolução camada a camada do NC1:
$NC^{(l)}_1 = NC^{(0)}_1 \left( \frac{t_W}{t_B} \right)^l$
onde $t_W$ e $t_B$ são fatores de transferência independentes de camada determinados pelos dados, o prior e a arquitetura. Isso demonstra que a compressão intra-classe ocorre geometricamente com a profundidade, impulsionada pela razão dos fatores de transferência para os canais intra-classe e entre-classes.

3. Lei de Escalonamento Profundidade-Largura

No limite de grande largura com regularização pequena ( $\kappa$ ), mostra-se que a compressão acumulada é controlada pela razão profundidade-largura $L/N$ . O NC1 terminal escala como:
$NC^{(L)}_1 \approx NC^{(0)}_1 \exp\left( -\frac{rL}{N} \right)$
Aqui, $r$ é um parâmetro de taxa determinado de forma autoconstante pela relação sinal-ruído (SNR), variância do prior e arquitetura. Isso estabelece $L/N$ como a principal variável arquitetural que controla a compressão da representação, com a taxa $r$ emergindo das propriedades dos dados e do modelo, em vez de ser um hiperparâmetro externo.

Resultados

Verificação Analítica: Experimentos numéricos no kernel de população exatamente permutável confirmam que a lei geométrica de forma fechada coincide com a solução de ponto fixo numérica através de várias profundidades e larguras.
Dependência de Dados: A taxa de contração $\log(t_W/t_B)$ mostra depender explicitamente do SNR de entrada, validando a determinação autoconstante da taxa.
Comportamento de Escalonamento: Experimentos variando $L$ e $N$ enquanto mantém $L/N$ constante demonstram que o NC1 terminal segue a queda exponencial prevista, confirmando a lei de escalonamento $L/N$ .
Redes Treinadas com Largura Finita: Quando aplicado a redes lineares de largura finita treinadas via SGLD em dados gaussianos amostrados, a previsão de forma fechada (usando autovalores de entrada medidos) aproxima-se de perto a queda geométrica observada de NC1, apesar de desvios do cenário de população idealizado.
Extensões Não Lineares: Em uma tarefa XOR não linear de quatro classes, os observáveis de kernel (NC1, NC2, NC3) derivados da teoria autoconstante evoluem na mesma direção qualitativa daqueles em redes de largura finita treinadas, sugerindo que o arcabouço de kernel captura a geometria da evolução da representação mesmo além do regime linear solucionável.

Significância e Alegações

O artigo alega fornecer uma lei de escalonamento de nível de representação tratável derivada da teoria de aprendizado de características, em vez de ajustada pós-treinamento. Sua principal significância reside em:

Poder Preditivo: Permite a previsão da geometria da representação (especificamente o grau de colapso neural) diretamente dos dados, do prior e da arquitetura, sem treinar redes candidatas.
Insight Arquitetural: Identifica a razão profundidade-largura $L/N$ como o parâmetro de controle para a compressão da representação em redes lineares profundas, com a taxa de compressão determinada de forma autoconstante pelo problema.
Unificação Teórica: Unifica o estudo do Colapso Neural com a teoria de kernel de largura finita, estendendo a identidade conhecida de NC1 para NC2 e NC3 e fornecendo uma descrição de forma fechada de sua evolução camada a camada.

Os autores observam que, embora a lei geométrica exata seja derivada para redes lineares profundas permutáveis, os observáveis de kernel permanecem informativos para redes não lineares, capturando a evolução qualitativa da geometria da representação. A extensão dessas leis preditivas para redes não lineares gerais e geometrias de dados arbitrárias é identificada como uma direção para trabalhos futuros.