🤖 machine learning

Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

Este artigo demonstra que o treinamento por gradiente descendente estocástico ruidoso de redes ReLU largas de duas camadas para regressão multivariada induz um viés implícito em direção a um preditor único e efetivamente de largura finita, onde os neurônios se alinham ao longo de um número limitado de direções determinadas pela geometria combinatória dos dados de treinamento, apesar da sobreparametrização infinita da rede.

Autores originais: Shuang Liang, Tom Jacobs, Guido Montúfar

Publicado 2026-07-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shuang Liang, Tom Jacobs, Guido Montúfar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma oficina massiva e caótica repleta de milhares de trabalhadores (neurônios). Cada trabalhador tem um trabalho específico: eles olham para um conjunto de pontos de dados (como imagens ou números) e decidem se vão "ligar" ou "desligar" com base em uma regra que inventaram. Você quer que esses trabalhadores aprendam um padrão para prever a resposta correta para novos dados.

O artigo fornecido investiga o que acontece quando você treina essa oficina massiva usando um método específico chamado Gradiente Descendente Estocástico (SGD) com um pouco de "ruído" (aleatoriedade) e uma regra chamada decaimento de peso (que desencoraja os trabalhadores de ficarem fortes demais).

Aqui está a divisão simples das descobertas deles:

1. A Oficina "Infinita" que Encolhe

Você começa com uma rede tão larga que é praticamente infinita. Você poderia esperar que a solução final fosse um emaranhado confuso e complexo de milhares de regras diferentes.

A Surpresa: Embora você tenha começado com milhares de trabalhadores, o processo de treinamento força naturalmente eles a colapsarem.

A Analogia: Imagine que você tem 1.000 pessoas tentando desenhar um mapa. Em vez de cada uma desenhar uma linha única e sinuosa, o processo de treinamento age como um ímã. Ele puxa quase o desenho de todos para apenas algumas linhas retas específicas.
O Resultado: O "mapa" final (a função que a rede aprende) não é um bloco suave e curvo. Ele se torna uma função afim por partes. Em termos simples, isso significa que a resposta final é feita de segmentos de linha reta e plana unidos em cantos agudos (dobras). Parece um gráfico de linhas quebradas (zigue-zague) em 2D ou uma folha de papel amassada em 3D.

2. O Limite "Combinatório"

Quantas dessas linhas retas (ou "dobras") a rede acaba tendo?

O artigo prova que o número de linhas não é determinado por quantos trabalhadores você começou com (que eram infinitos).
Em vez disso, é determinado inteiramente pela geometria dos seus dados de treinamento.
A Analogia: Pense nos seus dados de treinamento como um conjunto de estacas fincadas no chão. O número de linhas que a rede desenha é limitado pelas maneiras como você pode fatiar o chão com uma faca para que as estacas caiam em grupos diferentes.
A Matemática: Se você tem $P$ maneiras de separar seus pontos de dados com uma linha reta, a rede aprenderá, no máximo, $2P - 1$ direções distintas. É um limite rígido baseado na forma dos dados, não no tamanho da rede.

3. O Fenômeno do "Alinhamento"

Antes do treinamento, seus trabalhadores (neurônios) estão apontando em direções aleatórias. Após o treinamento, algo mágico acontece:

A Analogia: Imagine uma sala cheia de pessoas segurando lanternas apontadas em direções aleatórias. Conforme o treinamento avança, as lanternas subitamente se alinham. Elas todas apontam para apenas um punhado de direções específicas.
O Resultado: Os "pesos de entrada" e "vieses" (as regras que os neurônios usam) param de ser indivíduos únicos. Eles se alinham ao longo de um número finito de direções. Isso é chamado de Colapso da Largura Efetiva. A rede efetivamente esquece que tinha milhares de neurônios e se comporta como se tivesse apenas um punhado deles.

4. A Regra da "Não Redundância"

O artigo também descobriu que essas poucas direções restantes são muito eficientes.

A Analogia: Se você tem uma equipe de especialistas, você não quer dois especialistas fazendo exatamente o mesmo trabalho. O artigo mostra que cada "direção alinhada" (cada especialista sobrevivente) faz algo único.
O Resultado: Cada direção aprendida cria um padrão distinto de sinais de "ligar/desligar" para seus dados de treinamento. Nenhuma duas direções são redundantes; nenhuma duas direções são apenas "versões" uma da outra. Todas elas são essenciais e distintas.

5. O Papel do "Ruído" e do "Decaimento"

Por que isso acontece? O artigo sugere que é um efeito colateral específico (ou "viés implícito") do algoritmo de treinamento:

Ruído: A aleatoriedade no treinamento (como sacudir a oficina) ajuda o sistema a se estabelecer em um estado estável.
Decaimento de Peso: Este é um penalizador por ser muito "forte". Ele age como um filtro que poda a complexidade desnecessária.
O Resultado: Juntos, eles empurram a rede infinita para encontrar a solução mais simples possível de "linha reta por partes" que se ajuste aos dados, governada estritamente pela própria geometria dos dados.

Resumo

O artigo afirma que, quando você treina uma rede neural gigante com SGD ruidoso, o universo de possibilidades infinitas colapsa. A rede não apenas "memoriza" os dados; ela se organiza em uma estrutura finita e eficiente feita de segmentos de linha reta. A complexidade dessa estrutura é ditada inteiramente pela forma dos seus dados, não pelo tamanho do seu computador. É como se o algoritmo de treinamento fosse um escultor que remove todo o excesso de mármore até que apenas as linhas essenciais e geometricamente necessárias permaneçam.

Resumo Técnico: Viés Implícito de SGD em Redes ReLU Multivariadas: Colapso da Largura Efetiva

Problema
Redes neurais superparametrizadas possuem infinitas soluções que interpolam os dados de treinamento, mas o gradiente descendente estocástico (SGD) seleciona consistentemente soluções com fortes propriedades de generalização. Esse fenômeno é atribuído ao "viés implícito" do algoritmo de otimização. Embora o viés implícito seja bem compreendido para modelos lineares e no regime "preguiçoso" (kernel) de redes largas, o viés no regime de aprendizado de características para redes não lineares permanece incompletamente compreendido. Especificamente, há uma falta de caracterização rigorosa sobre como o SGD ruidoso seleciona soluções específicas em problemas de regressão multivariada com ativações ReLU, particularmente no que diz respeito à esparsidade das características aprendidas e à estrutura geométrica do preditor resultante.

Metodologia
Os autores analisam a dinâmica de treinamento de redes ReLU de duas camadas largas utilizando o regime de campo médio (mean-field). Neste framework, os parâmetros da rede são modelados como uma medida de probabilidade sobre os neurônios, e a dinâmica de treinamento do SGD ruidoso é aproximada por um fluxo de gradiente de Wasserstein.

Principais etapas metodológicas incluem:

Aproximação de Campo Médio: O treinamento de uma rede com $N$ unidades ocultas é descrito por uma equação diferencial parcial (PDE) que governa a evolução da distribuição de parâmetros $\rho_t$ . A inclusão de ruído Gaussiano (temperatura $\beta^{-1}$ ) e decaimento de peso ( $\lambda$ ) garante a existência de uma medida estacionária única $\rho^*$ conforme $t \to \infty$ .
Aproximação de ReLU: Como os neurônios ReLU padrão são ilimitados e não suaves, violando as suposições necessárias para teoremas de convergência de campo médio, os autores empregam uma aproximação suave e limitada ( $\sigma_{m,\tau}$ ) da função ReLU. Eles analisam os limites conforme o parâmetro de suavização $\tau \to \infty$ e o parâmetro de truncamento $m \to \infty$ , recuperando efetivamente o comportamento da ReLU.
Limite de Temperatura Vanishing: O estudo foca no limite onde o nível de ruído $\beta^{-1} \to 0$ (temperatura evanescente), o que corresponde ao SGD padrão com decaimento de peso. Os autores investigam as propriedades estruturais da medida estacionária e da função solução correspondente neste limite, sem assumir a existência de um limite único a priori, mas analisando pontos de acumulação.
Análise Geométrica: As provas baseiam-se na análise do Hessiano da função solução e na geometria do espaço de parâmetros. Especificamente, eles utilizam uma "Condição de Positividade Quadrática" para limitar o Hessiano e demonstrar que o suporte da medida estacionária se concentra em raios específicos no espaço de parâmetros.

Contribuições Principais e Resultados

Solução Afim por Partes (Teorema 4): Os autores provam que, conforme a largura da rede $N \to \infty$ e o ruído desaparece, a solução selecionada pelo SGD ruidoso converge para uma função afim contínua por partes. Esta função é afim nos componentes conexos do complemento de um conjunto finito de hiperplanos.
- Limite de Complexidade: O número de hiperplanos de dobra (kink hyperplanes) $K$ é limitado por $K \le 2P - 1$ , onde $P$ é o número de dicotomias lineares realizáveis nos dados de treinamento. Este limite depende exclusivamente da geometria combinatória dos dados de treinamento, não da largura da rede ou da dimensão ambiente.
Colapso da Largura Efetiva (Teorema 5): O artigo estabelece que, apesar de a rede ser infinitamente superparametrizada, o preditor aprendido admite uma representação efetivamente finita.
- Alinhamento de Características: Os pesos de entrada e os vieses da rede treinada alinham-se em, no máximo, $2P - 1$ direções distintas (raios) no espaço de parâmetros.
- Colapso: Consequentemente, a rede de largura infinita colapsa para uma largura efetiva de no máximo $2P - 1$ . A solução pode ser representada exatamente por uma rede ReLU rasa com este número finito de neurônios ocultos.
Não-Redundância de Características (Teorema 6): Os autores estabelecem uma forte propriedade de não-redundância para as direções aprendidas.
- Padrões Distintos: Cada direção aprendida induz um padrão de ativação ternário único nos dados de treinamento (mapeando entradas para $\{-1, 0, 1\}$ ).
- Incomparabilidade: Esses padrões são incomparáveis sob uma ordem parcial específica (onde um padrão é uma "degeneração" de outro ao transformar rótulos $\pm 1$ em $0$). Especificamente, para qualquer padrão de sinal binário, no máximo dois padrões ternários aprendidos podem degenerar dele.
Caracterização Específica para Dados Simétricos (Proposição 7): Para conjuntos de dados simétricos de dois pontos, os autores caracterizam explicitamente a localização dos hiperplanos de dobra, mostrando que eles dependem da norma dos dados de entrada e da configuração dos rótulos (par vs. ímpar).

Significância e Alegações
O artigo afirma fornecer a primeira derivação do colapso da largura efetiva como um viés implícito de SGD ruidoso para regressão multivariada com dados de treinamento gerais. Diferente de trabalhos anteriores que dependiam de suposições restritivas (ex: dados ortogonais ou simétricos) ou analisavam problemas variacionais estáticos (ex: interpolação de norma $L_1$ mínima), este trabalho deriva a estrutura de largura finita diretamente da dinâmica de treinamento do SGD ruidoso no limite de campo médio.

Os resultados unem a caracterização de otimização estática aos processos de treinamento dinâmicos, mostrando que a geometria combinatória dos dados de treinamento (especificamente o número de dicotomias lineares) governa a complexidade do preditor aprendido. Os autores observam que sua análise depende de a rede ser suficientemente larga para explorar o framework de campo médio e requer um parâmetro de decaimento de peso positivo ( $\lambda > 0$ ) para garantir a validade da análise da medida estacionária. Eles reconhecem que obter limites não-assintóticos para o "conjunto de falha" (onde o Hessiano não desaparece) para dimensões $d > 1$ continua sendo um desafio em aberto comparado ao caso univariado.

O trabalho estende os achados de Shevchenko et al. (2022) do cenário univariado para o multivariado e caracteriza unicamente a estrutura da medida estacionária no espaço de parâmetros, e não apenas no espaço de funções.