📊 statistics

Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks

Este artigo caracteriza o Espaço de Hilbert de Reprodução (RKHS) de kernels de redes neurais (NTK e NNGP) para funções de ativação que possuem não-suavidade apenas no zero, demonstrando que a classe de funções geradas depende do grau de não-suavidade e não necessariamente da profundidade da rede, exceto no caso de ativações polinomiais.

Autores originais: David Holzmüller, Max Schölpple

Publicado 2026-04-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: David Holzmüller, Max Schölpple

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender como uma orquestra sinfônica toca. Você sabe que, se tiver milhares de músicos (neurônios) tocando ao mesmo tempo, o som resultante será algo muito previsível e constante, como um "ruído branco" ou um zumbido contínuo. Na ciência da Inteligência Artificial, chamamos esse fenômeno de "limite de largura infinita".

O problema é que, até agora, os cientistas só sabiam explicar muito bem o que acontecia quando os músicos usavam um tipo específico de instrumento: o ReLU (um tipo de "interruptor" que só deixa o som passar se ele for positivo). Se os músicos usassem outros instrumentos — como o SELU, o ELU ou o tanh (que são mais suaves e complexos) — a matemática ficava um caos e ninguém sabia ao certo como o "som" da rede neural se comportaria.

Este artigo, escrito por David Holzmüller e Max David Schölpple, é como se eles tivessem finalmente escrito a partitura universal para todos esses outros instrumentos.

Aqui está uma explicação do que eles fizeram, usando algumas analogias:

1. O "DNA" do Som (O que é o RKHS?)

Imagine que cada rede neural tem um "DNA" que define o tipo de música que ela consegue tocar. Esse DNA determina se ela consegue tocar uma sinfonia complexa (funções muito detalhadas) ou se ela só consegue tocar batidas simples e repetitivas (funções mais básicas).

Na matemática, esse DNA é chamado de RKHS (Espaço de Hilbert de Núcleo Reproduzível). O artigo descobre que o "DNA" de uma rede neural é ditado principalmente pela "suavidade" do instrumento (a função de ativação) que ela usa.

2. A Analogia da Escada vs. A Analogia da Rampa (Suavidade)

O artigo foca na ideia de suavidade (smoothness):

O ReLU é uma Escada: Se você subir uma escada, cada degrau é um choque, uma quebra brusca. O ReLU é assim: ou o som é zero, ou ele sobe de repente. Isso cria um tipo de "DNA" específico.
O SELU ou ELU são Rampas: Eles são mais suaves. Em vez de um degrau, você tem uma curva elegante.

Os autores provaram que, se você mudar o instrumento de uma "escada" para uma "rampa suave", o "DNA" da música muda de uma forma previsível. Eles criaram uma fórmula que diz: "Se o seu instrumento tem este nível de suavidade, a sua rede neural será capaz de aprender músicas com este nível de complexidade".

3. O Mistério da Profundidade (Por que adicionar mais camadas?)

Uma pergunta clássica na IA é: "Adicionar mais camadas (tornar a rede mais profunda) ajuda de verdade ou é só gastar energia?"

Os autores descobriram algo surpreendente: para a maioria dos instrumentos que não são "escadas" (como o ReLU), adicionar mais camadas não muda o "DNA" da música. É como se você tivesse uma orquestra de 10 músicos e adicionasse mais 100; o tipo de música que eles conseguem tocar continua sendo o mesmo. Isso sugere que, para certos tipos de redes, a profundidade não é o que define a inteligência, mas sim a qualidade do "instrumento" (a ativação).

4. O "Efeito de Suavização" (O que acontece no início do treino?)

Eles também estudaram o que acontece quando a rede neural acaba de ser "nascida" (inicializada). Eles descobriram que, embora os instrumentos individuais possam ser um pouco "ásperos", quando você junta milhares deles, o som resultante é mais suave do que o esperado. É como se o barulho de mil pessoas conversando ao mesmo tempo acabasse criando um som constante e suave, em vez de um monte de gritos individuais.

Resumo da Ópera (Conclusão)

Em termos simples, este trabalho:

Mapeou o território: Deixou de olhar apenas para o "interruptor" (ReLU) e passou a entender todos os outros instrumentos comuns da IA.
Criou uma regra de ouro: A complexidade do que a IA aprende depende diretamente de quão "curvada" ou "suave" é a função que ela usa.
Explicou a profundidade: Mostrou que, para muitos casos, ser "profundo" não muda o tipo de conhecimento que a rede consegue ter, o que ajuda os cientistas a projetarem redes mais eficientes.

Em uma frase: Eles descobriram a matemática que explica como a "suavidade" dos componentes de uma IA define o quão inteligente e complexa ela pode ser.

Resumo Técnico: "Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks"

1. O Problema

A teoria moderna de redes neurais profundas baseia-se fortemente nos limites de largura infinita, especificamente nos regimes de Neural Tangent Kernel (NTK) (que descreve a dinâmica de treinamento) e Neural Network Gaussian Process (NNGP) (que descreve o comportamento na inicialização).

Embora a teoria para funções de ativação do tipo ReLU (ou potências de ReLU) e funções infinitamente suaves seja bem estabelecida, existe uma lacuna de conhecimento sobre como outras funções de ativação amplamente utilizadas — como SELU, ELU, LeakyReLU, GELU e SiLU — afetam as propriedades desses kernels. O problema central é entender a estrutura do Espaço de Hilbert de Núcleo Reproduzível (RKHS) associado a esses kernels, pois o RKHS determina a capacidade de generalização, a dinâmica de treinamento e a suavidade das funções aprendidas.

2. Metodologia

Os autores utilizam uma abordagem matemática rigorosa baseada em análise funcional e teoria de kernels em esferas:

Parametrização de Tangente Neural (NTP): Focam no regime de largura infinita.
Kernels de Produto Escalar: Analisam os kernels restritos à esfera $S^d$ , permitindo o uso de harmônicos esféricos para caracterizar os autovalores.
Funções de Ativação Dual: Introduzem e utilizam o conceito de "ativação dual" ( $\hat{\phi}$ ) para descrever o comportamento recursivo dos kernels conforme a profundidade da rede aumenta.
Análise de Comportamento de Fronteira: O núcleo da prova reside em estudar o comportamento assintótico das funções de ativação dual perto de $\pm 1$ , utilizando uma técnica de decomposição em funções de referência ( $s_k$ ) e termos de erro negligenciáveis.
Classificação de Suavidade: Definem a "suavidade" de uma ativação baseada no menor índice $m$ onde as derivadas laterais (esquerda e direita) em zero divergem.

3. Principais Contribuições

Caracterização Geral do RKHS (Teorema 9): O principal resultado é uma caracterização completa do RKHS para NTK e NNGP para uma classe vasta de funções de ativação cuja única não-suavidade ocorre em zero.
Extensão da Teoria de Sobolev: Demonstram que, para a maioria das ativações com suavidade finita $s$ , os RKHS são equivalentes a Espaços de Sobolev $H^s(S^d)$ .
Análise de Casos Especiais: Fornecem resultados para redes sem bias (viés), redes de duas camadas e ativações polinomiais.
Suavidade dos Caminhos de GP (Teorema 14): Caracterizam a suavidade das funções amostradas do processo gaussiano (NNGP) na inicialização, mostrando que elas ganham "meio grau" de suavidade em relação ao RKHS.

4. Resultados Principais

Os resultados podem ser resumidos conforme o tipo de ativação:

Ativações com Suavidade Finita ( $1 \leq s < \infty$ ): Para funções como ReLU, LeakyReLU, ELU e SELU, o RKHS é equivalente a um espaço de Sobolev. A profundidade da rede (para $L \geq 3$ ) não altera a classe de suavidade do RKHS, o que implica que, nestes casos, redes profundas e rasas são equivalentes em termos de capacidade de representação de funções suaves.
Ativações Infinitamente Suaves ( $s = \infty$ ): Para funções como GELU, Sigmoid e Tanh, os kernels são universais e os RKHS estão contidos em todos os espaços de Sobolev (os autovalores decaem mais rápido do que qualquer polinômio).
Ativações Polinomiais: Ao contrário das outras, o RKHS de ativações polinomiais depende da profundidade da rede, e o grau máximo dos polinômios cresce exponencialmente com $L$ .
Efeito de Paridade (Bias-free): Em redes sem bias, se a ativação for puramente par ou ímpar, o RKHS é restrito apenas a funções com a mesma paridade.

5. Significância e Implicações

Teoria da Profundidade: O trabalho desafia a ideia de que a profundidade oferece benefícios de representação no regime de kernel para ativações não-polinomiais (como ReLU), sugerindo que o benefício da profundidade deve ser buscado fora do regime de largura infinita ou em regimes de aprendizado de características (feature learning).
Generalização e Viés Espectral: Os resultados permitem aplicar teorias de generalização (como o fenômeno de benign overfitting) para uma gama muito maior de funções de ativação modernas. Além disso, explicam como a escolha da ativação pode influenciar o "viés espectral" (a tendência da rede de aprender frequências baixas primeiro).
Modelagem de Dinâmica: Fornece uma base matemática para estudar o fluxo de gradiente em redes que utilizam ativações mais suaves que a ReLU (como CELU), facilitando a análise teórica de convergência.