🤖 machine learning

Can an MLP Absorb Its Own Skip Connection?

O artigo demonstra que, para a maioria das funções de ativação modernas (como ReLU $^2$ , SwiGLU e GeGLU), uma rede MLP com conexões residuais não pode ser representada por uma rede do mesmo tamanho sem essas conexões, provando que a arquitetura residual expande genericamente a classe de funções que o modelo pode aprender.

Autores originais: Antonij Mijoski, Marko Karbevski

Publicado 2026-04-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Antonij Mijoski, Marko Karbevski

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando construir uma ponte. Existem duas formas de fazer isso:

O Caminho Direto (MLP sem Skip Connection): Você constrói uma estrada nova do zero, do ponto A ao ponto B.
O Caminho com "Atalho" (MLP com Skip Connection): Você mantém a estrada antiga que já existia e constrói uma rampa por cima dela para facilitar o fluxo.

O artigo científico que você enviou faz uma pergunta matemática profunda: "Será que eu consigo construir uma estrada nova (MLP) que seja tão perfeita que ela já inclua automaticamente a estrada antiga, sem que eu precise construir a rampa separadamente?"

Em termos técnicos, eles estão perguntando se uma rede neural com "conexões de salto" (skip connections) pode ser "absorvida" por uma rede neural comum, sem perder nenhum poder de representação.

Aqui está a explicação do que eles descobriram, usando analogias simples:

1. O "Superpoder" que não pode ser copiado (Ativações Modernas)

As redes neurais modernas (como as que alimentam o ChatGPT ou o LLaMA) usam funções matemáticas chamadas "ativações" (como SwiGLU ou GeGLU). Essas funções são como filtros de café muito sofisticados.

Os pesquisadores provaram que esses filtros são tão complexos que, se você adicionar um "atalho" (a estrada antiga) ao processo, é matematicamente impossível criar um filtro único que faça o mesmo trabalho.

A Analogia: Imagine que você tem um filtro que transforma água em suco. Se você decidir que o resultado final deve ser "Água + Suco", não existe nenhum filtro de suco no mundo que, sozinho, consiga produzir exatamente essa mistura de água pura com suco de uma vez só. Você precisa da mistura original.
Conclusão: Para as IAs mais modernas, as conexões de salto não são apenas um "ajuste"; elas dão à rede um superpoder de representação que uma rede comum simplesmente não consegue imitar.

2. O Caso do "Interruptor" (ReLU)

Existe uma função mais antiga e simples chamada ReLU, que funciona como um interruptor: se o sinal for negativo, ela desliga (zero); se for positivo, ela deixa passar.

Nesse caso, a resposta é: "Às vezes sim, mas é quase impossível por acaso."

Os autores descobriram que, para uma rede comum absorver o atalho, os pesos (os números internos da rede) teriam que se alinhar de uma forma extremamente específica e milagrosa.

A Analogia: Imagine que você tem um conjunto de peças de LEGO. Você só consegue montar uma estrutura que inclua um "atalho" se as peças estiverem encaixadas em um ângulo exato de 45 graus, com uma cor específica e um tamanho milimétrico. Se você jogar as peças na mesa e tentar montar qualquer coisa (o que acontece na prática quando treinamos uma IA), a chance de você acertar esse encaixe perfeito é praticamente zero.
Conclusão: Embora matematicamente possível em casos muito raros, na prática, as redes com atalhos e as redes sem atalhos são "mundos diferentes".

3. Por que isso importa? (O Resumo da Ópera)

Por muito tempo, pensou-se que as conexões de salto (skip connections) serviam apenas para ajudar a rede a "aprender mais rápido" ou para evitar que o sinal se perdesse no caminho (como um megafone ajudando a voz a chegar longe).

Este artigo diz: "Não é só sobre velocidade; é sobre capacidade."

As conexões de salto não são apenas um facilitador de treino; elas expandem o que a rede neural é capaz de "pensar". Elas permitem que a rede manipule informações de uma maneira que uma rede comum, por mais larga ou profunda que seja, jamais conseguiria replicar.

Em resumo: Se você tirar os "atalhos" das IAs modernas, você não está apenas tornando o aprendizado mais difícil; você está, literalmente, diminuindo a inteligência e a capacidade de compreensão delas.

Resumo Técnico: "Can an MLP Absorb Its Own Skip Connection?"

1. O Problema

O artigo investiga a redundância representacional das conexões de salto (skip connections) em redes neurais do tipo MLP (Multi-Layer Perceptron). A questão central é: um MLP com conexão de salto pode ser reescrito como um MLP sem conexão de salto (puramente feedforward) de mesma largura?

Matematicamente, os autores perguntam se, dado um bloco residual $x + \text{MLP}_2(x)$ , existe um $\text{MLP}_1(x)$ de mesma largura tal que $x + \text{MLP}_2(x) = \text{MLP}_1(x)$ para todo $x$ . Se a resposta for sim, a conexão de salto é apenas uma reparametrização; se for não, a conexão de salto expande o espaço de funções que a rede pode representar.

2. Metodologia

Os autores utilizam uma abordagem analítica e algébrica, dividindo o estudo em três categorias de funções de ativação:

Ativações Homogêneas (Grau $k \neq 1$ ): Como ReLU $^2$ e ReGLU.
Ativações com Portão (Gated Activations): Como SwiGLU e GeGLU (usadas em modelos como LLaMA e Mistral).
Ativações Não-Portadas (Ungated): Como ReLU e GELU.

A metodologia envolve:

Argumentos de Homogeneidade: Comparação de classes de grau de polinômios/funções.
Linearização via Expansão de Taylor: Análise do comportamento das funções próximo à origem ( $x \to 0$ ).
Decomposição de Paridade: Decomposição das funções em partes pares e ímpares para isolar o termo linear.
Teoria de Funções de Crista (Ridge Functions): Uso de resultados de independência linear para provar a unicidade de representações.

3. Principais Contribuições e Resultados

A. Impossibilidade para Ativações Modernas (SwiGLU, GeGLU, ReLU $^2$ , etc.):

Ativações Gated: Os autores provam que, para ativações como SwiGLU e GeGLU, a absorção é incondicionalmente impossível. Como o termo de "portão" ( $g(x)$ ) é diferenciável na origem com $g(0)=0$ , o MLP resultante tem termos de ordem superior ( $O(\|x\|^2)$ ), o que impede que ele recupere o termo linear $x$ da conexão de salto.
Ativações Homogêneas: Para funções de grau $k \neq 1$ , a absorção é impossível por um argumento de classe de homogeneidade (um termo linear e um termo de grau $k$ não podem se fundir em um único termo de grau $k$ ).
Extensão para Profundidade Arbitrária: O resultado é estendido para redes profundas: uma composição de $L$ blocos residuais não pode ser replicada por $L$ blocos sem salto de mesma largura.

B. O Caso das Ativações ReLU e GELU (Ungated):
Para estas funções, a situação é mais complexa porque elas possuem uma componente linear intrínseca ( $z/2$ ).

Condição de Absorção: Os autores estabelecem que a absorção só é possível se existir um subconjunto de neurônios $S$ tal que a matriz de pesos satisfaça a condição específica: $W_{\text{down}}[:, S] W_{\text{up}}[S, :] = -Id$ .
Disjunção Genérica: Eles provam que essa condição é não-genérica. Em termos de medida de Lebesgue, a probabilidade de pesos aleatórios satisfazerem essa condição é zero. Portanto, para quase todos os casos práticos, as classes de funções de MLPs com e sem skip connections são disjuntas.

C. Generalização para Hyper-Connections:
O estudo demonstra que, se a conexão de salto for uma matriz linear invertível (como em Hyper-Connections), o problema de absorção reduz-se matematicamente ao caso da conexão de identidade.

4. Significância

Este trabalho tem implicações profundas para a arquitetura de modelos de linguagem de grande escala (LLMs):

Necessidade Estrutural: O estudo fornece uma prova matemática de que as conexões de salto não são apenas um "truque de otimização" para facilitar o gradiente, mas sim um componente que aumenta o poder representacional da rede.
Limitação de Largura: Ele demonstra que tentar substituir blocos residuais por blocos feedforward de mesma largura resultará inevitavelmente em erro de aproximação, pois a rede sem salto não consegue acessar a mesma região do espaço de funções.
Validação de Arquiteturas SOTA: Ao provar a impossibilidade para SwiGLU e GeGLU, o artigo valida por que as arquiteturas modernas (como LLaMA e DeepSeek) dependem criticamente de suas estruturas residuais para manter sua expressividade.