🤖 machine learning

Can an MLP Absorb Its Own Skip Connection?

Dit onderzoek toont aan dat een MLP met skip-verbindingen over het algemeen niet kan worden vervangen door een MLP zonder skip-verbindingen van dezelfde breedte, omdat dit voor de meeste activatiefuncties wiskundig onmogelijk is.

Oorspronkelijke auteurs: Antonij Mijoski, Marko Karbevski

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Antonij Mijoski, Marko Karbevski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een ingewikkelde machine bouwt, zoals een hypermoderne koffiezetmachine of een robotarm. In de wereld van Kunstmatige Intelligentie (AI) gebruiken we "MLP's" (Multi-Layer Perceptrons). Je kunt een MLP zien als een serie filters waar informatie doorheen stroomt om een beslissing te nemen.

De onderzoekers Antonij Mijoski en Marko Karbevski hebben een fascinerende vraag gesteld: "Kun je een 'shortcut' (skip connection) in zo'n machine weghalen en de machine zo aanpassen dat hij precies hetzelfde doet, maar dan zonder die shortcut?"

Hier is de uitleg van hun ontdekking in begrijpelijke taal.

De Metafoor: De Snelweg en de Omweg

Stel je voor dat je van Amsterdam naar Utrecht wilt reizen.

De MLP (De Omweg): Dit is een kronkelige weg door het bos. Je moet door verschillende dorpjes rijden, elke keer een nieuwe richting kiezen en obstakels ontwijken. Het is een proces van transformatie.
De Skip Connection (De Snelweg): Dit is een rechte, brede snelweg die je direct van A naar B brengt, naast de kronkelige weg. In moderne AI (zoals ChatGPT) gebruiken we dit: we nemen de informatie via de kronkelige weg (voor de diepe berekeningen), maar we voegen de oorspronkelijke informatie ook direct weer toe via de snelweg. Dit helpt de informatie "fris" te houden.

De grote vraag van het onderzoek: Kun je die snelweg (de shortcut) volledig vervangen door een nóg complexere, maar nog steeds kronkelige weg, zonder dat de reiziger (de data) iets merkt? Kun je de snelweg "absorberen" in de omweg?

Wat hebben ze ontdekt?

De onderzoekers hebben gekeken naar verschillende soorten "motoren" (activatiefuncties) in deze machines. Hun conclusie is bijna altijd: Nee, dat kan niet.

1. De "Moderne" Motoren (SwiGLU, GeGLU) – De Onmogelijke Mix

De nieuwste AI-modellen (zoals LLaMA of Google's Gemma) gebruiken hele specifieke, complexe motoren. De onderzoekers bewezen dat voor deze motoren de shortcut absoluut onmisbaar is.

Analogie: Het is alsof je probeert een smoothie te maken waarbij je zowel de vruchten als de melk direct in je mond krijgt, maar je probeert dat te vervangen door een machine die alles eerst tot een poeder verpulvert en dan pas weer vloeibaar maakt. De structuur van de smaak verandert fundamenteel. Je kunt de "directe ervaring" van de melk nooit volledig vangen in het poederproces.

2. De "Klassieke" Motoren (ReLU, GELU) – De Zeldzame Geluksval

Bij iets oudere, simpelere motoren is het theoretisch wel mogelijk om de shortcut te absorberen, maar alleen onder extreem specifieke omstandigheden.

Analogie: Stel je voor dat je een puzzel moet maken waarbij de stukjes precies op een bepaalde manier in elkaar moeten klikken om een rechte lijn te vormen. De kans dat je de stukjes willekeurig uit een doos pakt en ze toevallig precies zo liggen dat ze die lijn vormen, is bijna nul.
De conclusie: Hoewel het wiskundig kan, gebeurt het in de praktijk bijna nooit. De "snelweg" en de "omweg" zijn twee totaal verschillende werelden die elkaar bijna nooit ontmoeten.

Waarom is dit belangrijk?

Je vraagt je misschien af: "Wat maakt het uit of die shortcut er nu is of niet?"

Dit onderzoek vertelt ons iets fundamenteels over de kracht van AI:

Skip connections zijn geen luxe: Ze zijn geen "extraatje" om het trainen makkelijker te maken; ze voegen daadwerkelijk een nieuwe dimensie toe aan wat de AI kan begrijpen.
De architectuur is heilig: Als je de shortcuts weghaalt en probeert de machine "breder" te maken om het te compenseren, krijg je niet hetzelfde resultaat. Je probeert een vliegende auto te vervangen door een heel brede tractor; hoe breed je de tractor ook maakt, hij zal nooit op dezelfde manier door de lucht zweven.

Kortom: De "snelweg" in moderne AI is een essentieel onderdeel van de intelligentie zelf. Zonder die shortcuts is de machine simpelweg een fundamenteel ander wezen.

Technische Samenvatting: Kan een MLP zijn eigen Skip Connection absorberen?

1. Het Probleem (Problem Statement)

In moderne deep learning-architecturen (zoals Transformers, LLaMA en DeepSeek) zijn skip connections (of residual connections) essentieel. Een standaard blok heeft de vorm $x \mapsto x + \text{MLP}(x)$ . De centrale vraag van dit onderzoek is: Is een skip-connected MLP representationeel redundant?

Met andere woorden: kan een skip-connected MLP van een bepaalde breedte exact worden herschreven als een "residual-free" MLP (een standaard MLP zonder skip connection) van diezelfde breedte? Als dit mogelijk is, voegt de skip connection niets toe aan de expressiviteit van het model. Als dit onmogelijk is, biedt de skip connection toegang tot een fundamenteel ander deel van de functieruimte.

2. Methodologie (Methodology)

De auteurs onderzoeken dit probleem door middel van algebraïsche en geometrische analyses, waarbij ze onderscheid maken tussen verschillende soorten activatiefuncties:

Gated Activations (bijv. SwiGLU, GeGLU): Gebruikt in state-of-the-art modellen zoals LLaMA. Hierbij wordt de input vermenigvuldigd met een "gate".
Homogene Activations (bijv. ReLU², ReGLU): Functies waarbij $\sigma(\lambda z) = \lambda^k \sigma(z)$ voor $k \neq 1$ .
Ungated Activations (bijv. ReLU, GELU): De klassieke activatiefuncties die een lineair component bevatten.

De onderzoeksmethode maakt gebruik van:

Pariteitsontbinding: Het splitsen van activatiefuncties in even en oneven delen.
Linearisatie-argumenten: Analyse van de Jacobiaan nabij de oorsprong ( $x \to 0$ ).
Ridge Function Theory: Gebruikmaken van de uniekheid van representaties van functies die afhangen van een lineaire combinatie van inputs.
Maattheoretische analyse: Het bepalen of de conditie voor absorptie "generiek" is (ofwel: gebeurt het bijna altijd, of bijna nooit?).

3. Belangrijkste Bijdragen en Resultaten (Key Contributions & Results)

De resultaten kunnen worden onderverdeeld in drie categorieën:

A. Onvoorwaardelijke Onmogelijkheid (Modern State-of-the-Art)

Gated Activations (SwiGLU, GeGLU): De auteurs bewijzen dat absorptie onmogelijk is. Omdat de gated MLP een hogere orde van convergentie heeft bij de oorsprong ( $O(\|x\|^2)$ ) dan de lineaire skip connection ( $O(\|x\|)$ ), kan de skip connection nooit worden geabsorbeerd. Dit geldt ook voor composities van willekeurige diepte.
Homogene Activaties ( $k \neq 1$ ): Voor functies zoals ReLU² is absorptie onmogelijk vanwege een argument over de graad van de functie (homogeniteit).

B. De ReLU en GELU Casus (De "Grensgeval" Analyse)
Voor ReLU en GELU is de situatie complexer omdat zij een lineair deel hebben.

De Absorptie-conditie: Absorptie is alleen mogelijk als er een specifieke submatrix-conditie wordt voldaan: er moet een subset van neuronen $S$ bestaan zodanig dat $W_{\text{down}}[:, S] W_{\text{up}}[S, :] = -\text{Id}$ .
Generieke Disjointness: De auteurs tonen aan dat deze conditie een "maat-nul" gebeurtenis is. Dit betekent dat voor willekeurig gekozen gewichten de kans dat een skip-connected MLP geabsorbeerd kan worden door een residual-free MLP exact nul is. De twee klassen functies zijn dus "generiek disjoint" (ze overlappen bijna nergens).

C. Algemene Reductie

Ze bewijzen dat voor alle architecturen waarbij de skip-branch een inverteerbare lineaire transformatie is (zoals Hyper-Connections), het probleem altijd terug te brengen is naar de standaard identiteits-skip case.

4. Betekenis en Implicaties (Significance)

De conclusies van dit paper hebben belangrijke theoretische implicaties voor de architectuur van neurale netwerken:

Representatieve Kracht: Skip connections zijn niet slechts een hulpmiddel voor optimalisatie (zoals het gladstrijken van het loss-landschap); ze veranderen de fundamentele expressiviteit van het netwerk. Een model met skip connections kan functies leren die een model van dezelfde breedte zonder skip connections simpelweg niet kan representeren.
Architecturale Keuze: Het verklaart waarom het verwijderen van skip connections in moderne modellen (zoals Transformers) leidt tot een catastrofaal verlies aan vermogen, en niet slechts tot een tragere training.
Design-beperkingen: Het suggereert dat als men een skip-connected blok wil vervangen door een standaard MLP, men de breedte van het netwerk moet vergroten om de verloren representatieve kracht te compenseren.

Openstaand probleem: De auteurs laten de vraag open of deze "disjointness" (het feit dat ze verschillende functies representeren) ook blijft bestaan bij zeer diepe composities van ReLU- of GELU-blokken.