🤖 machine learning

Can an MLP Absorb Its Own Skip Connection?

Die Arbeit untersucht, unter welchen Bedingungen ein MLP eine Skip-Connection in ein residual-freies MLP gleicher Breite absorbieren kann, und zeigt, dass dies für die meisten gängigen Aktivierungsfunktionen (wie ReLU $^2$ , SwiGLU oder GeGLU) aufgrund von Grad- oder Linearitätsargumenten sowie für Standard-ReLU/GELU aufgrund der Nicht-Generizität der benötigten Gewichtsbedingungen mathematisch unmöglich ist.

Ursprüngliche Autoren: Antonij Mijoski, Marko Karbevski

Veröffentlicht 2026-04-28

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Antonij Mijoski, Marko Karbevski

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Frage: Kann ein „Abkürzung-Netzwerk“ sein Geheimnis vor sich selbst verbergen?

Stellen Sie sich vor, Sie bauen eine riesige, komplexe Maschine aus Zahnrädern (das ist das MLP oder die künstliche Intelligenz). In der modernen Welt der KI nutzt man fast immer einen Trick: die „Skip Connection“ (die Abkürzung).

Normalerweise muss ein Signal durch jedes einzelne Zahnrad fließen, um am Ende anzukommen. Das ist mühsam und fehleranfällig. Mit einer Skip Connection sagen wir der Maschine: „Nimm den normalen Weg durch die Zahnräder, aber schick gleichzeitig eine Kopie des Signals auf einer schnellen Express-Bahn direkt am System vorbei.“ Das macht das Training viel stabiler.

Die große Frage der Forscher: Ist diese Express-Bahn wirklich notwendig? Oder ist sie nur ein „Zusatz“, den man theoretisch in die Zahnräder selbst einbauen könnte, sodass die Maschine am Ende genau das Gleiche tut, aber ohne die extra Express-Bahn? (Das nennen die Forscher „Absorption“).

Die Antwort: Die Express-Bahn ist unersetzlich!

Die Forscher haben mathematisch bewiesen: In den meisten Fällen kann die Maschine die Abkürzung nicht „schlucken“. Die Express-Bahn ist kein bloßer Luxus, sie verändert die grundlegende Natur dessen, was die Maschine überhaupt tun kann.

Hier sind die drei Hauptgründe, erklärt mit Metaphern:

1. Das Problem der „falschen Sprache“ (Homogene Aktivierungen)

Stellen Sie sich vor, die Zahnräder der Maschine sind so gebaut, dass sie alles, was sie bekommen, quadratisch verarbeiten (das ist wie $x^2$ ). Die Express-Bahn hingegen ist ganz simpel und linear (wie $x$ ).
Wenn Sie versuchen, die Express-Bahn in die Zahnräder einzubauen, versuchen Sie, eine gerade Linie mit einer Kurve zu bauen. Das geht mathematisch einfach nicht. Die Forscher sagen: Wenn die Aktivierung der KI eine bestimmte „Stärke“ hat (den Grad $k \neq 1$ ), dann ist die Abkürzung wie ein Fremdkörper, den die Maschine niemals in ihr eigenes Getriebe integrieren kann.

2. Das „Flüstern am Ursprung“ (Gated Activations)

Moderne KIs (wie LLaMA oder Mistral) nutzen eine sehr schlaue Art der Verarbeitung, die „Gating“ genannt wird. Das ist so, als hätten die Zahnräder kleine Ventile, die entscheiden, wie viel Signal durchgelassen wird.
Die Forscher haben gezeigt: Wenn man ganz nah am Nullpunkt misst (wenn das Signal fast nichts sagt), dann verhalten sich diese Ventile so, dass sie das Signal extrem dämpfen. Die Express-Bahn hingegen bleibt immer gleich stark. Es ist, als würde man versuchen, ein lautstarkes Megafon (die Abkürzung) durch ein System von Ventilen zu ersetzen, die bei leisem Flüstern sofort komplett dichtmachen. Das klappt nicht.

3. Das „Zufalls-Glück“ (ReLU und GELU)

Es gibt Fälle (wie bei der Aktivierung ReLU), in denen es theoretisch möglich wäre, die Abkürzung zu schlucken. Aber – und das ist der entscheidende Punkt – dafür müssten die Zahnräder in einer absolut perfekten, fast schon magischen Anordnung stehen.
Die Forscher nennen das „generische Disjunktheit“. Das bedeutet: Die Chance, dass die Zahnräder zufällig genau so stehen, dass sie die Abkürzung ersetzen können, ist so winzig wie die Chance, dass man beim Würfeln mit einem Millionenfach-Würfel hundertmal hintereinander eine Sechs würfelt. In der echten Welt der KI, wo Gewichte zufällig starten, passiert das praktisch nie.

Was bedeutet das für die Zukunft der KI?

Die Arbeit zeigt uns: Die Architektur der KI ist nicht nur eine Frage der Effizienz, sondern eine Frage der Macht.

Wenn wir die Skip Connections (die Express-Bahnen) entfernen würden, um die Modelle „schlanker“ zu machen, würden wir ihnen nicht nur die Geschwindigkeit nehmen, sondern wir würden ihnen ihre „Intelligenz“ rauben. Sie könnten bestimmte mathematische Funktionen schlichtweg nicht mehr berechnen.

Fazit: Die Abkürzung ist kein Schmuckstück – sie ist das Rückgrat, das es der KI ermöglicht, in Dimensionen vorzustoßen, die ein rein „durchlaufendes“ System niemals erreichen könnte.

Technische Zusammenfassung: Kann ein MLP seine eigene Skip-Connection absorbieren?

1. Problemstellung

In modernen Deep-Learning-Architekturen (wie Transformern, LLaMA oder DeepSeek) sind Skip-Connections (Residuelle Verbindungen) Standard. Ein typischer Block berechnet $x + \text{MLP}(x)$ . Die zentrale Forschungsfrage dieses Papers lautet: Ist diese Skip-Connection repräsentativ redundant?

Mathematisch wird untersucht, ob eine skip-verbundene MLP-Struktur $x + W_{\text{down}} \sigma(W_{\text{up}} x)$ durch ein rein vorwärtsgerichtetes (residual-freies) MLP derselben Breite $V_{\text{down}} \sigma(V_{\text{up}} x)$ exakt dargestellt werden kann. Wenn dies möglich ist, könnte die Skip-Connection "absorbiert" werden. Wenn nicht, erweitert die Skip-Connection den Funktionsraum, den das Netzwerk erreichen kann.

2. Methodik

Die Autoren verwenden eine Kombination aus algebraischen, geometrischen und analytischen Methoden, um das Problem für verschiedene Aktivierungsfunktionen zu untersuchen:

Paritätszerlegung: Für Funktionen wie ReLU und GELU wird die Aktivierung in gerade und ungerade Teile zerlegt ( $\sigma(z) = \text{gerade}(z) + \text{ungerade}(z)$ ). Da der ungerade Teil bei beiden Funktionen linear ist ( $z/2$ ), lässt sich die Gleichung auf eine Bedingung der Submatrizen reduzieren.
Homogenitätsargumente: Für Funktionen, die einer bestimmten Homogenität folgen (z. B. $\sigma(\lambda z) = \lambda^k \sigma(z)$ ), wird ein Skalierungsargument angewandt.
Linearisierung (Taylor-Entwicklung): Bei "Gated"-Aktivierungen (wie SwiGLU) wird die Verhalten der Funktion nahe dem Ursprung ( $x \to 0$ ) untersucht.
Ridge-Funktionen & Uniqueness-Theoreme: Für den GELU-Fall nutzen die Autoren die Theorie der Ridge-Funktionen und die lineare Unabhängigkeit analytischer Funktionen, um die Notwendigkeit der Bedingungen zu beweisen.

3. Zentrale Beiträge und Ergebnisse

Das Paper unterteilt die Ergebnisse in drei Kategorien basierend auf der Art der Aktivierungsfunktion:

A. Unbedingte Unmöglichkeit (Moderne Gated-Aktivierungen)
Für die in State-of-the-Art-Modellen verwendeten Gated-MLPs (wie SwiGLU in LLaMA oder GeGLU in Gemma) sowie für homogene Aktivierungen (wie ReLU $^2$ oder ReGLU) ist die Absorption unbedingt unmöglich.

Begründung: Bei Gated-Aktivierungen ist der Output nahe dem Ursprung $O(\|x\|^2)$ , während die Skip-Connection linear $O(\|x\|)$ ist. Diese Terme können niemals identisch sein.
Tiefe: Dieses Ergebnis gilt nicht nur für einzelne Schichten, sondern lässt sich auf beliebig tiefe Kompositionen von ResNet-Blöcken ausweiten.

B. Bedingte Möglichkeit (Ungated ReLU und GELU)
Für die klassischen, nicht-gegateten Funktionen ReLU und GELU ist die Absorption theoretisch möglich, aber an extrem strikte Bedingungen geknüpft.

Die Bedingung: Eine Absorption ist genau dann möglich, wenn es eine Teilmenge von Indizes $S$ (mit $|S| \geq d$ ) gibt, sodass die Submatrizen die Bedingung $W_{\text{down}}[:, S] W_{\text{up}}[S, :] = -\text{Id}$ erfüllen.
Generische Disjunktheit: Da diese Bedingung eine algebraische Einschränkung auf die Gewichte darstellt, hat sie in einem kontinuierlichen Parameterraum das Maß Null. Das bedeutet: Generisch (fast immer) sind skip-verbundene MLPs und residual-freie MLPs unterschiedliche Funktionsklassen.

C. Reduktion auf die Identitäts-Skip
Die Autoren beweisen, dass das Problem für komplexe Skip-Verbindungen (wie Hyper-Connections, bei denen die Skip-Verbindung eine lernbare Matrix $M$ ist) auf den Fall der Identitäts-Skip zurückgeführt werden kann, sofern $M$ invertierbar ist.

4. Signifikanz der Arbeit

Die Arbeit liefert eine fundamentale theoretische Bestätigung für die Bedeutung von Skip-Connections:

Repräsentationskraft: Skip-Connections sind keine bloße Optimierungshilfe (wie oft angenommen), sondern sie erweitern die mathematische Ausdrucksfähigkeit des Netzwerks. Ein residual-freies Netzwerk derselben Breite kann die Funktionen eines ResNet-Netzwerks nicht replizieren.
Architektur-Design: Die Ergebnisse erklären, warum moderne Architekturen (die fast ausschließlich Gated-Aktivierungen nutzen) so stark von der Residuellen Struktur profitieren – hier ist die Skip-Connection mathematisch "unersetzlich".
Grenzen der Kompression: Für die Modellkompression bedeutet dies, dass man einen ResNet-Block nicht einfach durch ein breiteres oder tieferes MLP ohne Skip-Connection ersetzen kann, ohne an Genauigkeit zu verlieren (da die Funktionsklassen generisch disjunkt sind).

Fazit: Das Paper zeigt mathematisch präzise, dass Skip-Connections das "Herzstück" der Ausdrucksfähigkeit moderner tiefer neuronaler Netze sind und nicht durch eine bloße Umparametrisierung der Gewichte eliminiert werden können.