🤖 machine learning

Compositionality Emerges in a Narrow Depth-Connectivity Regime: Architecture Constraints and Solution Manifolds

Diese Arbeit zeigt auf, dass kompositorische interne Strukturen in neuronalen Netzen nur innerhalb eines engen, zielabhängigen Regimes spezifischer Konnektivitätsmuster und Netzwerk-Tiefen entstehen, und schlägt ein Ähnlichkeits-basiertes Pruning sowie einen Tiefen-Prädiktor vor, um diese Bedingungen zu identifizieren und auszunutzen, während sie gleichzeitig einen theoretischen Rahmen bereitstellt, der erklärt, warum das Gradientenverfahren andernfalls zu fragmentierten Lösungen konvergiert.

Ursprüngliche Autoren: Dat H. Do, Rushi Shah, Duc V. Le, Dianbo Liu

Veröffentlicht 2026-06-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dat H. Do, Rushi Shah, Duc V. Le, Dianbo Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „Goldlöckchen-Zone“ für KI-Gehirne finden

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Bild eines Schädels zu zeichnen. Sie möchten, dass der Roboter das Konzept eines „Schädels“ lernt, indem er einfache, wiederverwendbare Teile kombiniert: eine Augenhöhle, einen Kiefer, eine Nase. Dies nennt man Kompositionalität. Es ist wie das Besitzen eines Sets aus Lego-Steinen, bei denen man das gleiche „Auge“-Teil an verschiedene Modelle anstecken kann, um ein Auto, ein Haus oder einen Roboter zu bauen.

Die meisten modernen KI-Modelle (die mit Standardmethoden trainiert wurden) lernen jedoch nicht auf diese Weise. Anstatt mit sauberen Lego-Steinen zu bauen, neigen sie dazu, mit einem riesigen, verhedderten Wollknäuel zu bauen. Jeder Teil des Bildes ist mit jedem anderen Teil vermischt. Wenn man an einem winzigen Faden in dem Wollknäuel zieht, kann das ganze Bild in ein Chaos umschlagen. Dies nennt man frakturiertes Entanglement (zerbrochene Verflechtung).

Die Autoren dieser Arbeit stellten eine einfache Frage: Gibt es eine spezifische Art, das Gehirn des Roboters so zu bauen, dass es natürlich lernt, saubere, wiederverwendbare Lego-Steine anstelle von verheddertem Garn zu verwenden?

Ihre Antwort war ein überraschendes „Ja“, aber mit einer strengen Einschränkung: Das Gehirn muss in einer ganz bestimmten „Goldlöckchen-Zone“ der Größe und Tiefe gebaut sein.

Die zwei Regeln für den Erfolg

Die Arbeit entdeckt, dass für eine KI, um diese sauberen, wiederverwendbaren Teile zu lernen, zwei Dinge gleichzeitig geschehen müssen. Wenn man auch nur eines davon falsch macht, scheitert die KI.

1. Die Konnektivitäts-Regel: „Weniger ist mehr, aber nur, wenn es das richtige Weniger ist“

Stellen Sie sich vor, Sie haben einen Raum voller Menschen (Neuronen), die versuchen, ein Puzzle zu lösen.

Der Fehler: Wenn Sie jeden mit jedem reden lassen (ein voll vernetztes, dichtes Netzwerk), fangen alle an, sich gegenseitig anzuschreien. Sie werden verwirrt, und niemand übernimmt die Verantwortung für ein bestimmtes Stück des Puzzles.
Die Lösung: Sie müssen die Verbindungen kappen. Aber Sie können nicht einfach wahllos welche kappen. Sie müssen genau die richtigen kappen.
Die Analogie: Denken Sie an eine belebte Autobahn. Wenn Sie wahllos Fahrspuren sperren, verschlimmert sich der Stau. Aber wenn Sie die spezifischen Spuren sperren, die den Verkehr blockieren, und die offen lassen, die den Autos einen reibungslosen Fluss ermöglichen, klärt sich der Verkehr auf.
Die Entdeckung der Arbeit: Die Autoren fanden eine spezielle Methode zum Beschneiden (Kappen von Verbindungen) namens Similarity-based Pruning (SP) (Ähnlichkeitsbasiertes Beschneiden). Diese Methode schaut darauf, welche Neuronen exakt dieselbe Aufgabe erfüllen, und entfernt die Duplikate. Dies zwingt die verbleibenden Neuronen zur Spezialisierung. Ein Neuron wird zum „Augen“-Experten, ein anderes zum „Kiefer“-Experten.

2. Die Tiefen-Regel: „Nicht zu flach, nicht zu tief“

Stellen Sie sich nun die Schichten des Gehirns wie Stockwerke in einem Gebäude vor.

Zu flach (1–2 Stockwerke): Das Gebäude ist zu niedrig. Der „Augen“-Experte und der „Kiefer“-Experte befinden sich im selben Stockwerk und können ihre Arbeit nicht richtig organisieren. Sie können keine komplexe Struktur bauen.
Zu tief (100 Stockwerke): Das Gebäude ist zu hoch. Die Anweisungen gehen im Aufzugsschacht verloren. Bis das Signal die oberste Etage erreicht, haben die „Augen“- und „Kiefer“-Experten vergessen, wer sie eigentlich sein sollten, und beginnen wieder, ihre Aufgaben zu vermischen.
Der Sweet Spot (Der ideale Punkt): Es gibt eine spezifische Anzahl an Stockwerken (Tiefe), die perfekt für das spezifische Bild ist, das man zeichnen möchte.
- Für einen einfachen Apfel sind vielleicht 12 Stockwerke perfekt.
- Für einen komplexen Schmetterling sind vielleicht 14 Stockwerke perfekt.
- Wenn man nur ein Stockwerk hinzufügt oder entfernt, verschwindet der Zauber, und die KI kehrt zum Bauen mit verheddertem Garn zurück.

Das „Sweet Spot“-Regime

Die Arbeit nennt dies das Narrow Depth–Connectivity Regime (Regime der engen Tiefe–Konnektivität).

Denken Sie an das Stimmen eines Radios.

Konnektivität ist die Antenne. Sie muss die richtige Form haben (spärlich und spezifisch), um das Signal einzufangen.
Tiefe ist der Frequenzregler. Er muss auf die exakte Zahl eingestellt sein.
Wenn Sie die richtige Antenne, aber die falsche Frequenz haben, hören Sie nur Rauschen.
Wenn Sie die richtige Frequenz, aber die falsche Antenne haben, hören Sie gar nichts.
Nur wenn beide perfekt sind, spielt die Musik (Kompositionalität) klar und deutlich.

Wie sie es bewiesen haben

Die Forscher haben nicht nur geraten; sie bauten eine Testumgebung namens EMC2-Bench.

Der Test: Sie trainierten KI-Modelle, um Bilder zu zeichnen (wie Schädel, Schmetterlinge und Äpfel).
Der „Wackel“-Test: Nach dem Training nahmen sie eine winzige „Wackelbewegung“ (eine kleine zufällige Änderung) an einer einzigen Zahl innerhalb des KI-Gehirns vor.
- Wenn die KI verheddertes Garn verwendete, würde dieses winzige Wackeln das ganze Bild zerstören (z. B. der Schädel verwandelt sich in einen Klumpen).
- Wenn die KI Lego-Steine verwendete, würde dieses winzige Wackeln nur einen spezifischen Teil beeinflussen (z. B. das Auge wird etwas größer, aber der Kiefer bleibt perfekt).
Das Ergebnis: Sie fanden heraus, dass das Standardtraining fast immer verheddertes Garn produzierte. Aber wenn sie ihre spezielle Beschneidungsmethode (SP) verwendeten und die Tiefe auf den exakten „Sweet Spot“ abstimmten, begann die KI plötzlich, mit sauberen Lego-Steinen zu bauen.

Warum passiert das? (Die Theorie)

Die Arbeit bietet eine mathematische Erklärung unter Verwendung eines Konzepts namens Volume Ratio (Volumenverhältnis).

Stellen Sie sich einen riesigen Ozean aller möglichen Arten vor, ein Gehirn zu bauen.

Der verhedderte Ozean: Der Großteil des Ozeans ist mit „verhedderten“ Lösungen gefüllt. Sie sind riesig, leicht zu finden und man gerät leicht in sie hinein.
Die kompositorische Insel: Die „sauberen Lego“-Lösungen sind wie eine winzige, verborgene Insel mitten in diesem Ozean. Sie ist sehr klein und schwer zu finden.

Die Arbeit argumenttiert:

Wenn Ihr Gehirn zu breit ist (zu viele Neuronen), wird der „verhedderte“ Ozean größer und die „saubere“ Insel wird im Verhältnis dazu kleiner. Statistisch gesehen ist es wahrscheinlich, dass Sie sich im verhedderten Chaos verlieren.
Wenn Ihr Gehirn zu tief oder zu flach ist, verschwindet die Insel vollständig.
Die Magie: Wenn Sie die exakt richtige Breite und Tiefe treffen, schrumpft der „verhedderte“ O океan und die „saubere“ Insel wird zum einzigen Ort, an dem man noch stehen kann. Die KI muss die saubere Lösung finden, weil es keinen anderen Ort mehr gibt, an dem sie sein kann.

Zusammenfassung

Diese Arbeit zeigt, dass KI-Modelle nicht von Natur aus lernen, in wiederverwendbaren, modularen Teilen zu denken. Sie lernen von Natur aus, unordentlich und verheddert zu sein.

Wenn man die KI jedoch in einen sehr spezifischen architektonischen Rahmen zwingt – in dem man die richtigen Verbindungen kappt und die exakt richtige Anzahl an Schichten baut – wird die KI gezwungen, sich zu organisieren. Sie hört auf, ein verheddertes Wollknäuel zu sein, und beginnt, mit sauberen, wiederverwendbaren Lego-Steinen zu bauen. Dies ist das Geheimnis, um eine KI zu erschaffen, die generalisieren und die Welt ähnlich wie ein Mensch verstehen kann.

Technisches Resümee: Kompositionalität entsteht in einem engen Tiefen–Konnektivitäts-Regime

Problemstellung

Moderne Foundation Models (LLMs, VLMs, Diffusionsmodelle) weisen starke Fähigkeiten auf, leiden jedoch unter einer fragilen Generalisierung, insbesondere beim Verständnis von Kompositionalität. Kleine, aufgabenirrelevante Perturbationen lösen oft scharfe Verhaltensänderungen aus, was auf eine fehlende robuste interne kompositorische Struktur hindeutet. Während evolutionäre Algorithmen (z. B. NEAT auf Picbreeder) „Unified Factored Representations“ (UFR) entdecken können – vereinheitlichte, wiederverwendbare und semantisch stabile Primitive –, konvergiert die standardmäßige gradientenbasierte Optimierung (SGD) typischerweise zu „Fractured Entangled Representations“ (FER). In FER sind Konzepte über überlappende Neuronen verteilt, und Merkmale sind polysemantisch, was nicht mit stabilen, interpretierbaren Bedeutungen korreliert.

Die zentrale Frage lautet: Kann Monosemantik und Kompositionalität während des Standard-Backpropagation-Verfahrens mittels Gradientenabstieg entstehen, und wenn ja, unter welchen spezifischen architektonischen Bedingungen? Die Autoren hypothetisieren, dass diese Emergenz kein Standardergebnis von Skalierung oder niedrigem Loss ist, sondern durch ein strukturelles Erreichbarkeitsproblem bestimmt wird, das durch das Zusammenspiel von Netzwerktiefe und Konnektivität definiert ist.

Methodik

1. Evaluierungs-Suite: EMC2-Bench

Um Kompositionalität zu quantifizieren, führen die Autoren eine perturbationsbasierte Evaluierungs-Suite namens EMC2-Bench ein.

Metrik: Der „Compositional Score“ ist definiert als der Anteil der Nicht-Null-Parameter, die bei einer Perturbation durch Rauschen ( $\delta$ ) die globale semantische Identität des generierten Bildes bewahren.
Verfahren: Für jedes Nicht-Null-Gewicht $w$ wird eine perturbierte Kopie $w' = w + \delta$ erstellt. Das Netzwerk generiert ein Bild, das von einem Vision-Language-Model (VLM) Judge (Qwen3-VL-4B-Thinking) evaluiert wird, um zu bestimmen, ob der semantische Inhalt (z. B. „Totenkopf“) intakt bleibt.
Baseline: Die Benchmark vergleicht dichte MLPs, die mittels SGD trainiert wurden, mit evolutionären Lösungen (Picbreeder CPPNs) und verschiedenen Pruning-Strategien.

2. Strukturelle Interventionen

Ähnlichkeitsbasiertes Pruning (SP): Um die kompositorische Konnektivität wiederherzustellen, schlagen die Autoren einen iterativen Prune-Retrain-Algorithmus vor.
- Mechanismus: Innerhalb jeder Schicht werden neuronale Feature-Maps extrahiert. Neuronen mit hoher Kosinus-Ähnlichkeit werden als redundant identifiziert. Ein Neuron aus jedem redundanten Paar wird zufällig zur Entfernung ausgewählt, wobei dessen eingehende/ausgehende Gewichte auf Null gesetzt werden.
- Ziel: Dies zwingt das Netzwerk dazu, distinkte Neuronen distinkten semantischen Faktoren zuzuweisen, wodurch entangled Lösungen in spärliche, wiederverwendbare Schaltkreise kollabiert werden.
Heuristischer Tiefen-Prädiktor: Da die optimale Tiefe zielabhängig ist, schlagen die Autoren vor, das PNG-Kompressionsverhältnis des Zielbildes als Proxy für die Bildkomplexität zu verwenden. Es wird eine lineare Beziehung zwischen Bildkomplexität und der empirisch optimalen Tiefe beobachtet, was eine leichtgewichtige Vorhersage der „Sweet Spot“-Tiefe ohne erschöpfendes Sweeping ermöglicht.

3. Theoretischer Rahmen

Das Paper liefert eine theoretische Rechtfertigung basierend auf:

Kompositorische Sparsität: Unter Berufung auf die Manifold-Hypothese argumentieren die Autoren, dass kompositorische Lösungen durch einen gerichteten azyklischen Graphen (DAG) mit beschränkter lokaler Arität faktorisiert werden.
Volumen-Verhältnis-Argument: Sie definieren das „kompositorische Volumenverhältnis“ $\rho(W, L)$ als die Wahrscheinlichkeit, dass eine zufällige Parameterkonfiguration in ein kompositorisches Becken fällt. Sie beweisen, dass $\rho$ scharf konzentriert ist bei einem spezifischen $(W_{min}, L^*)$ und exponentiell abfällt, wenn Breite ( $W$ ) oder Tiefe ( $L$ ) von diesem Punkt abweichen.
Feature-Interferenz-Grenzen: Unter Verwendung der Welch-Schranke demonstrieren sie, dass kompositorische Sparsität die geometrische Untergrenze für Feature-Interferenz reduziert, wodurch monosemantische (orthogonale) Merkmale geometrisch nur dann machbar sind, wenn die Anzahl der Primitive $r$ kleiner oder gleich der Dimension $d$ ist.

Kernergebnisse

1. Das enge Tiefen–Konnektivitäts-Regime

Kompositionalität entsteht nicht universell; sie erscheint nur in einem spezifischen Regime:

Konnektivität: Kompositionalität hängt stark davon ab, welche Verbindungen bestehen bleiben, nicht nur vom Grad der Sparsität. Standardmäßige Pruning-Methoden (Lottery Ticket Hypothesis, Wanda, LLM-Pruner) scheitern daran, kompositorische Strukturen wiederherzustellen (Score von 0 auf EMC2-Bench). Nur Ähnlichkeitsbasiertes Pruning (SP) liefert Nicht-Null-Scores, was darauf hindeutet, dass die Organisation der Verbindungen entscheidend ist.
Tiefe: Kompositionalität zeigt eine nicht-monotone Beziehung zur Tiefe. Für spezifische Ziele (z. B. Totenkopf, Schmetterling, Apfel) erreicht der Compositional Score bei einer bestimmten Tiefe seinen Höhepunkt und sinkt rapide ab, wenn das Netzwerk flacher oder tiefer gemacht wird. Diese optimale Tiefe ist zielspezifisch.

2. Optimierung und Emergenz

Optimierer-Sensitivität: Selbst bei der korrekten Architektur spielt der Optimierer eine Rolle. Muon (ein Optimierer, der Newton-Schulz-Iterationen nutzt) erreicht einen niedrigeren Trainings-Loss und höhere kompositorische Scores als Adam. Dies deutet darauf hin, dass bessere Minima (flachere, stabilere) erforderlich sind, um das kompositorische Becken zu erreichen.
Fragilität von FER: Wenn die Bedingungen für Tiefe oder Konnektivität verletzt werden, konvergiert der Gradientenabstieg stillschweigend zu fraktionierten Lösungen. Kleine Perturbationen der Gewichte in diesen Lösungen führen zu semantischem Drift, während kompositorische Lösungen robust bleiben.

3. Generalisierung auf unbekannte Ziele

Die Methode überträgt sich auf Bilder, bei denen die zugrunde liegende kompositorische Lösung unbekannt ist (z. B. natürliche Szenen, Bilder mit mehreren Objekten). SP kombiniert mit dem heuristischen Tiefen-Prädiktor stellt erfolgreich monosemantische Zwischenmerkmale und bedeutungsvolle Output-Variationen unter Weight-Sweeping wieder her, wenngleich der Effekt bei komplexen Multi-Objekt-Szenen schwächer ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Generalisierung architektonische Einschränkungen erfordert, die kompositorische Lösungen für das Training mittels Gradientenabstieg zugänglich machen.

Widerlegung von Scale-Only-Lösungen: Die Autoren argumentieren, dass reine Skalierung (Erhöhung von Breite oder Tiefe) dazu neigt, fraktionierte Lösungen zu liefern, da das relative Maß der kompositorischen Mannigfaltigkeit mit wachsendem Parameterraum schrumpft (Volumen-Verhältnis-Argument).
Mechanistischer Einblick: Die Arbeit schließt die Lücke zwischen der Existenz kompakter, modularer Implementierungen (bewiesen durch evolutionäre Algorithmen) und dem Scheitern von Vanilla Backpropagation, diese zu finden. Sie postuliert, dass SGD nur dann zu kompositorischen Becken tendiert, wenn die Architektur „genau richtig“ ist (enges Tiefen-Konnektivitäts-Sweet-Spot) und der Optimierer in der Lage ist, flache Minima zu finden.
Praktische Implikationen: Die Einführung von SP und des Tiefen-Prädiktors bietet einen Weg, kompositorische Strukturen in Standard-MLPs zu induzieren, ohne das Trainingsziel zu ändern, indem lediglich die Architektur und die Pruning-Strategie eingeschränkt werden.

Die Autoren bleiben bescheiden und merken an, dass ihr Framework die Kompositionalität einzelner Objekte gut erklärt, die räumliche Kompositionalität in Multi-Objekt-Szenen jedoch eine offene Grenze bleibt, da die exponentiell steigenden benötigten Primitive ( $P$ ) das Volumenverhältnis $\rho$ kollabieren lassen. Sie behaupten nicht, das allgemeine kompositorische Denken für alle Vision-Language-Aufgaben gelöst zu haben, sondern haben ein spezifisches strukturelles Regime identifiziert, in dem dies empirisch und theoretisch erreichbar ist.