💻 computer science

Partial Fusion of Neural Networks: Efficient Tradeoffs Between Ensembles and Weight Aggregation

Dieser Beitrag stellt die partielle Fusion vor, eine neuartige Methode, die durch das selektive Zusammenführen ähnlicher Neuronen mittels partiellen optimalen Transports zwischen neuronalen Netzwerkkollektiven und Gewichtsaggregation interpoliert und dadurch einen flexiblen Kompromiss zwischen Recheneffizienz und Modellleistung ermöglicht.

Ursprüngliche Autoren: Fabian Morelli, Stephan Eckstein

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fabian Morelli, Stephan Eckstein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei Spitzenköche, Koch A und Koch B. Beide sind fantastisch, aber sie haben leicht unterschiedliche Stile und spezialisieren sich auf verschiedene Gerichte.

Der „Ensemble"-Ansatz: Sie stellen beide Köche ein, damit sie Seite an Seite in der Küche arbeiten. Jedes Mal, wenn Sie eine Mahlzeit bestellen, kocht jeder seine Version, und Sie kombinieren die Ergebnisse. Das schmeckt unglaublich (hohe Genauigkeit), ist aber teuer, weil Sie zwei volle Gehälter zahlen und die doppelte Menge an Zutaten verbrauchen (hohe Rechenkosten).
Der „Gewichtsdurchschnitt"-Ansatz: Sie versuchen, die beiden Köche zu einem Super-Koch zu verschmelzen, indem Sie einfach ihre Rezepte mitteln. Sie nehmen 50 % der Notizen von Koch A und 50 % der Notizen von Koch B. Das ist günstig und schnell (ein Gehalt, eine Küche), aber das Ergebnis ist oft eine Katastrophe. Wenn Koch A einen Schneebesen und Koch B einen Mixer für denselben Schritt verwendet, erzeugt das Mischen ihrer Anweisungen ein Chaos. Der neue Koch weiß nicht, was zu tun ist.

Die Lösung des Papers: „Partielle Fusion"

Dieses Paper stellt einen cleveren Mittelweg vor, der Partielle Fusion genannt wird. Anstatt die beiden Köche zu zwingen, sich über alles zu einigen, oder sie komplett getrennt zu halten, verschmelzen Sie nur die Teile ihrer Rezepte, die tatsächlich ähnlich sind, und behalten die einzigartigen Teile getrennt.

So funktioniert es, mit einfachen Analogien:

1. Das „Neuron"-Matching

Stellen Sie sich ein neuronales Netz (die KI) als ein Team von Arbeitern vor. Jeder Arbeiter (ein „Neuron" genannt) hat einen spezifischen Job.

Im Team von Koch A ist Arbeiter #1 großartig darin, Zwiebeln zu schneiden.
Im Team von Koch B ist Arbeiter #1 großartig darin, Zwiebeln zu schneiden, aber Arbeiter #2 ist großartig darin, Käse zu reiben.

Wenn Sie die Teams einfach blind mitteln, könnten Sie den Zwiebelschneider mit dem Käseribler vermischen, und keiner der beiden Jobs wird richtig erledigt.

Partielle Fusion fungiert wie ein intelligenter Manager. Er betrachtet beide Teams und sagt:

„Hey, Arbeiter #1 aus Team A und Arbeiter #1 aus Team B schneiden beide Zwiebeln. Lassen Sie uns sie zu einem Super-Zwiebelschneider verschmelzen."
„Aber Arbeiter #2 aus Team A reibt Käse, und Arbeiter #2 aus Team B ist eigentlich ein Sous-Chef. Sie sind zu unterschiedlich. Lassen Sie uns sie getrennt halten."

2. Das Ergebnis: Eine hybride Küche

Das Ergebnis ist eine neue, einzelne Küche, die etwas größer ist als eine ursprüngliche Küche, aber viel kleiner als zwei vollständige Küchen.

Sie behält die verschmolzenen Arbeiter (die Zwiebelschneider), die nun die kombinierte Weisheit beider Köche besitzen.
Sie behält die isolierten Arbeiter (der Käseribler und der Sous-Chef), die ihre eigenen einzigartigen Jobs ohne Störung erledigen.

Dies schafft ein Modell, das:

Günstiger ist als die Einstellung zweier Köche (Ensemble).
Intelligenter ist als das einfache Mitteln ihrer Rezepte (Gewichtsdurchschnitt).
Flexibel ist: Sie können entscheiden, wie viel verschmolzen werden soll. Sie können nur die Zwiebelschneider verschmelzen oder fast alle, je nachdem, wie viel Geld Sie ausgeben möchten.

3. Der „Generalized Pruning"-Twist

Das Paper betrachtet dies auch aus dem entgegengesetzten Blickwinkel. Stellen Sie sich eine riesige Küche mit beiden Arbeitskräften vor (das Ensemble). Normalerweise würden Sie, um diese Küche zu verkleinern, einfach Leute feuern (Pruning).

Aber die Autoren schlagen einen klügeren Weg vor: Generalized Pruning.
Anstatt einfach einen Arbeiter zu feuern, können Sie manchmal sagen: „Ihr beide macht Ähnliches; lassen Sie uns Ihre Aufgaben zu einer Person zusammenfassen."

Feuern: Entfernt eine Aufgabe (kann die Genauigkeit verringern).
Kombinieren: Verschmilzt zwei Aufgaben zu einer (kann etwas Präzision verlieren).
Die Methode des Papers: Sie entscheidet intelligent, welche Aufgaben gefeuert und welche kombiniert werden sollen, und findet das perfekte Gleichgewicht, damit Sie nicht zu viel Qualität verlieren, während Sie Platz sparen.

Warum das wichtig ist (laut dem Paper)

Die Autoren haben dies an Standard-KI-Rätseln getestet (wie das Erkennen handschriftlicher Zahlen oder Bilder). Sie stellten fest, dass:

Sie das Beste aus beiden Welten erhalten: Sie können eine Leistung erzielen, die sehr nahe an der von zwei vollständigen Modellen liegt, aber mit nur etwa dem 1,5-fachen der Größe eines einzelnen Modells (anstatt dem 2-fachen).
Es geht nicht nur um die Größe: Manchmal hilft es dem endgültigen Modell tatsächlich, besser zu performen, wenn die „seltsamen" oder „einzigartigen" Arbeiter isoliert bleiben, weil dies die einzigartigen Stärken der ursprünglichen Köche bewahrt.
Es funktioniert bei verschiedenen Formen: Egal, ob die KI eine einfache Liste von Zahlen (MLP) oder ein komplexer Bildprozessor (CNN) ist, diese Methode des „Matchings ähnlicher Teile und des Belassens einzigartiger Teile" funktioniert gut.

Kurz gesagt: Das Paper lehrt uns, dass wir beim Kombinieren zweier KI-Gehirne sie nicht einfach zusammenwerfen oder völlig getrennt halten sollten. Wir sollten wie ein Matchmaker handeln, der ähnliche Teile zusammenbringt, um Platz zu sparen, während er den einzigartigen Teilen erlaubt, in ihrer eigenen Art zu glänzen.

Technische Zusammenfassung: Partielle Fusion neuronaler Netzwerke

Problemstellung

Ensembles neuronaler Netzwerke übertreffen einzelne Modelle typischerweise durch die Kombination ihrer Ausgaben und bieten erhöhte Robustheit sowie Vorhersageleistung. Ensembles verursachen jedoch erhebliche Rechenkosten, da mehrere Modelle im Speicher gehalten werden müssen und die Inferenzzeit steigt. Umgekehrt erzeugen Methoden zur Gewichtungsaggregation (wie das Mitteln von Gewichten) einzelne, kosteneffiziente Modelle, leiden aber häufig unter reduzierter Genauigkeit, insbesondere wenn die fusionierten Netzwerke nicht abgeglichen wurden oder auf unterschiedlichen Datenverteilungen trainiert wurden. Bestehende Techniken zur Gewichtungsaggregation verlassen sich oft auf strenge Permutationsinvarianz (Abgleich von Schichten gleicher Größe) oder erfordern komplexe Abgleichverfahren, die sich möglicherweise nicht auf heterogene Architekturen oder ungleiche Schichtgrößen verallgemeinern lassen.

Die zentrale Herausforderung besteht darin, einen effizienten Kompromiss zwischen der hohen Leistungsfähigkeit von Ensembles und den geringen Rechenkosten der Gewichtungsaggregation zu finden. Aktuelle Methoden tendieren zu einer binären Entscheidung: Entweder werden Gewichte vollständig aggregiert (mit potenziellem Leistungsverlust) oder ein vollständiges Ensemble wird beibehalten (mit hohen Kosten). Es besteht ein Bedarf nach einem flexiblen Mechanismus, um zwischen diesen Extremen zu interpolieren.

Methodik

Die Arbeit stellt Partielle Fusion vor, eine Methode, die zwischen Gewichtungsaggregation und Ensembles interpoliert, indem nur die ähnlichsten Neuronen über die Netzwerke hinweg fusioniert werden, während die verbleibenden Neuronen isoliert bleiben. Dieser Ansatz ermöglicht einen flexiblen, schichtweisen Kompromiss zwischen Modellgröße und Leistung.

1. Partielle Fusion via Partielle Optimaler Transport

Die vorgeschlagene Hauptmethode erweitert bestehende Techniken zur Gewichtungsaggregation, die auf der Ähnlichkeit auf Neuronenebene basieren.

Konzept: Anstatt alle Neuronen zwischen zwei Netzwerken abzugleichen (wie bei der Standard-Fusion mittels Optimaler Transport (OT)), identifiziert und matcht die partielle Fusion nur die ähnlichsten Neuronen. Die unmatched (am wenigsten ähnlichen) Neuronen bleiben isoliert und behalten ihre ursprünglichen Gewichte.
Mechanismus: Die Autoren nutzen Partiellen Optimalen Transport (Partieller OT). Gegeben zwei Netzwerke $A$ $A$ und $B$ $B$ , wird eine Kopplung $\tilde{\pi}$ $\tilde{π}$ berechnet, die nur einen Bruchteil $(1-\alpha)$ $(1 - α)$ der Masse zwischen den Neuronen der beiden Netzwerke matcht, wobei $\alpha \in [0, 1]$ $α \in [0, 1]$ ein Parameter ist, der den Grad der Fusion steuert.
- $\alpha = 0$ : Entspricht der vollständigen Gewichtungsaggregation (alle Neuronen gematcht).
- $\alpha = 1$ : Entspricht einem Ensemble (keine Neuronen gematcht).
Implementierung: Die Methode kodiert Schichten als diskrete Wahrscheinlichkeitsverteilungen basierend auf Neuronenmerkmalen (z. B. Aktivvektoren oder Gewichtsmatrizen). Sie löst ein Problem des partiellen OT, um die optimale Zuordnung der ähnlichsten Neuronen zu finden. Das resultierende fusionierte Netzwerk $C$ enthält pro Schicht drei Komponenten: isolierte Neuronen aus $A$ , fusionierte Neuronen (gemittelte Gewichte) und isolierte Neuronen aus $B$ .
Globale Optimierung: Um den Abgleich zu verbessern, integriert die Methode einen Fixpunkt-Iterationsansatz (inspiriert von Ainsworth et al., 2023), der Permutationen/Matchings global über Schichten hinweg optimiert, anstatt schichtweise, und berücksichtigt Abhängigkeiten zwischen den Schichten.

2. Generalisiertes Pruning

Die Arbeit fasst die partielle Fusion aus einer komplementären Perspektive als generalisiertes Pruning von Ensemble-Modellen auf.

Konzept: Anstatt mit der Gewichtungsaggregation zu beginnen und diese zu lockern, beginnt diese Sichtweise mit einem Ensemble (ein großes verkettetes Modell) und wendet eine Pruning-Operation an. Im Gegensatz zum Standard-Pruning, das nur Neuronen löscht, erlaubt das generalisierte Pruning, dass Neuronen linear kombiniert werden.
Formalismus: Dies wird formalisiert als Transformation der Gewichte eines großen Ensemble-Modells $E$ in ein kleineres Netzwerk $S$ durch lineare Transformationen (stochastische Kerne).
Clustering-Ansatz: Eine spezifische Realisierung des generalisierten Prunings wird unter Verwendung von Clustering vorgeschlagen. Neuronen aus dem Ensemble werden geclustert, und Neuronen innerhalb eines Clusters werden linear kombiniert. Dies bietet mehr Freiheitsgrade als die partielle Fusion, da es Kombinationen nicht auf Paare aus verschiedenen Netzwerken beschränkt.
Induktive Bias: Die Autoren stellen fest, dass die partielle Fusion einen spezifischen induktiven Bias auferlegt: Sie kombiniert Neuronen nur linear, wenn sie aus verschiedenen Netzwerken stammen, und beschränkt Kombinationen auf Paare. Es wird vermutet, dass dieser Bias für Convolutional Neural Networks (CNNs) vorteilhaft ist, während der flexiblere Clustering-Ansatz besser für Multi-Layer Perceptrons (MLPs) geeignet sein könnte.

Hauptbeiträge

Rahmenwerk der Partiellen Fusion: Die Einführung einer Methode zur Interpolation zwischen Gewichtungsaggregation und Ensembles durch das Zusammenführen nur der ähnlichsten Neuronen, was einen einstellbaren Kompromiss zwischen Rechenkosten und Leistung bietet.
Perspektive des generalisierten Prunings: Die theoretische Vereinheitlichung der partiellen Fusion und der Modellkompression unter dem Konzept des generalisierten Prunings, bei dem Neuronen linear kombiniert statt nur gelöscht werden können. Dies erweitert die Anwendbarkeit der Methode auf die Kompression einzelner Modelle.
Konkrete Algorithmen:
- Partielle OT-Fusion: Eine Erweiterung der OT-basierten Modellfusion unter Verwendung von partiellem Optimalen Transport zur Handhabung ungleicher Matchings und Schichtgrößen.
- Clustering-basiertes Pruning: Eine Methode für generalisiertes Pruning unter Verwendung von hierarchischem Clustering zur linearen Kombination von Neuronen, die Flexibilität bei der Modellkompression bietet.
Empirische Validierung: Experimente an MLPs und CNNs (VGG11, ResNet18) über verschiedene Datensätze (MNIST, CIFAR10), die zeigen, dass die partielle Fusion eine Leistung erzielt, die der von Ensembles näher kommt, mit deutlich weniger Parametern.

Ergebnisse

Die Experimente demonstrieren die Wirksamkeit der vorgeschlagenen Methoden in mehreren Regimen:

Aggregation aufgeteilter Datensätze (heterogene Daten): Beim Zusammenführen von Modellen, die auf verschiedenen Datenaufteilungen trainiert wurden (z. B. eines spezialisiert, eines allgemein), übertrifft die partielle OT-Fusion die Standard-OT-Fusion erheblich. Eine Erhöhung der Anzahl der isolierten Neuronen (Erhöhung von $\alpha$ ) führt zu monotonen Leistungsverbesserungen und schließt die Lücke zwischen dem aggregierten Modell und dem Ensemble. Beispielsweise ergab eine 20-40%ige Erhöhung der Neuronenzahl klare Genauigkeitsgewinne gegenüber der Standardfusion.
Fine-Tuning: Partiell fusionierte Modelle übertreffen beim Fine-Tuning mit einer kleinen Teilmenge von Daten (1% für MNIST, 5% für CIFAR10) konsistent sowohl einzelne Modelle als auch das vollständige Ensemble in der Genauigkeit.
Aggregation bei gleichen Daten: Beim Zusammenführen von Modellen, die mit verschiedenen Seeds auf denselben Daten trainiert wurden, performt die vollständige Gewichtungsaggregation oft schlecht für CNNs (wie VGG11), aber besser für ResNets aufgrund von Residualverbindungen. Die partielle Fusion bietet eine robuste Interpolation und stellt die bei der vollständigen Fusion verloren gegangene Leistung wieder her.
Kompression einzelner Modelle (generalisiertes Pruning):
- Für MLPs übertrifft generalisiertes Pruning via Clustering sowohl unstrukturiertes Pruning als auch Pruning mit Nachbearbeitung (OT-Fusion) erheblich. Die Autoren führen dies auf die Fähigkeit des Clustering zurück, die Fehler des "Löschens" (Pruning) und des "Verschmierens" (lineare Kombination) auszugleichen.
- Für CNNs (VGG11) übertrifft die partielle OT-Fusion das Clustering oft, was darauf hindeutet, dass der induktive Bias des Matchings spezifischer Neuronenpaare für Faltungsschichten effektiver ist.
Parametereffizienz: Die Methoden ermöglichen Modellgrößen zwischen denen eines einzelnen Netzwerks und eines vollständigen Ensembles. Beispielsweise verwendet ein partiell fusioniertes Modell mit $\alpha=0.5$ ungefähr das 1,45-fache der Parameter eines einzelnen Netzwerks (verglichen mit dem 2-fachen für ein Ensemble), erreicht jedoch eine Genauigkeit, die viel näher am Ensemble liegt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die primäre Einsicht die Bedeutung von Unterschieden in der Ähnlichkeit auf Neuronenebene ist. Neuronen variieren in ihrer Einzigartigkeit; einige sind über Netzwerke hinweg hochgradig ähnlich, während andere einzigartige Rollen spielen. Die vorgeschlagenen Methoden nutzen diese Unterschiede aus:

Partielle Fusion nutzt die Tatsache, dass das Isolieren der am wenigsten ähnlichen Neuronen die durchschnittliche Ähnlichkeit der verbleibenden aggregierten Neuronen erhöht, was zu einer effektiveren Gewichtsmittelung führt.
Generalisiertes Pruning nutzt den Kompromiss zwischen dem Löschen von Neuronen (Informationsverlust) und dem linearen Kombinieren (Verschmieren von Informationen).

Die Autoren positionieren ihre Arbeit als einen Schritt hin zu einer strukturierten Studie von Merging-Operationen im Gewichtsraum neuronaler Netzwerke. Sie betonen, dass die Methoden einen flexiblen, effizienten Kompromiss zwischen Modellgröße und Leistung bieten, der oft überproportionale Leistungsgewinne für kleine Erhöhungen der Modellgröße liefert. Die Arbeit bleibt bezüglich zukünftiger Implikationen bescheiden und stellt fest, dass die Skalierung auf größere Modelle und die Entwicklung prinzipieller Kriterien für schichtweise Entscheidungen (z. B. welche Schichten fusioniert vs. isoliert werden sollen) offene Richtungen für zukünftige Arbeiten sind. Der Code wird zur Verfügung gestellt, um weitere Forschung zu erleichtern.