Technische Samenvatting: Partiële Fusie van Neuronale Netwerken

Probleemstelling

Ensembles van neuronale netwerken presteren doorgaans beter dan individuele modellen door hun outputs te combineren, wat leidt tot verhoogde robuustheid en voorspellingsprestaties. Ensembles brengen echter aanzienlijke rekenkosten met zich mee, omdat meerdere modellen in het geheugen moeten worden opgeslagen en de inferentietijd toeneemt. Omgekeerd produceren methoden voor gewichtsaggregatie (zoals gewichtsaveragering) enkele, kostenefficiënte modellen, maar lijden deze vaak onder verminderde nauwkeurigheid, vooral wanneer de samengevoegde netwerken niet zijn uitgelijnd of op verschillende data-distributies zijn getraind. Bestaande technieken voor gewichtsaggregatie vertrouwen vaak op strikte permutatie-invariantie (het matchen van lagen van gelijke grootte) of vereisen complexe uitlijnprocedures die mogelijk niet generaliseren naar heterogene architecturen of ongelijke laaggroottes.

De kernuitdaging die wordt aangepakt, is het vinden van een efficiënte afweging tussen de hoge prestaties van ensembles en de lage rekenkosten van gewichtsaggregatie. Huidige methoden neigen naar een binair karakter: ofwel worden gewichten volledig geaggregeerd (met mogelijk verlies van prestaties) ofwel wordt een volledig ensemble behouden (met hoge kosten). Er is behoefte aan een flexibel mechanisme om te interpoleren tussen deze uitersten.

Methodologie

Het artikel introduceert Partiële Fusie, een methode die interpoleert tussen gewichtsaggregatie en ensembles door alleen de meest vergelijkbare neuronen over netwerken heen te samenvoegen, terwijl de overige neuronen geïsoleerd blijven. Deze aanpak staat een flexibele, laag-voor-laag afweging toe tussen modelgrootte en prestaties.

1. Partiële Fusie via Partiële Optimal Transport

De primaire voorgestelde methode breidt bestaande technieken voor gewichtsaggregatie uit die gebaseerd zijn op gelijkenis op neuron-niveau.

• Concept: In plaats van alle neuronen tussen twee netwerken uit te lijnen (zoals bij standaard Optimal Transport (OT) Fusie), identificeert en matcht partiële fusie alleen de meest vergelijkbare neuronen. De niet-gematchte (meest verschillende) neuronen blijven geïsoleerd, waardoor hun oorspronkelijke gewichten behouden blijven.
• Mechanisme: De auteurs maken gebruik van Partiële Optimal Transport (Partiële OT). Gegeven twee netwerken $A$ en $B$, wordt een koppeling $\tilde{\pi}$ berekend die slechts een fractie $(1-\alpha)$ van de massa tussen de neuronen van de twee netwerken matcht, waarbij $\alpha \in [0, 1]$ een parameter is die de mate van fusie controleert.
  • $\alpha = 0$: Komt overeen met volledige gewichtsaggregatie (alle neuronen gematcht).
  • $\alpha = 1$: Komt overeen met een ensemble (geen neuronen gematcht).
• Implementatie: De methode encodeert lagen als discrete kansverdelingen op basis van neuronkenmerken (bijvoorbeeld activatievectoren of gewichtsmatrices). Het lost een partiële OT-probleem op om de optimale matching van de meest vergelijkbare neuronen te vinden. Het resulterende gefuseerde netwerk $C$ bevat drie componenten per laag: geïsoleerde neuronen uit $A$, gefuseerde neuronen (geaverageerde gewichten) en geïsoleerde neuronen uit $B$.
• Globale Optimalisatie: Om de uitlijning te verbeteren, incorporateert de methode een vastpunt-iteratiebenadering (geïnspireerd door Ainsworth et al., 2023) die permutaties/matchings globaal optimaliseert over lagen heen in plaats van laag-voor-laag, rekening houdend met afhankelijkheden tussen lagen.

2. Gegeneraliseerde Pruning

Het artikel presenteert partiële fusie vanuit een complementair perspectief: Gegeneraliseerde Pruning van ensemble-modellen.

• Concept: In plaats van te beginnen met gewichtsaggregatie en deze te versoepelen, begint dit perspectief met een ensemble (een groot samengevoegd model) en past een pruning-operatie toe. In tegenstelling tot standaard pruning, waarbij alleen neuronen worden verwijderd, staat gegeneraliseerde pruning toe dat neuronen lineair worden gecombineerd.
• Formalisatie: Dit wordt geformaliseerd als het transformeren van de gewichten van een groot ensemble-model $E$ naar een kleiner netwerk $S$ via lineaire transformaties (stochastische kernen).
• Clustering-benadering: Een specifieke realisatie van gegeneraliseerde pruning wordt voorgesteld met behulp van clustering. Neuronen uit het ensemble worden geklasteerd, en neuronen binnen een cluster worden lineair gecombineerd. Dit biedt meer vrijheidsgraden dan partiële fusie, omdat het combinaties niet beperkt tot paren uit verschillende netwerken.
• Inductieve Bias: De auteurs merken op dat partiële fusie een specifieke inductieve bias oplegt: het combineert neuronen alleen lineair als ze uit verschillende netwerken stammen en beperkt combinaties tot paren. Deze bias wordt verondersteld voordelig te zijn voor Convolutional Neural Networks (CNN's), terwijl de flexibelere clustering-benadering mogelijk beter geschikt is voor Multi-Layer Perceptrons (MLP's).

Belangrijkste Bijdragen

1. Partiële Fusie Framework: De introductie van een methode om te interpoleren tussen gewichtsaggregatie en ensembles door alleen de meest vergelijkbare neuronen te samenvoegen, waardoor een instelbare afweging tussen rekenkosten en prestaties wordt geboden.
2. Perspectief van Gegeneraliseerde Pruning: De theoretische unificatie van partiële fusie en modelcompressie onder het concept van gegeneraliseerde pruning, waarbij neuronen lineair kunnen worden gecombineerd in plaats van alleen te worden verwijderd. Dit breidt de toepasbaarheid van de methode uit tot compressie van single-modellen.
3. Concrete Algoritmen:
   • Partiële OT Fusie: Een uitbreiding van OT-gebaseerde modelfusie met behulp van partiële optimal transport om ongelijke matching en laaggroottes te hanteren.
   • Clustering-gebaseerde Pruning: Een methode voor gegeneraliseerde pruning met behulp van hiërarchische clustering om neuronen lineair te combineren, wat flexibiliteit biedt in modelcompressie.
4. Empirische Validatie: Experimenten op MLP's en CNN's (VGG11, ResNet18) over verschillende datasets (MNIST, CIFAR10) die aantonen dat partiële fusie prestaties bereikt die dichter bij ensembles liggen met aanzienlijk minder parameters.

Resultaten

De experimenten tonen de effectiviteit van de voorgestelde methoden in verschillende regimes:

• Aggregatie van Gesplitste Datasets (Heterogene Data): Bij het samenvoegen van modellen die op verschillende datasplits zijn getraind (bijvoorbeeld één gespecialiseerd, één algemeen), presteert Partiële OT Fusie aanzienlijk beter dan standaard OT-fusie. Het verhogen van het aantal geïsoleerde neuronen (het verhogen van $\alpha$) leidt tot monotoon prestatieverbeteringen, waardoor de kloof tussen het geaggregeerde model en het ensemble wordt overbrugd. Bijvoorbeeld, een toename van het aantal neuronen met 20-40% leverde duidelijke nauwkeurigheidswinsten op ten opzichte van standaard fusie.
• Fine-Tuning: Gedeeltelijk gefuseerde modellen, wanneer ze worden gefine-tuned met een klein subset van data (1% voor MNIST, 5% voor CIFAR10), overtreffen consistent zowel individuele modellen als het volledige ensemble in nauwkeurigheid.
• Aggregatie op Dezelfde Data: Bij het samenvoegen van modellen die op dezelfde data zijn getraind met verschillende zaden, presteert volledige gewichtsaggregatie vaak slecht voor CNN's (zoals VGG11), maar beter voor ResNets vanwege residuale verbindingen. Partiële fusie biedt een robuuste interpolatie en herstelt prestaties die bij volledige fusie verloren zijn gegaan.
• Compressie van Single Modellen (Gegeneraliseerde Pruning):
  • Voor MLP's presteert gegeneraliseerde pruning via clustering aanzienlijk beter dan zowel ongestructureerde pruning als pruning met nabewerking (OT Fusie). De auteurs schrijven dit toe aan het vermogen van clustering om de fouten van "verwijdering" (pruning) en "verschuiving" (lineaire combinatie) in evenwicht te brengen.
  • Voor CNN's (VGG11) presteert Partiële OT Fusie vaak beter dan clustering, wat suggereert dat de inductieve bias van het matchen van specifieke paren neuronen effectiever is voor convolutielagen.
• Parameter-efficiëntie: De methoden staan modelgroottes toe die liggen tussen die van een enkel netwerk en een volledig ensemble. Bijvoorbeeld, een gedeeltelijk gefuseerd model met $\alpha=0.5$ gebruikt ongeveer 1,45$\times$ de parameters van een enkel netwerk (tegenover 2$\times$ voor een ensemble) terwijl het nauwkeurigheid bereikt die veel dichter bij het ensemble ligt.

Betekenis en Claims

Het artikel claimt dat het primaire inzicht de betekenis is van verschillen in gelijkenis op neuron-niveau. Neuronen variëren in hun uniciteit; sommige zijn sterk vergelijkbaar over netwerken heen, terwijl andere unieke rollen spelen. De voorgestelde methoden exploiteren deze verschillen:

• Partiële Fusie maakt gebruik van het feit dat het behouden van de meest verschillende neuronen geïsoleerd de gemiddelde gelijkenis van de overige geaggregeerde neuronen verhoogt, wat leidt tot effectievere gewichtsaveragering.
• Gegeneraliseerde Pruning exploiteert de afweging tussen het verwijderen van neuronen (informatie verliezen) en het lineair combineren ervan (informatie vervagen).

De auteurs positioneren hun werk als een stap naar een gestructureerde studie van samenvoegoperaties in de gewichtsruimte van neuronale netwerken. Ze benadrukken dat de methoden een flexibele, efficiënte afweging bieden tussen modelgrootte en prestaties, waarbij vaak disproportionele prestatiewinsten worden behaald voor kleine toenames in modelgrootte. Het artikel blijft bescheiden wat betreft toekomstige implicaties, met de opmerking dat schalen naar grotere modellen en het ontwikkelen van principiële criteria voor laag-voor-laag beslissingen (bijvoorbeeld welke lagen moeten worden gefuseerd versus geïsoleerd) open richtingen zijn voor toekomstig werk. De code is beschikbaar gesteld om verder onderzoek te faciliteren.