Technische Samenvatting: Voorbij Structurele Symmetrieën: Lineaire Modus Connectiviteit via Neuron-Identificeerbaarheid

Probleemstelling

Deep learning-modellen, met name overgeparameteriseerde neurale netwerken, vertonen een fenomeen waarbij onafhankelijk getrainde oplossingen vaak convergeren naar modellen met vergelijkbare voorspellingen en generalisatieprestaties, ondanks dat ze zich in zeer niet-convexe verlieslandschappen bevinden. Een cruciale eigenschap die dit verklaart is Lineaire Modus Connectiviteit (LMC), waarbij twee getrainde oplossingen lineair geïnterpoleerd kunnen worden in de gewichtsruimte terwijl de loss laag blijft.

LMC wordt echter vaak gehinderd door parametersymmetrieën, specifiek permutatiesymmetrieën van verborgen eenheden. In standaardarchitecturen laat het permuteren van verborgen eenheden en het compenseren in aangrenzende lagen de gerealiseerde functie onveranderd. Hierdoor verkennen onafhankelijke trainingsruns verschillende representanten van dezelfde functieritme (function orbit), wat directe lineaire interpolatie doet falen (hoge loss-barrières), tenzij een post-hoc uitlijning (permutatie-matching) wordt uitgevoerd.

Recent werk heeft geprobeerd deze structurele symmetrieën te doorbreken via architecturale interventies (bijv. het vastzetten van willekeurige gewichten of maskers) om niet-uitgelijnde LMC (LMC zonder uitlijning) te bereiken. Toch zijn de empirische resultaten gemengd: sommige methoden voor het doorbreken van symmetrie leveren wel niet-uitgelijnde LMC op, terwijl andere dat niet doen. Dit artikel onderzoekt waarom het doorbreken van structurele symmetrie soms onvoldoende is en stelt dat effectief symmetrie doorbreken afhangt van de interactie tussen architectuur, datageometrie en de identificeerbaarheid van neuronen.

Methodologie

1. Theoretisch Kader: Effectieve Functieklassen en Realisatiekosten

De auteurs ontwikkelen een theoretisch kader gecentreerd rond effectieve functieklassen en realisatiekosten.

• Effectieve Functieklasse ($H_i(X)$): Voor een neuron $i$ in een laag is dit de verzameling functies die het kan realiseren op de input-ondersteuning $X$ (de datadistributie of geleerde representaties).
• Realisatiekosten: De minimale gewichtsnorm die vereist is voor een neuron om een specifieke functie $h$ te realiseren. Deze kosten worden gemeten relatief aan de effectieve functieklasse van het neuron.
• Symmetrie doorbreken via Identificeerbaarheid: Het artikel definieert neuron-identificeerbaarheid als de consistente toewijzing van kenmerken (features) aan neuronen over onafhankelijke trainingsruns heen. Dit vindt plaats wanneer architecturale asymmetrieën de training sturen naar een unieke, laag-kostende toewijzing van kenmerken aan neuronen.

De auteurs modelleren de input-ondersteuning $X$ als liggend op een laagdimensionale subruimte $U$ (Aanname 3.1). Ze analyseren een interventie voor het doorbreken van symmetrie waarbij de effectieve gewichtsmatrix $W_{eff} = F + D \odot W$ is, waarbij $F$ (vaste offsets) en $D$ (vaste diagonale maskers) architecturale componenten zijn en $W$ trainbaar is.

2. Kwantificering van Symmetrie Doorbreken

De kern van de analyse betreft het kwantificeren van de gevoeligheid van realisatiekosten voor permutaties.

• Permutatiesensitiviteit ($\Delta_{\pi, \tau}$): De verandering in de totale realisatiekosten wanneer kenmerken opnieuw worden toegewezen aan verschillende neuronen (output-permutatie $\pi$) of wanneer inputcoördinaten opnieuw worden geïndexeerd (input-permutatie $\tau$).
• Centrum-gedomineerd Regime: De auteurs identificeren een regime waarin de vaste gewichten $F$ de trainbare gewichten $W$ domineren. In dit regime wordt de kost van het wisselen van neuronen primair bepaald door de afstand tussen hun vaste centra geprojecteerd op de input-subruimte.
• Subruimte Coherentie ($\nu(U)$): Het artikel introduceert het concept van subruimte coherentie om te meten hoe uitgelijnd de hoofdrichtingen van de data zijn met de standaardbasis. Hoge coherentie impliceert dat het maskeren van specifieke inputcoördinaten (via $D$) een uitgesproken effect heeft op welke kenmerken door welke neuronen gerealiseerd kunnen worden.

3. Verbinding met Lineaire Modus Connectiviteit

Het artikel legt een verband tussen neuron-identificeerbaarheid en LMC.

• Koorddeviatie (Chord Deviation): De auteurs analyseren de afwijking van de output van het netwerk langs een lineair interpolatiepad tussen twee oplossingen. Ze tonen aan dat als neuronen "centrum-gedomineerd" zijn (vaste gewichten domineren), de koorddeviatie klein is ($O(\beta^{3/2})$), wat duidt op een lage loss-barrière.
• Mergen zonder Uitlijning: Als neuronen identificeerbaar zijn (d.w.z. hun rollen worden door de architectuur en data gefixeerd), kunnen representaties worden samengevoegd zonder expliciete uitlijning, wat leidt tot niet-uitgelijnde LMC.

Belangrijkste Bijdragen

1. Theoretisch Kader voor Neuron-Identificeerbaarheid: Het artikel formaliseert neuron-identificeerbaarheid als de consistente toewijzing van kenmerken aan neuronen over verschillende trainingsruns, gedreven door het minimaliseren van realisatiekosten. Het maakt onderscheid tussen structureel symmetrie doorbreken (het doorbreken van symmetrieën in de ruwe parameterruimte) en effectief symmetrie doorbreken (het doorbreken van symmetrieën op de werkelijke input-ondersteuning).
2. Karakterisering van Realisatiekosten: De auteurs leiden gesloten vorm-expressies af voor realisatiekosten als Mahalanobis-normen, afhankelijk van de Gram-matrices van de vaste architecturale componenten ($F$ en $D$) geprojecteerd op de input-subruimte.
3. Condities voor Effectief Symmetrie Doorbreken:
   • Vaste Gewichten ($F$): In het centrum-gedomineerde regime vereist effectief symmetrie doorbreken dat de geprojecteerde centra van neuronen voldoende gescheiden zijn. Het artikel biedt asymptotische grenzen aan die aantonen dat deze scheiding afhangt van het aantal neuronen ($m$) en de intrinsieke dimensie van de data ($k$). Als $k$ klein is ten opzijde van $m$, is scheiding moeilijk en kunnen symmetrieën effectief intact blijven.
   • Input-subruimte Coherentie: Het artikel toont aan dat zelfs zonder grote vaste gewichten, hoge subruimte coherentie effectief symmetrie doorbreken kan mogelijk maken via de diagonale operator $D$, omdat het bepaalde feature-richtingen duur maakt om te realiseren voor specifieke neuronen.
4. Trade-off tussen Identificeerbaarheid en Feature Learning: De auteurs bewijzen een hardheidsresultaat dat suggereert dat sterke symmetrie doorbreken (het afdwingen van consistente neuron-rollen) de verzameling kenmerken die een netwerk kan leren binnen een gegeven norm-budget beperkt, wat potentieel de expressiviteit beperkt vergeleken met een volledig symmetrische random feature baseline.
5. Verenigende Verklaring van Empirische Fenomenen: Het kader verklaart waarom sommige methoden voor het doorbreken van symmetrie (zoals W-asymmetrische netwerken met grote vaste gewichten) wel niet-uitgelijnde LMC opleveren, terwijl andere (zoals sparse netwerken zonder vaste offsets) dat niet doen.

Experimentele Resultaten

De auteurs valideren hun theorie via experimenten op MLPs en ResNets (en een voorlopige Transformer-extensie) met behulp van MNIST en CIFAR-10.

• Effect van de Schaal van Vaste Gewichten ($\sigma_F$): Experimenten die de $\sigma_F$ variëren laten zien dat voor een kleine $\sigma_F$ (effectief symmetrisch), de activatie-matching doelstelling (een proxy voor identificeerbaarheid) laag is voor identiteitspermutaties, en de niet-uitgelijnde LMC-barrières hoog zijn. Naarmate $\sigma_F$ toeneemt, worden identiteitspermutaties bijna optimaal en dalen de niet-uitgelijnde LMC-barrières aanzienlijk.
• Intrinsieke Dimensie ($k$): Met behulp van synthetische Gaussian mixture-data laten de auteurs zien dat de kosten voor het wisselen van neuronen (een maatstaf voor symmetrie doorbreken) laag zijn wanneer de intrinsieke dimensie $k$ klein is ten opzichte van de netbreedte, zelfs met symmetrie-doorbrekende architecturen. Naarmate $k$ toeneemt, stijgen de swap-kosten en verbetert de niet-uitgelijnde LMC.
• Subruimte Coherentie: Experimenten die de coherentie van de input-subruimte variëren, bevestigen dat hoge coherentie ervoor zorgt dat diagonale masking ($D$) alleen al effectief symmetrie doorbreken en niet-uitgelijnde LMC kan induceren, zelfs wanneer de vaste gewichten ($F$) nul zijn.
• Transformers: Voorlopige resultaten op Vision Transformers suggereren dat hoewel het W-asymmetrische mechanisme de interpolatie-barrières vermindert, de complexe symmetrieën van aandachtmechanismen (voorbij eenvoudige permutaties) het bereiken van perfecte niet-uitgelijnde LMC uitdagender maken dan bij MLPs.

Betekenis en Claims

Het artikel claimt een verenigend theoretisch perspectief te bieden voor het begrijpen van wanneer en waarom het doorbreken van parametersymmetrie leidt tot neuron-identificeerbaarheid en lineaire modus connectiviteit.

• Voorbij Structurele Symmetrieën: De primaire betekenis is de verschuiving van het beschouwen van symmetrie doorbreken als een puur structurele eigenschap van de architectuur naar een effectieve eigenschap die wordt bepaald door de interactie tussen de architectuur, de datadistributie en de geleerde representaties.
• Mechanisme voor Niet-uitgelijnde LMC: Het werk verheldert dat niet-uitgelijnde LMC niet gegarandeerd wordt door simpelweg de permutatiesymmetrieën in de gewichtsruimte te doorbreken; het vereist dat de architectuur een unieke, laag-kostende toewijzing van kenmerken aan neuronen induceert die stabiel is over verschillende trainingsruns.
• Rol van Datageometrie: Het artikel benadrukt dat de geometrie van de data (specifiek subruimte coherentie en intrinsieke dimensie) een cruciale rol speelt bij het bepalen of een interventie voor het doorbreken van symmetrie effectief is.
• Beperkingen en Trade-offs: De auteurs merken bescheiden op dat sterk symmetrie doorbreken ten koste kan gaan van de capaciteit voor het leren van kenmerken (feature learning), aangezien het netwerk wordt beperkt tot specifieke feature-neuron mappingen. Ze erkennen ook dat hun huidige kader zich richt op permutatiesymmetrieën en mogelijk uitgebreid moet worden voor rijkere symmetriegroepen (zoals in Transformers).

Samenvattend betoogt het artikel dat neuron-identificeerbaarheid de sleutelmechanisme is die architecturale interventies, datageometrie en het ontstaan van lineaire modus connectiviteit met elkaar verbindt, en biedt daarmee een voorspellend kader voor wanneer het samenvoegen van niet-uitgelijnde modellen zal slagen.