Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power

Technische Samenvatting: Nadeel van het Afdwingen van Equivariantie en Compensatie via het Lens van Expressieve Kracht

Probleemstelling
Equivariante neurale netwerken (ENNs) zijn uitgegroeid tot een dominante aanpak voor het benutten van intrinsieke datasymmetrieën, met sterke prestaties in domeinen variërend van puntwolkverwerking tot grafische neurale netwerken. Deze netwerken dwingen equivariantie doorgaans af via architectonisch ontwerp (Laagsgewijze Equivariante Netwerken, of LENs) of optimalisatiebeperkingen (Algemene Equivariante Netwerken, of GENs). Hoewel de voordelen van equivariantie met betrekking tot generalisatie en steekproefficiëntie goed gedocumenteerd zijn, blijft de afweging met betrekking tot expressieve kracht theoretisch onderbelicht. Specifiek is het onduidelijk of het beperken van de hypothese-ruimte tot equivariante modellen inherent de vermogens van het netwerk om doelfuncties te benaderen vermindert in vergelijking met algemene netwerken (GNs) van dezelfde grootte, en of het afdwingen van equivariantie op elke laag (LENs) strengere beperkingen oplegt dan globale equivariantie (GENs).

Methodologie
Het artikel onderzoekt deze afweging door zich te richten op tweelaagse ReLU-netwerken. De auteurs maken gebruik van een geometrische analyse van de interne structuur van het netwerk, specifiek door grenshypervlakken (waar de stuksgewijs lineaire functie van helling verandert) en kanaalvectoren (de gewichtsvectoren die de activeringsgrenzen definiëren) te onderzoeken.

1. Geometrische Karakterisering: De auteurs definiëren grenshypervlakken en bewijzen dat voor een GEN de verzameling van deze hypervlakken symmetrisch moet zijn ten opzichte van de groeprepresentatie. Voor LENs leiden ze een strengere voorwaarde af: de kanaalvectoren zelf moeten een symmetrische verzameling vormen onder de groepswerking.
2. Constructieve Tegenvoorbeelden: Om de beperkingen aan te tonen, construeren de auteurs specifieke invariante doelfuncties op $\mathbb{R}^2$ en analyseren ze de benaderingscapaciteiten van GNs, GENs en LENs onder vaste aantal neuronen (specifiek 1-neuron en 3-neuron instellingen).
3. Compensatieanalyse: Het artikel onderzoekt of het vergroten van de modelgrootte (aantal neuronen) het verlies aan expressieve kracht kan compenseren. Dit omvat het construeren van specifieke LEN-architecturen die de functies van kleinere GNs of GENs repliceren en het analyseren van de resulterende dimensionaliteit van de hypothese-ruimte.

Belangrijkste Bijdragen en Resultaten

• Tekort aan Expressieve Kracht: Het artikel bewijst dat het strikt afdwingen van equivariantie de expressieve kracht voor een vaste modelgrootte vermindert.

  • GNs versus GENs: Voor een specifieke invariante doelfunctie kan een 1-neuron GN de functie benaderen met een niet-nul fout, terwijl de enige 1-neuron GEN de nulfunctie is, wat resulteert in een strikt hogere verwachte verlies.
  • GENs versus LENs: Voor een doelfunctie die drie neuronen vereist om perfect te worden gerepresenteerd door een GN of GEN, vereist een LEN ten minste zes neuronen. Dit komt omdat de symmetriebeperkingen op kanaalvectoren in LENs het netwerk dwingen parallelle vectoren (bijvoorbeeld $\alpha$ en $-\alpha$) als afzonderlijke kanalen op te nemen om laagsgewijze equivariantie te voldoen, wat de benodigde capaciteit voor bepaalde symmetrieën effectief verdubbelt.

• Compensatie via Modelvergroting: De auteurs bewijzen dat het verlies aan expressieve kracht volledig kan worden gecompenseerd door de modelgrootte te vergroten.

  • Bovenste Grenzen: Zij tonen aan dat het vergroten van een GEN tot een LEN met een factor $|G|$ (de grootte van de symmetriegroep) de LEN in staat stelt elke invariante functie te representeren die door de GEN kan worden gerepresenteerd.
  • Strakkere Grenzen: Verdere analyse toont aan dat voor invariante functies een LEN maximaal het dubbele van de modelgrootte van een GEN vereist om dezelfde verzameling functies te representeren. Dit wordt bereikt door een LEN te construeren waarbij kanaalvectoren worden gegroepeerd op basis van hun banen en waar mogelijk worden samengevoegd.

• Verminderde Hypothese-complexiteit: Een verrassende bevinding is dat, hoewel vergrote LENs meer neuronen hebben (grotere modelgrootte), ze een lagere dimensionale hypothese-ruimte bezitten in vergelijking met GNs van equivalente expressieve kracht.

  • In het geconstrueerde voorbeeld heeft een 6-neuron LEN die een specifieke functie representeert een parameterruimte van $\mathbb{R}^5$, terwijl een 3-neuron GN die dezelfde functie representeert een parameterruimte van $\mathbb{R}^9$ heeft.
  • Deze reductie in dimensionaliteit ontstaat omdat de structurele beperkingen van equivariantie parameters dwingen in specifieke deelruimten te liggen, wat het aantal onafhankelijke leerbare parameters vermindert ondanks het toegenomen aantal neuronen.

Betekenis en Aanspraken
Het artikel claimt de eerste diepgaande theoretische onderzoeke te zijn van de expressieve kracht van laagsgewijze equivariante neurale netwerken. De primaire betekenis ligt in:

1. Identificeren van een Nadeel: Het expliciet demonstreren dat equivariantie-beperkingen, met name op laagniveau, inherent de vermogens van een model om functies te benaderen kunnen beperken als de modelgrootte niet wordt aangepast.
2. Kwantificeren van Compensatie: Het verstrekken van formele bovenste grenzen (specifiek een factor van $|G|$ of een factor van 2) voor de modelgroottevergroting die nodig is om het verloren vermogen aan expressieve kracht terug te winnen.
3. Verzoenen van Generalisatie: Het betogen dat de "kost" van een verhoogde modelgrootte wordt gecompenseerd door een reductie in de dimensionaliteit van de hypothese-ruimte. Dit suggereert dat适当 gepaste LENs superieure generaliseerbaarheid kunnen bieden in vergelijking met standaard GNs, niet alleen vanwege inductieve bias, maar omdat ze opereren in een lagere dimensionale parameterruimte terwijl ze vergelijkbare benaderingscapaciteiten behouden.

De auteurs concluderen dat hoewel het afdwingen van equivariantie een nadeel heeft in ruwe expressieve kracht voor vaste maten, dit een beheersbare afweging is. Door de modelgrootte op de juiste manier te schalen, worden LENs een concurrerende oplossing die de benaderingscapaciteit in evenwicht brengt met verbeterd generalisatiepotentieel door verminderde hypothese-complexiteit.