Technische Samenvatting: Symmetrieën in PAC-Bayesiaans Leren

Probleemstelling

Symmetrieën in machine learning, zoals rotationele of translationele invariantie, zijn empirisch bekend om de prestaties van modellen te verbeteren. Bestaande theoretische garanties die deze winsten verklaren, worden echter beperkt door restrictieve aannames. Voortgaande theoretische kaders, met name binnen de PAC-Bayesiaanse setting, leunen doorgaans op twee belangrijke beperkingen:

1. Compactheid: De symmetriegroep moet compact zijn (bijv. eindige groepen of rotaties), wat niet-compacte groepen zoals translaties of schalingen uitsluit, die centraal staan in architecturen zoals Convolutional Neural Networks (CNN's).
2. Data-invariantie: De datadistributie zelf wordt verondersteld invariant te zijn onder de groepswerking. In realistische scenario's is dit zelden het geval (bijv. een ondersteboven staande kop water is onwaarschijnlijk in natuurlijke data, wat de translationele invariantie schendt).

Dit werk adresseert de kloof in het theoretisch begrip door generalisatiegaranties uit te breiden naar settings die betrokken zijn bij niet-compacte symmetrieën en niet-invariante datadistributies.

Methodologie

De auteurs maken gebruik van het PAC-Bayesiaanse kader, dat data-afhankelijke priors en posteriors toestaat over hypotheseklassen. De methodologie verloopt in drie fasen:

1. Probleemformulering en Aannames

Het artikel formaliseert het datageneratieproces waarbij outputs $Y$ worden gegenereerd uit inputs $X$ via een groep-equivariante functie $f^*$ die is geperturbeerd door onafhankelijke ruis $\Xi$ (Aanname 2.1).

• Groepswerking: Een topologische groep $G$ werkt op de inputruimte $X$ en de outputruimte $Y$.
• Equivariantie: Een hypothese $f$ is equivariant als $f(g \cdot x) = g \cdot f(x)$.
• Verliesfunctie: De verliesfunctie $\ell$ wordt aangenomen convex te zijn in zijn eerste argument en $G$-invariant (Aanname 4.1), wat betekent dat $\ell(g \cdot y, g \cdot \hat{y}) = \ell(y, \hat{y})$.

Cruciaal is dat de auteurs de vereiste dat $G$ compact moet zijn en dat de datadistributie invariant moet zijn, versoepelen. Ze nemen aan dat de groepswerking op de inputruimte vrij is (Aanname 3.1) om de constructie van een middelingoperator te faciliteren.

2. De Middelingoperator en KL-decompositie

Om niet-compacte groepen en niet-invariante distributies te behandelen, introduceren de auteurs een gegeneraliseerde middelingoperator $Q$. In tegenstelling tot eerdere werken die vertrouwen op een Haar-maat (die compactheid vereist), integreert deze operator over de groepsorbit met behulp van een waarschijnlijkheidskern afgeleid van de Disintegratietheorema (Theorema 1.1).

• Definitie: $Q(f)(x) = \pi_G(x) \cdot \int_G g^{-1} \cdot f(g \cdot \pi_{X_\phi}(x)) \kappa(\pi_{X_\phi}(x), dg)$, waarbij $\kappa$ de conditionele distributie van de groep is gegeven de orbit-representant.
• Eigenschap: $Q$ brengt willekeurige meetbare functies naar equivariante functies en fungeert als een projectie ($Q^2 = Q$).

Met behulp van deze operator leiden de auteurs een KL-divergentie decompositie af (Lemma 3.4). Voor twee maten $\mu$ en $\nu$ op de hypotheseklasse:
$$D_{KL}(\mu \| \nu) = D_{KL}(Q_*\mu \| Q_*\nu) + \text{Restterm}$$
Dit toont aan dat de KL-divergentie tussen de oorspronkelijke maten strikt groter is dan of gelijk aan de KL-divergentie tussen hun equivariante projecties ($Q_*\mu$ en $Q_*\nu$). De restterm vangt de "niet-equivariante" informatie op die door de projectie wordt weggegooid.

3. Generalisatiebounds

De auteurs passen deze decompositie toe op de McAllester's PAC-Bayes bound.

• Complexiteitsreductie: Door de prior en posterior te beperken tot equivariante functies (via de pushforward $Q_*$), wordt de complexiteitsterm (met betrekking tot $D_{KL}$) verminderd (Corollary 3.6).
• Risicoreductie: De auteurs bewijzen dat het symmetriseren van de hypothese het ware risico niet verhoogt en dat risico's volledig berekend kunnen worden op orbit-representanten zonder informatieverlies (Theorem 4.3).
• Hoofdresultaat: De afgeleide bound (Vergelijking 14) is geldig voor niet-compacte groepen en niet-invariante data, wat een strakkere generalisatiegarantie biedt voor equivariante modellen vergeleken met standaard bounds toegepast op de volledige hypotheseklasse.

Belangrijkste Bijdragen

1. Extensie naar Niet-Compacte Symmetrieën: Het artikel biedt de eerste PAC-Bayesiaanse generalisatieanalyse die niet-compacte symmetriegroepen (bijv. translaties, schalingen, Lorentz-transformaties) kan accommoderen, waardoor translationele architecturen binnen een verenigd kader worden gedekt.
2. Versoepeling van Data-invariantie: De theoretische garanties vereisen niet dat de datadistributie invariant is onder de groepswerking, wat een belangrijke beperking aanpakt van eerder werk waar real-world data vaak aan deze aanname voldoet.
3. Gegeneraliseerde Middelingoperator: De introductie van een middelingoperator gebaseerd op het Disintegratietheorema maakt het mogelijk om hypothesen te projecteren op equivariante subruimten zonder te vertrouwen op de aanwezigheid van een uniforme (Haar) maat, die niet beschikbaar is voor niet-compacte groepen.
4. Strakkere Bounds: Het werk demonstreert dat het afdwingen van equivariantie leidt tot een strikt kleinere KL-divergentieterm in de PAC-Bayes bound, wat de verbeterde generalisatieprestaties van symmetrische modellen theoretisch verklaart.

Experimentele Resultaten

De auteurs valideren hun theorie via numerieke experimenten op verschillende datasets (Toy Example, MNIST, CIFAR-10/100, ModelNet, Top Tagging) met zowel compacte (SO(2), SO(3)) als niet-compacte (SE(2), $\mathbb{R}^+$, $SO^+(1,3)$) groepen.

• Setup: Ze vergelijken baseline neurale netwerken (niet-equivariant) met de equivariante tegenhangers (gebruikmakend van bibliotheken zoals e2cnn en e3nn). De experimenten gebruiken expliciet niet-uniforme sampling van transformaties om de aannames van data-invariantie te schenden.
• Bevindingen:
  • KL-Reductie: De symmetrische posteriors bereikten consequent aanzienlijk lagere KL-divergenties vergeleken met de baselines (een reductie van 14,5% tot 89,2% over de datasets).
  • Bound Tightening: De PAC-Bayesiaanse generalisatiebounds waren aanzienlijk strakker voor equivariante modellen (reducties van 10% tot 34%).
  • Prestaties: Equivariante modellen kwamen overeen met of verbeterden de baseline test-risico (bijv. een risicoreductie van 5,3% tot 41,5% in specifieke gevallen), wat bevestigt dat de theoretische aanscherping vertaalt naar empirische winst, zelfs wanneer de datadistributies niet invariant zijn.

Betekenis en Claims

Het artikel beweert theoretisch bewijs te leveren dat symmetrische modellen te prefereren zijn buiten de nauwe setting van compacte groepen en invariante distributies. Door deze restrictieve aannames te verwijderen, verbbreedt het werk de theoretische fundamenten van symmetrie in machine learning.

De auteurs stellen dat hun bevindingen een gefundeerde verklaring bieden voor het empirische succes van symmetrie-bewuste architecturen (zoals CNN's) in praktische scenario's waarin data noch perfect invariant, noch beheerst wordt door compacte groepen. Ze benadrukken dat hun kader van toepassing is op algemene hypotheseklassen en de standaard PAC-Bayesiaanse formuleringen volgt, waardoor de resultaten toepasbaar zijn op een breed scala aan leerproblemen met niet-compacte symmetrieën. Het werk claimt niet alle generalisatieproblemen op te lossen, maar richt zich specifiek op de theoretische kloof met betrekking tot de rol van symmetrieën in niet-ideale, real-world datadistributies.