Technische Samenvatting: Groep-Equivariante Poincaré Convolutionele Netwerken

Probleemstelling

Deep learning in de hyperbolische ruimte heeft superieure capaciteiten aangetoond voor het embedden van hiërarchische visuele data met minimale vervorming. Echter, huidige hyperbolische visuele netwerken, zoals de Poincaré ResNet, kampen met twee kritieke inefficiënties:

1. Computationele Overhead: Het optimaliseren van diepe netwerken op Riemanniaanse variëteiten vereist dure operaties (bijv. exponentiële mapping, Fréchet-gemiddelde schattingen) en wordt beperkt door de rigide grenzen van de variëteit.
2. Gebrek aan Structurele Inductieve Bias: Standaard hyperbolische netwerken behandelen ruimtelijke transformaties (bijv. een rotatie van 90 graden) van hetzelfde object als geheel andere hiërarchische concepten. Dit dwingt de optimizer om redundante representaties voor verschillende oriëntaties te leren, wat leidt tot inefficiënt gebruik van parameters, verdwijnende signalen en een slechte monster-efficiëntie (sample efficiency).

Terwijl Group-Equivariant Convolutional Networks (G-CNN's) in de Euclidische ruimte dit oplossen door symmetrie-prioris (bijv. $C_4$ en $D_4$ groepen) af te dwingen, is de directe vertaling van deze mechanismen naar de hyperbolische ruimte niet triviaal. Naïve toepassing van Euclidische tensor-reshaping en concatenatie blaast de vector-magnitudes kunstmatig op, waardoor features buiten de geldige Poincaré-bal geduwd worden en geometrische restricties worden geschonden.

Methodologie

De auteurs stellen Equivariant Poincaré ResNets voor, een framework dat discrete symmetriegroepen ($C_4$ rotaties en $D_4$ rotaties/reflecties) direct integreert in de Poincaré ResNet-architectuur. Om dit te bereiken, hebben zij drie kerncomponenten gereconstrueerd om zowel de groepsalgebra als de hyperbolische geometrie te voldoen:

1. Geometrisch Veilige Tensor Unflattening ($\beta$-Scaling)

In Euclidische netwerken worden feature maps vaak geflaten en gereshape om groepskanalen te scheiden. In de hyperbolische ruimte schendt naïeve concatenatie de manifold-normen.

• Mechanisme: De auteurs introduceren een geometrisch veilige inverse $\beta$-split.
• Proces:
  1. Breng de geconcateneerde Poincaré output-vector naar de tangentruimte in de oorsprong met behulp van de logaritmische map ($\log_c^0$).
  2. Ontkoppel de dimensies in de Euclidische tangentruimte.
  3. Herstel de magnitude van de ontkoppelde vectoren met behulp van een schaalfactor afgeleid van de Beta-functie ($\beta_n$) om de vervorming te corrigeren die tijdens de initiële concatenatie is geïntroduceerd.
  4. Projecteer de herstelde vectoren terug naar de Poincaré-bal met behulp van de exponentiële map ($\exp_c^0$).
• Doel: Dit zorgt ervoor dat het scheiden van ruimtelijke en groepskanalen de verwachte normen van de manifold niet schendt of features buiten de grens duwt.

2. Poincaré Lifting en Groep-convoluties

Standaard hyperbolische convoluties kunnen de vereiste routing voor equivariantie niet afhandelen.

• Lifting Convolution: In plaats van complexe Möbius-transformaties direct op gyro-vectoren toe te passen, construeren de auteurs symmetrische filterbanken volledig binnen de tangentruimte. Een enkele basisfilter $w$ wordt geleerd, en de vereiste $|G|$ filters worden gegenereerd via deterministische ruimtelijke acties (rotaties en flips) toegepast op $w$.
• Groep-convolutie: Om features van $G \to G$ te mappen, moet het netwerk activaties routeren naar verschoven oriëntatiekanalen wanneer de input transformeert.
  • Links-reguliere Permutatie: De auteurs coderen deze routing door de oriëntatie-as van de tangent-ruimte gewichten vooraf te permuteren volgens de inverse links-reguliere representatie van de groep.
  • Veilige Flattening: Voordat de hyperbolische inproduct wordt berekend, wordt de input-tensor geflatet met behulp van het native $\beta$-concatenatie algoritme om numerieke instabiliteit en NaN-propagatie te voorkomen.
• Resultaat: Eén enkele gradiënt-update aan de basisfilter werkt de representatie voor alle ruimtelische oriëntaties simultaan bij.

3. Joint-Orientation Midpoint Batch Normalisation

Standaard batch normalisatie berekent statistieken onafhankelijk per kanaal. In een equivariant netwerk is dit catastrofaal: als één oriëntatie een sterk kenmerk detecteert en een andere niet, zou onafhankelijke normalisatie hen dwingen om identieke gemiddelden en varianties te hebben, waardoor de kennis van het netwerk over de werkelijke oriëntatie van het object wordt gewist.

• Mechanisme: De auteurs stellen Joint-Orientation Poincaré Batch Normalisation voor.
• Proces: De input-tensor wordt gereshape om de groep-dimensie met de ruimtelijke dimensies te versmelten. Een verenigd Poincaré-middelpunt en variantie worden berekend over dit uitgebreide volume.
• Doel: Alle oriëntatiekanalen worden verschoven en geschaald door exact hetzelfde manifold-scalar, waardoor de relatieve magnitudeverschillen tussen verschillende oriëntaties behouden blijven en strikte equivariantie wordt gehandhaafd.

Belangrijkste Resultaten

De voorgestelde architectuur werd geëvalueerd op de CIFAR-10 dataset met een Poincaré ResNet-20 backbone, met een strikt protocol waarbij ruimtelijke data-augmentatie werd weggelaten om de architecturale inductieve bias te isoleren.

• Classificatieprestaties: De D4-Equivariant Poincaré ResNet behaalde 88,77% Top-1 nauwkeurigheid. Dit vertegenwoordigt een absolute verbetering van 11,9% ten opzichte van de standaard Poincaré baseline (76,87%) en presteert beter dan de standaard Euclidische ResNet-20 (78,26%).
• Monster-efficiëntie (Sample Efficiency): In scenario's met weinig data (1% en 5% van de trainingsdata) degradeerden standaard Poincaré-netwerken ernstig (26,92% en 33,79%). Het D4-Equivariant model behield 63,77% nauwkeurigheid met slechts 10% van de data, wat een superieur generalisatievermogen aantoont.
• Convergentie: Equivariante modellen convergeerden naar piek-nauwkeurigheid in minder epochs dan standaard Poincaré-netwerken, wat de computationele overhead vermindert.
• Out-of-Distribution (OOD) Detectie: De equivariante modellen behielden en verbeterden zelfs licht de inherent aan de hyperbolische geometrie aanwezige OOD-robuustheid (bijv. een AUROC van 83,17 op SVHN versus 80,72 voor standaard Poincaré).
• Equivariantie Verificatie: De auteurs maten de Relatieve Equivariantie Fout ($\Delta_{eq}$). Standaard hyperbolische convoluties faalden de test ($\Delta_{eq} \approx 1,0$), terwijl de voorgestelde Lifting en Groep-convoluties fouten bereikten die begrensd zijn door de machineprecisie ($\Delta_{eq} \approx 10^{-7}$), wat wiskundig bevestigt dat symmetrieën behouden blijven.

Betekenis en Claims

Het artikel claimt het eerste framework te presenteren dat strikte discrete groep-equivariantie ($C_4$ en $D_4$) direct in hyperbolische convolutionele architecturen implementeert.

• Fundamentele Stap: Dit werk vormt een fundamentele stap naar zeer efficiënte, geometrisch gegrondeerde hyperbolische visuele modellen door succesvol groepsorientaties te ontkoppelen zonder de manifold-restricties te schenden.
• Reductie van de Optimalisatieruimte: Door equivariantie in te bedden, wordt de optimalisatieruimte drastisch verkleind, wat convergentie versnelt en de monster-efficiëntie verbetert.
• Geometrische Integriteit: De voorgestelde mechanismen (veilige $\beta$-scaling, links-reguliere permutaties en gezamenlijke normalisatie) zorgen er gezamenlijk voor dat discrete ruimtelijke symmetrieën expliciet worden behouden terwijl de niet-Euclidische geometrische restricties van de Poincaré-bal worden gerespecteerd.

De auteurs merken op dat hoewel de aanpak aanzienlijke structurele voordelen biedt, het de computationele overhead van diepe hyperbolische netwerken overneemt en momenteel beperkt is tot discrete symmetriegroepen ($C_4$, $D_4$), niet tot continue transformaties zoals $SO(2)$. Toekomstig werk wordt gesuggereerd om continue groepen en opschaling naar grotere datasets te verkennen.