Résumé Technique : Réseaux de Convolution de Poincaré Équivariants par Groupe

Énoncé du Problème

L'apprentissage profond dans l'espace hyperbolique a démontré des capacités supérieures pour l'intégration de données visuelles hiérarchiques avec une distorsion minimale. Cependant, les réseaux visuels hyperboliques actuels, tels que le Poincaré ResNet, font face à deux inefficacités critiques :

1. Surcharge de Calcul : L'optimisation de réseaux profonds sur des variétés riemanniennes nécessite des opérations coûteuses (par exemple, les applications exponentielles, les estimations de la moyenne de Fréchet) et est contrainte par les frontières rigides de la variété.
2. Manque de Biais Inductif Structurel : Les réseaux hyperboliques standards traitent les transformations spatiales (par exemple, une rotation de 90 degrés) d'un même objet comme des concepts hiérarchiques entièrement distincts. Cela force l'optimiseur à apprendre des représentations redondantes pour différentes orientations, ce qui conduit à une utilisation inefficace des paramètres, à une disparition des signaux et à une faible efficacité d'échantillonnage.

Les Réseaux de Convolution Équivariants par Groupe (G-CNN) dans l'espace euclidien résolvent ce problème en imposant des priorités de symétrie (par exemple, les groupes $C_4$ et $D_4$), mais la traduction directe de ces mécanismes vers l'espace hyperbolique est non triviale. L'application naïve du remodelage et de la concaténation de tenseurs euclidiens gonfle artificiellement les magnitudes vectorielles, poussant les caractéristiques au-delà de la limite valide du tore de Poincaré et brisant les contraintes géométriques.

Méthodologie

Les auteurs proposent les Équivariants Poincaré ResNets, un cadre qui intègre directement les groupes de symétrie discrète (rotations $C_4$ et rotations/réflexions $D_4$) dans l'architecture du Poincaré ResNet. Pour ce faire, ils reconstruisent trois composants fondamentaux pour satisfaire à la fois l'algèbre de groupe et la géométrie hyperbolique :

1. Déplafonnement de Tenseur Géométriquement Sécurisé ($\beta$-Scaling)

Dans les réseaux euclidiens, les cartes de caractéristiques sont souvent aplaties et remodelées pour séparer les canaux de groupe. Dans l'espace hyperbolique, une concaténation naïve viole les normes de la variété.

• Mécanisme : Les auteurs introduisent un $\beta$-split inverse géométriquement sûr.
• Processus :
  1. Mapper le vecteur de sortie de Poincaré concaténé vers l'espace tangent à l'origine en utilisant la application logarithmique ($\log_c^0$).
  2. Découpler les dimensions dans l'espace tangent euclidien.
  3. Restaurer la magnitude des vecteurs découplés à l'aide d'un facteur d'échelle dérivé de la fonction Bêta ($\beta_n$) pour corriger la distorsion introduite lors de la concaténation initiale.
  4. Projeter les vecteurs restaurés dans le ballon de Poincaré en utilisant l'application exponentielle ($\exp_c^0$).
• Objectif : Cela garantit que la séparation des canaux spatiaux et de groupe ne viole pas les normes attendues de la variété et ne pousse pas les caractéristiques au-delà de la frontière.

2. Élévation de Poincaré et Convolutions de Groupe

Les convolutions hyperboliques standards ne peuvent pas gérer le routage requis pour l'équivariance.

• Convolution d'Élévation (Lifting) : Au lieu d'appliquer des transformations de Möbius complexes directement aux gyro-vecteurs, les auteurs construisent des banques de filtres symétriques entièrement dans l'espace tangent. Un seul filtre de base $w$ est appris, et les $|G|$ filtres requis sont générés via des actions spatiales déterministes (rotations et retournements) appliquées à $w$.
• Convolution de Groupe : Pour mapper les caractéristiques de $G \to G$, le réseau doit router les activations vers les canaux d'orientation décalés lorsque l'entrée se transforme.
  • Permutation Régulière à Gauche : Les auteurs encodent ce routage en pré-permutant l'axe d'orientation des poids de l'espace tangent selon la représentation régulière à gauche inverse du groupe.
  • Aplatissement Sécurisé : Avant de calculer le produit scalaire hyperbolique, le tenseur d'entrée est aplati en utilisant l'algorithme de $\beta$-concaténation natif pour prévenir l'instabilité numérique et la propagation de NaN.
• Résultat : Une seule mise à jour de gradient du filtre de base met à jour la représentation pour toutes les orientations spatiales simultanément.

3. Normalisation par Lot à Point Médian de l'Orientation Jointe

La normalisation par lot standard calcule les statistiques indépendamment par canal. Dans un réseau équivariant, cela est catastrophique : si une orientation détecte une caractéristique forte et qu'une autre non, une normalisation indépendante les forcerait à avoir des moyennes et des variances identiques, effaçant la connaissance du réseau sur la véritable orientation de l'objet.

• Mécanisme : Les auteurs proposent la Normalisation par Lot de Poincaré à Orientation Jointe.
• Processus : Le tenseur d'entrée est remodelé pour fusionner la dimension de groupe avec les dimensions spatiales. Un point médian et une variance de Poincaré unifiés sont calculés sur ce volume étendu.
• Objectif : Tous les canaux d'orientation sont décalés et mis à l'échelle par le même scalaire de la variété, préservant les différences de magnitude relatives entre les orientations distinctes et maintenant une équivariance stricte.

Résultats Clés

L'architecture proposée a été évaluée sur le jeu de données CIFAR-10 en utilisant un squelette Poincaré ResNet-20, avec un protocole strict omettant l'augmentation de données spatiales pour isoler le biais inductif architectural.

• Performance de Classification : Le D4-Equivariant Poincaré ResNet a atteint une précision Top-1 de 88,77 %. Cela représente une amélioration absolue de 11,9 % par rapport à la ligne de base Poincaré standard (76,87 %) et surpasse le ResNet-20 euclidien standard (78,26 %).
• Efficacité d'Échantillonnage : Dans les régimes de faibles données (1 % et 5 % des données d'entraînement), les réseaux de Poincaré standards se sont gravement dégradés (26,92 % et 33,79 %). Le modèle D4-Equivariant a maintenu une précision de 63,77 % avec seulement 10 % des données, démontrant une généralisation nettement supérieure.
• Convergence : Les modèles équivariants ont convergé vers la précision maximale en moins d'époques que les réseaux de Poincaré standards, atténuant la surcharge de calcul.
• Détection Hors-Distribution (OOD) : Les modèles équivariants ont préservé et légèrement amélioré la robustesse OOD inhérente à la géométrie hyperbolique (par exemple, un AUROC de 83,17 sur SVHN contre 80,72 pour le Poincaré standard).
• Vérification de l'Équivariance : Les auteurs ont mesuré l'Erreur d'Équivariance Relative ($\Delta_{eq}$). Les convolutions hyperboliques standards ont échoué au test ($\Delta_{eq} \approx 1,0$), tandis que les élévations et convolutions de groupe proposées ont obtenu des erreurs bornées par la précision machine ($\Delta_{eq} \approx 10^{-7}$), confirmant mathématiquement la préservation des symétries.

Signification et Revendications

Le papier affirme présenter le premier cadre capable d'incorporer une équivariance de groupe discrète stricte ($C_4$ et $D_4$) directement dans les architectures de convolution hyperboliques.

• Étape Fondamentielle : Ce travail constitue une étape fondamentale vers des modèles visuels hyperboliques hautement efficaces et géométriquement fondés, en réussissant à découpler les orientations de groupe sans violer les contraintes de la variété.
• Réduction de l'Espace d'Optimisation : En intégrant l'équivariance, l'espace d'optimisation est considérablement réduit, accélérant la convergence et améliorant l'efficacité d'échantillonnage.
• Intégrité Géométrique : Les mécanismes proposés ( $\beta$-scaling sécurisé, permutations régulières à gauche et normalisation jointe) garantissent collectivement que les symétries spatiales discrètes sont explicitement maintenues tout en respectant les contraintes géométriques non euclidiennes du ballon de Poincaré.

Les auteurs notent que bien que l'approche offre des avantages structurels significatifs, elle hérite de la surcharge de calcul des réseaux hyperboliques profonds et est actuellement limitée aux groupes de symétrie discrète ($C_4$, $D_4$), et non aux transformations continues comme $SO(2)$. Des travaux futurs sont suggérés pour explorer les groupes continus et le passage à l'échelle sur des ensembles de données plus larges.