Encoding the Euler Characteristic Transform

Résumé Technique : Encodage de la Transformée de la Caractéristique d'Euler

Énoncé du Problème
La Transformée de la Caractéristique d'Euler (ECT) est un descripteur de forme injectif puissant qui agrège des Courbes de la Caractéristique d'Euler (ECC) calculées à travers de multiples directions d'échantillonnage. Bien que l'ECT Différentiable (DECT) ait permis l'apprentissage de bout en bout, un goulot d'étranglement critique subsiste dans la manière dont l'ECT est encodée pour les réseaux de neurones. Conventionnellement, les ECC sont discrétisées sur une grille de hauteurs de seuil ($H$) fixe pour chaque direction ($D$), ce qui produit une matrice $D \times H$. Cette discrétisation introduit un hyperparamètre de résolution ($H$) qui doit être ajusté par jeu de données, créant un compromis entre expressivité et coût computationnel. De plus, la discrétisation uniforme impose la même résolution aux régions à changement rapide et aux régions plates, bien que toute l'information topologique d'une ECC soit intrinsèquement attribuée aux sommets du complexe de cellules sous-jacent.

Méthodologie
Les auteurs proposent un encodage continu de l'ECT qui élimine le besoin d'une grille de discrétisation. Au lieu d'échantillonner la fonction ECC à des hauteurs fixes, la méthode enregistre le changement net de la caractéristique d'Euler ($\Delta\chi$) attribué à chaque sommet $v$ pour une direction donnée $w_i$.

• Tokenisation : Pour un complexe de cellules possédant $N$ sommets et une direction $w_i$, la hauteur de filtration pour chaque cellule est déterminée par son « sommet responsable » (le sommet ayant la projection maximale). Le changement net $\Delta\chi(v, w_i)$ est calculé en sommant les contributions signées de toutes les cellules entrant dans la filtration au seuil défini par ce sommet. Les sommets avec un changement net nul sont écartés, résultant en une séquence creuse de jetons (tokens) $\{( \langle v, w_i \rangle, \Delta\chi(v, w_i) )\}$.
• Encodeur ECC : Un petit encodeur transformer traite ces séquences de jetons pour chaque direction, mappant la séquence de longueur variable vers un vecteur de caractéristiques de longueur fixe ($d_{out}$). Cela remplace la matrice discrétisée traditionnelle par une matrice de caractéristiques $D \times d_{out}$.
• Architectures de Représentation : L'étude évalue six architectures distinctes pour traiter la matrice ECT résultante, allant de modèles de base agnostiques à la structure jusqu'à des modèles équivariants :
  1. Réseau Feedforward : Aplatit la matrice ; aucun biais inductif structurel.
  2. Deep Sets : Traite les directions comme un ensemble non ordonné (invariance par permutation).
  3. Convolution 2D : Traite la matrice comme une image ; utilise un remplissage circulaire le long de l'axe de direction pour préserver l'équivariance rotationnelle.
  4. Convolution 1D : Applique des convolutions le long de l'axe de direction avec un remplissage circulaire.
  5. Convolution Complexe 1D : Représente les ECC dans le domaine complexe pour préserver intrinsèquement l'équivariance rotationnelle via l'encodage de phase.
  6. Hybride : Combine des convolutions 1D avec des couches entièrement connectées.

Contributions Clés

1. Représentation ECT Continue : Introduction d'un encodage sans grille, exact et parcimonieux qui enregistre les changements topologiques aux sommets plutôt que d'échantillonner les valeurs de la fonction. Cela supprime l'hyperparamètre de résolution et est intrinsèquement différentiable.
2. Étude Architecturale Systématique : Une évaluation complète de six architectures neuronales couvrant différents biais inductifs (de l'agnostique à la structure jusqu'à l'équivariance rotationnelle) pour déterminer comment agréger l'information directionnelle.
3. Évaluation Empirique : Évaluation à travers six bancs d'essai de classification couvrant divers types de données : nuages de points, graphes, complexes cubiques et maillages (2D et 3D).

Résultats

• Impact de l'Encodage : L'encodage continu a amélioré la précision de la classification sur cinq des six jeux de données par rapport au meilleur encodage discret. Les gains les plus significatifs ont été observés sur le jeu de données Letter-high (+0,120) et SwissBuildings (+0,094).
• Tokenisation vs Capacité : Des expériences de contrôle ont démontré que les gains de performance proviennent de la tokenisation elle-même plutôt que de la capacité ajoutée du transformer. L'application d'un transformer aux ECC discrétisées n'a pas produit d'améliorations constantes.
• Interaction d'Architecture : Le choix de l'architecture de représentation importait moins que le choix de l'encodage. Cependant, des interactions ont été observées :
  • Sous encodage continu, le simple réseau feedforward était le plus performant sur cinq des six jeux de données.
  • Sous encodage discret, le réseau feedforward était instable (par exemple, s'effondrant sur SwissBuildings), tandis que les architectures convolutionnelles (spécifiquement 1D et Hybride) se sont révélées plus robustes.
  • L'encodage continu a fourni une entrée plus « apprenable », réduisant l'écart de performance entre le réseau feedforward et les modèles convolutionnels.
• Équivariance : Bien que les architectures rotationnellement équivariantes (Conv 1D/Complexe) aient été conçues pour préserver la symétrie, le réseau feedforward a souvent surpassé les modèles équivariants sur des jeux de données avec des orientations canoniques (comme les dérivés de Fashion-MNIST), suggérant qu'une équivariance stricte n'est pas toujours le biais inductif optimal pour toutes les tâches.

Signification
L'article soutient que la méthode d'encodage de l'ECT est un facteur plus critique pour la performance en aval que l'architecture neuronale spécifique utilisée pour le traiter. En passant d'une représentation discrétisée basée sur une grille à une tokenisation continue basée sur les sommets, les auteurs parviennent à une précision et une stabilité d'entraînement supérieures sans dépendre d'architectures équivariantes complexes. L'encodage continu contourne efficacement le réglage des hyperparamètres associé à la résolution de la grille, offrant une représentation exacte de la transformée topologique naturellement adaptée au traitement neuronal. Ce travail suggère que pour les descripteurs de forme globaux, la fidélité de la représentation d'entrée (l'encodage) l'emporte sur la complexité des biais inductifs du modèle.