🤖 machine learning

Differentiable Lifting for Topological Neural Networks

Le papier introduit $\partial$ lift (DiffLift), un cadre général permettant l'apprentissage différentiable de bout en bout de levées de graphes vers des structures d'ordre supérieur, surmontant ainsi les limites des méthodes statiques et non supervisées et augmentant considérablement les performances des réseaux de neurones topologiques à travers divers benchmarks.

Auteurs originaux : Jorge Luiz Franco, Gabriel Duarte, Alexander Nikitin, Moacir Ponti, Diego Mesquita, Amauri H. Souza

Publié 2026-08-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jorge Luiz Franco, Gabriel Duarte, Alexander Nikitin, Moacir Ponti, Diego Mesquita, Amauri H. Souza

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un ordinateur à comprendre le monde en regardant une carte de connexions. Dans le monde de l'intelligence artificielle, ces cartes sont appelées des graphes, où des points (comme des personnes ou des atomes) sont reliés par des lignes (comme des amitiés ou des liaisons chimiques). Pendant des années, des programmes informatiques intelligents appelés Réseaux de Neurones sur Graphes ont été excellents pour lire ces cartes, mais ils ont un angle mort : ils ne voient principalement que qui est directement connecté à qui. Ils passent à côté de la vue d'ensemble, comme le fait qu'un groupe entier d'amis traîne ensemble ou comment une forme complexe est formée par de nombreux cercles qui se chevauchent.

Pour corriger cela, les scientifiques ont inventé les Réseaux de Neurones Topologiques. Considérez-les comme des lecteurs surpuissants capables de regarder un graphe et de dire : « Hé, ces trois points ne sont pas seulement amis ; ils forment un triangle ! » ou « Ces cinq points forment un petit groupe de complicité ». Cette capacité à voir des formes et des groupes (appelés structures d'ordre supérieur) aide l'ordinateur à bien mieux comprendre les données complexes. Mais voici la partie délicate : pour voir ces formes, l'ordinateur doit d'abord qu'on lui dise comment regarder. Il a besoin d'un « élévateur » (lifter) pour transformer la carte plate de points et de lignes en une structure 3D de formes. Jusqu'à présent, les scientifiques devaient deviner quelle méthode d'élévation utiliser, comme essayer de deviner la bonne clé pour une serrure sans jamais voir la serrure. Parfois, la supposition fonctionne, et parfois elle échoue lamentablement, laissant l'ordinateur confus.

C'est là qu'intervient un nouvel article avec une solution ingénieuse appelée $\partial$ lift (prononcé « DiffLift »). Au lieu de deviner la bonne clé, les auteurs ont construit une machine intelligente qui apprend la façon parfaite d'élever la carte pour chaque tâche spécifique. Imaginez que vous avez une boîte de briques Lego (vos données). Les anciennes méthodes étaient comme suivre un manuel d'instructions rigide qui disait : « Construisez toujours un château », même si vous essayiez de construire un vaisseau spatial. $\partial$ lift est comme un robot qui regarde vos briques et votre objectif, puis décide : « D'accord, pour ce vaisseau spatial, je dois regrouper ces briques en ailes, et pour cette fusée, je dois les regrouper en ailerons. »

Les chercheurs ont testé cette idée sur une multitude de puzzles différents, allant de la prédiction de propriétés chimiques à la classification de réseaux sociaux. Ils ont découvert que $\partial$ lift change la donne. Dans de nombreux tests, il a battu les anciennes méthodes de supposition statiques par une marge énorme — améliorant parfois la précision jusqu'à 45 %. Il y parvient en examinant les données, en apprenant quels groupes de points sont importants, puis en les « élevant » dans les bonnes formes (comme des triangles ou des bulles) pour aider l'ordinateur à résoudre le problème.

L'article montre que cette méthode fonctionne pour différents types de structures, incluant les hypergraphes (où une ligne peut connecter de nombreux points à la fois) et les complexes cellulaires (qui sont comme des blocs de construction de différentes tailles). Les auteurs suggèrent qu'en rendant le processus d'« élévation » apprenable et adaptable, nous pouvons arrêter de perdre du temps avec de mauvaises suppositions et laisser l'IA concevoir sa propre meilleure façon de voir le monde. Bien que la méthode demande un peu plus de puissance informatique pour déterminer les meilleures formes, les résultats suggèrent que l'effort supplémentaire en vaut la peine, surtout pour les problèmes complexes où les anciennes méthodes bloquent. C'est un pas vers une IA qui ne se contente pas de suivre des règles, mais qui comprend la forme des données qui lui sont données.

Résumé technique : $\partial$ lift (Lifting différentiable pour les réseaux de neurones topologiques)

Énoncé du problème

Les réseaux de neurones topologiques (TNN) sont apparus comme une classe puissante de modèles capables d'exploiter des structures d'ordre supérieur (par exemple, cycles, cliques, simplexes) pour renforcer le pouvoir expressif des réseaux de neurones sur graphes (GNN) traditionnels. Cependant, un goulot d'étranglement critique existe dans le processus de « lifting » (élévation) : la transformation des graphes d'entrée en domaines topologiques (tels que les hypergraphes, les complexes simpliciaux ou les complexes cellulaires).

Actuellement, l'opération de lifting est principalement non supervisée et statique. Des méthodes de lifting par cycles, par $k$ -sauts ou par $k$ plus proches voisins ( $k$ -NN) reposent sur des heuristiques prédéfinies basées sur la connectivité du graphe ou les caractéristiques des nœuds. Comme le démontre l'article, le choix optimal du domaine topologique et de la procédure de lifting est hautement dépendant des données et spécifique à la tâche. Les liftings statiques et non supervisés aboutissent souvent à des représentations topologiques sous-optimales, limitant ainsi les performances en aval des TNN. Bien que le lifting différentiable ait été exploré précédemment pour les complexes cellulaires (par exemple, DCM), un cadre général applicable à divers domaines topologiques (incluant les hypergraphes et les complexes simpliciaux) faisait défaut.

Méthodologie : $\partial$ lift (DiffLift)

Les auteurs proposent $\partial$ lift, un cadre général et entièrement différentiable pour l'apprentissage de liftings de graphes. Au lieu d'utiliser des règles fixes, $\partial$ lift apprend à identifier et à paramétrer des distributions sur des candidats de cellules d'ordre supérieur pour l'inclusion dans la structure de sortie.

Mécanisme central

Le cadre fonctionne via un processus d'échantillonnage hiérarchique et itératif :

Plongements de nœuds (Node Embeddings) : Un GNN arbitraire (par exemple, GIN, GPS) calcule les représentations latentes ( $z_v$ ) pour chaque nœud du graphe d'entrée.
Élicitation de candidats : Sur la base de ces plongements, le modèle définit un ensemble de cellules candidates.
- Pour les hypergraphes, les candidats sont formés en sélectionnant $k_v$ plus proches voisins d'un nœud $v$ dans l'espace d'embedding, où $k_v$ est échantillonné de manière adaptative à partir d'une distribution paramétrée par $z_v$ .
- Pour les complexes cellulaires, le processus est hiérarchique. Pour la dimension $D=1$ , les arêtes candidates sont formées de manière similaire aux hyperarêtes. Pour $D \ge 2$ , les cellules candidates (par exemple, les 2-cellules) sont dérivées de cycles (ou cliques) dans le complexe actuel, respectant les contraintes hiérarchiques du domaine cible.
Acceptation/Rejet : Pour chaque cellule candidate $C$ , un réseau de neurones (typiquement un MLP ou un DeepSet) traite le multiensemble des plongements de nœuds au sein de $C$ pour produire une probabilité d'acceptation $\phi(z_C)$ .
Échantillonnage stochastique : Un échantillonnage de Bernoulli détermine si la cellule est incluse dans la structure levée. Les gradients sont propagés à travers cette étape d'échantillonnage discret en utilisant l'estimateur straight-through.
Itération : Le processus se répète pour des dimensions croissantes ( $D \to D+1$ ) jusqu'à ce qu'une dimension maximale $D_{max}$ soit atteinte.

Lifting de caractéristiques (Feature Lifting)

Les caractéristiques des nouvelles cellules d'ordre supérieur formées sont calculées via une projection de somme pondérée des caractéristiques des nœuds constituants, garantissant que la structure levée est compatible avec les couches de passage de messages standard des TNN.

Contributions clés

Cadre différentiable général : $\partial$ lift est un cadre général qui permet l'apprentissage de bout en bout de liftings de graphes à travers plusieurs domaines topologiques, incluant les hypergraphes, les complexes simpliciaux et les complexes cellulaires, étendant ainsi les travaux précédents limités à des domaines spécifiques.
Apprentissage de structure adaptatif : Contrairement aux méthodes statiques, $\partial$ lift apprend la taille et la composition des cellules d'ordre supérieur (par exemple, des tailles d'hyperarêtes adaptatives) en fonction d'objectifs spécifiques à la tâche et de représentations de nœuds apprises.
Échantillonnage hiérarchique : La méthode introduit une procédure d'échantillonnage itérative où les cellules de dimension inférieure informent la génération de celles de dimension supérieure, modélisant naturellement la nature hiérarchique des objets topologiques.
Intégration : Le cadre est conçu pour être intégré de manière transparente dans les pipelines TNN existants, agissant comme une couche de prétraitement apprenable qui alimente des architectures TNN prêtes à l'emploi.

Résultats expérimentaux

Les auteurs ont évalué $\partial$ lift sur 12 jeux de données couvrant des tâches de classification de graphes (propriétés moléculaires) et de classification de nœuds, en utilisant quatre architectures TNN différentes (CWN, CXN, CIN, UniGCNII, UniGIN).

Classification de graphes : $\partial$ lift a systématiquement surpassé les méthodes de lifting statiques (cycle, $k$ -hop, $k$ -NN, noyau) dans 22 des 24 expériences. Il a obtenu des gains de performance allant jusqu'à 45 % par rapport aux liftings statiques. Par exemple, sur le jeu de données ZINC, $\partial$ lift a réduit l'erreur absolue moyenne (MAE) de 0,46 à 0,17 lors de l'utilisation de CWN.
Classification de nœuds : $\partial$ lift a obtenu des performances compétitives ou supérieures par rapport aux liftings statiques et à la base de référence différentiable DCM. Notamment, il a nettement surpassé DCM sur les jeux de données hétérophiles (par exemple, Texas). Sur le jeu de données Cora, bien que DCM ait atteint 80,73 %, la combinaison de $\partial$ lift avec TopoTune a atteint 86,82 %, bien que $\partial$ lift avec CWN (80,17 %) ait été légèrement inférieur à DCM. Globalement, $\partial$ lift a démontré de solides performances sur l'ensemble des jeux de données, surpassant souvent DCM par une marge importante.
Robustesse : La méthode a montré une robustesse à travers différents GNN de base (GIN vs. GPS), bien que des représentations plus riches (GPS) aient généralement produit de meilleurs résultats.
Efficacité : Bien que $\partial$ lift incurre un léger surcoût de temps d'exécution par rapport aux méthodes statiques (en raison de l'échantillonnage et du calcul de probabilité), il reste informatiquement faisable. Pour les hypergraphes, le processus est massivement parallèle ; pour les complexes cellulaires, le coût est dominé par le calcul de la base de cycles mais reste gérable.

Signification et affirmations

L'article affirme que $\partial$ lift répond à une limitation fondamentale du deep learning topologique : la dépendance vis-à-vis de procédures de lifting non supervisées et agnostiques à la tâche. En rendant le processus de lifting apprenable et informé par la tâche, les auteurs démontrent que la structure topologique des données peut être optimisée spécifiquement pour la tâche en aval.

Les auteurs soulignent que leur approche conduit à des gains empiriques substantiels, suggérant que le domaine topologique « optimal » n'est pas une propriété fixe des données, mais une fonction de l'objectif d'apprentissage. De plus, ils postulent que les liftings adaptatifs peuvent atténuer les problèmes d'oversquashing (écrasement excessif) en apprenant à introduire des cellules d'ordre supérieur (par exemple, des 2-cellules) qui créent des raccourcis à travers les goulots d'étranglement du graphe, améliorant ainsi le flux d'information entre des nœuds distants.

L'étude conclut que, bien que les implémentations actuelles soient limitées à des complexes cellulaires de dimension 2 en raison des contraintes des bibliothèques TNN, le cadre est généralisable à d'autres domaines (par exemple, les nuages de points) et représente une étape significative vers un deep learning topologique entièrement adaptatif.

Résumé technique : ∂\partial∂lift (Lifting différentiable pour les réseaux de neurones topologiques)