🤖 machine learning

TopoFormer: Topology Meets Attention for Graph Learning

TopoFormer est un cadre léger et évolutif qui intègre la structure topologique dans les modèles basés sur l'attention via un nouveau module Topo-Scan, lequel décompose les graphes en séquences parallélisables pour atteindre des performances de pointe dans l'apprentissage sur graphes sans les coûts de calcul de l'homologie persistante traditionnelle.

Auteurs originaux : Md Joshem Uddin, Astrit Tola, Cuneyt Gurcan Akcora, Baris Coskunuzer

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Md Joshem Uddin, Astrit Tola, Cuneyt Gurcan Akcora, Baris Coskunuzer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un ordinateur à comprendre la forme des choses. Dans le monde des données, nous utilisons souvent des « graphes » pour représenter des connexions — comme des amis dans un réseau social, des atomes dans une molécule, ou des arrêts sur une carte de métro. Ceux-ci ne sont pas des grilles nettes comme un tableur ; ce sont des réseaux irréguliers et désordonnés. Pendant longtemps, les ordinateurs ont eu du mal à percevoir la vue d'ensemble de ces réseaux car ils étaient trop occupés à regarder les points (nœuds) et les lignes (arêtes) individuels, manquant ainsi la forêt pour l'arbre.

Pour aider les ordinateurs à voir la « forme » de ces réseaux, les scientifiques utilisent une branche des mathématiques appelée l'Analyse de Données Topologiques (TDA). Considérez la TDA comme un moyen de compter les trous, les boucles et les îles d'une forme sans se soucier de la taille exacte ou de la position des points. C'est comme regarder un donut et savoir qu'il possède un trou, qu'il soit géant ou minuscule. Une autre idée clé est le « Transformer », un type d'IA célèbre pour sa lecture du langage et d'images. Les Transformers sont excellents pour repérer des motifs dans de longues listes de mots ou de pixels, mais ils ont généralement du mal avec les graphes irréguliers et désordonnés. La grande question que les chercheurs se posent est la suivante : comment pouvons-nous transformer ces réseaux irréguliers et désordonnés en une liste ordonnée et nette qu'un Transformer puisse lire, tout en préservant l'information de « forme » importante ?

C'est ici qu'entre en scène un nouvel article intitulé TOPOFORMER. Les auteurs, une équipe de chercheurs issus d'universités américaines, ont construit un outil ingénieux qui agit comme un scanner de haute technologie pour les graphes. Au lieu de tenter de forcer un graphe désordonné dans une grille rigide, TOPOFORMER découpe le graphe en une série de couches fines et ordonnées, un peu comme si l'on tranchait une miche de pain ou que l'on prenait une série de scanners CT d'un corps.

Voici comment fonctionne leur tour de magie : Ils utilisent une méthode qu'ils appellent Topo-Scan. Imaginez que vous avez un nœud de ficelle complexe. Les méthodes traditionnelles essaieraient peut-être de mesurer le nœud entier d'un coup ou de construire une carte 3D compliquée de chaque torsion, ce qui demande énormément de temps et de puissance de calcul. TOPOFORMER, cependant, adopte une approche différente. Il « tranche » lentement le graphe à l'aide d'une fenêtre glissante. À mesure qu'il traverse le graphe, il compte des éléments simples à chaque tranche : combien y a-t-il de morceaux de ficelle séparés ? Combien de boucles se sont formées ? Combien de nœuds sont visibles en ce moment ?

Ces décomptes créent une liste de nombres courte et nette — une « séquence de jetons topologiques ». Cette liste est parfaitement adaptée à la lecture par un Transformer. Le Transformer examine ensuite cette liste et apprend à reconnaître la structure globale du graphe, des petites boucles locales jusqu'à la grande forme globale. Les auteurs ont constaté que cette méthode est non seulement plus rapide et moins gourmande en ressources informatiques que les anciennes techniques (qui s'embourbent souvent dans des calculs coûteux), mais qu'elle fonctionne aussi incroyablement bien.

Dans leurs expériences, TOPOFORMER a été testé sur deux tâches principales : la classification de différents types de graphes (comme déterminer si un graphe représente une molécule chimique ou un réseau social) et la prédiction des propriétés de molécules (comme savoir si un médicament sera efficace ou toxique). Les résultats sont impressionnants. Sur huit benchmarks différents de classification de graphes, TOPOFORMER a atteint la meilleure ou la deuxième meilleure précision, battant de nombreux modèles complexes et lourds qui étaient les standards depuis des années. Lorsqu'il s'agissait de prédire les propriétés moléculaires, il a performé aussi bien ou mieux que les meilleurs modèles actuellement en usage, se classant souvent dans le top trois.

Ce qui rend cela particulièrement passionnant, c'est que TOPOFORMER n'a pas besoin d'apprendre un « embedding » unique (un code interne complexe) pour chaque nœud du graphe au préalable. Au lieu de cela, il traite le graphe entier comme un objet unique et structuré et le scanne directement. Les auteurs suggèrent que cette approche offre une nouvelle voie efficace pour créer des « modèles de fondation » pour les graphes — des systèmes d'IA super intelligents capables de comprendre n'importe quel type de réseau, de la biologie aux réseaux sociaux, sans avoir besoin d'être réentraînés à chaque fois. Ils ont également prouvé mathématiquement que leur méthode est stable, ce qui signifie que si l'on modifie légèrement le graphe d'entrée, la sortie ne devient pas erratique, ce qui est crucial pour la fiabilité dans le monde réel.

En résumé, TOPOFORMER prend le monde désordonné et irrégulier des graphes, le découpe en une histoire propre et lisible, et permet à une IA puissante de lire cette histoire pour comprendre la forme des données. C'est une manière plus légère, plus rapide et étonnamment efficace d'apprendre aux machines à voir le monde en termes de connexions et de formes.

Résumé Technique : TOPOFORMER

Problématique

L'apprentissage de représentations sur graphes fait face à des défis importants pour atteindre les capacités de généralisation observées dans les modèles de fondation pour la vision et le langage. La nature irrégulière et non euclidienne des graphes complique la conception de biais inductifs transférables. Bien que l'analyse de données topologiques (TDA), et plus précisément l'homologie persistante (PH), offre un moyen rigoureux d'encoder des informations structurelles stables et multi-échelles (connectivité globale et cycles), son adoption dans le deep learning est entravée par deux goulots d'étranglement principaux :

Coût computationnel : Les pipelines de PH standard nécessitent des réductions globales coûteuses pour calculer les diagrammes de persistance, ce qui ne se parallélise pas bien.
Friction de vectorisation : La conversion des diagrammes de persistance en vecteurs (par exemple, les images de persistance, les paysages) est souvent ad hoc, peut détruire les informations structurelles séquentielles et impacte significativement les performances en aval. De plus, les filtrations de sous-niveau traditionnelles sur les graphes souffrent souvent de « saturation précoce », où les nœuds à haute valeur s'activent tôt, remplissant le complexe et supprimant les caractéristiques topologiques émergentes tardives.

Les transformateurs de graphes existants (par exemple, Graphormer, GPS) opèrent généralement directement sur les jetons de nœuds, injectant la structure via des encodages positionnels ou des biais d'attention, ce qui peut être lourd en calcul et moins focalisé sur les invariants topologiques globaux.

Méthodologie : TOPOFORMER et Topo-Scan

Les auteurs proposent TOPOFORMER, un cadre léger et évolutif qui encode la structure topologique en séquences adaptées à l'attention, évitant ainsi le besoin de diagrammes de persistance complets et d'étapes de vectorisation complexes.

Composant Central : Topo-Scan

L'innovation centrale est Topo-Scan, un module qui décompose un graphe en une séquence courte et ordonnée de jetons topologiques. Contrairement à la PH standard qui construit une filtration imbriquée unique, Topo-Scan utilise une approche par fenêtre glissante :

Filtration : Une fonction scalaire $f: V \to \mathbb{R}$ est définie sur les sommets (par exemple, degré, courbure, signature du noyau de chaleur).
Découpage (Slicing) : Au lieu d'un seuil cumulatif, le graphe est découpé en sous-graphes chevauchants $G_i$ basés sur des intervalles $[\alpha_i, \alpha_i + m]$ de la fonction de filtration.
Génération de jetons : Pour chaque tranche, le complexe de cliques est formé, et quatre invariants sont calculés :
1. $\beta_0$ : Nombre de composantes connexes (Betti-0).
2. $\beta_1$ : Nombre de cycles/trous (Betti-1).
3. $|V_i|$ : Nombre de nœuds.
4. $|E_i|$ : Nombre d'arêtes.
Formation de la séquence : Ces invariants forment une séquence compacte et ordonnée $\Gamma(G)$ de longueur $4N$ (où $N$ est le nombre de tranches). Cette séquence préserve l'évolution des caractéristiques topologiques à travers les échelles sans les problèmes de saturation précoce des filtrations de sous-niveau standard.

Architecture Transformer

Les séquences topologiques générées sont injectées directement dans un encodeur Transformer.

Entrée : Une séquence de jetons où chaque jeton représente l'état topologique d'une tranche spécifique.
Traitement : Le Transformer utilise des mécanismes d'auto-attention pour capturer les dépendances à travers la séquence, modélisant efficacement les motifs structurels multi-résolutions.
Cadre à Double Transformer : Le modèle peut traiter plusieurs fonctions de filtration (par exemple, la courbure d'Ollivier-Ricci, la signature du noyau de chaleur) en parallèle. Les sorties des transformers indépendants sont fusionnées via une somme pondérée apprenable et un classifieur MLP pour produire des plongements (embeddings) au niveau du graphe.
Prédiction de Propriétés Moléculaires (MPP) : Pour les tâches moléculaires, le cadre intègre les séquences topologiques avec les empreintes moléculaires standard (par exemple, ECFP) traitées par un MLP, les combinant via une concaténation basée sur l'attention.

Garanties Théoriques

L'article fournit des garanties de stabilité pour Topo-Scan. Il établit une borne de stabilité $\ell_1$ discrète, prouvant que de petites perturbations dans la fonction de filtration entraînent des changements limités dans la séquence de sortie. Cela repose sur la relation entre les jetons de Topo-Scan et les modules de persistance inter-niveaux, montrant que la méthode est robuste au bruit dans le signal d'entrée.

Principales Contributions

Encodage Topologique Évolutif : Une méthode pour convertir la structure topologique en séquences prêtes pour l'attention, permettant aux Transformers de traiter des graphes sans dépendre des plongements de nœuds ou de prétraitements lourds.
Pont entre TDA et Deep Learning : Un cadre unifié qui capture à la fois la structure locale et globale du graphe grâce à un mécanisme d'attention séquentiel, évitant la surcharge de calcul des diagrammes de persistance.
Évaluation Complète : Expérimentations approfondies démontrant des performances de pointe (SOTA) sur les benchmarks de classification de graphes et de prédiction de propriétés moléculaires.
Efficacité et Stabilité : Garanties théoriques sur la robustesse des représentations et preuves empiriques d'un calcul prévisible et efficace, adapté aux applications à grande échelle.

Résultats Expérimentaux

Les auteurs ont évalué TOPOFORMER sur divers ensembles de données :

Classification de Graphes : Testé sur 9 benchmarks (incluant BZR, MUTAG, IMDB-B/M, REDDIT-B/5K, et OGBG-MOLHIV).
- TOPOFORMER a obtenu le meilleur ou le deuxième meilleur score de précision sur 7 des 8 benchmarks.
- Il a établi un nouveau SOTA sur BZR, MUTAG, PROTEINS, IMDB-M, REDDIT-B et REDDIT-5K.
- Il a surpassé 20 baselines, incluant des GNN, des méthodes topologiques (PersLay, DMP) et des modèles d'apprentissage contrastif.
- Sur le dataset à grande échelle OGBG-MOLHIV, il a atteint une AUC à environ 2 points de la forte baseline Graphormer, démontorant sa scalabilité.
Prédiction de Propriétés Moléculaires (MPP) : Testé sur 7 jeux de données de MoleculeNet (BBBP, Tox21, ToxCast, ClinTox, SIDER, BACE, HIV).
- TOPOFORMER* (combiné avec des empreintes moléculaires) a obtenu le meilleur ROC AUC sur ToxCast, ClinTox et BACE.
- Il est arrivé deuxième sur Tox21 et très compétitif sur HIV.
- Il a obtenu le deuxième plus bas écart moyen par rapport au meilleur modèle et le deuxième plus bas rang moyen sur tous les datasets.
Études d'Ablation :
- vs. PH : TOPOFORMER a surpassé les baselines PH-MLP et PH-Transformer, confirmant que Topo-Scan capture une structure plus expressive que les filtrations PH standard et que l'encodage séquentiel est supérieur à la vectorisation statique.
  - Sensibilité de la Filtration : Le modèle a montré une robustesse à travers différentes fonctions de filtration (Degré, Ollivier-Ricci, HKS) et largeurs de fenêtre.
- Combinaison de Caractéristiques : La combinaison des caractéristiques topologiques avec les empreintes moléculaires a systématiquement surpassé l'utilisation d'une seule modalité.

Signification et Revendications

L'article positionne TOPOFORMER non pas comme un modèle de fondation complet en soi, mais comme une étape vers des modèles de fondation de graphes conscients de la topologie. Sa signification réside dans :

Approche Unifiée : Il offre une approche parallélisable et unifiée de l'apprentissage de représentations de graphes qui intègre des biais inductifs topologiques directement dans les cadres d'attention.
Efficacité : En contournant les calculs de diagrammes de persistance globaux, il offre un calcul prévisible et efficace, le rendant pratique pour les applications à grande échelle où la TDA traditionnelle est trop lente.
Généralisation : Les représentations de taille fixe et transférables produites par TOPOFORMER sont bien adaptées aux tâches nécessitant des plongements cohérents à travers des graphes de tailles et de domaines variés, répondant à un défi central de l'apprentissage sur graphes.
Portée Modeste : Les auteurs déclarent explicitement que ce travail se concentre sur une instanciation simplifiée au niveau du graphe. Ils laissent les tâches au niveau nœud/arête, les contextes hétérogènes (graphes temporels/de citation) et le pré-entraînement à grande échelle sur des corpus hétérogènes aux travaux futurs. Ils considèrent Topo-Scan comme un résumé léger qui complète plutôt qu'il ne remplace l'homologie persistante complète.