🤖 machine learning

TopoFormer: Topology Meets Attention for Graph Learning

TopoFormer is een lichtgewicht, schaalbaar framework dat topologische structuren integreert in attention-gebaseerde modellen via een nieuwe Topo-Scan module, die grafen deelt in paralleliseerbare sequenties om state-of-the-art prestaties te bereiken in graph learning zonder de computationele kosten van traditionele persistente homologie.

Oorspronkelijke auteurs: Md Joshem Uddin, Astrit Tola, Cuneyt Gurcan Akcora, Baris Coskunuzer

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Md Joshem Uddin, Astrit Tola, Cuneyt Gurcan Akcora, Baris Coskunuzer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren de vorm van dingen te begrijpen. In de wereld van data gebruiken we vaak "grafen" om verbindingen weer te geven—zoals vrienden in een sociaal netwerk, atomen in een molecuul, of haltes op een metrokaart. Dit zijn geen nette rasters zoals een spreadsheet; het zijn rommelige, onregelmatige webben. Lange tijd hadden computers moeite om het grote plaatje in deze webben te zien omdat ze te druk waren met het bekijken van individuele punten (nodes) en lijnen (edges), waardoor ze het bos niet zagen door de bomen.

Om computers te helpen de "vorm" van deze webben te zien, gebruiken wetenschappers een tak van de wiskunde genaamd Topologische Data Analyse (TDA). Denk aan TDA als een manier om het aantal gaten, lussen en eilanden in een vorm te tellen zonder te geven om de exacte grootte of positie van de punten. Het is alsoj het een donut bekijkt en weet dat hij één gat heeft, ongeacht of de donut groot of klein is. Nog een belangrijk idee is de "Transformer", een type AI dat beroemd is om het lezen van taal en het bekijken van afbeeldingen. Transformers zijn goed in het herkennen van patronen in lange lijsten woorden of pixels, maar ze hebben meestal moeite met rommelige, onregelmatige grafen. De grote vraag die onderzoekers hebben gesteld is: Hoe kunnen we deze rommelige, onregelmatige webben omzetten in een nette, geordende lijst die een Transformer kan lezen, terwijl de belangrijke "vorm"-informatie intact blijft?

Hier komt een nieuw artikel genaamd TOPOFORMER kijken. De auteurs, een team van onderzoekers van universiteiten in de VS, hebben een slim instrument gebouwd dat werkt als een high-tech scanner voor grafen. In plaats van te proberen een rommelige graaf in een rigide raster te dwingen, snijdt TOPOFORMER de graaf in een reeks dunne, geordende lagen, vergelijkbaar met het snijden van een brood of het maken van een reeks CT-scans van een lichaam.

Zo werkt hun tovertruc: Ze gebruiken een methode die ze Topo-Scan noemen. Stel je voor dat je een complexe knoop van touw hebt. Traditionele methoden proberen misschien de hele knoop in één keer te meten of een ingewikkelde 3D-kaart van elke draai te maken, wat enorm veel tijd en rekenkracht kost. TOPOFORMER hanteert echter een andere aanpak. Het "snijdt" langzaam door de graaf met behulp van een bewegend venster. Terwijl het door de graaf beweegt, telt het eenvoudige zaken bij elke doorsnede: hoeveel aparte stukjes touw zijn er? Hoeveel lussen zijn er gevormd? Hoeveel knopen zijn er op dit moment zichtbaar?

Deze tellingen creëren een korte, nette lijst met getallen—een "topologische tokensequentie". Deze lijst is perfect gevormd voor een Transformer om te lezen. De Transformer kijkt vervolgens naar deze lijst en leert de algemene structuur van de graaf te herkennen, van kleine lokale lussen tot de grote globale vorm. De auteurs ontdekten dat deze methode niet alleen sneller en lichter is qua computerbronnen dan oudere technieken (die vaak vastlopen door dure berekeningen), maar dat het ook ongelooflijk goed werkt.

In hun experimenten werd TOPOFORMER getest op twee belangrijke taken: het classificeren van verschillende soorten grafen (zoals bepalen of een graaf een chemisch molecuul of een sociaal netwerk vertegenwoordigt) en het voorspellen van eigenschappen van moleculen (zoals of een medicijn zal werken of giftig zal zijn). De resultaten waren indrukwekkend. Op acht verschillende benchmarks voor graafclassificatie behaalde TOPOFORMER de beste of de op één na beste nauwkeurigheid, waarmee het veel complexe, zware modellen versloeg die jarenlang de standaard waren geweest. Wanneer het kwam op het voorspellen van moleculaire eigenschappen, presteerde het net zo goed als, of zelfs beter dan, de topmodellen die momenteel in gebruik zijn, waarbij het vaak in de top drie eindigde.

Wat dit bijzonder spannend maakt, is dat TOPOFORMER niet eerst een unieke "embedding" (een complexe interne code) voor elk afzonderlijk punt in de graaf hoeft te leren. In plaats daarvan behandelt het de hele graaf als één enkel, gestructureerd object en scant het deze direct. De auteurs suggereren dat deze aanpak een nieuwe, efficiënte weg biedt voor het creëren van "foundation models" voor grafen—superintelligente AI-systemen die elk soort netwerk kunnen begrijpen, van biologie tot sociale media, zonder dat ze telkens opnieuw getraind hoeven te worden. Ze hebben ook wiskundig bewezen dat hun methode stabiel is, wat betekent dat als je de invoer van de graaf licht verandert, de uitvoer niet uit de bocht vliegt, wat cruciaal is voor betrouwbaarheid in de echte wereld.

Kortom, TOPOFORMER neemt de rommelige, onregelmatige wereld van grafen, snijdt deze in een schoon, leesbaar verhaal, en laat een krachtige AI dat verhaal lezen om de vorm van de data te begrijpen. Het is een lichtere, snellere en verrassend effectieve manier om machines te leren de wereld te zien in termen van verbindingen en vormen.

Technische Samenvatting: TOPOFORMER

Probleemstelling

Graph representatie-leren staat voor aanzienlijke uitdagingen bij het bereiken van de generalisatiecapaciteiten die kenmerkend zijn voor foundation models voor visie en taal. De irreguliere, niet-Euclidische aard van grafen bemoeilijkt het ontwerp van overdraagbare inductieve biases. Hoewel Topologische Data Analyse (TDA), specifiek Persistent Homologie (PH), een fundamentele manier biedt om stabiele, multi-schaal structurele informatie (globale connectiviteit en cycli) te coderen, wordt de adoptie ervan in deep learning gehinderd door twee primaire bottlenecks:

Computationele Kosten: Standaard PH-pipelines vereisen dure globale reducties om persistentiediagrammen te berekenen, wat niet goed paralleliseerbaar is.
Vectorisatie-frictie: Het omzetten van persistentiediagrammen naar vectoren (bijv. persistence images, landscapes) is vaak ad hoc, kan sequentiële structurele informatie vernietigen en heeft een significante impact op de downstream prestaties. Bovendien lijden traditionele sublevel filtraties op grafen vaak aan "vroege verzadiging", waarbij hoogwaardige knopen vroeg activeren, de complex vervult en laat-ontstane topologische kenmerken onderdrukt.

Bestaande graph transformers (bijv. Graphormer, GPS) opereren doorgaans direct op node-tokens, waarbij structuur wordt geïnjecteerd via positionele encodings of attention biases, wat computationeel zwaar kan zijn en minder gefocust is op globale topologische invarianten.

Methodologie: TOPOFORMER en Topo-Scan

De auteurs stellen TOPOFORMER voor, een lichtgewicht en schaalbaar framework dat topologische structuur codeert in attention-vriendelijke sequenties, waardoor de noodzaak voor volledige persistentiediagrammen en complexe vectorisatiestappen wordt omzeild.

Kerncomponent: Topo-Scan

De centrale innovatie is Topo-Scan, een module die een graaf deelt in een korte, geordende sequentie van topologische tokens. In tegenstelling tot standaard PH die één enkele geneste filtratie opbouwt, maakt Topo-Scan gebruik van een sliding window benadering:

Filtratie: Een scalaire functie $f: V \to \mathbb{R}$ wordt gedefinieerd op vertices (bijv. graad, kromming, heat kernel signature).
Slicing: In plaats van een cumulatieve drempelwaarde, wordt de graaf in overlappende subgrafen $G_i$ gesneden op basis van intervallen $[\alpha_i, \alpha_i + m]$ van de filtratiefunctie.
Token Generatie: Voor elke slice wordt de clique complex gevormd, en vier invarianten worden berekend:
1. $\beta_0$ : Aantal verbonden componenten (Betti-0).
2. $\beta_1$ : Aantal cycli/gaten (Betti-1).
3. $|V_i|$ : Aantal nodes.
4. $|E_i|$ : Aantal edges.
Sequentievorming: Deze invarianten vormen een compacte, geordende sequentie $\Gamma(G)$ van lengte $4N$ (waarbij $N$ het aantal slices is). Deze sequentie behoudt de evolutie van topologische kenmerken over verschillende schalen zonder de problemen van vroege verzadiging die optreden bij standaard sublevel filtraties.

Transformer Architectuur

De gegenereerde topologische sequenties worden direct ingevoerd in een Transformer encoder.

Input: Een sequentie van tokens waarbij elk token de topologische staat van een specifieke slice representeert.
Verwerking: De Transformer maakt gebruik van self-attention mechanismen om afhankelijkheden over de sequentie te vangen, waardoor multi-resolutie structurele patronen effectief worden gemodelleerd.
Dual-Transformer Framework: Het model kan meerdere filtratiefuncties (bijv. Ollivier-Ricci kromming, Heat Kernel Signature) parallel verwerken. Outputs van onafhankelijke transformers worden gefuseerd via een leerbare gewogen som en een MLP-classifier om graph-level embeddings te produceren.
Moleculaire Eigenschap Voorspelling (MPP): Voor moleculaire taken integreert het framework topologische sequenties met standaard moleculaire fingerprints (bijv. ECFPs) die door een MLP worden verwerkt, welke vervolgens via attention-gebaseerde concatenatie worden gecombineerd.

Theoretische Garanties

Het paper biedt theoretische stabiliteitsgaranties voor Topo-Scan. Het stelt een discrete $\ell_1$ stabiliteitsbound vast, waarmee wordt bewezen dat kleine perturbaties in de filtratiefunctie resulteren in gebonden veranderingen in de outputsequentie. Dit berust op de relatie tussen Topo-Scan tokens en interlevel persistentie modules, wat aantoont dat de methode robuust is tegen ruis in het inputsignaal.

Belangrijkste Bijdragen

Schaalbare Topologische Encodering: Een methode om topologische structuur om te zetten in attention-ready sequenties, wat Transformers in staat stelt grafen te verwerken zonder afhankelijk te zijn van node embeddings of zware preprocessing.
Bruggen Slaan tussen TDA en Deep Learning: Een verenigend framework dat zowel lokale als globale graafstructuur vastlegt door middel van een sequentiële attention mechanism, waarbij de computationele overhead van persistentiediagrammen wordt vermeden.
Uitgebreide Evaluatie: Uitgebreide experimenten die state-of-the-art (SOTA) prestaties demonstreren op benchmarks voor graafclassificatie en moleculaire eigenschap voorspelling.
Efficiëntie en Stabiliteit: Theoretische garanties op de robuustheid van representaties en empirisch bewijs van voorspelbare, efficiënte compute geschikt voor grootschalige toepassingen.

Experimentele Resultaten

De auteurs evalueerden TOPOFORMER op diverse datasets:

Graafclassificatie: Getest op 9 benchmarks (inclusief BZR, MUTAG, IMDB-B/M, REDDIT-B/5K, OGBG-MOLHIV).
- TOPOFORMER behaalde de beste of de op één na beste nauwkeurigheid op 7 van de 8 benchmarks.
- Het vestigde nieuwe SOTA op BZR, MUTAG, PROTEINS, IMDB-M, REDDIT-B en REDDIT-5K.
- Het presteerde beter dan 20 baselines, inclusief GNN's, topologische methoden (PersLay, DMP) en contrastieve leermodellen.
- Op de grootschalige OGBG-MOLHIV dataset behaalde het een AUC binnen ~2 punten van de sterke Graphormer baseline, wat de schaalbaarheid aantoont.
Moleculaire Eigenschap Voorspelling (MPP): Getest op 7 datasets van MoleculeNet (BBBP, Tox21, ToxCast, ClinTox, SIDER, BACE, HIV).
- TOPOFORMER* (gecombineerd met fingerprints) behaalde de beste ROC AUC op ToxCast, ClinTox en BACE.
- Het was de runner-up op Tox21 en zeer competitief op HIV.
- Het behaalde de op één na laagste gemiddelde afwijking van het beste model en de op één na laagste gemiddelde rang over alle datasets.
Ablatie Studies:
- vs. PH: TOPOFORMER presteerde beter dan zowel standaard PH-MLP als PH-Transformer baselines, wat bevestigt dat Topo-Scan meer expressieve structuur vastlegt dan standaard PH filtraties en dat sequentiële encodering superieur is aan statische vectorisatie.
- Filtratie Sensitiviteit: Het model toonde robuustheid over verschillende filtratiefuncties (Degree, Ollivier-Ricci, HKS) en window breedtes.
- Feature Combinatie: Het combineren van topologische features met moleculaire fingerprints presteerde consequent beter dan het gebruiken van slechts één van beide modaliteiten alleen.

Betekenis en Claims

Het paper positioneert TOPOFORMER niet als een volledig foundation model op zich, maar als een stap richting topologie-bewuste graph foundation models. De betekenis ligt in:

Verenigende Benadering: Het biedt een paralleliseerbare, verenigende benadering voor graph representatie-leren die topologische inductieve biases direct in attention frameworks integreert.
Efficiëntie: Door het omzeilen van globale persistentiediagram berekeningen, biedt het voorspelbare en efficiënte compute, wat het praktisch maakt voor grootschalige toepassingen waar traditionele TDA te traag is.
Generalisatie: De vaste, overdraagbare representaties geproduceerd door TOPOFORMER zijn goed geschikt voor taken die consistente embeddings vereisen over grafen van variërende grootte en domeinen, wat een centraal probleem in graph learning aanpakt.
Bescheiden Omvang: De auteurs geven expliciet aan dat het werk zich richt op een gestroomlijnde, graph-level instantie. Zij laten node/edge-level taken, heterogene settings (temporele/citatie grafen) en grootschalige pretraining op heterogene corpora over aan toekomstig onderzoek. Zij beschouwen Topo-Scan als een lichtgewicht samenvatting die volledige persistente homologie aanvult in plaats van vervangt.