🤖 machine learning

Graph Rewiring in GNNs to Mitigate Over-Squashing and Over-Smoothing: A Survey

Deze survey geeft een uitgebreid overzicht van graf-herkoppeltechnieken die zijn ontworpen om de uitdagingen van over-squashing en over-smoothing in Graph Neural Networks te mitigeren door de graf-topologie te wijzigen om informatievoortplanting te verbeteren, waarbij de theoretische fundamenten, implementaties en prestatieafwegingen worden behandeld.

Oorspronkelijke auteurs: Hugo Attali, Nathalie Pernelle, Davide Buscaldi, Fragkiskos D. Malliaros

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hugo Attali, Nathalie Pernelle, Davide Buscaldi, Fragkiskos D. Malliaros

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een geheim bericht over te brengen in een drukke zaal vol mensen. In de wereld van Kunstmatige Intelligentie, specifiek Graph Neural Networks (GNNs), zijn de "mensen" datapunten (zoals knooppunten in een netwerk), en zijn de "handdrukken" tussen hen de verbindingen (randen) die hen toelaten informatie te delen.

Dit artikel is een survey (een grote review) van een nieuwe strategie genaamd Graph Rewiring. Denk hierbij aan een "zaalherindeler" voor AI. In plaats van de AI alleen te leren beter te praten, verandert deze methode fysiek de indeling van de zaal om communicatie makkelijker te maken.

Hier is de uiteenzetting van de problemen die ze oplossen en de oplossingen die ze bieden, gebruikmakend van eenvoudige analogieën.

De Twee Grote Problemen: "De Klem" en "De Vervaging"

Het artikel identificeert twee hoofdredenen waarom deze AI-modellen soms falen in het leren van lange-afstandsverbindingen:

1. Over-Squashing (De "Klem")
Stel je een smalle gang voor waar 100 mensen proberen een geheim te fluisteren naar één persoon aan het einde. Naarmate het bericht de rij afreist, wordt het samengeperst tot een klein, gecomprimeerd gefluister. Als het het einde bereikt, zijn de details verloren gegaan.

In AI-termen: Wanneer informatie van verafgelegen knooppunten probeert een centraal knooppunt te bereiken, wordt deze samengeperst in een geheugenplek van vaste grootte. De AI vergeet de specifieke details van het verre knooppunt omdat er te veel "verkeer" is op de weinige paden die hen verbinden.

2. Over-Smoothing (De "Vervaging")
Stel je een groep mensen voor die in een cirkel staan en voortdurend hun verfemmers met hun buren mengen. Als ze dit te lang blijven doen, wordt de verf van iedereen uiteindelijk exact dezelfde modderige bruine kleur. Je kunt niet meer zeggen wie oorspronkelijk rood, blauw of groen was.

In AI-termen: Terwijl de AI informatie heen en weer geeft tussen buren, wordt de unieke "identiteit" van elk knooppunt weggespoeld. Ze gaan allemaal hetzelfde lijken, waardoor het voor de AI onmogelijk wordt om ze uit elkaar te houden.

De Oplossing: Graph Rewiring

In plaats van de AI te dwingen te werken met een gebroken zaalindeling, verandert Graph Rewiring de zaal zelf. Het voegt nieuwe shortcuts toe of verwijdert verwarrende doodlopende straten om de stroom van het bericht te verbeteren.

Het artikel categoriseert deze "zaalherindelaars" in drie hoofdstijlen:

1. De Structurele Fix (De Architect)

Deze benadering kijkt alleen naar de vorm van de verbindingen, en negeert wat de mensen dragen (hun data-kenmerken). Het gebruikt wiskunde om de "flessenhalsen" (smalle gangen) en de "doodlopende straten" te vinden.

Hoe het werkt: Het gebruikt hulpmiddelen zoals Kromming (het meten van hoe "onregelmatig" een verbinding is) of Weerstand (het meten hoe moeilijk het is om van A naar B te komen).
De Analogie: Als de Architect een gang ziet die te smal is (hoge weerstand), slaat hij een muur in om een nieuwe deur te creëren. Als hij een kamer ziet die te vol zit met mensen die verf mengen (hoge positieve kromming), verwijdert hij enkele verbindingen om het mengen te stoppen.
Voor-/Nadelen: Het is zeer logisch en makkelijk te begrijpen, maar kan rekenkundig duur zijn (traag) en vereist soms veel "tweaken" (hyperparameters) om de deurplaatsing precies goed te krijgen.

2. De Kenmerk-bewuste Fix (De Matchmaker)

Deze benadering kijkt naar wie de mensen zijn (hun data-kenmerken) voordat de zaal wordt herindeld.

Hoe het werkt: Het vraagt: "Hebben deze twee mensen eigenlijk iets gemeen?" Als twee verafgelegen knooppunten zeer vergelijkbare data hebben (zoals twee mensen met hetzelfde gekleurde overhemd), kan de AI een nieuwe lijn tussen hen trekken, zelfs als ze oorspronkelijk niet verbonden waren.
De Analogie: In plaats van alleen naar de gang te kijken, kijkt de Matchmaker naar de gasten. Als twee gasten kleding dragen die op elkaar lijken, maar aan tegenovergestelde kanten van de zaal staan, creëert de Matchmaker een directe brug tussen hen zodat ze direct kunnen praten.
Voor-/Nadelen: Dit werkt vaak beter omdat het meer informatie gebruikt, maar het is moeilijker uit te leggen waarom de AI een specifieke verandering heeft gemaakt. Het is als zeggen: "Ik heb de muur verplaatst omdat de kleuren overeenkwamen," wat wat abstracter is dan "Ik heb de muur verplaatst omdat de gang te smal was."

3. Het Virtuele Knooppunt (Het Centrale Hub)

Soms is de zaal gewoon te groot.

Hoe het werkt: Deze methode voegt een "Super Knooppunt" toe (zoals een centrale megafoon of een hoofdschakelaar) dat met iedereen verbonden is.
De Analogie: In plaats van een bericht persoon-tot-persoon over een groot stadion door te geven, fluistert iedereen naar een centrale omroeper, die het bericht vervolgens aan iedereen anders schreeuwt. Dit verkort de afstand die informatie moet afleggen drastisch.

Hoe weten we dat het werkt?

Het artikel betoogt dat we niet alleen naar de eindscore moeten kijken (kreeg de AI het juiste antwoord?). We moeten de "gezondheid" van de zaal zelf controleren:

Hebben we de flessenhalsen opgelost? (Zijn de gangen breder?)
Hebben we het mengen van verf gestopt? (Zijn de kleuren nog steeds onderscheidbaar?)
Is het bericht sneller gereisd? (Is de "woon-werktijd" korter?)

De Conclusie

Deze survey concludeert dat Graph Rewiring een krachtig hulpmiddel is, maar het is geen "one-size-fits-all" toverstaf.

Als je data ruis bevat of de verbindingen zwak zijn, helpt het kijken naar de kenmerken (wie de knooppunten zijn).
Als je data schoon is maar de structuur slecht, helpt het kijken naar de geometrie (de vorm van de verbindingen).
De auteurs waarschuwen dat we voorzichtig moeten zijn om niet alleen de instellingen af te stemmen om een gelukkige winst op één specifieke dataset te behalen. We moeten begrijpen waarom de nieuwe indeling de AI helpt leren.

Kortom: Leer de AI niet alleen beter te praten; repareer de zaal zodat het gesprek daadwerkelijk kan plaatsvinden.

Technische Samenvatting: Graph Rewiring in GNN's om Over-Squashing en Over-Smoothing te Mitigeren

1. Probleemstelling

Graph Neural Networks (GNN's), hoewel krachtig voor het leren van graf-gestructureerde data, staan voor twee kritieke beperkingen die de prestaties verslechteren, met name in heterofiele grafen en taken die lange-afstandsafhankelijkheden omvatten:

Over-Squashing: Dit fenomeen treedt op wanneer informatie van verre knopen overdreven wordt samengeperst in vaste grootte knooprepresentaties. Het ontstaat wanneer de grafentopologie veel verschillende lange-afstandssignalen dwingt om door een klein aantal paden te passeren (structurele knelpunten), waardoor de Jacobiaan-gevoeligheid van verre knopen snel afneemt naarmate de afstand toeneemt.
Over-Smoothing: Dit treedt op wanneer herhaaldelijke berichtoverdracht ervoor zorgt dat knooprepresentaties ononderscheidbaar worden. Naarmate de lagen dieper worden, werkt het aggregatieproces als een diffusieproces, waarbij de variatie tussen knoop-embeddings progressief wordt verminderd totdat ze instorten tot een homogene toestand.

Beide problemen vloeien voort uit de interactie tussen de berichtoverdrachtsoperator en de invoergrafentopologie. Hoewel bestaande oplossingen omvatten gewichtsverdeling van randen (die beperkt blijft door de oorspronkelijke grafenondersteuning) en multi-hop aggregatie (die over-squashing kan verergeren en over-smoothing kan versnellen door grafverdichting), falen deze benaderingen vaak om fundamenteel de connectiviteitsstructuur te wijzigen om efficiënte informatieflow over lange afstanden te faciliteren.

2. Methodologie: Graph Rewiring

Het artikel geeft een overzicht van graph rewiring, een klasse van methoden die de grafentopologie expliciet wijzigen ( $G \to G^+$ ) om informatiepropagatie te bevorderen terwijl structurele patronen die overmatige menging of compressie veroorzaken, worden afgezwakt.

2.1 Kerndefinitie

Een rewiring-operatie wordt gedefinieerd als een afbeelding $R: G \to G^+$ , waarbij $G^+ = (V^+, E^+)$ een gewijzigde graf is. Dit kan zijn:

Statisch: Eenmaal toegepast voorafgaand aan training.
Dynamisch: Ontwikkelt zich tijdens training op basis van leerbare parameters ( $G^+ = R_\theta(G)$ ).
Het doel is een topologie te verkrijgen die gunstiger is voor Message Passing Neural Networks (MPNN's) dan de oorspronkelijke graf.

2.2 Topologische en Connectiviteitsmaten

Rewiring-strategieën vertrouwen op specifieke metrieken om knelpunten te identificeren en structurele modificaties te sturen:

Discrete Kromming: Meet lokale structurele dispersie.
- Ollivier Kromming: Gebaseerd op optimaal transport (Wasserstein-afstand) tussen waarschijnlijkheidsmaten op buurten.
- Forman Krommingen (Aangevuld/In evenwicht): Combinatorische maten die driehoeken en cycli van verschillende lengtes incorporeren.
- Jost-Liu Kromming: Verfijnt op randen gebaseerde maten met behulp van lokale clustering (driehoeken).
- Rol: Zeer negatieve kromming geeft vaak knelpunten aan (over-squashing), terwijl hoge positieve kromming redundante lokale menging kan aangeven (over-smoothing).
Effectieve Weerstand: Een globale maat voor connectiviteit tussen twee knopen die alle disjuncte paden in overweging neemt. Hoge weerstand geeft een knelpunt aan; lage weerstand geeft gemakkelijke communicatie aan.
Op Random Walk Gebaseerde Maten: Kwantificeert connectiviteit via commutietijden (verwachte stappen voor een random walk om tussen knopen heen en terug te reizen) of wandelcounts. Minder verbindende wandelingen correleren met een hoger risico op over-squashing.
Spectrale Gap: Gerelateerd aan de Cheeger-constante en de tweede kleinste eigenwaarde ( $\lambda_2$ ) van de Laplaciaan. Een kleine spectrale gap geeft bijna-gescheiden componenten aan (knelpunten).

2.3 Rewiring-strategieën

Het artikel categoriseert methoden op basis van structurele modificatie, signaalbron en efficiëntie:

A. Structureel-Fix Rewiring

Deze methoden wijzigen de graf uitsluitend op basis van topologische beschrijvers ( $S_G$ ) zonder gebruik te maken van knoopkenmerken of labels.

Op Kromming Gebaseerd: Randen worden toegevoegd of verwijderd op basis van krommingstheken. Randen met zeer negatieve kromming (knelpunten) worden overbrugd door shortcuts toe te voegen; randen met zeer positieve kromming (redundante cliques) worden verwijderd om over-smoothing te voorkomen.
Op Weerstand Gebaseerd: Voegt iteratief randen toe tussen paren knopen met hoge effectieve weerstand om de globale weerstand te minimaliseren.
Op Wandel Gebaseerd: Voegt randen toe tussen paren met weinig verbindende wandelingen (lage $\Omega_k$ ) om paddiversiteit te vergroten.
Methoden voor Spectrale Gap: Construeert grafen (bijv. expanders) met gemaximaliseerde spectrale gaten om snelle menging zonder knelpunten te garanderen.
Virtuele Knoopen: Verrijkt de graf met hulppunten (bijv. een "master node" of fractale knopen) die verbonden zijn met subsets van oorspronkelijke knopen om multi-schaal shortcuts te creëren, waardoor de diameter en effectieve weerstand worden verminderd.

B. Kenmerk-bewust Rewiring

Deze methoden maken gebruik van knoopattributen om rewiring te sturen, wat cruciaal is wanneer de waargenomen topologie ruis bevat of niet is uitgelijnd met de taak.

Geometrische Benaderingen: Reconstrueert de graf met behulp van Delaunay-triangulatie in kenmerkruimte (bijv. DR, TRIGON) om taakrelevante connectiviteit af te dwingen terwijl negatieve kromming wordt vermeden.
Kenmerk-Soortgelijkheid: Rangschikt het toevoegen/verwijderen van randen op basis van kenmerk-affiniteit (bijv. cosinus-afstand), vaak beperkt door gemeenschapsstructuren (bijv. ComFy).
Spectrale Uitlijning: Dwingt consistentie af tussen de grafentopologie en kenmerkgeometrie door eigenvectoren van de adjacentiematrix uit te lijnen met singuliere vectoren van knoopkenmerken (bijv. JDR).

3. Belangrijkste Bijdragen en Overzichtsomvang

Dit artikel biedt een methode-gerichte survey van state-of-the-art rewiring-benaderingen, die zich onderscheidt van eerdere surveys (bijv. die uitsluitend focussen op over-squashing) door:

Uitgebreide Categorisering: Systematische organisatie van methoden op basis van structurele operator, informatiebron (structuur versus kenmerken) en computationele trade-offs.
Theoretische Fundamenten: Expliciete koppeling van rewiring-technieken aan de wiskundige formalisering van over-squashing (afname van Jacobiaan-gevoeligheid) en over-smoothing (asymptotische instorting).
Kritische Analyse van Trade-offs:
- Attributie: Structureel-fix methoden bieden duidelijkere causale attributie van prestatiewinst aan topologische veranderingen, terwijl kenmerk-bewuste methoden topologische verbeteringen kunnen vermengen met kenmerkmodellering.
- Hyperparameter-gevoeligheid: Veel structurele methoden (bijv. op kromming gebaseerd) zijn zeer gevoelig voor bewerkingsbudgetten en drempels, waarbij vaak gunstige configuraties nodig zijn om winst te tonen.
- Computationele Complexiteit: Berekeningen van kromming en effectieve weerstand kunnen kwadratisch of kubisch schalen, terwijl op wandel gebaseerde of spectrale benaderingen betere schaalbaarheid bieden voor grote grafen.

4. Evaluatie en Resultaten

Het artikel benadrukt dat rewiring niet uitsluitend op downstream-accuratesse moet worden geëvalueerd. In plaats daarvan pleit het voor een veelzijdig evaluatieprotocol:

Structuurniveau Diagnostiek: Verifiëren of de gewijzigde graf $G^+$ daadwerkelijk de effectieve weerstand vermindert, commutietijden verkort of krommingsverdelingen verschuift weg van waarden die knelpunten veroorzaken.
Modelniveau Diagnostiek: Meten van verbeteringen in lange-afstandsgevoeligheid (bijv. via op Jacobiaan gebaseerde maten).
Benchmarks: Prestaties worden doorgaans gevalideerd op heterofiele datasets en benchmarks voor lange-afstandsinteracties waar standaard GNN's moeite hebben.
Baselines: Vergelijkingen moeten graf-onafhankelijke baselines omvatten (bijv. DeepSets) om relationele voordelen te onderscheiden van enkel kenmerk-gebaseerde effecten, en aangepaste budgetcontroles (bijv. willekeurige rewiring) om ervoor te zorgen dat winst niet louter het gevolg is van een toename van het aantal randen.

5. Betekenis en Toekomstige Richtingen

Het artikel betoogt dat graph rewiring een principieel middel vertegenwoordigt om in te grijpen op grafestructuur om leren te verbeteren. De betekenis ligt in het verschuiven van de focus van puur architecturale veranderingen naar het wijzigen van het propagatiesubstraat zelf.

Geïdentificeerde Toekomstige Richtingen:

Interactie Structuur-Kenmerken: Verduidelijken wanneer rewiring noodzakelijk is versus wanneer mechanismen aan de kenmerkzijde volstaan voor lange-afstandsleren, en hoe deze onder gematchte beperkingen kunnen worden gecombineerd.
Generalisatie en Stabiliteit: Het benutten van structurele proxies (bijv. heterogeniteit van graad, spectrale eigenschappen) om te voorspellen wanneer topologie de generalisatie verslechtert, en rewiring te sturen om propagatieversterking te controleren in plaats van alleen accuratesse te optimaliseren.
Rigoureuze Evaluatie: Bewegen naar duidelijkere probleemformuleringen en evaluatieprotocollen die claims robuust, vergelijkbaar en interpreteerbaar maken over verschillende settings.

De auteurs concluderen dat vooruitgang op dit gebied zal afhangen van explicietere aannames en evaluatieprotocollen die prestatieverbeteringen robuust kunnen toeschrijven aan specifieke topologische interventies.