Technische Samenvatting: Zelftoezicht-gebaseerde Adversariële Zuivering voor Graph Neural Networks

Probleemstelling

Graph Neural Networks (GNN's) zijn zeer kwetsbaar voor adversariële aanvallen, met name structurele verstoringen zoals het toevoegen en verwijderen van randen. Het verdedigen tegen deze aanvallen vereist doorgaans een afweging tussen twee tegenstrijdige doelen: nauwkeurigheid (prestaties op schone data) en robustheid (weerstand tegen aanvallen). Traditionele adversariële training-methoden proberen beide doelen gelijktijdig te optimaliseren binnen één classifier-framework. Deze benadering kluistert deze doelen echter inherent aan elkaar, wat vaak een trade-off forceert waarbij het verhogen van de robustheid de schone nauwkeurigheid aanzienlijk verslechtert. Bovendien vertrouwen bestaande methoden voor adversariële zuivering vaak op vooraf gedefinieerde heuristieken (bijvoorbeeld Jaccard-相似iteit, benadering met lage rang) of eenvoudige mechanismen voor randdetectie die niet adaptief zijn en geen complexe structurele verschillen tussen schone en adversariële grafen kunnen vastleggen.

Methodologie

De auteurs stellen een Zelftoezicht-gebaseerd Adversariële Zuivering-framework voor dat de doelen van nauwkeurigheid en robustheid ontkoppelt in twee aparte modules: een standaard GNN-classifier en een dedicated zuiveraar.

1. Framework Architectuur

• Ontkoppeling: De classifier ($f_\psi$) richt zich uitsluitend op het leren van accurate representaties uit schone grafen, terwijl de zuiveraar ($f_\theta$) onafhankelijk wordt getraind om de schone grafstructuur te reconstrueren uit verstoord ingangsmateriaal. Deze scheiding voorkomt interferentie tussen de doelen van nauwkeurigheid en robustheid.
• Zelftoezicht-gebaseerde Training: De zuiveraar wordt getraind met een zelftoezicht-strategie. Het neemt een verstoord graf $G'$ (bemonsterd uit een begrende verstooringsruimte $B(G, \epsilon)$) en probeert de oorspronkelijke adjacentiematrix $A$ te reconstrueren. Het trainingsdoel minimaliseert de reconstructiefout zonder afhankelijk te zijn van knoplabels, waardoor de zuiveraar algemene zuiveringsrichtingen kan leren over een breed scala aan verstoringen.

2. Het GPR-GAE Model

De kernbijdrage is GPR-GAE, een nieuw Graph Auto-Encoder (GAE) dat specifiek is ontworpen voor zuivering. Het adresseert beperkingen van traditionele GAE's, zoals "adversariële gladmaking" (waarbij verstoringen onderscheid tussen knopen vervaagt) en moeilijkheden bij het vastleggen van structurele informatie van hogere orde.

• Meerdere GPR-filters: In plaats van statische GNN-lagen te stapelen, maakt GPR-GAE gebruik van $K+1$ verschillende Generalized PageRank (GPR)-filters. Elk filter maakt gebruik van leerbare coëfficiënten $\gamma$ om bijdragen van verschillende buurstralen (tot $K$-hops) dynamisch te wegen.
• Verscheiden Representaties: Door gebruik te maken van meerdere GPR-filters met variërende schalen en coëfficiënten, vangt het model diverse structurele aspecten. Sommige filters kunnen specifieke buurten onderdrukken (bijvoorbeeld 1-hop) terwijl ze andere benadrukken (bijvoorbeeld 2-hop), waardoor het model effectief kan onderscheiden tussen schone en adversariële gebieden zonder last te hebben van oversmoothing.
• Architectuur:
  • Knopcodering: Voegt outputs van alle GPR-filters samen om multi-schaal knop-embeddings te vormen.
  • Randcodering & Decodering: Berekent rand-embeddings uit samengevoegde knoprepresentaties en voorspelt linkkansen met behulp van een symmetrische verliesfunctie om consistentie te waarborgen.

3. Meerdere-staps Zuiveringsproces

Tijdens inferentie is de zuivering geen enkelstapsproces, maar een iteratief, convergent verfijning.

• Beginnen met een verstoord graf $G^{(0)}$, voorspelt het model een "schonere" adjacentiematrix $\hat{A}^{(t)}$.
• De graf wordt iteratief bijgewerkt: $G^{(t+1)} = G^{(t)} + \alpha \cdot (\hat{A}^{(t)} - G^{(t)})$, waarbij $\alpha$ een stapgrootte is.
• Theoretische Garantie: De auteurs bewijzen dat onder de aanname dat de zuiveraar fungeert als lokaal Lipschitz-continue functie (met constante $L < 1$), dit iteratieve proces lineair convergeert naar een stabiel stationair punt. Deze convergentie is gegarandeerd ongeacht de stapgrootte, mits het model zelftoezicht-gebaseerd is getraind.

Belangrijkste Bijdragen

1. Ontkoppeld Framework: Het paper stelt een framework voor dat nauwkeurigheid en robustheid expliciet scheidt en deze toewijst aan gespecialiseerde modules (classifier en zuiveraar) om de inherente trade-off in adversariële training te mitigeren.
2. GPR-GAE Architectuur: Introductie van een gespecialiseerde zuiveraar met meerdere GPR-filters om multi-schaal structurele representaties te vangen, effectief onderscheidend tussen schone en adversariële grafgebieden terwijl het de oversmoothing-problemen van traditionele GAE's vermijdt.
3. Convergent Meerdere-staps Zuivering: Een theoretisch en praktisch meerstaps verfijningsproces dat grafstructuren iteratief herstelt. De auteurs leveren een convergentiebewijs op basis van de Lipschitz-continuïteit van de zelftoezicht-gebaseerde zuiveraar.
4. Plug-and-Play Verdediging: De methode fungeert als een onafhankelijke module die compatibel is met diverse GNN-classifiers (bijvoorbeeld GCN, GAT, GPRGNN, APPNP), zonder dat hertraining van de classifier zelf vereist is.

Experimentele Resultaten

De auteurs evalueerden GPR-GAE op diverse datasets (Cora, Citeseer, Pubmed, Chameleon, OGB-arXiv) en aanvalsscenario's (PRBCD, LRBCD).

• Robustheid: GPR-GAE behaalde state-of-the-art robustheid tegen adaptieve aanvallen. Bijvoorbeeld, op de Cora-dataset onder zware verstoringen ($\epsilon = 0.5$), verbeterde GPR-GAE in combinatie met een GPRGNN-classifier de testnauwkeurigheid met 15,7 procentpunten vergeleken met de best presterende adversariële getrainde baseline.
• Behoud van Nauwkeurigheid: In tegenstelling tot adversariële training, die vaak schone nauwkeurigheid opoffert voor robustheid, behield GPR-GAE de schone nauwkeurigheid dicht bij die van de vanilla classifier, wat een succesvolle mitigatie van de nauwkeurigheid-robustheid trade-off aantoont.
• Schaalbaarheid: De methode schaalde efficiënt naar grote datasets zoals OGB-arXiv met behulp van mini-batch-verwerking, terwijl andere methoden (bijvoorbeeld GOOD-AT, SVD-GCN) geconfronteerd werden met geheugenbeperkingen of niet schaalden.
• Niet-Adaptieve Aanvallen: In transfer-aanvalsscenario's presteerde GPR-GAE consequent beter dan heuristiek-gebaseerde zuiveringsmethodes (Jaccard-GCN, SVD-GCN) en robuuste GNN-architecturen (EvenNet, SoftMedianGDC).
• Empirische Validatie: Experimenten bevestigden dat de Lipschitz-constante van de getrainde zuiveraar strikt kleiner is dan 1, wat de theoretische convergentieclaims ondersteunt. Visualisatie van de geleerde coëfficiënten toonde aan dat GPR-GAE diverse, datagedreven filterpatronen leert, ongeacht graf-homofielie.

Betekenis en Claims

Het paper claimt dat GPR-GAE een significante vooruitgang vertegenwoordigt in het verdedigen van GNN's door het verdedigingsmechanisme fundamenteel te herontwerpen. Door weg te bewegen van het "all-in-one" adversariële trainingsparadigma naar een zelftoezicht-gebaseerde zuiveringsbenadering, doet de methode het volgende:

• Breekt de Trade-off: Het ontkoppelt succesvol nauwkeurigheid en robustheid, waardoor de classifier nauwkeurig blijft op schone data terwijl de zuiveraar de robustheid behandelt.
• Generaliseert: Het fungeert als een veelzijdige, plug-and-play verdedigingsmodule die de robustheid van diverse bestaande GNN-architecturen verbetert zonder architecturale wijzigingen aan de classifiers te vereisen.
• Adapteert: Door zijn datagedreven, zelftoezicht-gebaseerde training en multi-schaal GPR-filters, past het zich effectiever aan diverse grafstructuren en complexe verstoringpatronen aan dan heuristische of statische methoden.

De auteurs concluderen dat dit framework een robuuste, schaalbare en theoretisch onderbouwde oplossing biedt voor het beveiligen van Graph Neural Networks tegen structurele adversariële aanvallen.