Technische Samenvatting: Robuuste Graph Neural Networks via Community-Guided Label Refinement en Progressieve Contrastieve Learning

1. Probleemstelling

Graph Neural Networks (GNN's) zijn zeer effectief voor semi-gestuurde node-classificatie, maar lijden aanzienlijk onder labelruis. Het mechanisme van message-passing dat inherent is aan GNN's zorgt ervoor dat foutieve supervisie zich over de grafenstructuur verspreidt, wat de representaties van naburige nodes besmet en de generalisatie verslechtert.

Bestaande robuuste GNN-methoden kampen met twee primaire beperkingen:

1. Lokale Bias: De meeste strategieën voor labelcorrectie leunen zwaar op lokale homofilie (buikinformatie) en negeren globale structurele informatie. Dit maakt ze vatbaar voor interferentie door lokale ruisignalen in complexe grafenstructuren.
2. Instabiliteit van Contrastieve Learning: In graph contrastive learning kan ruisgevoelige supervisie de representatie-uitlijning verstoren. Het direct opnemen van ruisgevoelige labels in de vroege stadia van de training kan ertoe leiden dat het model een foutieve supervisie leert, terwijl het message-passing mechanisme de verspreiding van ruis verder faciliteert.

Bovendien vertonen gemeenschappen (communities) in grafendata vaak een sterke semantische consistentie (nodes binnen dezelfde community hebben de neiging om vergelijkbare labels te delen), maar huidige methoden tillen ruisbestrijding zelden van het node-niveau naar het community-niveau.

2. Methodologie: CG-GNN

De auteurs stellen CG-GNN voor, een framework dat community-gestuurde labelverfijning integreert met progressieve contrastieve learning. De architectuur bestaat uit drie kerncomponenten:

A. Graph Augmentatie en Optimalisatie van het Propagatiepad

Om label-schaarsheid en ruispropagatie aan te pakken, verbetert het framework eerst de grafenstructuur en optimaliseert het de propagatiepaden:

• Graph Augmentatie: Ongelabelde nodes worden verbonden met gelabelde nodes op basis van feature-gelijkenis (cosine similarity van GCN embeddings). Een edge reconstruction loss wordt gebruikt om deze latente associatiegewichten te optimaliseren, waardoor een geaugmenteerde adjacency matrix $\hat{A}$ ontstaat.
• Ruisdetectie: Een dual-encoder strategie identificeert ruisgevoelige nodes via twee mechanismen:
  1. Loss-gebaseerd: Selecteert nodes met kleine training losses (uitgaande van de aanname dat schone labels als eerste worden geleerd).
  2. Homofilie-gebaseerd: Gebruikt een neighborhood voting mechanisme om nodes te detecteren waarvan de labels in strijd zijn met de consensus van hun buren.
     Nodes worden verdeeld in schone ($V_c$) en ruisgevoelige ($V_n$) subsets op basis van de intersectie van deze twee criteria.
• Edge Pruning: Om ruispropagatie te onderdrukken, worden edges die verbonden zijn met geïdentificeerde ruisgevoelige nodes dynamisch weggeprikt (pruned). Deze beslissing is gebaseerd op een noise risk score die voorspellende onzekerheid en structurele inconsistentie combineert.

B. Community-Bewuste Ruiscorrectie

In plaats van labels node voor node te corrigeren, behandelt CG-GNN communities (gedetecteerd via het Louvain-algoritme) als de fundamentele eenheid voor verfijning.

• Entropy-Gestuurde Strategie: Het framework berekent de informatie-entropie van de labeldistributie binnen elke community.
  • Lage Entropie (Hoge Zuiverheid): Communities met consistente labels ontvangen een hogere correctiedrempel om betrouwbare informatie te behouden.
  • Hoge Entropie (Lage Zuiverheid): Communities met heterogene labels ontvangen een lagere drempel om de vorming van consistente semantische representaties te faciliteren.
• Adaptieve Correctie:
  • Voor grote communities ($N_{cm} \ge N_{min}$) wordt een community-gebaseerde correctie toegepast: ruisgevoelige nodes worden herlabeld naar de meerderheidsconsensus van de community als hun representatie-gelijkenis met de consensus-nodes de adaptieve drempel overschrijdt.
  • Voor kleine communities wordt in plaats daarvan een neighborhood-gebaseerde correctie gebruikt om instabiliteit door onvoldoende data te voorkomen.

C. Gefaseerde Contrastieve Learning

Om de label-semantiek te benutten zonder corrupt te raken door ruis, wordt een tweefasig contrastief leerplan toegepast:

1. Unsupervised Stage (Warm-up): In de vroege trainings-epochs voert het model unsupervised contrastive learning uit. Het lijnt de representaties van dezelfde node uit over twee views (gegenereerd door onafhankelijke encoders) zonder labels te gebruiken. Dit stelt het model in staat om robuuste topologische structuren te leren voordat het wordt blootgesteld aan potentieel ruisgevoelige supervisie.
2. Supervised Stage: Na de warm-up gaat het model over naar supervised semantic contrastive learning. Het gebruikt de hoog-betrouwbare verfijnde labels (uit de community-correctiemodule) om positieve paren (dezelfde klasse) en negatieve paren (verschillende klassen) te construeren, wat de intra-klasse compactheid en inter-klasse scheidbaarheid versterkt.

D. Totale Objectieve Functie

Het model wordt getraind met een multi-task loss functie:
$$L_{total} = \alpha \cdot L_{rec} + L_{pred} + \lambda \cdot L_{contrast}$$
Waarbij $L_{pred}$ een gewogen predictie loss is die lagere gewichten toekent aan ruisgevoelige nodes, $L_{rec}$ de edge reconstruction loss is, en $L_{contrast}$ zowel de unsupervised als de supervised contrastieve losses combineert.

3. Belangrijkste Bijdragen

1. Community-Level Noise Governance: Het paper introduceert een methode die de afhandeling van labelruis tilt van het node-niveau naar het community-niveau. Door gebruik te maken van globale structurele consistentie, voert het gedifferentieerde ruiscorrectie uit op basis van community-entropie en -grootte.
2. Progressieve Contrastieve Learning: Een gefaseerd leerplan is ontworpen om de transitie te maken van unsupervised structureel leren naar supervised semantisch leren. Dit verzacht de verstoring veroorzaakt door ruisgevoelige labels tijdens de kritieke vroege optimalisatiefases.
3. Structurele Ruisonderdrukking: Een edge pruning mechanisme is geïntroduceerd om ruispropagatiepaden op structureel niveau actief te onderdrukken, waardoor de verspreiding van foutieve informatie wordt beperkt.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat het framework consequent de state-of-the-art methoden overtreft onder diverse ruisinstellingen.

4. Experimentele Resultaten

De auteurs hebben CG-GNN geëvalueerd op vier benchmark datasets: Cora, Citeseer, PubMed en Amazon Photo.

• Ruisinstellingen: Experimenten werden uitgevoerd onder Uniform Noise (willekeurig label omdraaien) en Pair Noise (omdraaien naar semantisch vergelijkbare klassen) met ruispercentages tot 40%.
• Baselines: De methode werd vergeleken met een standaard GCN en negen robuuste baselines, waaronder Co-teaching, GRACE, NRGNN, RTGNN, ERASE en GTA.
• Prestaties:
  • CG-GNN behaalde de beste of op één na beste classificatie-accuratesse over alle datasets en ruisconfiguraties.
  • Het demonstreerde superieure stabiliteit, met name in scenario's met hoge ruispercentages en beperkte gelabelde data (bijv. een labelrate van 1% op PubMed en Photo).
  • Ablatie-studies bevestigden dat het verwijderen van een component (Graph Augmentation/Pruning, Noise Correction, of Contrastive Learning) resulteerde in een significante prestatieverslechtering.
  • Visualisatie (t-SNE) toonde aan dat CG-GNN node-embeddings produceert met duidelijkere clusteringstructuren en scherpere klassegrenzen vergeleken met de baselines, wat wijst op een betere preservatie van de semantische structuur ondanks de ruis.

5. Betekenis en Claims

Het paper claimt dat CG-GNN de kritieke kloof in bestaande robuuste GNN-methoden overbrugt door globale structurele informatie (via communities) te incorporeren in plaats van enkel te vertrouren op lokale homofilie. De betekenis ligt in het vermogen om:

• Ruispropagatie te Mitigeren: Door edges te prunen en labels te verfijnen op community-niveau, stopt het framework effectief de verspreiding van foutieve supervisie die de gehele graaf besmet.
• Training te Stabiliseren: De progressieve contrastieve learning strategie zorgt ervoor dat het model robuuste topologische kenmerken leert voordat het probeert te fitten op semantische labels, wat overfitting op ruis in de vroege fase voorkomt.
• Te Generaliseren: Het framework vertoont sterke robuustheid over diverse grafengroottes en ruistypes, waardoor het geschikt is voor real-world toepassingen waar kwalitatieve annotaties schaars en ruisgevoelig zijn.

De auteurs concluderen dat hoewel de methode effectief is, toekomstig werk zal onderzoeken hoe het framework kan worden uitgebreid om scenario's aan te pakken waarbij zowel labelruis als structurele ruis gelijktijdig optreden.