Résumé Technique : Réseaux de Neurones sur Graphes Robustes via l'Affinement des Étiquettes Guidé par les Communautés et l'Apprentissage Contrastif Progressif

1. Énoncé du Problème

Les réseaux de neurones sur graphes (GNN) sont très efficaces pour la classification de nœuds en semi-supervisé, mais ils souffrent considérablement du bruit d'étiquetage. Le mécanisme de passage de messages inhérent aux GNN provoque la propagation d'une supervision erronée à travers la structure du graphe, contaminant les représentations des nœuds voisins et dégradant la généralisation.

Les méthodes existantes de GNN robustes font face à deux limitations principales :

1. Biais Local : La plupart des stratégies de correction d'étiquettes reposent fortement sur l'homophilie locale (information de voisinage) et négligent l'information structurelle globale. Cela les rend vulnérables à l'interférence de signaux bruités locaux dans des structures de graphes complexes.
2. Instabilité de l'Apprentissage Contrastif : Dans l'apprentissage contrastif de graphes, des signaux de supervision bruités peuvent fausser l'alignement des représentations. L'incorporation directe d'étiquettes bruitées lors des premières étapes d'entraînement peut amener le modèle à apprendre une supervision erronée, tandis que le mécanisme de passage de messages facilite davantage la propagation du bruit.

De plus, bien que les communautés dans les données de graphes présentent souvent une forte cohérence sémantique (les nœuds au sein d'une même communauté ont tendance à partager des étiquettes similaires), les méthodes actuelles parviennent rarement à élever l'atténuation du bruit du niveau du nœud au niveau de la communauté.

2. Méthodologie : CG-GNN

Les auteurs proposent CG-GNN, un cadre qui intègre l'affinement des étiquettes guidé par les communautés et l'apprentissage contrastif progressif. L'architecture se compose de trois composantes clés :

A. Augmentation du Graphe et Optimisation du Chemin de Propagation

Pour traiter la parcimonie des étiquettes et la propagation du bruit, le cadre améliore d'abord la structure du graphe et optimise les chemins de propagation :

• Augmentation du Graphe : Les nœuds non étiquetés sont connectés aux nœuds étiquetés en fonction de la similitude des caractéristiques (similitude cosinus des plongements GCN). Une perte de reconstruction d'arêtes est utilisée pour optimiser ces poids d'association latents, créant ainsi une matrice d'adjacence augmentée $\hat{A}$.
• Détection du Bruit : Une stratégie à double encodeur identifie les nœuds bruités via deux mécanismes :
  1. Basé sur la perte : Sélectionne les nœuds présentant de faibles pertes d'entraînement (en supposant que les étiquettes propres sont apprises en premier).
  2. Basé sur l'homophilie : Utilise un mécanisme de vote de voisinage pour détecter les nœuds dont les étiquettes contredisent le consensus de leurs voisins.
     Les nœuds sont partitionnés en sous-ensembles de nœuds propres ($V_c$) et bruités ($V_n$) basés sur l'intersection de ces deux critères.
• Élagage d'Arêtes (Edge Pruning) : Pour supprimer la propagation du bruit, les arêtes connectées aux nœuds identifiés comme bruités sont dynamiquement élaguées. Cette décision est basée sur un score de risque de bruit combinant l'incertitude prédictive et l'incohérence structurelle.

B. Correction des Étiquettes Sensible aux Communautés

Au lieu de corriger les étiquettes nœud par nœud, CG-GNN traite les communautés (détectées via l'algorithme de Louvain) comme l'unité fondamentale d'affinement.

• Stratégie Guidée par l'Entropie : Le cadre calcule l'entropie de l'information de la distribution des étiquettes au sein de chaque communauté.
  • Faible Entropie (Haute Pureté) : Les communautés présentant des étiquettes cohérentes reçoivent un seuil de correction plus élevé pour préserver l'information fiable.
  • Haute Entropie (Faible Pureté) : Les communautés présentant des étiquettes hétérogènes reçoivent un seuil plus bas pour faciliter la formation de représentations sémantiques cohérentes.
• Correction Adaptative :
  • Pour les grandes communautés ($N_{cm} \ge N_{min}$), une correction basée sur la communauté est appliquée : les nœuds bruités sont réétiquetés avec l'étiquette de consensus majoritaire de la communauté si leur similitude de représentation avec les nœuds de consensus dépasse le seuil adaptatif.
  • Pour les petites communautés, une correction basée sur le voisinage est utilisée à la place, afin d'éviter l'instabilité due à un manque de données.

C. Apprentissage Contrastif Échelonné

Pour exploiter la sémantique des étiquettes sans être corrompu par le bruit, un schéma d'apprentissage contrastif en deux étapes est employé :

1. Étape Non Supervisée (Warm-up) : Lors des premières époques d'entraînement, le modèle effectue un apprentissage contrastif non supervisé. Il aligne les représentations du même nœud à travers deux vues (générées par des encodeurs indépendants) sans utiliser d'étiquettes. Cela permet au modèle d'apprendre des structures topologiques robustes avant l'exposition à une supervision potentiellement bruitée.
2. Étape Supervisée : Après la phase de warm-up, le modèle passe à un apprentissage contrastif sémantique supervisé. Il utilise les étiquettes affinées à haute confiance (issues du module de correction de communauté) pour construire des paires positives (même classe) et des paires négatives (classes différentes), renforçant la compacité intra-classe et la séparabilité inter-classe.

D. Objectif Total

Le modèle est entraîné à l'aide d'une fonction de perte multi-tâches :
$$L_{total} = \alpha \cdot L_{rec} + L_{pred} + \lambda \cdot L_{contrast}$$
Où $L_{pred}$ est une perte de prédiction pondérée qui assigne des poids plus faibles aux nœuds bruités, $L_{rec}$ est la perte de reconstruction d'arêtes, et $L_{contrast}$ combine les pertes contrastives non supervisées et supervisées.

3. Contributions Clés

1. Gouvernance du Bruit au Niveau de la Communauté : L'article introduit une méthode qui élève la gestion du bruit d'étiquetage du niveau du nœud au niveau de la communauté. En exploitant la cohérence structurelle globale, elle effectue une correction de bruit différenciée selon l'entropie et la taille de la communauté.
2. Apprentissage Contrastif Progressif : Un cadre d'apprentissage échelonné est conçu pour passer d'un apprentissage structurel non supervisé à un apprentissage sémantique supervisé. Cela atténue la perturbation causée par les étiquettes bruitées durant les phases critiques d'optimisation initiale.
3. Suppression du Bruit Structurel : Un mécanisme d'élagage d'arêtes est introduit pour supprimer activement les chemins de propagation du bruit au niveau structurel, limitant la propagation d'informations erronées.
4. Validation Empirique : Des expériences approfondies démontrent que le cadre surpasse systématiquement les méthodes de l'état de l'art sous diverses configurations de bruit.

4. Résultats Expérimentaux

Les auteurs ont évalué CG-GNN sur quatre jeux de données de référence : Cora, Citeseer, PubMed et Amazon Photo.

• Configurations de Bruit : Les expériences ont été menées sous Bruit Uniforme (inversion aléatoire d'étiquettes) et Bruit par Paire (inversion vers des classes sémantiquement similaires) avec des taux de bruit allant jusqu'à 40 %.
• Baselines : La méthode a été comparée au GCN standard et à neuf baselines robustes, incluant Co-teaching, GRACE, NRGNN, RTGNN, ERASE et GTA.
• Performance :
  • CG-GNN a obtenu la meilleure ou la deuxième meilleure précision de classification sur tous les jeux de données et configurations de bruit.
  • Il a démontré une stabilité supérieure, particulièrement dans les scénarios de taux de bruit élevés et de données étiquetées limitées (ex: taux d'étiquetage de 1 % sur PubMed et Photo).
  • Les études d'ablation ont confirmé que le retrait de n'importe quelle composante (Augmentation/Élagage du Graphe, Correction des Étiquettes ou Apprentissage Contrastif) entraînait une dégradation significative des performances.
  • La visualisation (t-SNE) montre que CG-GNN produit des plongements de nœuds avec des structures de regroupement plus claires et des frontières de classes plus nettes par rapport aux baselines, indiquant une meilleure préservation de la structure sémantique malgré le bruit.

5. Signification et Revendications

L'article affirme que CG-GNN comble l'écart critique des méthodes GNN robustes existantes en incorporant une information structurelle globale (via les communautés) plutôt qu'en se reposant uniquement sur l'homophilie locale. La signification réside dans sa capacité à :

• Atténuer la Propagation du Bruit : En élagant les arêtes et en affinant les étiquettes au niveau de la communauté, le cadre stoppe efficacement la contamination de l'ensemble du graphe par une supervision erronée.
• Stabiliser l'Entraînement : La stratégie d'apprentissage contrastif progressif garantit que le modèle apprend des caractéristiques topologiques robustes avant de tenter de s'ajuster aux étiquettes sémantiques, évitant ainsi le surapprentissage précoce sur le bruit.
• Généraliser : Le cadre présente une forte robustesse à travers divers échelles de graphes et types de bruit, ce qui le rend adapté aux applications du monde réel où les annotations de haute qualité sont rares et bruitées.

Les auteurs concluent que bien que la méthode soit efficace, les travaux futurs exploreront l'extension du cadre pour gérer les scénarios où le bruit d'étiquetage et le bruit structurel surviennent simultanément.