When does distribution shift break graph neural networks calibration?

Résumé Technique : Décalage de Distribution et Calibration des GNN

Énoncé du Problème
Les réseaux de neurones sur graphes (GNN) sont de plus en plus déployés dans des environnements dynamiques où la distribution du graphe au moment du test diffère de la distribution d'entraînement (par exemple, les réseaux sociaux évolutifs, les infrastructures reconfigurées). Bien que la précision prédictive soit souvent étudiée, la calibration des GNN — l'accord entre la confiance prédictive et la précision réelle — reste mal comprise sous de tels décalages de distribution. Les méthodes de calibration existantes (par exemple, le passage par température, CaGCN, GATS) reposent généralement sur des données de validation étiquetées de la distribution cible. Dans un déploiement réel, ces étiquettes sont indisponibles, et les calibrateurs standards ajustés sur les données sources échouent car la relation entre confiance et précision change lorsque les propriétés du graphe, telles que l'homophilie ou le bruit des caractéristiques, varient. Le défi central est de caractériser comment le décalage de distribution altère la calibration des GNN et de développer une méthode de recalibrage sans accès aux étiquettes cibles.

Méthodologie et Cadre Théorique
L'article aborde ce problème en dérivant une caractérisation théorique sous forme fermée de la calibration des GNN sous décalage de distribution. L'analyse est fondée sur un Modèle de Blocs Stochastiques Contextuels (CSBM) où les nœuds possèdent des caractéristiques gaussiennes et les arêtes sont formées sur la base de l'homophilie de classe. Le modèle analysé est un GNN linéaire (agrégation de la moyenne ou GCN normalisé de manière symétrique) suivi d'un classifieur linéaire.

L'intuition théorique centrale est que la relation entre la magnitude du logit $t$ d'un modèle et sa précision réelle est régie par un paramètre scalaire unique, la pente de calibration $\kappa$ :
$$\text{Confiance}(t) = \sigma(t) \quad \text{vs.} \quad \text{Précision}(t) = \sigma(\kappa t)$$
où $\sigma$ est la fonction sigmoïde. L'article prouve que $\kappa$ est explicitement déterminé par les niveaux d'homophilie des graphes source ($h_s$) et cible ($h_t$) ainsi que par le rapport signal sur bruit ($\rho$) des caractéristiques :
$$\kappa(h_t) = \frac{(2h_t - 1)(1 + 4h_s(1-h_s)\rho)}{(2h_s - 1)(1 + 4h_t(1-h_t)\rho)}$$
Les extensions théoriques clés incluent :

• GCN à auto-boucles : La pente est ajustée pour tenir compte des auto-boucles, qui permettent au signal de persister même sous hétérophilie ($h < 0,5$).
• Classification multi-classes : La pente se généralise via un coefficient de signal $c_K(h)$, montrant qu'une température globale unique est suffisante pour $K$ classes.
• Décalage de covariables : L'augmentation du bruit des caractéristiques diminue de manière monotone $\kappa$, induisant une surconfiance.
• Borne de l'Erreur de Calibration Attendue (ECE) : Une borne supérieure théorique sur l'ECE est dérivée comme étant $\frac{1}{4}|\kappa - 1| \mathbb{E}[|\delta|]$, liant directement la sévérité de la mauvaise calibration à l'écart de $\kappa$ par rapport à 1.

Contributions Clés

1. Pente de Calibration en Forme Fermée : L'article fournit la première formule analytique de la pente de calibration $\kappa$ sous décalage de distribution, la liant explicitement aux changements structurels (homophilie) et à la qualité des caractéristiques. Cela explique pourquoi et à quel point un GNN devient surconfiant ($\kappa < 1$) ou sous-confident ($\kappa > 1$).
2. Optimalité de la Température Globale : Un corollaire structurel prouve que sous un décalage de distribution homogène (où le décalage affecte tous les nœuds de la même manière), une température globale unique $T^* = 1/\kappa$ est théoriquement optimale. Cela implique que les méthodes complexes de recalibrage par nœud n'offrent aucun avantage dans les contextes homogènes, car la solution optimale de la population est une fonction constante.
3. STAC (Structure-aware Test-time Adaptive Calibration) : S'appuyant sur la théorie, l'auteur propose STAC, une méthode de recalibrage sans source et sans étiquette. STAC estime la précision cible $\hat{a}$ à partir de données non étiquetées en utilisant les statistiques de confiance et le désaccord des prédictions sous perturbations. Il définit ensuite une température globale unique $T^* = 1/\hat{\kappa}$ telle que la confiance moyenne corresponde à l'exactitude estimée.
4. Identification du Goulot d'Étranglement : Ce travail identifie que la principale barrière à une calibration pratique des GNN sans étiquette n'est pas le mécanisme de calibration lui-même, mais l'estimation de la précision cible sur des graphes décalés et non étiquetés.

Résultats Expérimentaux

• Validation Synthétique : Sur des données CSBM synthétiques, la pente $\kappa$ en forme fermée correspond aux mesures empiriques avec une grande précision ($r=0,99$). La température optimale prédite $T^*$ restaure la calibration (réduisant l'ECE à $\leq 0,02$) à travers diverses homophilies et rapports signal sur bruit.
• Graphes du Monde Réel : La théorie est vérifiée sur cinq jeux de données réels couvrant un large spectre d'homophilie ($h=0,05$ à $0,84$) et un nombre variable de classes ($K=2$ à $18$).
  • Performance Oracle : Lorsqu'une température "oracle" (dérivée des véritables étiquettes cibles) est appliquée, la calibration est restaurée sur tous les jeux de données, confirmant la suffisance de la théorie.
  • Performance STAC : STAC parvient à réduire de moitié l'écart d'erreur de calibration par rapport aux bases de référence ajustées sur la source lors de décalages synthétiques. Cependant, sur des graphes réels hétérophiles (ex: roman-empire, amazon-ratings), les estimations de précision de STAC sont peu fiables (dépassant souvent la précision réelle), ce qui dégrade la calibration. Cela confirme que le cadre théorique est solide, mais que les estimateurs d'exactitude sans étiquette actuels sont insuffisants pour les décalages de graphes complexes.
• Décalage Hétérogène : Sous des décalages hétérogènes (où différents nœuds subissent différents décalages), la température globale unique ne peut pas corriger complètement le modèle. Bien qu'une étape par nœud ait été testée, elle n'a offert que des bénéfices marginaux avec les caractéristiques structurelles utilisées, soutenant la thèse selon laquelle la calibration par nœud n'est nécessaire que si le décalage est hétérogène.

Signification et Revendications
L'article affirme fournir le premier compte théorique en forme fermée de la calibration des GNN sous décalage de distribution. Sa signification réside dans :

• Explication Mécaniste : Il dépasse l'observation empirique pour expliquer la direction et l'ampleur de la mauvaise calibration via la pente $\kappa$ dépendante de l'homophilie.
• Simplification Fondée sur des Principes : Il fournit une justification rigoureuse de l'utilisation d'une température globale unique dans les scénarios de décalage homogène, remettant en question la nécessité de calibrateurs par nœud complexes dans ces contextes.
• Feuille de Route pour Travaux Futurs : En réduisant le problème de la calibration sans étiquette au sous-problème de l'estimation de l'exactitude sans étiquette, l'article isole l'obstacle technique spécifique empêchant le déploiement de calibrateurs GNN robustes. Il suggère que les recherches futures devraient se concentrer sur le développement d'estimateurs d'exactitude natifs aux graphes qui tiennent compte de l'homophilie locale et des effets d'agrégation, plutôt que de concevoir des architectures de calibration plus complexes.

L'auteur reste modeste quant au déploiement pratique de STAC, reconnaissant que bien que la théorie soit robuste, l'estimation actuelle de l'exactitude sans étiquette sur des graphes réels et hétérophiles demeure le défi central non résolu.