Résumé technique : Les ensembles profonds capturent-ils réellement l'incertitude dans les réseaux de neurones à graphes ?

Énoncé du problème

Les ensembles profonds (EP) constituent la méthode standard pour la quantification de l'incertitude (QI) en apprentissage profond, en particulier en vision par ordinateur, où ils reposent sur le désaccord entre des modèles entraînés indépendamment pour capturer l'incertitude épistémique. Cependant, leur efficacité pour les données structurées en graphes, spécifiquement les réseaux de neurones à graphes (GNN) à passage de messages, a été largement supposée plutôt que rigoureusement testée. Bien que des preuves anecdotiques et des études limitées suggèrent que les EP puissent échouer sur les graphes (par exemple, sur le benchmark du réseau routier PEMS), une évaluation systématique à travers diverses tâches de graphes fait défaut. Le problème central est de savoir si les propriétés structurelles des GNN et la nature des mécanismes de passage de messages empêchent les EP de générer la diversité de modèles nécessaire pour quantifier efficacement l'incertitude.

Méthodologie

Les auteurs mènent une évaluation empirique complète des ensembles profonds standards appliqués aux GNN. Leur méthodologie comprend :

1. Ensembles de données : Une suite de benchmarks de sept ensembles de données de graphes diversifiés couvrant la classification de nœuds (Cora, Citeseer, Tolokers2), la régression de nœuds (Artnetviews, Chameleon) et la régression de graphes (QM9-5%).
2. Modèles : Des architectures standards de passage de messages (GCN et GATv2) entraînées en tant qu'ensembles profonds (généralement $M=5$ modèles) avec différentes initialisations aléatoires des poids. Pour les tâches de régression, les modèles incluent une tête de variance dédiée pour capturer l'incertitude aléatoire.
3. Lignes de base : Des comparaisons sont effectuées avec des GNN uniques, une ligne de base « Triviale » (prédisant une distribution gaussienne constante dérivée des étiquettes d'entraînement) et, dans des cas spécifiques, des GNN bayésiens ou des processus gaussiens sur graphes.
4. Métriques :
   • Principales : La vraisemblance négative logarithmique (NLL) pour évaluer la performance prédictive conjointe et l'incertitude.
   • Secondaires : Des métriques d'estimation ponctuelle (RMSE pour la régression, Précision pour la classification) et des métriques d'étalonnage (Erreur d'étalonnage attendue - ECE).
   • Décomposition : Séparation explicite des composantes d'incertitude aléatoire et épistémique via la décomposition de la variance pour la régression et la décomposition de l'entropie pour la classification.
   • Analyse de la diversité : Investigation de l'« effondrement épistémique » en analysant le désaccord entre les membres de l'ensemble et en testant la convexité de l'espace des poids par rapport à l'espace fonctionnel via des « soupes de modèles » (moyenne des poids).

Contributions clés

1. Benchmark systématique : L'article fournit le premier benchmark à grande échelle et systématique des ensembles profonds standards pour les GNN à travers plusieurs tâches et complexités, allant au-delà des études de cas isolées.
2. Identification de l'effondrement épistémique : Les auteurs démontrent empiriquement un phénomène nommé « effondrement épistémique », où des GNN entraînés indépendamment convergent vers des fonctions prédictives très similaires, quelle que soit l'initialisation. Ce manque de diversité fonctionnelle neutralise le mécanisme principal (le désaccord) par lequel les ensembles capturent l'incertitude épistémique.
3. Déconstruction des gains NLL : L'étude révèle que les améliorations marginales de la NLL observées avec les ensembles de GNN sont presque entièrement dues à la stabilisation des prédictions ponctuelles (réduction du bruit d'optimisation) plutôt qu'à de véritables améliorations de l'étalonnage de l'incertitude ou à la capture de l'incertitude épistémique.
4. Analyse de convexité : Grâce à des expériences de moyenne des poids, les auteurs montrent que, bien que l'espace des poids des GNN reste hautement non convexe (les modèles résident dans des bassins de poids différents), l'espace fonctionnel semble présenter une forme de convexité. Des solutions de poids distinctes induisent des comportements presque identiques, suggérant que l'architecture de passage de messages elle-même restreint l'espace des hypothèses.

Résultats

• Amélioration limitée : Sur la plupart des ensembles de données, les ensembles profonds n'apportent que des améliorations marginales par rapport aux GNN uniques en termes de NLL (par exemple, un gain de vraisemblance de 0,1 % à 1 % pour la classification, contre environ 20 % en vision par ordinateur).
• Dégradation de l'étalonnage : Dans plusieurs cas (par exemple, Chameleon, QM9-5%), les ensembles détériorent en réalité l'étalonnage (ECE) tout en améliorant légèrement la précision ponctuelle, indiquant que le gain de NLL ne provient pas de meilleures estimations d'incertitude.
• Effondrement épistémique : La décomposition de l'incertitude montre que l'incertitude épistémique dans les ensembles de GNN est négligeable (souvent proche de zéro) par rapport à l'incertitude aléatoire. Le ratio d'incertitude épistémique sur l'incertitude aléatoire est constamment faible, contrastant fortement avec les benchmarks de vision par ordinateur où l'incertitude épistémique domine.
• Échec de la soupe de modèles : La moyenne des poids des membres de l'ensemble (« soupe de modèles ») entraîne une dégradation des performances par rapport aux modèles uniques. Cela confirme que les modèles ne partagent pas un simple bassin convexe dans l'espace des poids ; ils trouvent plutôt des poids différents qui mappent vers la même fonction.
• Benchmark PEMS : L'étude réexamine le benchmark du réseau routier PEMS, confirmant que les ensembles de GNN peuvent performer de manière catastrophiquement pire qu'une ligne de base triviale en quantification d'incertitude, un échec attribué à l'interaction entre le passage de messages et le mécanisme d'ensemble.

Importance et affirmations

L'article conclut que le succès des ensembles profonds en vision par ordinateur ne se transfère pas de manière fluide à l'apprentissage machine sur graphes. Les auteurs affirment que les ensembles profonds standards sont inefficaces pour les GNN à passage de messages car ils échouent à capturer une incertitude épistémique significative.

• Inefficacité : L'entraînement et le déploiement d'un ensemble entraînent des coûts computationnels et mémoire significatifs, pourtant l'ensemble agit simplement comme un lisseur de réduction de variance pour le bruit d'optimisation plutôt que de fournir des estimations d'incertitude diversifiées.
• Implication pratique : Un seul modèle « chanceux » (sélectionné via validation) peut souvent égaler ou dépasser les performances d'un ensemble complet. Par conséquent, le coût multiplicatif de l'ensemble n'est pas justifié pour les GNN standards.
• Insight théorique : Les résultats suggèrent que le mécanisme de passage de messages impose un biais architectural fondamental qui homogénéise le comportement des modèles, conduisant à une convexité fonctionnelle même dans des espaces de poids non convexes. Cela remet en question l'hypothèse selon laquelle l'initialisation aléatoire seule suffit à générer la diversité requise pour la QI basée sur des ensembles dans les domaines des graphes.

L'article postule que l'atteinte d'une quantification d'incertitude de haute qualité en apprentissage sur graphes nécessite de dépasser l'ensemble naïf des architectures standards de passage de messages, nécessitant potentiellement de nouvelles méthodes qui abordent explicitement le manque de diversité fonctionnelle.