Résumé Technique : UFO - Un Cadre Unifié Orienté Flux pour l'Apprentissage Continu de Graphes Robuste

1. Énoncé du Problème

L'article traite de l'Apprentissage Continu de Graphes Robuste (CGL), un scénario où les modèles doivent apprendre à partir d'une séquence de tâches de graphes évolutives tout en préservant les connaissances acquises lors des tâches précédentes. Les auteurs identifient une lacune critique dans la recherche existante : tandis que les méthodes CGL standard supposent une supervision propre, les données de graphes réelles contiennent souvent un bruit d'étiquetage significatif dû à des erreurs d'annotation ou à une corruption adversariale.

L'article met en évidence deux défis simultanés :

1. Oubli Catastrophique : La perte des connaissances précédemment acquises lors de l'apprentissage de nouvelles tâches, exacerbée par les limitations de stockage et les préoccupations en matière de confidentialité qui empêchent la conservation des données historiques.
2. Souvenir Catastrophique : Un mode de défaillance nouvellement identifié où les modèles renforcent persistamment des connaissances corrompues à travers les tâches. Dans l'apprentissage de graphes, le bruit d'étiquetage est particulièrement destructeur car le mécanisme de passage de messages propage et amplifie les erreurs à travers les voisinages, amenant le modèle à mémoriser des informations incorrectes.

Les méthodes existantes traitent généralement soit de l'oubli (via la régularisation ou la répétition), soit de la robustesse au bruit (via la sélection d'échantillons ou une fonction de perte robuste), mais rarement les deux simultanément, en particulier dans des conditions où les données historiques sont inaccessibles.

2. Méthodologie : Le Cadre UFO

Les auteurs proposent UFO (Unified Flow-Oriented), un cadre conçu pour gérer à la fois l'oubli et les étiquettes bruyantes sans stocker de données brutes historiques. Le cadre se compose de trois modules principaux :

2.1 Modélisation des Caractéristiques par Flux et Répétition

Au lieu de stocker des données de graphes brutes, UFO utilise des flux normalisants conditionnels pour modéliser les distributions de caractéristiques sous-jacentes des tâches passées.

• Mécanisme : Un encodeur de réseau de neurones de graphes (GNN) agrège les caractéristiques des nœuds. Un flux conditionnel $f: \mathcal{X} \times \mathcal{Y} \to \mathcal{Z}$ mappe ces caractéristiques vers un espace latent gaussien standard partagé, conditionné par les étiquettes de classe.
• Répétition : Pour atténuer l'oubli, le modèle échantillonne des variables latentes à partir de la distribution a priori conditionnée par les étiquettes passées et utilise un flux précédent figé ($f_{t-1}^{-1}$) pour synthétiser des caractéristiques représentatives en vue de la répétition. Cela permet au modèle de « se souvenir » des tâches passées via des caractéristiques générées plutôt que des données stockées, préservant ainsi la confidentialité et réduisant les besoins de stockage.

2.2 Adaptation Dynamique au Niveau des Instances

Pour combattre le bruit d'étiquetage et le « souvenir catastrophique » qui en résulte, UFO introduit un mécanisme de pondération dynamique basé sur la fiabilité des instances.

• Évaluation de la Fiabilité : Le modèle de flux estime la vraisemblance logarithmique conditionnelle de chaque instance. Une vraisemblance élevée indique une adéquation avec la distribution de caractéristiques apprise (propre), tandis qu'une faible vraisemblance suggère du bruit ou une corruption.
• Pondération Dynamique :
  • Nouvelle Tâche ($L_{new}$) : Les instances de la tâche actuelle sont pondérées par leurs scores relatifs dérivés du flux actuel ($f_t$). Les nœuds à faible score (bruyants) sont sous-pondérés pendant l'entraînement.
  • Ancienne Tâche ($L_{old}$) : Les caractéristiques de répétition synthétiques sont pondérées par des scores dérivés du flux figé ($f_{t-1}$). Cela filtre les caractéristiques générées de faible qualité qui pourraient s'écarter de la véritable distribution historique.

2.3 Préservation des Connaissances Graphiques

Pour assurer la stabilité à travers les tâches, UFO impose des contraintes afin d'empêcher la dérive des représentations :

• Ancrage des Embeddings : Un terme de perte ($L_E$) minimise la distance entre la sortie de l'extracteur de caractéristiques actuel et celle de la tâche précédente pour les mêmes nœuds.
• Distillation Sémantique : Une perte de divergence de Kullback–Leibler (KL) ($L_L$) utilise les prédictions souples d'un classifieur figé ($C_{t-1}$) pour guider le classifieur actuel ($C_t$), préservant ainsi les relations sémantiques des classes.

3. Contributions Clés

L'article expose trois contributions principales :

1. Définition du Problème : Il formalise le problème du CGL robuste avec bruit d'étiquetage et identifie le souvenir catastrophique comme un mode de défaillance distinct causé par l'accumulation de supervision corrompue dans les structures de graphes.
2. Cadre Unifié (UFO) : Il propose un cadre novateur combinant la répétition de caractéristiques basée sur la distribution (via des flux normalisants) avec une estimation de fiabilité au niveau des instances. Cette approche traite simultanément l'oubli et le bruit sans nécessiter de stockage de données historiques.
3. Validation Empirique : Des expériences extensives démontrent que UFO surpasse systématiquement les méthodes de référence existantes en CGL et en apprentissage avec étiquettes bruyantes, tant en termes de précision que de métriques d'oubli, à travers différents niveaux de bruit.

4. Résultats Expérimentaux

Les auteurs ont évalué UFO sur quatre jeux de données de référence (CoraFull, CS, WikiCS, Photo) avec des ratios de bruit de 0 %, 15 % et 30 %.

• Performance : UFO a constamment atteint la précision moyenne la plus élevée et l'oubli le plus faible (le plus proche de zéro ou une rétention positive) sur tous les jeux de données et niveaux de bruit. Par exemple, sur CoraFull avec 30 % de bruit, UFO a atteint une précision de 77,77 % contre 51,06 % pour la méthode suivante la plus performante (DSLR), tout en maintenant une métrique d'oubli de -7,10 % contre -8,98 % pour DSLR.
• Robustesse : Contrairement aux méthodes de référence dont les performances se sont dégradées de manière significative à mesure que le bruit augmentait, UFO a montré des performances stables. Les visualisations (t-SNE) ont confirmé que UFO maintenait des clusters de classes distincts et des structures stables même sous 30 % de bruit, tandis que d'autres méthodes présentaient une dérive ou un effondrement significatifs.
• Études d'Ablation : La suppression de composants (Préservation des Connaissances, Scores de Bruit, Répétition) a entraîné des baisses de performance significatives, confirmant la nécessité de chaque module. Plus précisément, le mécanisme de répétition ($R$) a considérablement amélioré les métriques d'oubli (par exemple, de -53,92 % à -7,93 % sur CoraFull avec 30 % de bruit).
• Hyperparamètres : L'analyse de sensibilité a suggéré qu'un nombre modéré de couches de flux (9–12) offrait le meilleur équilibre entre robustesse et difficulté d'optimisation.

5. Importance et Limites

Importance :
L'article affirme que UFO comble une lacune critique dans l'apprentissage de graphes en traitant simultanément les défis du double de l'évolution des données et de la corruption des données. En passant du stockage explicite de données à la modélisation générative de distributions, il offre une solution pratique pour des scénarios réels sensibles à la confidentialité et contraints par le stockage, où le bruit d'étiquetage est inévitable. L'identification du « souvenir catastrophique » fournit une nouvelle lentille théorique pour comprendre l'échec des modèles dans l'apprentissage continu bruité.

Limites :
Les auteurs reconnaissent deux limites principales :

1. Reconstruction de Topologie : UFO effectue la répétition dans l'espace des caractéristiques et ne reconstruit pas explicitement la topologie historique du graphe (arêtes et voisinages), ce qui peut limiter la récupération des connaissances structurelles.
2. Configuration du Flux : Le cadre repose sur la configuration du modèle de flux. Des flux excessivement profonds peuvent augmenter la difficulté d'optimisation et le coût computationnel, nécessitant une sélection prudente des hyperparamètres en pratique.