Résumé Technique : Apprentissage Sémantique Trans-Résolution pour l'Adaptation de Domaine sur Graphes

Définition du Problème

Le papier traite de l'Adaptation de Domaine sur Graphe (GDA), la tâche consistant à transférer des connaissances prédictives d'un domaine de graphes étiqueté (source) vers un domaine non étiqueté (cible) sous l'effet de décalages de distribution. Alors que les méthodes existantes se concentrent sur l'alignement des représentations ou la régularisation des structures de graphes, les auteurs identifient une limitation critique et non traitée : le Décalage de Résolution Sémantique.

En GDA, la « résolution de propagation » fait référence à la portée du voisinage encodée par une représentation de graphe (par exemple, 0 saut pour les caractéristiques des nœuds, 1 saut pour les voisins immédiats, etc.). Les auteurs observent que la résolution de propagation à laquelle les preuves discriminantes de classe sont les plus fortes diffère souvent entre le domaine source et le domaine cible. Par exemple, une caractéristique apprise à une portée de 1 saut dans le domaine source pourrait être la plus informative à une portée de 2 sauts dans le domaine cible. Les méthodes existantes imposent généralement un transfert de même résolution implicite, supposant que la connaissance apprise à la résolution $r$ dans la source est mieux appliquée à la résolution $r$ dans la cible. Cette hypothèse conduit à des performances sous-optimales et à un transfert négatif lorsque les résolutions optimales ne coïncident pas.

Le défi central est d'apprendre une correspondance de résolution source-cible douce sans étiquettes de cible, tout en gérant trois difficultés spécifiques :

1. Représentations de Résolution Comparables Spécifiques : Préserver des preuves distinctes pour différentes résolutions au sein d'un espace latent partagé sans effacer l'identité de la résolution.
2. Correspondance sans Étiquettes de Cible : Inférer la compatibilité de résolution sans vérité terrain, en évitant le problème de l'« estimation couplée » où des assignations strictes prématurées renforcent les erreurs.
3. Transfert au Niveau de l'Instance sous Incertitude de Classe : Appliquer une correspondance de résolution globale à des graphes cibles individuels dont l'appartenance à une classe est incertaine, en évitant les assignations strictes qui déplacent les représentations vers des régions sémantiques incorrectes.

Méthodologie : CReSL

Les auteurs proposent CReSL (Cross-Resolution Semantic Learning), un cadre conçu pour apprendre et exploiter les correspondances trans-résolution. La méthode se compose de trois composants principaux :

1. Banque de Représentations Multi-Résolution avec Experts de Source

Pour capturer les preuves à travers différentes portées de voisinage, CReSL construit une banque de représentations utilisant un encodeur GNN (Graph Neural Network) partagé et des plongements de résolution apprenables.

• Encodage de Résolution : Pour un graphe $G$, les caractéristiques sont propagées à plusieurs ordres prédéfinis $R = \{r_0, \dots, r_J\}$ (par exemple, 0, 1, 2, 4 sauts).
• Espace Partagé : Un encodeur partagé $\Phi_\theta$ traite ces entrées multi-résolutions. Pour maintenir l'identité de la résolution, des plongements apprenables $E_{res}$ sont concaténés avec les caractéristiques des nœuds avant l'encodage.
• Experts de Source : Chaque résolution de source $j$ est associée à un expert linéaire léger $h_j$. Un poids de mélange global $\alpha_j$ détermine la contribution de chaque expert. Cette configuration permet au modèle d'évaluer les représentations cibles à n'importe quelle résolution $k$ en utilisant l'expert entraîné sur la résolution source $j$, permettant ainsi un routage trans-résolution.

2. Transport de Prototypes Trans-Résolution (CRPT)

Ce module apprend la correspondance douce entre les résolutions source et cible en analysant les structures conditionnelles de classe.

• Construction de Prototypes : Des prototypes de classe-résolution sont construits pour la source (en utilisant les étiquettes de vérité terrain) et la cible (en utilisant les postulats mous).
  • Prototype source $\mu^s_{c,j}$ : Moyenne des représentations de la source pour la classe $c$ à la résolution $j$.
  • Prototype cible $\mu^t_{c,k}$ : Moyenne pondérée par probabilité des représentations de la cible pour la classe $c$ à la résolution $k$.
• Mesure de Discrépance : La compatibilité entre la résolution source $j$ et la résolution cible $k$ est mesurée par la distance euclidienne moyenne par classe de leurs prototypes ($D_{j,k}$).
• Matrice de Routage : Une matrice de routage douce $\Gamma$ est mise à jour via une normalisation softmax par ligne des négations de discrépances. Cette matrice dicte quel poids l'expert source $h_j$ doit accorder à la résolution cible $k$.
• Objectif : La perte CRPT minimise la discrépance des prototypes pondérée par le routage, encourageant le modèle à router les experts vers des résolutions cibles compatibles.

3. Greffage de Cible Trans-Résolution (CRTG)

Pour adapter les graphes cibles individuels sous l'incertitude de classe, le CRTG traduit la correspondance globale en ajustements spécifiques à l'instance.

• Déplacement de Prototype : Pour chaque classe $c$ et paire de résolution $(j, k)$, un vecteur de déplacement $\Delta^{j \leftarrow k}_c = \mu^s_{c,j} - \mu^t_{c,k}$ est calculé, représentant le décalage du prototype cible vers le prototype source.
• Mélange Pondéré par le Postulat : Pour un graphe cible $G^t_i$, le déplacement est une somme pondérée des déplacements conditionnés par la classe basée sur le postulat prédit actuel $p^t_{i,c}$. Cela évite l'assignation stricte de classe.
• Greffage : La représentation cible à la résolution $k$ est « greffée » vers la structure source en ajoutant le déplacement pondéré : $\tilde{z}^{j \leftarrow k}_{G^t_i} = z^{(k)}_{G^t_i} + \beta \Delta^{j \leftarrow k}_i$.
• Objectif de Cohérence : Une perte de divergence KL impose que la prédiction de la représentation greffée (via l'expert $h_j$) s'aligne avec le postulat agrégé de la cible, pondéré par la matrice de routage $\Gamma$.

Contributions Clés

1. Formulation du Problème : Le papier définit formellement le Décalage de Résolution Sémantique dans la GDA comme le changement trans-domaine du profil de résolution des preuves discriminantes de classe, identifiant les limites du transfert à résolution fixe.
2. Cadre CReSL : Les auteurs proposent une nouvelle méthode comprenant :
   • Une banque de représentations multi-résolutions avec des experts spécifiques à la résolution.
   • CRPT : Un mécanisme pour apprendre la correspondance douce trans-résolution en utilisant des prototypes classe-résolution sans étiquettes de cible.
   • CRTG : Un mécanisme de greffage conditionné par le postulat qui réalise une adaptation au niveau de l'instance sous l'incertitude de classe.
3. Validation Empirique : Des expériences approfondies sur des benchmarks de classification de graphes sous divers décalages de domaine (structurels et de caractéristiques) démontrent que CReSL surpasse les meilleures méthodes de l'état de l'art.

Résultats Expérimentaux

Les auteurs ont évalué CReSL sur plusieurs jeux de données, notamment Mutagenicity, PROTEINS, NCI1, ogbg-molhiv, DD, BZR, et COX2, sous des décalages de densité de nœuds/arêtes et des décalages de distribution de caractéristiques.

• Performance : CReSL a obtenu les meilleures performances dans la majorité des configurations, surpassant des bases solides telles que GAA, TDSS, DEAL et les GNN standards (GCN, GIN).
• Études d'Ablation : Supprimer la banque multi-résolution (CReSL sans MR) ou le routage appris (CReSL sans CRR) dégrade considérablement les performances, confirmant la nécessité de gérer les décalages de résolution. Supprimer CRPT ou CRTG entraîne également des baisses de performance, validant leurs rôles complémentaires dans l'alignement des structures de classe et l'affinement des représentations au niveau de l'instance.
• Analyse :
  • Correspondance : Les visualisations ont montré que la matrice de routage apprise $\Gamma$ correspondait étroitement à une matrice « oracle » (calculée avec les étiquettes de la cible), identifiant correctement que, par exemple, les experts de source à 0 et 1 saut doivent router vers les résolutions cibles à 2 sauts.
  • Greffage : Les visualisations t-SNE ont démontré que le CRTG déplace efficacement les représentations cibles dispersées vers des clusters de classes compacts et alignés sur la source, sans translation uniforme, préservant ainsi les nuances spécifiques aux instances.

Signification et Revendications

Le papier affirme que CReSL fait progresser le domaine de l'Adaptation de Domaine sur Graphe en modélisant explicitement le décalage de la résolution de propagation entre les domaines. Contrairement aux méthodes précédentes qui alignent les représentations à un seul niveau de domaine ou supposent un appariement de résolution fixe, CReSL apprend une correspondance douce et pilotée par les données qui route la connaissance source vers les résolutions cibles les plus compatibles.

Les auteurs soulignent que leur approche :

• Évite le transfert négatif causé par l'imposition d'une connaissance apprise à une résolution donnée pour être appliquée à la même résolution dans la cible.
• Gère l'incertitude de classe dans le domaine cible en utilisant des postulats mous pour l'apprentissage de la correspondance et le greffage au niveau de l'instance, plutôt qu'en s'appuyant sur des pseudo-étiquettes strictes.
• Fournit une borne théorique sur le risque cible, montrant que la minimisation de la discrépance des prototypes trans-résolution et de l'incohérence de greffage resserre la borne de généralisation.

Le travail conclut qu'adresser explicitement le décalage de résolution sémantique est crucial pour une GDA efficace et suggère des directions futures pour étendre ces concepts à des espaces de résolution continus.