Résumé technique : Ajustement d'invite universel au niveau des sous-graphes (SUPT)

Énoncé du problème

L'adaptation des réseaux de neurones graphiques (GNN) pré-entraînés à des tâches en aval rencontre des défis significatifs. Le cadre traditionnel « pré-entraînement, ajustement fin » souffre souvent d'un désalignement entre les objectifs de pré-entraînement (par exemple, la prédiction d'arêtes) et les tâches en aval (par exemple, la classification de graphes), entraînant un oubli catastrophique et une généralisation limitée. De plus, l'ajustement fin nécessite la mise à jour d'un vaste nombre de paramètres, ce qui est coûteux en ressources.

Bien que l'ajustement d'invite (prompt tuning) ait émergé comme une alternative économe en paramètres dans le traitement du langage naturel (NLP) et la vision par ordinateur, son application aux graphes reste sous-explorée. Les méthodes existantes d'ajustement d'invite pour les graphes, telles que Graph Prompt Feature (GPF) et son extension GPF-plus, offrent une universalité à travers les stratégies de pré-entraînement, mais reposent sur des mécanismes d'invite relativement simples. GPF applique une invite uniforme à tous les nœuds, tandis que GPF-plus attribue des invites spécifiques aux nœuds en fonction de leurs types. Les auteurs soutiennent que ces approches manquent de la capacité de saisir pleinement les contextes complexes et intriqués inhérents aux structures de graphes, en particulier les relations nuancées au sein des sous-graphes locaux. Il existe un besoin d'une méthode d'ajustement d'invite universelle capable de capturer le contexte au niveau des sous-graphes sans sacrifier l'efficacité des paramètres ni l'universalité.

Méthodologie : Ajustement d'invite universel au niveau des sous-graphes (SUPT)

L'article introduit SUPT, une méthode qui attribue des caractéristiques d'invite au niveau des sous-graphes plutôt qu'au niveau des nœuds ou globalement. SUPT opère dans l'espace des caractéristiques d'entrée du graphe, modifiant les caractéristiques des nœuds avant qu'elles ne soient traitées par le GNN pré-entraîné fixe.

Mécanisme central

Contrairement à GPF-plus, qui calcule les poids d'invite uniquement sur la base des caractéristiques de nœud d'entrée ($x_i$), SUPT calcule les scores d'attribution d'invite sur la base des informations contextuelles des nœuds dérivées d'un GNN simple (par exemple, GCN ou SGC).

La caractéristique d'invite $p_i$ pour le $i$-ème nœud est calculée comme une somme pondérée de vecteurs de base apprenables ($b_j$) :
$$p_i = \sum_{j=1}^{k} \sigma(\alpha)_{i,j} b_j$$
où $\alpha$ est dérivé d'une agrégation GNN sur $m$ sauts :
$$\alpha = (\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2})^m (X \oplus \sum_{j=1}^k b_j)W$$
Ici, $W$ est une matrice de poids apprenable, $k$ est le nombre de sous-graphes (vecteurs de base), et $\sigma$ est une opération non linéaire.

Deux variantes

Les auteurs proposent deux variantes de SUPT basées sur la définition de $\sigma$ :

1. SUPTsoft : Inspirée par le regroupement de graphes basé sur les clusters (par exemple, DiffPool), cette variante utilise une fonction softmax colonne par colonne. Elle attribue chaque nœud à toutes les $k$ bases avec des degrés d'influence variables (attribution souple). Cela garantit que chaque nœud reçoit une invite, mais l'ampleur dépend de l'attribution de cluster apprise.
2. SUPThard : Inspirée par le regroupement de graphes basé sur la sélection de nœuds, cette variante emploie un mécanisme de sélection des meilleurs rangs. Pour chaque base, seuls les $\lceil rN \rceil$ meilleurs nœuds (où $r$ est un ratio de regroupement) sont sélectionnés pour recevoir l'invite. Les nœuds non sélectionnés conservent leurs caractéristiques d'origine sans ajout d'invite. Cela crée une attribution parcimonieuse et rigide des invites à des sous-graphes spécifiques.

Universalité théorique

L'article fournit une analyse théorique (Théorème 1) démontrant que SUPT maintient l'universalité. Même si l'invite est appliquée uniquement à un sous-ensemble de nœuds (un sous-graphe $S \subseteq V$) plutôt qu'à l'ensemble du graphe, le cadre est théoriquement capable d'atteindre la même borne supérieure de performance que n'importe quelle fonction d'invite arbitraire. Cela confirme que l'invite au niveau des sous-graphes ne limite pas intrinsèquement l'expressivité requise pour une adaptation universelle.

Contributions clés

1. Granularité au niveau des sous-graphes : La contribution principale est le passage de l'invite au niveau des nœuds ou global à l'invite au niveau des sous-graphes. Cela permet au modèle de capturer des nuances contextuelles intriquées que les invites uniformes ou spécifiques aux types manquent.
2. Efficacité des paramètres : SUPT nécessite beaucoup moins de paramètres ajustables que l'ajustement fin complet (moins de 0,2 % des paramètres du modèle pré-entraîné) et est comparable ou légèrement supérieur à GPF/GPF-plus, tout en offrant des performances supérieures.
3. Universalité : La méthode est conçue pour être agnostique à la stratégie de pré-entraînement (par exemple, Infomax, Masquage d'attributs, Prédiction de contexte, Apprentissage contrastif de graphes, Prédiction d'arêtes), fonctionnant efficacement à travers divers objectifs de pré-entraînement.
4. Garantie théorique : L'article établit une preuve théorique selon laquelle l'invite au niveau des sous-graphes peut théoriquement émuler n'importe quelle fonction d'invite, validant la polyvalence de l'approche.

Résultats expérimentaux

Les auteurs ont évalué SUPT sur 9 jeux de données en aval (incluant la prédiction de fonction des protéines et la prédiction de propriétés moléculaires) et 5 stratégies de pré-entraînement, soit un total de 45 configurations expérimentales.

• Scénarios Full-Shot :
  • SUPT a surpassé l'ajustement fin complet (FT) dans 42 expériences sur 45.
  • Il a réalisé une amélioration moyenne de performance de plus de 2,5 % par rapport à FT.
  • À l'inverse, GPF et GPF-plus ont surpassé FT dans seulement 27 cas sur 45.
• Scénarios Few-Shot (50 shots) :
  • SUPT a excellé dans 41 expériences sur 45.
  • Il a réalisé une augmentation moyenne de performance de plus de 6,6 % par rapport à FT.
  • Les gains de performance étaient nettement plus élevés dans les scénarios few-shot par rapport aux scénarios full-shot, soulignant l'efficacité de la méthode lorsque les données étiquetées sont rares.
• Efficacité : Bien que SUPThard entraîne un coût computationnel légèrement plus élevé en raison des opérations de sélection des meilleurs rangs, le temps d'inférence ajouté est négligeable (par exemple, ~$1,86 \times 10^{-4}$ secondes par graphe pour BBBP), ce qui le rend pratiquement viable.

Importance et affirmations

L'article affirme que SUPT représente une avancée significative dans l'ajustement d'invite pour les graphes en abordant la limitation des méthodes existantes à capturer des contextes de graphes complexes. En exploitant les informations au niveau des sous-graphes, SUPT atteint un équilibre entre efficacité (paramètres minimaux) et efficacité (performances de l'état de l'art à travers diverses tâches).

Les auteurs soulignent que, bien que les invites simples (comme GPF) possèdent une universalité théorique, leur capacité pratique à saisir des contextes complexes est limitée. SUPT comble cette lacune en introduisant une attribution de sous-graphe consciente du contexte sans sacrifier l'applicabilité universelle requise pour diverses stratégies de pré-entraînement. L'étude suggère que SUPT est une alternative viable et efficace pour l'adaptation des GNN pré-entraînés, en particulier dans les scénarios où les données sont limitées ou où les ressources computationnelles pour un ajustement fin complet sont contraintes. Ce travail contribue à une meilleure compréhension de la manière dont l'ajustement d'invite peut être efficacement adapté aux complexités structurelles des données de graphes.