Résumé technique : LG-Plug pour la détection d'OOD sur les graphes attribués à du texte

Définition du problème

L'article traite du défi de la détection de données hors distribution (OOD - Out-of-Distribution) sur les graphes attribués à du texte (TAGs). Les TAGs consistent en des nœuds associés à la fois à une structure de graphe (arêtes) et à des descriptions textuelles. Bien que les réseaux de neurones sur graphes (GNN) modélisent efficacement les données de distribution intra (ID) en apprenant conjointement l'information sémantique et structurelle, ils échouent souvent sur les nœuds OOD — ceux présentant des motifs textuels ou des configurations structurelles inédits — produisant des prédictions trop confiantes mais incorrectes.

Les solutions existantes font face à deux limitations principales :

1. Méthodes pilotées par la topologie : Elles s'appuient sur les voisins structurels pour détecter les nœuds OOD mais traitent généralement les textes des nœuds comme des caractéristiques superficielles (ex: sac de mots), échouant ainsi à exploiter une connaissance sémantique profonde.
2. Méthodes basées sur les LLM : Les approches récentes utilisent des modèles de langage de grande taille (LLM) pour synthétiser des priors OOD pseudo-artificiels. Cependant, elles souffrent d'un déséquilibre entre fiabilité et informativité :
   • Les méthodes orientées vers la fiabilité (avec des étiquettes ID dans le prompt) génèrent des échantillons OOD qui sont exempts de chevauchement avec l'ID, mais qui sont souvent sémantiquement irréalistes.
   • Les méthodes orientées vers l'informativité (échantillonnage de nœuds non étiquetés) génèrent des sémantiques réalistes mais risquent de mal étiqueter de vrais nœuds ID comme étant OOD, introduisant ainsi du bruit.
   • De plus, ces méthodes nécessitent souvent des architectures spécialisées de bout en bout, ce qui limite leur compatibilité avec les détecteurs de topologie établis.

Les auteurs posent deux questions de recherche : Comment générer des priors OOD qui soient à la fois fiables et informatifs ? Comment utiliser ces priors tout en restant compatible avec les détecteurs de topologie existants ?

Méthodologie : LG-Plug

Les auteurs proposent LG-Plug (LLM-Guided Plug-and-play), un cadre conçu pour augmenter les détecteurs de OOD pilotés par la topologie existants avec des priors sémantiques dérivés de LLM sans modifier leurs architectures sous-jacentes. Le cadre se compose de trois étapes principales :

1. Alignement de la représentation Topologie-Texte

Pour obtenir des plongements de nœuds fins capables de distinguer les nœuds ID et OOD, LG-Plug aligne les représentations du graphe et du texte :

• Encodeurs : Un GCN à 2 couches encode la structure du graphe, tandis qu'un encodeur basé sur un Transformer traite les textes bruts des nœuds.
• Objectifs d'alignement :
  • Alignement au niveau du nœud : Utilise une perte contrastive symétrique pour aligner l'embedding du graphe ($Z$) et l'embedding du texte ($H$) pour chaque nœud.
  • Alignement au niveau de l'arête : Minimise la divergence entre la matrice de similitude topologique (dérivée de $Z$) et la matrice de similitude textuelle (dérivée de $H$) pour les nœuds connectés.
• Objectif : Cet entraînement conjoint produit des plongements où les nœuds ID et OOD sont initialement séparables sur la base de indices sémantiques et structurels.

2. Exposition OOD pilotée par le consensus avec le LLM

Au lieu d'interroger le LLM pour chaque nœud individuel (ce qui est bruyant et coûteux), LG-Plug génère l'exposition OOD au niveau du cluster :

• Clustering : Les nœuds non étiquetés sont regroupés en clusters dans l'espace de plongement aligné.
• Sélection de représentants : Pour chaque cluster, un petit ensemble de nœuds les plus proches du centroïde est sélectionné pour garantir la cohérence sémantique.
• Prompting itératif et Codebook :
  • Un codebook de catégories léger est initialisé avec les classes ID connues.
  • Le LLM est interrogé séquentiellement sur des lots de nœuds représentatifs au sein d'un cluster. Le prompt demande au LLM d'assigner un nœud à une catégorie existante ou de créer une nouvelle catégorie OOD.
  • Le codebook est mis à jour dynamiquement en fonction des assignations du LLM.
• Filtrage par consensus : Le processus se répète jusqu'à ce qu'un lot atteigne un consensus sémantique (tous assignés à la même catégorie) ou qu'une limite d'essai soit atteinte.
• Sélection de l'exposition OOD : Les top-$K$ catégories du codebook sont sélectionnées. Si ces catégories ne contiennent aucune classe ID, les nœuds qui leur sont assignés sont ajoutés à l'ensemble d'exposition OOD ($V_{exp}$). Cela garantit que les priors OOD générés sont fiables (pas de chevauchement ID) et informatifs (basés sur le consensus du cluster).
• Efficacité : En utilisant l'échantillonnage par cluster et un codebook, la méthode réduit considérablement les coûts de requête LLM par rapport à un prompting exhaustif par nœud.

3. Régularisation de score

L'ensemble d'exposition OOD généré ($V_{exp}$) est utilisé comme un terme de régularisation pour améliorer les détecteurs existants :

• Une perte basée sur une marge ($L_{reg}$) est appliquée au score OOD du détecteur.
• Elle impose une marge de séparation : les nœuds ID doivent avoir des scores OOD faibles, tandis que les nœuds dans $V_{exp}$ doivent avoir des scores OOD élevés.
• Cela permet à LG-Plug d'être intégré de manière transparente comme un "plug-in" à n'importe quel détecteur piloté par la topologie (ex: GNNSafe, GRASP) sans changement architectural.

Contributions clés

1. Insights : L'article identifie le compromis fiabilité-informativité dans la génération actuelle de OOD par LLM et l'incompatibilité de ces méthodes avec les approches pilotées par la topologie.
2. Méthode novatrice (LG-Plug) : Un cadre plug-and-play qui utilise l'alignement topologie-texte et le prompting LLM piloté par le consensus pour générer des priors OOD de haute qualité.
3. Performance : La méthode atteint des résultats de pointe en améliorant les détecteurs existants tout en maintenant l'efficacité.

Résultats expérimentaux

Les auteurs ont évalué LG-Plug sur six benchmarks de TAG (Cora, CiteSeer, PubMed, WikiCS, Books-History, ogbn-arxiv) en utilisant le FPR95 (Taux de faux positifs à 95 % de taux de vrais positifs) et l'AUROC.

• Amélioration par rapport aux méthodes pilotées par la topologie : L'intégration de LG-Plug aux baselines pilotées par la topologie (GNNSafe, GRASP) a systématiquement réduit le FPR95 de $\ge$ 7 % par rapport aux baselines seules.
• Comparaison avec les méthodes basées sur les LLM : Les détecteurs intégrant LG-Plug ont surpassé les méthodes OOD basées sur les LLM autonomes (LLMGuard, GLIP-OOD, GOE-LLM) de $\ge$ 5 % en réduction de FPR95.
• Études d'ablation : Supprimer soit l'alignement de représentation, soit le mécanisme de filtrage intra-cluster entraînait des chutes de performance significatives, confirmant la nécessité de ces deux composants.
• Efficacité : LG-Plug a démontré une efficacité supérieure, nécessitant nettement moins de tokens LLM et moins de temps (70s sur Cora contre 295s–5400s pour les baselines) grâce à sa stratégie d'échantillonnage par cluster.
• Analyse qualitative : Les visualisations de nuages de mots des expositions OOD générées ont montré que LG-Plug capture des sémantiques OOD distinctes et à haute fréquence (ex: "évolutionnaire", "théorique") avec un chevauchement minimal avec les catégories ID, alors que les baselines présentent des dérives sémantiques ou du bruit ID.

Signification et affirmations

L'article affirme que la topologie et le texte comptent tous deux pour une détection OOD efficace sur les TAGs. Il soutient que si la topologie fournit un contexte structurel, la compréhension sémantique profonde est cruciale pour distinguer les nœuds OOD. LG-Plug comble le fossé entre les approches pilotées par la topologie et celles basées sur les LLM en :

• Utilisant les LLM pour générer des priors OOD fiables et informatifs via un clustering piloté par le consensus, évitant les pièges de l'étiquetage de nœuds individuels.
• Maintenant la compatibilité avec l'écosystème des détecteurs pilotés par la topologie, permettant à ces derniers de bénéficier de la supervision sémantique sans réentraîner toute l'architecture.
• Offrant une solution efficace sur le plan computationnel qui découple les coûts de requête LLM de la taille du graphe.

Les auteurs concluent que LG-Plug représente une avancée robuste pour rendre les GNN plus sûrs pour un déploiement en conditions réelles où les changements de distribution sont fréquents, particulièrement dans des domaines critiques comme l'intelligence sur les menaces et la recherche biomédicale.