Résumé Technique : Où les Annotateurs LLM Échouent : Apprentissage Sans Étiquettes sur les Graphes avec des LLM

Énoncé du Problème

La classification de nœuds sur des graphes attribués en texte (TAGs) repose traditionnellement sur des nœuds étiquetés, mais l'obtention d'étiquettes de vérité terrain à grande échelle est coûteuse. Bien que les Grands Modèles de Langage (LLMs) offrent une alternative peu coûteuse en annotant un petit sous-ensemble de nœuds basé sur le contenu sémantique (par exemple, résumés d'articles, descriptions de produits), ces étiquettes générées sont intrinsèquement bruyantes. Les méthodes existantes d'apprentissage de graphes sans étiquettes tentent d'atténuer ce bruit en traitant la fiabilité des LLMs soit comme une propriété globale de l'annotateur, soit comme un motif de confusion conditionnel à la classe.

Les auteurs identifient un mode d'échec critique dans ces approches existantes : les erreurs d'annotation des LLMs ne sont pas uniformes. Au contraire, la fiabilité varie considérablement à travers les régions de l'espace des caractéristiques (clusters), même au sein d'une même classe vraie. Par exemple, sur le jeu de données DBLP, la classe « Base de données » présente une précision moyenne des LLMs de 64,7 %, mais cela masque une disparité marquée où la précision varie de 81,0 % dans un cluster à 21,6 % dans un autre. Traiter la fiabilité comme conditionnelle à la classe conduit à une confiance excessive envers des clusters peu fiables et à une sous-utilisation de clusters fiables, provoquant la propagation d'erreurs à travers le graphe via la propagation de messages et l'expansion des pseudo-étiquettes.

Méthodologie : Estimation du Bruit Conscient des Clusters (CANE)

Pour répondre à ce problème, les auteurs proposent CANE, un cadre d'apprentissage sans étiquettes qui estime la fiabilité conditionnelle aux clusters des LLMs sans nécessiter d'étiquettes de vérité terrain. Le pipeline se compose de cinq étapes :

1. Sélection et Annotation des Graines Représentatives :

   • Les nœuds sont encodés à l'aide d'un encodeur GraphMAE2 auto-supervisé et regroupés en $K=2C$ régions (où $C$ est le nombre de classes).
   • Les nœuds les plus centraux de chaque cluster sont sélectionnés comme graines pour assurer la représentation de régions diverses de l'espace des caractéristiques.
   • Un sous-ensemble de ces graines ($\rho = 0,4$) est désigné comme ensemble de sonde et annoté en premier par le LLM. Les graines restantes sont annotées ultérieurement. Cet ensemble de sonde est utilisé pour estimer la fiabilité sans engendrer de coûts de requête supplémentaires.

2. Estimation du Bruit Conditionnel aux Clusters :

   • CANE estime une matrice de transition conditionnelle aux clusters $T_c$, où $T_c[k, i, j] = P(\hat{y}=j | y=i, \text{cluster}=k)$.
   • Crucialement, cela est estimé sans vérité terrain. La méthode utilise l'accord inter-modalité : pour un nœud de sonde $v$, elle calcule la fraction de ses voisins (à la fois les voisins du graphe et les plus proches voisins dans l'espace des caractéristiques) que le LLM a étiquetés de manière identique à $v$.
   • Un accord élevé entre des vues indépendantes (structure et caractéristiques) sert d'indicateur de justesse de l'étiquette. Les termes diagonaux de $T_c$ sont fixés à l'accord moyen pour chaque paire (cluster, classe), les termes hors diagonale étant répartis uniformément.

3. Expansion des Pseudo-étiquettes :

   • Un GNN est entraîné sur les graines initialement étiquetées par le LLM.
   • Lors de l'expansion par auto-apprentissage, le seuil d'acceptation des pseudo-étiquettes est ajusté en fonction de la fiabilité locale. Pour un nœud dans le cluster $k$ prédit comme étant de la classe $g$, le seuil $\tau_g$ est relevé si la fiabilité estimée $T_c[k, g, g]$ est faible :
     $$\tau_g(k) = \tau_g + \alpha(1 - T_c[k, g, g])$$
   • Cela garantit que dans les régions peu fiables, seules les prédictions très confiantes sont acceptées, empêchant la propagation du bruit.

4. Correction Itérative des Étiquettes :

   • Le cadre réentraîne itérativement le GNN et corrige les étiquettes qui ne sont pas d'accord avec la prédiction actuelle du modèle.
   • Une étiquette n'est écrasée que si la prédiction du GNN est soutenue par un nombre suffisant de voisins concordants, où le seuil de soutien requis est modulé par la fiabilité locale $T_c$. Les étiquettes dans les régions fiables sont protégées contre le remplacement par des preuves faibles, tandis que les étiquettes dans les régions bruyantes sont corrigées plus facilement.

5. Entraînement Final :

   • Un GNN final est entraîné sur l'ensemble d'étiquettes stabilisé et affiné pour produire des prédictions pour tous les nœuds.

Contributions Clés

1. Identification du Bruit Conditionnel aux Clusters : L'article démontre empiriquement que le bruit d'annotation des LLMs dans les TAGs n'est pas seulement dépendant de la classe mais dépendant de la région. La fiabilité varie fortement à travers les clusters de l'espace des caractéristiques au sein d'une même classe, un phénomène que les méthodes existantes ne parviennent pas à capturer.
2. Cadre CANE : Les auteurs proposent un cadre sans étiquettes qui estime une matrice de transition par cluster en utilisant des embeddings de graphes auto-supervisés et des statistiques d'annotation LLM (spécifiquement l'accord inter-modalité), éliminant ainsi le besoin d'étiquettes de vérité terrain lors de la phase d'estimation du bruit.
3. Pipeline d'Apprentissage Adaptatif : CANE intègre ces estimations de fiabilité à la fois dans l'expansion des pseudo-étiquettes (via des seuils adaptatifs) et dans la correction itérative des étiquettes (via des mises à jour conditionnées par la fiabilité), permettant au système de faire davantage confiance aux étiquettes dans les régions fiables et de les corriger plus agressivement dans les régions bruyantes.

Résultats Expérimentaux

Les auteurs ont évalué CANE sur cinq benchmarks de graphes attribués en texte (CITESEER, CORA, PUBMED, WIKICS, DBLP) en utilisant des architectures GCN et GAT, en les comparant à des bases solides telles que LLM-GNN, DMA et LOCLE.

• Performance : CANE a surpassé la base sans étiquettes la plus forte (LOCLE) sur 8 combinaisons jeu de données/architecture sur 10. Il a constamment dépassé LLM-GNN et DMA dans tous les réglages.
• Corrélation avec la Structure du Bruit : Les gains de performance étaient les plus significatifs sur les jeux de données présentant un bruit conditionnel aux clusters fort (par exemple, DBLP, WIKICS, CITESEER), où la précision du LLM fluctue largement entre les clusters. Sur PUBMED, où la précision du LLM était déjà élevée et uniforme, CANE a apporté des gains marginaux, ce qui est cohérent avec la conception de la méthode.
• Robustesse : La méthode est restée efficace lorsque l'annotateur LLM sous-jacent a été remplacé par GPT-3.5-turbo puis GPT-4o-mini, indiquant que CANE s'adapte aux motifs d'erreur spécifiques de l'annotateur plutôt que de dépendre des particularités d'un modèle spécifique.
• Études d'Ablation : La suppression du modèle de bruit conditionnel aux clusters (en le réduisant à une matrice globale) a considérablement réduit les performances, confirmant que la modélisation locale du bruit est le principal moteur de l'amélioration. L'estimation sans étiquettes de $T_c$ a performé de manière presque identique à une estimation oracle utilisant la vérité terrain, validant l'efficacité de l'estimateur basé sur l'accord.
• Sensibilité au Budget : CANE a montré des performances supérieures dans les régimes à faible budget (étiquettes rares), se dégradant de manière plus progressive que les bases lorsque le budget d'annotation diminuait.

Signification et Revendications

L'article revendique que la modélisation du bruit conditionnel aux clusters représente une évolution nécessaire au-delà des approches conditionnelles à la classe dans l'apprentissage de graphes sans étiquettes. En reconnaissant que la fiabilité des LLMs est une fonction des régions locales de l'espace des caractéristiques, CANE fournit un mécanisme plus précis pour filtrer et corriger la supervision bruyante.

Les auteurs positionnent CANE comme une étape vers un apprentissage de graphes plus robuste et rentable, exploitant les capacités sémantiques des LLMs tout en atténuant leur incohérence. Ils notent que, bien que la méthode ne modifie pas la structure du graphe (contrairement à certaines bases qui utilisent du ré-câblage de graphe), elle offre une approche complémentaire qui peut être combinée avec des méthodes structurelles. Le travail met en évidence que le « mode d'échec » des annotateurs LLM n'est pas aléatoire mais structuré, et exploiter cette structure permet des améliorations significatives de la classification de nœuds sans intervention humaine.