🤖 machine learning

Who Should Teach? Confidence-Aware Dual-Teacher Learning for Few-Shot Node Classification on Text-Attributed Graphs

Cet article introduit CoTeach, un cadre d'apprentissage à double enseignant sensible à la confiance qui sélectionne dynamiquement entre les réseaux de neurones sur graphes et les grands modèles de langage comme la source de supervision la plus fiable pour chaque nœud, améliorant ainsi les performances de classification de nœuds en régime de peu d'exemples (few-shot) sur les graphes attribués de texte tout en réduisant les coûts inutiles liés aux LLM.

Auteurs originaux : Hojin Kim, Sujin Yoon, Sungsu Lim, Dongwon Lee, David Yoon Suk Kang

Publié 2026-08-25

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hojin Kim, Sujin Yoon, Sungsu Lim, Dongwon Lee, David Yoon Suk Kang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde numérique, une grande partie de nos informations est organisée non pas seulement sous forme de listes de faits, mais sous forme de réseaux complexes de connexions. Imaginez un réseau social où les personnes sont liées par des amitiés, ou une bibliothèque où les livres sont connectés par les sujets qu'ils abordent. En informatique, ces structures sont appelées des graphes. Lorsque les éléments de ces réseaux portent également des descriptions écrites — comme la biographie du profil d'un utilisateur ou le résumé d'un livre — ils deviennent ce que les chercheurs appellent des graphes à attributs textuels. Pendant des décies, les scientifiques ont tenté d'apprendre aux ordinateurs à comprendre ces réseaux, dans l'espoir de prédire des choses comme ce qu'un utilisateur pourrait acheter ensuite ou quel article de recherche est le plus pertinent. Le défi a toujours été de savoir comment combiner la forme du réseau avec le sens des mots. Récemment, un nouveau type de programme informatique puissant, connu sous le nom de grand modèle de langage, a émergé. Ces modèles sont incroyablement doués pour lire et comprendre le texte, ce qui a conduit de nombreux chercheurs à croire qu'ils pourraient résoudre ces problèmes de graphes par eux-mêmes. Cependant, s'appuyer uniquement sur ces puissants lecteurs de texte s'est avéré coûteux et parfois peu fiable, car ils peuvent commettre des erreurs comme n'importe quel autre lecteur.

Une équipe de chercheurs de Corée du Sud et des États-Unis a proposé une autre façon de gérer ce problème, qui pose une question simple mais cruciale : qui devrait être l'enseignant pour chaque partie spécifique du réseau ? Leur travail, intitulé « Who Should Teach? » (Qui devrait enseigner ?), suggère que chaque nœud d'un graphe n'a pas besoin du même type d'aide. Dans leur système, un « nœud » est simplement un élément unique dans le réseau, tel qu'une personne ou un document. Les chercheurs ont découvert que certains nœuds sont mieux compris en observant leurs voisins et la structure du réseau, tandis que d'autres sont mieux compris en lisant leurs descriptions textuelles. Pour tester cela, ils ont construit un cadre appelé CoTeach, qui agit comme un gestionnaire intelligent pour deux types différents d'« enseignants ». Un enseignant est un réseau de neurones graphiques, un système conçu pour apprendre des connexions et de la structure du réseau. L'autre est un grand modèle de langage, conçu pour apprendre du texte écrit. Au lieu de forcer le modèle de langage à analyser chaque élément, CoTeach laisse d'abord l'enseignant de graphe jeter un coup d'œil. Si l'enseignant de graphe est très confiant sur ce qu'est un nœud, il se charge du travail. Si l'enseignant de graphe est incertain, le système fait alors appel au modèle de langage pour fournir un second avis basé sur le texte.

Les chercheurs ont testé cette approche sur quatre ensembles de données réels, incluant des collections d'articles académiques et d'articles web, dans des situations où très peu d'exemples étaient disponibles pour l'apprentissage. Ils ont constaté que ce système à double enseignant surpassait systématiquement les méthodes qui ne reposaient que sur un seul type d'enseignant ou qui tentaient d'utiliser le modèle de langage pour tout. En laissant l'enseignant de graphe gérer les cas faciles et en ne faisant appel au modèle de langage coûteux que lorsque cela est nécessaire, le système est devenu non seulement plus précis, mais aussi nettement moins cher à exploiter. En fait, la nouvelle méthode a utilisé jusqu'à 67 fois moins de ressources informatiques que certaines approches existantes qui reposaient lement sur le modèle de langage. L'étude démontre que la manière la plus efficace d'apprendre à un ordinateur ces réseaux complexes n'est pas d'utiliser un outil unique et tout-puissant, mais de passer intelligemment d'un outil à l'autre en fonction de ce que le problème spécifique requiert. Cette stratégie adaptative permet aux ordinateurs d'apprendre plus efficacement à partir de données limitées tout en évitant les coûts élevés et les erreurs potentielles d'une dépendance excessive aux puissants modèles de traitement de texte.

Résumé Technique : CoTeach pour la classification de nœuds à peu d'exemples sur les graphes attribués à du texte

Énoncé du Problème

Les graphes attribués à du texte (TAG - Text-Attributed Graphs) combinent la topologie de graphe avec des attributs textuels associés aux nœuds, ce qui présente un défi pour fusionner efficacement les informations structurelles et sémantiques pour des tâches en aval comme la classification de nœuds. Bien que des approches récentes exploitent les modèles de langage de grande taille (LLM) pour améliorer l'apprentissage des TAG dans des contextes à peu d'exemples (few-shot), les méthodes existantes appliquent généralement une supervision dérivée des LLM de manière uniforme à tous les nœuds. Cette approche ignore les variations substantielles de fiabilité des sorties des LLM ; pour certains nœuds, l'orientation du LLM est très informative, tandis que pour d'autres, elle peut introduire du bruit ou des erreurs. De plus, interroger uniformément les LLM engendre des coûts monétaires importants.

Le problème central traité est le manque d'adaptativité des sources de supervision. Les réseaux de neurones sur graphes (GNN) excellent dans l'exploitation des signaux structurels, tandis que les LLM excellent dans le raisonnement sémantique. L'article postule que la source de supervision optimale peut différer pour chaque nœud, soulevant la question : « Qui doit enseigner à chaque nœud ? »

Méthodologie : Cadre CoTeach

Les auteurs proposent CoTeach, un cadre d'apprentissage à double enseignant sensible à la confiance (Confidence-aware Dual-Teacher Learning), conçu pour sélectionner dynamiquement l'enseignant le plus fiable pour chaque nœud dans un contexte à peu d'exemples. Le cadre se compose de trois composantes principales :

Enseignant GNN (Sensible à la structure) :
- Utilise une approche auto-supervisée (Deep Graph Infomax) suivie d'un classificateur pour générer des prédictions basées sur la topologie du graphe.
- Produit un pseudo-étiquette et un score de confiance (probabilité de prédiction) pour chaque nœud.
- Les nœuds sont partitionnés en deux ensembles basés sur un seuil de confiance $\gamma_g$ $γ_{g}$ :
  - $V_{GNN}$ : Nœuds à haute confiance où l'information structurelle est jugée suffisante.
  - $V_R$ : Nœuds à faible confiance où l'information structurelle seule est insuffisante.
Enseignant LLM (Sensible à la sémantique) :
- Se concentre exclusivement sur les nœuds incertains de $V_R$ .
- Pour atténuer les coûts, il emploie une stratégie de sélection de nœuds semences (clustering des représentations de nœuds et sélection des centroïdes) pour interroger un sous-ensemble représentatif de nœuds plutôt que l'ensemble de $V_R$ .
- Pour les nœuds sélectionnés, le LLM reçoit des prompts contenant le texte du nœud et les descriptions des étiquettes candidates pour générer des distributions de probabilité.
- Seules les prédictions dépassant un second seuil de confiance $\gamma_l$ sont conservées comme pseudo-étiquettes fiables, formant l'ensemble $V_{LLM}$ .
Modèle Étudiant :
- Un modèle basé sur un GNN entraîné pour apprendre à partir des pseudo-étiquettes sensibles à la confiance fournies par les deux enseignants.
- Les nœuds de $V_{GNN}$ sont supervisés par les sorties de l'enseignant GNN, tandis que les nœuds de $V_{LLM}$ sont supervisés par les sorties de l'enseignant LLM.
- L'objectif d'entraînement combine une perte d'entropie croisée (pour les pseudo-étiquettes strictes/hard) et une perte de distillation de connaissances (pour les distributions de probabilité douces/soft) provenant des deux enseignants, pondérée par un hyperparamètre $\alpha$ .

Contributions Clés

Nouvelle Perspective : L'article introduit une perspective de supervision adaptative qui reconnaît les variations au niveau du nœud de la fiabilité de la supervision dérivée des LLM, arguant qu'une application uniforme est sous-optimale.
Cadre Novateur : CoTeach est proposé comme un cadre à double enseignant sensible à la confiance qui sélectionne de manière adaptative entre un enseignant GNN et un enseignant LLM en fonction de la confiance de prédiction, garantissant que le signal le plus fiable guide chaque nœud.
Évaluation Approfondie : Le cadre est évalué sur quatre jeux de données TAG réels (Cora, Citeseer, Pubmed, WikiCS), démontrant son efficacité pour améliorer la classification de nœuds à peu d'exemples tout en réduisant l'utilisation inutile des LLM.

Résultats Expérimentaux

L'évaluation compare CoTeach à 10 méthodes concurrentes, incluant des GNN de base (GCN, GAT, GraphSAGE), des modèles de langage pré-entraînés (BERT, BART, SBERT) et des approches GNN+LLM existantes (LLMGNN, TAPE, LLM4NG).

Performance (EQ1 & EQ2) : CoTeach atteint systématiquement la meilleure performance globale dans la plupart des contextes à peu d'exemples ( $k \in \{3, 5, 7, 10\}$ ). L'étude d'ablation confirme que la combinaison des deux enseignants produit des résultats supérieurs par rapport à l'utilisation de l'un ou l'autre seul, ou de l'absence de professeur. Plus précisément, les variantes de CoTeach ont atteint un rang moyen (AR) de 1,6, surpassant nettement les bases de référence. Des gains notables ont été observés dans les contextes difficiles à 3 exemples (3-shot), avec des améliorations allant jusqu'à 6,9 % par rapport à la meilleure base de référence sur le jeu de données Cora.
Efficacité des Coûts (EQ3) : CoTeach démontre une efficacité de coût significative. Il réduit la consommation de jetons (tokens) du LLM jusqu'à 67,6× par rapport à TAPE et 8,3× par rapport à LLMGNN, tout en maintenant une précision supérieure.
Robustesse (EQ4) : L'analyse de sensibilité indique que CoTeach est généralement robuste aux choix d'hyperparamètres, performant de manière optimale avec des seuils de confiance modérés et une couverture suffisante des nœuds semences.

Signification et Revendications

L'article affirme que CoTeach fournit un mécanisme simple mais efficace pour la supervision adaptative dans l'apprentissage de TAG à peu d'exemples. En reconnaissant que les GNN et les LLM possèdent des forces complémentaires, le cadre évite les pièges de l'application uniforme des LLM. La principale importance réside dans sa capacité à améliorer les performances de classification tout en réduisant simultanément les coûts monétaires associés à l'inférence des LLM commerciaux. Les auteurs positionnent ce travail comme une étape vers une intégration plus efficace et plus fiable des LLM dans l'apprentissage sur graphes, en traitant spécifiquement la variabilité de la qualité de la supervision à travers les différents nœuds. Un travail futur est noté pour potentiellement étendre ce cadre aux scénarios d'apprentissage au niveau des arêtes et au niveau du graphe.