🤖 machine learning

Who Should Teach? Confidence-Aware Dual-Teacher Learning for Few-Shot Node Classification on Text-Attributed Graphs

Dit artikel introduceert CoTeach, een confidence-aware dual-teacher leerframework dat dynamisch selecteert tussen Graph Neural Networks en Large Language Models als de meest betrouwbare bron van supervisie voor elke node, waardoor de few-shot node classificatieprestaties op Text-Attributed Graphs worden verbeterd terwijl onnodige LLM-kosten worden verminderd.

Oorspronkelijke auteurs: Hojin Kim, Sujin Yoon, Sungsu Lim, Dongwon Lee, David Yoon Suk Kang

Gepubliceerd 2026-08-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hojin Kim, Sujin Yoon, Sungsu Lim, Dongwon Lee, David Yoon Suk Kang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de digitale wereld wordt veel van onze informatie niet alleen georganiseerd als lijsten met feiten, maar als complexe webben van verbindingen. Denk aan een sociaal netwerk waar mensen verbonden zijn door vriendschappen, of een bibliotheek waar boeken verbonden zijn door de onderwerpen die ze bespreken. In de informatica worden deze structuren grafen genoemd. Wanneer de items in deze webben ook geschreven beschrijvingen bevatten — zoals de bio van een gebruikersprofiel of de samenvatting van een boek — worden ze wat onderzoekers tekst-geattributueerde grafen noemen. Decennialang hebben wetenschappers geprobeerd computers te leren deze webben te begrijpen, in de hoop zaken te kunnen voorspellen zoals wat een gebruiker als volgende zou kunnen kopen of welke wetenschappelijke paper het meest relevant is. De uitdaging is altijd geweest hoe men de vorm van het web kan combineren met de betekenis van de woorden. Recentelijk is er een nieuw soort krachtig computerprogramma opgekomen, bekend als een groot taalmodel (large language model). Deze modellen zijn ongelooflijk goed in het lezen en begrijpen van tekst, wat heeft geleid tot de overtuiging bij veel onderzoekers dat zij deze graafproblemen op zichzelf zouden kunnen oplossen. Het vertrouwen op uitsluitend deze krachtige tekstlezers is echter duur en soms onbetrouwbaar gebleken, omdat ze fouten kunnen maken net als elke andere lezer.

Een team onderzoekers uit Zuid-Korea en de Verenigde Staten heeft een andere manier voorgesteld om dit probleem aan te pakken, die een eenvoudige maar cruciale vraag stelt: wie zou de leraar moeten zijn voor elk specifiek deel van het web? Hun werk, getiteld "Who Should Teach?", suggereert dat niet elke node in een graaf hetzelfde soort hulp nodig heeft. In hun systeem is een "node" simpelweg een enkel item in het web, zoals een persoon of een document. De onderzoekers ontdekten dat sommige nodes het best begrepen worden door naar hun buren en de structuur van het web te kijken, terwijl andere het best begrepen worden door hun tekstuele beschrijvingen te lezen. Om dit te testen, bouwden ze een raamwerk genaamd CoTeach, dat fungeert als een slimme manager voor twee verschillende soorten "leraren". De ene leraar is een graph neural network, een systeem dat is ontworpen om te leren van de verbindingen en de structuur van het web. De andere leraar is een groot taalmodel, ontworpen om te leren van de geschreven tekst. In plaats van het taalmodel te dwingen om elk enkel item te analyseren, laat CoTeach eerst de graaf-leraar ernaar kijken. Als de graaf-leraar zeer zeker is over wat een node is, voert deze de taak uit. Als de graaf-leraar onzeker is, roept het systeem vervolgens het taalmodel in om een tweede mening te geven op basis van de tekst.

De onderzoekers testten deze aanpak op vier real-world datasets, waaronder collecties academische papers en webartikelen, in situaties waarin slechts zeer weinig voorbeelden beschikbaar waren om van te leren. Ze ontdekten dat dit duale leraarsysteem consistent beter presteerde dan methoden die vertrouwden op slechts één type leraar of probeerden het taalmodel voor alles te gebruiken. Door de graaf-leraar de eenvoudige gevallen te laten afhandelen en alleen de dure taalmodel erbij te halen wanneer dat nodig was, werd het systeem niet alleen nauwkeuriger, maar ook aanzienlijk goedkoper in gebruik. Sterker nog, de nieuwe methode gebruikte tot wel 67 keer minder computationele middelen dan sommige bestaande benaderingen die zwaar leunden op het taalmodel. De studie demonstreert dat de meest effectieve manier om een computer over deze complexe webben te leren, niet is om één enkel, almachtig instrument te gebruiken, maar om intelligent te schakelen tussen verschillende instrumenten afhankelijk van wat de specifieke situatie vereist. Deze adaptieve strategie stelt computers in staat om effectiever te leren van beperkte data, terwijl de hoge kosten en potentiële fouten van een overmatige afhankelijkheid van krachtige tekstverwerkingsmodellen worden vermeden.

Technische Samenvatting: CoTeach voor Few-Shot Node Classificatie op Tekst-Attributieve Grafen

Probleemstelling

Tekst-attributieve grafen (TAGs) combineren grafische topologie met aan knopen geassocieerde tekstuele attributen, wat een uitdaging vormt voor het effectief fuseren van structurele en semantische informatie voor downstream-taken zoals node classificatie. Hoewel recente benaderingen gebruikmaken van Large Language Models (LLMs) om het leren van TAGs in few-shot settings te verbeteren, passen bestaande methoden LLM-afgeleide supervisie doorgaans uniform toe op alle knopen. Deze aanpak negeert de substantiële variaties in de betrouwbaarheid van LLM-outputs; voor sommige knopen is LLM-begeleiding zeer informatief, terwijl het voor andere knopen ruis of fouten kan introduceren. Bovendien brengt het uniform bevragen van LLMs aanzienlijke kosten met zich mee.

Het kernprobleem dat wordt geadresseerd is het gebrek aan adaptiviteit in supervisiebronnen. Graph Neural Networks (GNNs) blinken uit in het exploiteren van structurele signalen, terwijl LLMs excelleren in semantisch redeneren. Het artikel stelt dat de optimale bron van supervisie per knoop kan verschillen, wat de vraag oproept: "Wie moet elke knoop onderwijzen?"

Methodologie: CoTeach Framework

De auteurs stellen CoTeach voor, een Confidence-aware Dual-Teacher Learning framework ontworpen om dynamisch de meest betrouwbare docent voor elke knoop te selecteren in een few-shot setting. Het framework bestaat uit drie hoofdonderdelen:

GNN Docent (Structuur-bewust):
- Maakt gebruik van een zelfgesuperviseerde aanpak (Deep Graph Infomax) gevolgd door een classifier om voorspellingen te genereren op basis van de grafische topologie.
- Genereert een pseudo-label en een betrouwbaarheidsscore (voorspellingskans) voor elke knoop.
- Knopen worden verdeeld in twee sets op basis van een betrouwbaarheidsdrempel $\gamma_g$ $γ_{g}$ :
  - $V_{GNN}$ : Knopen met een hoge betrouwbaarheid waar structurele informatie als voldoende wordt beschouwd.
  - $V_R$ : Knopen met een lage betrouwbaarheid waar structurele informatie alleen onvoldoende is.
LLM Docent (Semantisch-bewust):
- Richt zich uitsluitend op de onzekere knopen in $V_R$ .
- Om kosten te beperken, maakt het gebruik van een seed node selectiestrategie (clustering van knooprepresentaties en het selecteren van centroids) om een representatieve subset van knopen te bevragen in plaats van alle knopen in $V_R$ .
- Voor geselecteerde knopen ontvangt de LLM prompts die knooptekst en kandidaat-labelbeschrijvingen bevatten om waarschijnlijkheidsverdelingen te genereren.
- Alleen voorspellingen die een tweede betrouwbaarheidsdrempel $\gamma_l$ overschrijden, worden behouden als betrouwbare pseudo-labels, wat de set $V_{LLM}$ vormt.
Student Model:
- Een GNN-gebaseerd model dat getraind wordt om te leren van de confidence-aware pseudo-labels die door beide docenten worden geleverd.
- Knopen in $V_{GNN}$ worden gesuperviseerd door de outputs van de GNN-docent, terwijl knopen in $V_{LLM}$ worden gesuperviseerd door de outputs van de LLM-docent.
- De trainingsdoelstelling combineert Cross-Entropy loss (voor harde pseudo-labels) en Knowledge Distillation loss (voor zachte waarschijnlijkheidsverdelingen) van beide docenten, gewogen door een hyperparameter $\alpha$ .

Belangrijkste Bijdragen

Nieuw Perspectief: Het artikel introduceert een adaptief supervisieperspectief dat de variaties op knoopinventaris niveau erkent in de betrouwbaarheid van door LLM afgeleide supervisie, en beargumenteert dat een uniforme toepassing suboptimaal is.
Nieuw Framework: CoTech wordt voorgesteld als een confidence-aware dual-teacher framework dat adaptief tussen een GNN-docent en een LLM-docent selecteert op basis van voorspellingsbetrouwbaarheid, waardoor de meest betrouwbare signalen elke knoop begeleiden.
Uitgebreide Evaluatie: Het framework wordt geëvalueerd op vier real-world TAG-datasets (Cora, Citeseer, Pubmed, WikiCS), waarbij de effectiviteit wordt aangetoond in het verbeteren van few-shot node classificatie terwijl onnodig LLM-gebruik wordt verminderd.

Experimentele Resultaten

De evaluatie vergelijkt CoTeach met 10 concurrerende methoden, inclus $ief$ backbone GNNs (GCN, GAT, GraphSAGE), Pre-trained Language Models (BERT, BART, SBERT) en bestaande GNN+LLM benaderingen (LLMGNN, TAPE, LLM4NG).

Prestaties (EQ1 & EQ2): CoTeach bereikt consistent de beste algehele prestaties in de meeste few-shot settings ( $k \in \{3, 5, 7, 10\}$ ). De ablatie-studie bevestigt dat het combineren van beide docenten superieure resultaten oplevert vergeleken met het gebruik van slechts één van hen of geen docent. Specifiek behaalden CoTeach-varianten een gemiddelde rang (AR) van 1.6, waarmee ze de baselines substantieel versloegen. Opmerkelijke winsten werden waargenomen in uitdagende 3-shot settings, met verbeteringen tot 6.9% ten opzichte van de sterkste baseline op de Cora-dataset.
Kostenefficiëntie (EQ3): CoTeach vertoont aanzienlijke kostenefficiëntie. Het vermindert het LLM-tokenverbruik met wel 67.6× vergeleken met TAPE en 8.3× vergeleken met LLMGNN, terwijl het een superieure nauwkeurigheid behoudt.
Robuustheid (EQ4):4 Sensitiviteitsanalyse geeft aan dat CoTeach over het algemeen robuust is tegen hyperparameterkeuzes, waarbij het het best presteert met gematigde betrouwbaarheidsdrempels en voldoende dekking van seed nodes.

Betekenis en Claims

Het artikel claimt dat CoTeach een eenvoudige maar effectieve mechanisme biedt voor adaptieve supervisie in few-shot TAG-leren. Door te erkennen dat GNNs en LLMs complementaire sterktes bezitten, vermijdt het framework de valkuilen van uniforme LLM-toepassing. De primaire betekenis ligt in het vermogen om classificatieprestaties te verbeteren en tegelijkertijd de monetaire kosten die gepaard gaan met commerciële LLM-inferentie te verlagen. De auteurs positioneren dit werk als een stap naar een efficiëntere en betrouwbaardere integratie van LLMs in graph learning, waarbij specifiek wordt ingegaan op de variabiliteit in de kwaliteit van de supervisie over verschillende knopen heen. Er wordt opgemerkt dat toekomstig werk dit framework potentieel kan uitbreiden naar edge-level en graph-level leerscenario's.