Technische Samenvatting: Waar LLM-annotatoren falen: Labelloos leren op grafen met LLM's

Probleemstelling

Knooppuntclassificatie op tekst-geattribueerde grafen (TAG's) is traditioneel afhankelijk van gelabelde knooppunten, maar het verkrijgen van grondwaarheidlabels op grote schaal is duur. Hoewel Large Language Models (LLM's) een goedkoop alternatief bieden door een klein subset van knooppunten te annoteren op basis van semantische inhoud (bijvoorbeeld paper-abstracts, productbeschrijvingen), zijn deze gegenereerde labels inherent ruisig. Bestaande labelloze grafleermethoden proberen deze ruis te mitigeren door de betrouwbaarheid van LLM's te behandelen als een globale eigenschap van de annotator of als een klasse-voorwaardelijk verwarringspatroon.

De auteurs identificeren een kritieke faalmodus in deze bestaande benaderingen: LLM-annotatiefouten zijn niet uniform. In plaats daarvan varieert de betrouwbaarheid aanzienlijk tussen gebieden in de kenmerkruimte (clusters), zelfs binnen dezelfde ware klasse. Bijvoorbeeld, op het DBLP-dataset vertoont de klasse "Database" een gemiddelde LLM-nauwkeurigheid van 64,7%, maar dit maskeert een scherpe discrepantie waarbij de nauwkeurigheid varieert van 81,0% in één cluster tot 21,6% in een ander. Het behandelen van betrouwbaarheid als klasse-voorwaardelijk leidt tot oververtrouwen in onbetrouwbare clusters en onderbenutting van betrouwbare clusters, waardoor fouten zich via berichtuitwisseling en pseudo-labeluitbreiding door de graf voortplanten.

Methodologie: Cluster-bewuste Ruisschatting (CANE)

Om dit aan te pakken, stellen de auteurs CANE voor, een labelloos leerkader dat cluster-voorwaardelijke LLM-betrouwbaarheid schat zonder dat grondwaarheidlabels nodig zijn. De pijplijn bestaat uit vijf fasen:

1. Selectie en Annotatie van Representatieve Zaden:

   • Knopen worden ingebed met behulp van een zelftoezicht GraphMAE2-encoder en geklasteerd in $K=2C$ gebieden (waarbij $C$ het aantal klassen is).
   • De meest centrale knopen in elke cluster worden geselecteerd als zaden om representatie van diverse gebieden in de kenmerkruimte te waarborgen.
   • Een subset van deze zaden ($\rho = 0.4$) wordt aangewezen als proefset en eerst door de LLM geannoteerd. De overige zaden worden later geannoteerd. Deze proefset wordt gebruikt om betrouwbaarheid te schatten zonder extra querykosten.

2. Cluster-voorwaardelijke Ruisschatting:

   • CANE schat een cluster-voorwaardelijke overgangsmatrix $T_c$, waarbij $T_c[k, i, j] = P(\hat{y}=j | y=i, \text{cluster}=k)$.
   • Cruciaal wordt dit geschat zonder grondwaarheid. De methode maakt gebruik van kruis-modale overeenstemming: voor een proefknooppunt $v$ berekent het het aandeel van zijn buren (zowel graf-buren als dichtstbijzijnde buren in de kenmerkruimte) dat door de LLM identiek aan $v$ is gelabeld.
   • Hoge overeenstemming tussen onafhankelijke weergaven (structuur en kenmerken) dient als proxy voor labelcorrectheid. De diagonaalelementen van $T_c$ worden ingesteld op de gemiddelde overeenstemming voor elk (cluster, klasse)-paar, met off-diagonaalelementen die uniform worden verdeeld.

3. Pseudo-label Uitbreiding:

   • Een GNN wordt getraind op de initiële door LLM gelabelde zaden.
   • Tijdens zelftrainingsuitbreiding wordt de acceptatiedrempel voor pseudo-labels aangepast op basis van lokale betrouwbaarheid. Voor een knooppunt in cluster $k$ dat als klasse $g$ wordt voorspeld, wordt de drempel $\tau_g$ verhoogd als de geschatte betrouwbaarheid $T_c[k, g, g]$ laag is:
     $$\tau_g(k) = \tau_g + \alpha(1 - T_c[k, g, g])$$
   • Dit zorgt ervoor dat in onbetrouwbare gebieden alleen zeer zeker voorspellingen worden geaccepteerd, waardoor ruisverspreiding wordt voorkomen.

4. Iteratieve Labelcorrectie:

   • Het kader traint de GNN iteratief opnieuw en corrigeert labels die niet overeenkomen met de huidige voorspelling van het model.
   • Een label wordt alleen overschreven als de GNN-voorspelling wordt ondersteund door een voldoende aantal instemmende buren, waarbij de vereiste ondersteuningsdrempel wordt gemoduleerd door de lokale betrouwbaarheid $T_c$. Labels in betrouwbare gebieden worden beschermd tegen overschrijven door zwak bewijs, terwijl labels in ruisige gebieden gemakkelijker worden gecorrigeerd.

5. Eindtraining:

   • Een definitieve GNN wordt getraind op de gestabiliseerde, verfijnde labelset om voorspellingen voor alle knopen te produceren.

Belangrijkste Bijdragen

1. Identificatie van Cluster-voorwaardelijke Ruis: Het artikel toont empirisch aan dat LLM-annotatieruis in TAG's niet alleen klasse-afhankelijk is, maar gebiedsafhankelijk. Betrouwbaarheid varieert scherp tussen clusters in de kenmerkruimte binnen dezelfde klasse, een fenomeen dat bestaande methoden niet kunnen vastleggen.
2. CANE Kader: De auteurs stellen een labelloos kader voor dat een per-cluster overgangsmatrix schat met behulp van zelftoezicht graf-inbeddingen en LLM-annotatiestatistieken (specifiek kruis-modale overeenstemming), waardoor de behoefte aan grondwaarheidlabels tijdens de ruisschattingfase wordt geëlimineerd.
3. Adaptieve Leerpipeline: CANE integreert deze betrouwbaarheidsschattingen zowel in pseudo-labeluitbreiding (via adaptieve drempels) als in iteratieve labelcorrectie (via betrouwbaarheids-gestuurde updates), waardoor het systeem labels meer kan vertrouwen in betrouwbare gebieden en ze agressiever kan corrigeren in ruisige gebieden.

Experimentele Resultaten

De auteurs hebben CANE geëvalueerd op vijf tekst-geattribueerde graf-benchmarks (CITESEER, CORA, PUBMED, WIKICS, DBLP) met GCN- en GAT-ruggengraten, vergeleken met sterke baselines zoals LLM-GNN, DMA en LOCLE.

• Prestaties: CANE presteerde beter dan de sterkste labelloze baseline (LOCLE) op 8 van de 10 dataset-rugcombinaties. Het overtrof consistent LLM-GNN en DMA in alle instellingen.
• Correlatie met Ruistruktuur: De prestatiewinst was het meest significant op datasets met sterke cluster-voorwaardelijke ruis (bijvoorbeeld DBLP, WIKICS, CITESEER), waarbij de nauwkeurigheid van de LLM sterk fluctueert tussen clusters. Op PUBMED, waar de LLM-nauwkeurigheid al hoog en uniform was, bood CANE marginale winst, wat consistent is met het ontwerp van de methode.
• Robuustheid: De methode bleef effectief toen de onderliggende LLM-annotator werd vervangen van GPT-3.5-turbo naar GPT-4o-mini, wat aangeeft dat CANE zich aanpast aan de specifieke foutpatronen van de annotator in plaats van te vertrouwen op de eigenaardigheden van een specifiek model.
• Ablatiestudies: Het verwijderen van het cluster-voorwaardelijke ruismodel (door het ineen te storten tot een globale matrix) verminderde de prestaties aanzienlijk, wat bevestigt dat lokale ruismodellering de primaire drijver van verbetering is. De labelloze schatting van $T_c$ presteerde bijna identiek aan een orakelschatting met grondwaarheid, wat de effectiviteit van de overeenstemmingsgebaseerde schatter valideert.
• Budgetgevoeligheid: CANE toonde superieure prestaties in regimes met een laag budget (schaarse labels) en degradeerde minder snel dan baselines naarmate het annotatiebudget afnam.

Betekenis en Claims

Het artikel claimt dat cluster-voorwaardelijke ruismodellering een noodzakelijke evolutie voorstelt boven klasse-voorwaardelijke benaderingen in labelloos grafleer. Door te erkennen dat LLM-betrouwbaarheid een functie is van lokale gebieden in de kenmerkruimte, biedt CANE een nauwkeurigere mechanisme voor het filteren en corrigeren van ruisige supervisie.

De auteurs positioneren CANE als een stap naar robuuster, kosteneffectiever grafleer dat de semantische capaciteiten van LLM's benut terwijl hun inconsistentie wordt gemitigeerd. Zij merken op dat hoewel de methode de grafstructuur niet wijzigt (in tegenstelling tot sommige baselines die graf-herkoppeling gebruiken), het een complementaire benadering biedt die kan worden gecombineerd met structurele methoden. Het werk benadrukt dat de "faalmodus" van LLM-annotatoren niet willekeurig is, maar gestructureerd, en dat het benutten van deze structuur aanzienlijke verbeteringen in knooppuntclassificatie mogelijk maakt zonder menselijke tussenkomst.