Technische Samenvatting: LG-Plug voor OOD-detectie op Tekst-geattribueerde Grafen

Probleemdefinitie

Het artikel behandelt de uitdaging van Out-of-Distribution (OOD) detectie op Tekst-geattribueerde Grafen (TAGs). TAGs bestaan uit knopen die geassocieerd zijn met zowel grafische structuren (randen) als tekstuele beschrijvingen. Hoewel Graph Neural Networks (GNNs) effectief in-distributie (ID) data modelleren door gezamenlijk semantische en structurele informatie te leren, falen ze vaak bij OOD-knopen—knopen met ongeziene tekstuele patronen of structurele configuraties—waardoor ze overmoedige maar incorrecte voorspellingen doen.

Bestaande oplossingen kampen met twee primaire beperkingen:

1. Topologie-gestuurde methoden: Deze vertrouwen op structurele buren om OOD-knopen te detecteren, maar behandelen de tekst van knopen meestal als oppervlakkige kenmerken (bijv. bag-of-words), waardoor ze diepe semantische kennis niet benutten.
2. LLM-gebaseerde methoden: Recente benaderingen gebruiken Large Language Models (LLMs) om pseudo OOD-priors te synthetiseren. Deze lijden echter aan een betrouwbaarheids-informativiteitsbalans:
   • Betrouwbaarheidsgeoriënteerde methoden (prompting met ID-labels) genereren OOD-samples die veilig zijn van ID-overlap, maar vaak semantisch onrealistisch zijn.
   • Informativiteitsgeoriënteerde methoden (sampling van ongelabelde knopen) genereren realistische semantiek, maar lopen het risico ware ID-knopen als OOD te labelen, wat ruis introduceert.
   • Bovendien vereisen deze methoden vaak gespecialiseerde, end-to-end architecturen, wat hun compatibiliteit met gevestigde topologie-gestuurde detectoren beperkt.

De auteurs stellen twee onderzoeksvragen: Hoe genereer je OOD-priors die zowel betrouwbaar als informatief zijn? Hoe gebruik je deze priors terwijl je compatibel blijft met bestaande topologie-gestuurde detectoren?

Methodologie: LG-Plug

De auteurs stellen LG-Plug (LLM-Guided Plug-and-play) voor, een framework dat is ontworpen om bestaande topologie-gestuurde OOD-detectoren aan te vullen met door LLM afgeleide semantische priors zonder hun onderliggende architecturen te wijzigen. Het framework bestaat uit drie hoofdfases:

1. Afstemming van Topologie- en Tekstrepresentatie

Om fijnmazige knoop-embeddings te verkrijgen die ID- en OOD-knopen onderscheiden, stemt LG-Plug grafische en tekstuele representaties op elkaar af:

• Encoders: Een 2-laagse GCN codeert de grafische structuur, terwijl een Transformer-gebaseerde encoder de ruwe tekst van knopen verwerkt.
• Afstemmingsdoelstellingen:
  • Knoop-niveau Afstemming: Gebruikt een symmetrische contrastieve loss om de grafische embedding ($Z$) en de tekst-embedding ($H$) voor elke knoop af te stemmen.
  • Rand-niveau Afstemming: Minimaliseert de discrepantie tussen de topologische gelijkenismatrix (afgeleid van $Z$) en de tekstuele gelijkenismatrix (afgeleid van $H$) voor verbonden knopen.
• Doel: Deze gezamenlijke training produceert embeddings waarbij ID- en OOD-knopen initieel scheidbaar zijn op basis van zowel semantische als structurele aanwijzingen.

2. Consensus-gestuurde OOD-expositie met LLM

In plaats van de LLM te bevragen voor individuele knopen (wat ruisgevoelig en kostbaar is), genereert LG-Plug OOD-expositie op cluster-niveau:

• Clustering: Ongelabelde knopen worden geclusterd in de afgestemde embedding-ruimte.
• Representatieve Selectie: Voor elk cluster wordt een kleine set knopen geselecteerd die het dichtst bij het zwaartepunt ligt om semantische coherentie te waarborgen.
• Iteratieve Prompting & Codeboek:
  • Een lichtgewicht categorie-codeboek wordt geïnitialiseerd met bekende ID-klassen.
  • De LLM wordt sequentieel bevraagd op batches van representatieve knopen binnen een cluster. De prompt vraagt de LLM om een knoop toe te wijzen aan een bestaande categorie of om een nieuwe OOD-categorie te creëren.
  • Het codeboek wordt dynamisch bijgewerkt op basis van de toewijzingen van de LLM.
• Consensus Filtering: Het proces herhaalt zich totdat een batch een semantische consensus bereikt (allemaal toegewezen aan dezelfde categorie) of een limiet voor pogingen is bereikt.
• OOD-expositie Selectie: De top-$K$ categorieën uit het codeboek worden geselecteerd. Als deze categorieën geen ID-klassen bevatten, worden de knopen die aan hen zijn toegewezen toegevoegd aan de OOD-expositieset ($V_{exp}$). Dit zorgt ervoor dat de gegenereerde OOD-priors betrouwbaar zijn (geen ID-overlap) en informatief (gebaseerd op cluster-consensus).
• Efficiëntie: Door gebruik te maken van cluster-sampling en een codeboek, vermindert de methode de kosten voor LLM-queries aanzienlijk vergeleken met uitputtende knoop-niveau prompting.

3. Score Regularisatie

De gegenereerde OOD-expositieset ($V_{exp}$) wordt gebruikt als een regularisatieterm om bestaande detectoren te verbeteren:

• Een marge-gebaseerde loss ($L_{reg}$) wordt toegepast op de OOD-scores van de detector.
• Het dwingt een scheidingsmarge af: ID-knopen moeten lage OOD-scores hebben, terwijl knopen in $V_{exp}$ hoge OOD-scores moeten hebben.
• Dit stelt LG-Plug in staat om naadloos te worden geïntegreerd als een "plug-in" bij elke topologie-gestuurde detector (bijv. GNNSafe, GRASP) zonder architecturale wijzigingen.

Belangrijkste Bijdragen

1. Inzichten: Het artikel identificeert de betrouwbaarheids-informativiteitsafweging in huidige LLM-gebaseerde OOD-generatie en de incompatibiliteit van deze methoden met topologie-gestuurde benaderingen.
2. Nieuwe Methode (LG-Plug): Een plug-and-play framework dat topologie-tekst afstemming en consensus-gestuurde LLM-prompting gebruikt om hoogwaardige OOD-priors te genereren.
3. Prestaties: De methode behaalt state-of-the-art resultaten door bestaande detectoren te verbeteren terwijl de efficiëntie behouden blijft.

Experimentele Resultaten

De auteurs evalueerden LG-Plug op zes TAG-benchmarks (Cora, CiteSeer, PubMed, WikiCS, Books-History, ogbn-arxiv) met behulp van FPR95 (False Positive Rate bij een 95% True Positive Rate) en AUROC.

• Verbetering ten opzichte van Topologie-gestuurde Methoden: Het integreren van LG-Plug met topologie-gestuurde baselines (GNNSafe, GRASP) verminderde de FPR95 consistent met $\ge$ 7% vergeleken met de baselines alleen.
• Vergelijking met LLM-gebaseerde Methoden: De met LG-Plug geïntegreerde detectoren presteerden beter dan standalone LLM-gebaseerde OOD-methoden (LLMGuard, GLIP-OOD, GOE-LLM) met een reductie in FPR95 van $\ge$ 5%.
• Ablatie-studies: Het verwijderen van ofwel de representatie-afstemming of het intra-cluster filtermechanisme resulteerde in significante prestatiedalingen, wat de noodzaak van beide componenten bevestigt.
• Efficiëntie: LG-Plug demonstreerde superieure efficiëntie, waarbij aanzienlijk minder LLM-tokens en minder tijd nodig waren (70s op Cora versus 295s–5400s voor baselines) dankzij de cluster-gebaseerde samplingstrategie.
• Kwalitatieve Analyse: Word cloud-visualisaties van de gegenereerde OOD-expositie toonden aan dat LG-Plug onderscheidende, hoogfrequente OOD-semantiek (bijv. "evolutionary," "theoretical") vastlegde met minimale overlap met ID-categorieën, terwijl baselines semantische verschuivingen of ID-ruis vertoonden.

Betekenis en Claims

Het artikel beweert dat zowel topologie als tekst van belang zijn voor effectieve OOD-detectie op TAGs. Het voert aan dat hoewel topologie structurele context biedt, diepgaand semantisch begrip cruciaal is voor het onderscheiden van OOD-knopen. LG-Plug overbrugt de kloof tussen topologie-gestuurde en LLM-gebaseerde benaderingen door:

• LLM's te gebruiken om betrouwbare en informatieve OOD-priors te genereren via consensus-gestuurde clustering, waardoor de valkuilen van individuele knoop-labeling worden vermeden.
• Compatibiliteit te behouden met het ecosysteem van topologie-gestuurde detectoren, waardoor zij kunnen profiteren van semantisch toezicht zonder de volledige architectuur opnieuw te trainen.
• Een computationeel efficiënte oplossing te bieden die de kosten van LLM-queries ontkoppelt van de grafiek grootte.

De auteurs concluderen dat LG-Plug een robuuste stap voorwaarts vertegenwoordigt om GNN's veiliger te maken voor real-world implementatie waar distributieverschuivingen gebruikelijk zijn, met name in veiligheidskritische domeinen zoals dreigingsintelligentie en biomedisch onderzoek.