Technisches Resümee: LG-Plug für die OOD-Erkennung auf textbasierten Graphen (Text-Attributed Graphs)

Problemdefinition

Die Arbeit befasst sich mit der Herausforderung der Out-of-Distribution (OOD)-Erkennung auf textbasierten Graphen (Text-Attributed Graphs, TAGs). TAGs bestehen aus Knoten, die sowohl mit einer Graphstruktur (Kanten) als auch mit textuellen Beschreibungen assoziiert sind. Während Graph Neural Networks (GNNs) In-Distribution (ID)-Daten durch das gemeinsame Erlernen von semantischen und strukturellen Informationen effektiv modellieren, versagen sie oft bei OOD-Knoten – also jenen mit ungesehenen textuellen Mustern oder strukturellen Konfigurationen – und liefern überkonfidente, aber falsche Vorhersagen.

Bestehende Lösungen stehen vor zwei primären Einschränkungen:

1. Topologie-getriebene Methoden: Diese verlassen sich auf strukturelle Nachbarn, um OOD-Knoten zu erkennen, behandeln die Knotentexte jedoch typischerweise als flache Merkmale (z. B. Bag-of-Words) und versäumen es, tiefes semantisches Wissen zu nutzen.
2. LLM-basierte Methoden: Neuere Ansätze nutzen Large Language Models (LLMs), um pseudo-OOD-Priors zu synthetisieren. Diese leiden jedoch unter einem Ungleichgewicht zwischen Zuverlässigkeit und Informationsgehalt (Reliability-Informativeness Imbalance):
   • Zuverlässigkeitsorientierte Methoden (Prompting mit ID-Labels) erzeugen OOD-Proben, die sicher vor einer Überschneidung mit ID-Daten sind, aber oft semantisch unrealistisch wirken.
   • Informationsorientierte Methoden (Sampling unbeschrifteter Knoten) erzeugen realistische Semantik, riskieren aber, wahre ID-Knoten fälschlicherweise als OOD zu klassifizieren, was Rauschen einführt.
   • Darüber hinaus erfordern diese Methoden oft spezialisierte, End-to-End-Architekturen, was ihre Kompatibilität mit etablierten topologiegetriebenen Detektoren einschränkt.

Die Autoren stellen zwei Forschungsfragen: Wie lassen sich OOD-Priors generieren, die sowohl zuverlässig als auch informativ sind? Wie können diese Priors genutzt werden, während gleichzeitig die Kompatibilität mit bestehenden topologiegetriebenen Detektoren gewahrt bleibt?

Methodik: LG-Plug

Die Autoren schlagen LG-Plug (LLM-Guided Plug-and-play) vor, ein Framework, das darauf ausgelegt ist, bestehende topologiegetriebene OOD-Detektoren mit LLM-abgeleiteten semantischen Priors zu erweitern, ohne deren zugrunde liegende Architekturen zu verändern. Das Framework besteht aus drei Hauptphasen:

1. Ausrichtung von Topologie- und Textrepräsentationen (Topology-Text Representation Alignment)

Um feingranulare Knoten-Embeddings zu erhalten, die ID- und OOD-Knoten unterscheiden können, richtet LG-Plug Graph- und Textrepräsentationen aufeinander aus:

• Encoder: Ein 2-lagiger GCN kodiert die Graphstruktur, während ein Transformer-basierter Encoder die rohen Knotentexte verarbeitet.
• Alignment-Ziele:
  • Knoten-basierte Ausrichtung: Verwendet einen symmetrischen kontrastiven Verlust, um das Graph-Embedding ($Z$) und das Text-Embedding ($H$) für jeden Knoten aufeinander abzustimmen.
  • Kanten-basierte Ausrichtung: Minimiert die Diskrepanz zwischen der topologischen Ähnlichkeitsmatrix (abgeleitet aus $Z$) und der textuellen Ähnlichkeitsmatrix (abgeleitet aus $H$) für verbundene Knoten.
• Ziel: Dieses gemeinsame Training erzeugt Embeddings, in denen ID- und OOD-Knoten anfänglich basierend auf sowohl semantischen als auch strukturellen Hinweisen separierbar sind.

2. Konsensgesteuerte OOD-Exposition mittels LLM

Anstatt das LLM für einzelne Knoten abzufragen (was verrauscht und kostspielig ist), generiert LG-Plug die OOD-Exposition auf der Cluster-Ebene:

• Clustering: Unbeschriftete Knoten werden im ausgerichteten Embedding-Raum geclustert.
• Repräsentative Auswahl: Für jeden Cluster wird eine kleine Menge von Knoten ausgewählt, die dem Zentroiden am nächsten liegen, um semantische Kohärenz zu gewährleisten.
• Iteratives Prompting & Codebuch:
  • Ein leichtgewichtiges Kategorie-Codebuch wird mit bekannten ID-Klassen initialisiert.
  • Das LLM wird sequenziell auf Batches von repräsentativen Knoten innerhalb eines Clusters abgefragt. Der Prompt weist das LLM an, einen Knoten entweder einer bestehenden Kategorie zuzuordnen oder eine neue OOD-Kategorie zu erstellen.
  • Das Codebuch wird basierend auf den Zuweisungen des LLM dynamisch aktualisiert.
• Konsens-Filterung: Der Prozess wiederholt sich, bis ein Batch einen semantischen Konsens erreicht (alle wurden derselben Kategorie zugeordnet) oder ein Testlimit erreicht ist.
• OOD-Expositions-Selektion: Die Top-$K$-Kategorien aus dem Codebuch werden ausgewählt. Wenn diese Kategorien keine ID-Klassen enthalten, werden die ihnen zugeordneten Knoten zum OOD-Expositions-Set ($V_{exp}$) hinzugefügt. Dies stellt sicher, dass die generierten OOD-Priors zuverlässig (keine ID-Überschneidung) und informativ (basierend auf Cluster-Konsens) sind.
• Effizienz: Durch die Verwendung von Cluster-Sampling und einem Codebuch reduziert die Methode die Kosten für LLM-Abfragen im Vergleich zu einer erschöpfenden Knoten-Ebene-Prompting-Strategie erheblich.

3. Score-Regularisierung

Das generierte OOD-Expositions-Set ($V_{exp}$) wird als Regularisierungsterm verwendet, um bestehende Detektoren zu verbessern:

• Ein Margin-basierter Verlust ($L_{reg}$) wird auf den OOD-Score des Detektors angewendet.
• Er erzwingt eine Trennungsmarge: ID-Knoten sollten niedrige OOD-Scores haben, während Knoten in $V_{exp}$ hohe OOD-Scores aufweisen sollten.
• Dies ermöglicht es LG-Plug, nahtlos als „Plug-in“ in jeden topologiegetriebenen Detektor (z. B. GNNSafe, GRASP) integriert zu werden, ohne die Architektur zu ändern.

Zentrale Beiträge

1. Erkenntnisse: Die Arbeit identifiziert den Trade-off zwischen Zuverlässigkeit und Informationsgehalt in aktuellen LLM-basierten OOD-Generierungsmethoden sowie die Inkompatibilität dieser Methoden mit topologiegetriebenen Ansätzen.
2. Neuartige Methode (LG-Plug): Ein Plug-and-Play-Framework, das Topology-Text-Alignment und konsensgesteuertes LLM-Prompting nutzt, um hochwertige OOD-Priors zu generieren.
3. Leistung: Die Methode erzielt State-of-the-Art-Ergebnisse, indem sie bestehende Detektoren verbessert und gleichzeitig effizient bleibt.

Experimentelle Ergebnisse

Die Autoren evaluierten LG-Plug auf sechs TAG-Benchmarks (Cora, CiteSeer, PubMed, WikiCS, Books-History, ogbn-arxiv) unter Verwendung von FPR95 (False Positive Rate bei 95 % True Positive Rate) und AUROC.

• Verbesserung gegenüber topologiegetriebenen Methoden: Die Integration von LG-Plug in topologiegetriebene Baselines (GNNSafe, GRASP) reduzierte die FPR95 im Vergleich zu den Baselines allein konsistent um $\ge$ 7%.
• Vergleich mit LLM-basierten Methoden: Mit LG-Plug integrierte Detektoren übertrafen eigenständige LLM-basierte OOD-Methoden (LLMGuard, GLIP-OOD, GOE-LLM) um $\ge$ 5% in der Reduktion der FPR95.
• Ablationsstudien: Das Entfernen entweder der Repräsentations-Ausrichtung oder des Intra-Cluster-Filtermechanismus führte zu signifikanten Leistungseinbußen, was die Notwendigkeit beider Komponenten bestätigt.
• Effizienz: LG-Plug demonstrierte eine überlegene Effizienz und benötigte aufgrund seiner Cluster-basierten Sampling-Strategie deutlich weniger LLM-Token und Zeit (70s auf Cora im Vergleich zu 295s–5400s bei den Baselines).
• Qualitative Analyse: Wortwolken-Visualisierungen der generierten OOD-Exposition zeigten, dass LG-Plug distinkte, hochfrequente OOD-Semantiken (z. B. „evolutionary“, „theoretical“) mit minimaler Überschneidung zu ID-Kategorien erfasste, während Baselines semantische Verschiebungen oder ID-Rauschen aufwiesen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass sowohl Topologie als auch Text entscheidend für eine effektive OOD-Erkennung auf TAGs sind. Sie argumentiert, dass die Topologie zwar den strukturellen Kontext liefert, ein tiefes semantisches Verständnis jedoch entscheidend ist, um OOD-Knoten zu unterscheiden. LG-Plug schließt die Lücke zwischen topologiegetriebenen und LLM-basierten Ansätzen durch:

• Die Nutzung von LLMs zur Generierung zuverlässiger und informativer OOD-Priors durch konsensgesteuertes Clustering, wodurch die Fallstricke der individuellen Knoten-Labeling-Verfahren vermieden werden.
• Die Aufrechterhaltung der Kompatibilität mit dem Ökosystem topologiegetriebener Detektoren, was es diesen ermöglicht, von semantischer Supervision zu profitieren, ohne die gesamte Architektur neu trainieren zu müssen.
• Das Angebot einer recheneffizienten Lösung, welche die Kosten für LLM-Abfragen von der Graphgröße entkoppelt.

Die Autoren kommen zu dem Schluss, dass LG-Plug einen robusten Schritt nach vorn darstellt, um GNNs für den Einsatz in der realen Welt sicherer zu machen, in der Verteilungsverschiebungen (Distribution Shifts) häufig vorkommen, insbesondere in sicherheitskritischen Bereichen wie der Bedrohungsanalyse (Threat Intelligence) und der biomedizinischen Forschung.