🤖 machine learning

Generalist Graph Anomaly Detection via Prototype-Based Distillation

Dieser Beitrag stellt ProMoS vor, das erste unüberwachte Generalisten-Framework zur Graphen-Anomalieerkennung, das prototypengesteuertes Wissensdistillation von einem eingefrorenen selbstüberwachten Lehrer auf ein Mixture-of-Students-Modell nutzt, um eine effiziente Zero-Shot-Erkennung von Anomalien auf ungesehenen Graphen ohne Bedarf an gelabelten Daten zu ermöglichen.

Ursprüngliche Autoren: Yiming Xu, Zihan Chen, Zhen Peng, Song Wang, Bin Shi, Bo Dong, Chao Shen

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yiming Xu, Zihan Chen, Zhen Peng, Song Wang, Bin Shi, Bo Dong, Chao Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Sicherheitsbeamter an einem riesigen, belebten Bahnhof. Ihre Aufgabe besteht darin, die „Anomalien" zu erkennen – Taschendiebe, Personen, die verdächtig wirken, oder diejenigen, die nicht dorthin gehören.

Das Problem mit aktuellen Wachen
Die meisten aktuellen Sicherheitssysteme sind wie Wachen, die nur eine spezifische Station kennen. Wenn sie am „New Yorker Bahnhof" trainiert werden, werden sie zu Experten darin, dort Taschendiebe zu erkennen. Wenn Sie sie jedoch zum „Tokioter Bahnhof" schicken, sind sie verloren. Sie kennen den lokalen Aufbau, die unterschiedlichen Gewohnheiten der Menschenmassen oder die neuen Arten von Bösewichten nicht. Um sie in Tokio arbeiten zu lassen, müssen Sie sie von Grund auf neu trainieren, was ewig dauert und viel Geld kostet.

Darüber hinaus benötigen Sie für das Training dieser Wachen normalerweise eine Liste bekannter Krimineller (gelabelte Daten). Aber in der realen Welt erfinden die Bösewichte ständig neue Tricks. Sie können nicht jedes mögliche Verbrechen aufschreiben, bevor es passiert. Sie haben auch keine riesige Liste bekannter Krimineller, die Sie der Wache zeigen können; Sie haben hauptsächlich ein Meer an normalen, unschuldigen Menschen.

Die neue Lösung: ProMoS
Die Arbeit stellt ProMoS vor, eine neue Art von „Generalist-Wache", die diese Probleme löst. Sie ist so konzipiert, dass sie einmal auf einer Reihe verschiedener Stationen trainiert wird und dann sofort zu jeder neuen Station geschickt werden kann, die sie noch nie gesehen hat, ohne dass ein Nachtraining oder eine Liste bekannter Krimineller erforderlich ist.

So funktioniert ProMoS, unter Verwendung einfacher Analogien:

1. Der „eingefrorene Meister" (Der Lehrer)

Stellen Sie sich einen Meisterdetektiv vor, der Jahre damit verbracht hat, Millionen von normalen Menschen in verschiedenen Städten zu studieren. Dieser Detektiv weiß genau, wie „normal" in jedem Kontext aussieht.

In der Arbeit: Dies ist ein vortrainiertes KI-Modell (ein „Lehrer"), das bereits die Muster normalen Verhaltens aus ungelabelten Daten gelernt hat.
Der Trick: Wir bitten diesen Meisterdetektiv nicht, Neues zu lernen oder seine Meinung zu ändern. Wir halten ihn „eingefroren" (fixiert). Wir nutzen sein Wissen lediglich als Referenzleitfaden.

2. Das „Team von Lehrlingen" (Die Mischung aus Schülern)

Anstatt einen neuen Wachen einzustellen, der alles lernen soll, stellt ProMoS ein Team von Lehrlingen ein.

Der gemeinsame Lehrling: Ein Lehrling lernt die großen, universellen Regeln eines guten Bürgers (z. B. „Menschen gehen normalerweise geradeaus", „Menschen kaufen normalerweise Tickets"). Dies deckt die Grundlagen ab, die überall gelten.
Die personalisierten Lehrlinge: Der Rest des Teams sind Spezialisten. Einige konzentrieren sich auf die Eigenheiten eines bestimmten Viertels, andere auf bestimmte Arten von Menschenmassen.
Der Router: Es gibt einen intelligenten Manager, der eine vorbeigehende Person betrachtet und entscheidet: „Okay, diese Person sieht so aus, als würde sie zur ‚Stadtzentrum'-Menge gehören, also werde ich den Stadtzentrum-Spezialisten bitten, sie zu überprüfen." Dies stellt sicher, dass der richtige Experte die spezifische Situation behandelt.

3. Die „Prototyp-Karte" (Der Kompass)

Wie lernen die Lehrlinge vom eingefrorenen Meister, ohne verwirrt zu werden? Sie versuchen nicht, jedes einzelne Gesicht auswendig zu lernen. Stattdessen verwenden sie eine Karte der „Ideal-Typen".

Stellen Sie sich vor, der Meister hat einen Satz von 20 Karten mit „Idealen Normalen Personen" (Prototypen). Eine Karte ist „Der Pendler", eine ist „Der Tourist", eine ist „Der Geschäftsreisende".
Den Lehrlingen wird beigebracht, die Personen, die sie sehen, mit diesen Karten abzugleichen.
Die Magie: Wenn eine Person perfekt auf die „Tourist"-Karte passt, ist sie normal. Wenn eine Person eine seltsame Mischung aus „Tourist" und „Taschendieb" ist und nicht gut auf eine Karte passt, wird sie als verdächtig markiert.
Dies ermöglicht es dem System, „Normalität" auf eine sehr abstrakte Weise zu verstehen, die über verschiedene Städte (Graphen) hinweg funktioniert, ohne dass alles neu gelernt werden muss.

4. Der „Finde den Unterschied"-Test (Inferenz)

Wenn ProMoS an einen brandneuen, unbekannten Bahnhof geschickt wird (ein neuer Graph), muss es nicht anhalten und studieren. Es beginnt einfach mit dem Beobachten.

Es fragt den Meister: „Wie sieht diese Person für dich aus?"
Es fragt seine Lehrlinge: „Was denkst du, wie diese Person aussieht?"
Der Alarm: Wenn die Vermutung der Lehrlinge sehr unterschiedlich von der Vermutung des Meisters ist, oder wenn die Person nicht gut auf eine der „Ideal-Typ"-Karten passt, löst das System einen Alarm aus. Je größer der Unterschied, desto verdächtiger ist die Person.

Warum dies eine große Sache ist

Keine Labels erforderlich: Es lernt rein durch Beobachtung der Millionen normalen Menschen (ungelabelte Daten). Es benötigt keine Liste bekannter Krimineller.
Zero-Shot: Es funktioniert sofort auf neuen, unbekannten Graphen. Kein Nachtraining erforderlich.
Effizient: Da es einen „eingefrorenen" Meister und ein intelligentes Team von Spezialisten verwendet, läuft es sehr schnell und benötigt keine massive Rechenleistung.

Zusammenfassung:
ProMoS ist wie ein Sicherheitssystem, das den universellen „Vibe" normalen Verhaltens von einem Meisterexperten lernt. Es verwendet dann ein flexibles Team von Spezialisten und eine Reihe von „Ideal-Typ"-Karten, um sofort jeden zu erkennen, der nicht in das Muster passt, egal ob sie sich in New York, Tokio oder in einer Stadt befinden, die Sie noch nie besucht haben. Es ist schnell, benötigt keine Spickzettel mit bekannten Kriminellen und funktioniert sofort aus dem Karton.

Technischer Überblick: Generalistische Graph-Anomalieerkennung durch prototypenbasierte Destillation (ProMoS)

Problemstellung
Die Graph-Anomalieerkennung (GAD) ist in hochriskanten Domänen wie Finanzen, sozialen Netzwerken und Cybersicherheit von entscheidender Bedeutung. Herkömmliche GAD-Methoden folgen jedoch typischerweise einem „ein-Graph-ein-Modell"-Protokoll, das für jeden neuen Graphen eine Neuordnung und umfangreiche Hyperparameteroptimierung erfordert. Dieser Ansatz verursacht prohibitiv hohe Rechen- und Betriebskosten. Zwar versuchen neuere „generalistische" GAD-Modelle, einen einzigen Detektor zu trainieren, der über Graphen hinweg übertragbar ist, doch bestehende Lösungen stützen sich stark auf knappe und kostspielige Anomalie-Labels. Darüber hinaus versagen diese überwachten generalistischen Methoden häufig bei der Generalisierung auf nicht gesehene Anomalie-Muster oder erfordern Few-Shot-Unterstützung während der Inferenz, was ihre Robustheit in Open-World-Szenarien einschränkt, in denen Anomalie-Labels inhärent nicht verfügbar sind oder nicht ausreichen, um den sich entwickelnden Raum abnormalen Verhaltens abzudecken.

Methodik: ProMoS
Um diese Einschränkungen zu adressieren, schlagen die Autoren ProMoS (Prototype-guided Mixture-of-Students) vor, das erste unüberwachte generalistische GAD-Framework. ProMoS arbeitet, indem es die reichlich vorhandene Normalität in ungelabelten Daten modelliert, anstatt von Grund auf neu zu lernen oder auf Anomalie-Labels angewiesen zu sein. Das Framework besteht aus drei Kernkomponenten:

Wissensdestillation von einem eingefrorenen Lehrer:
Anstatt ein GNN von Grund auf neu zu trainieren, nutzt ProMoS ein vortrainiertes, selbstüberwachtes GNN (SSL) als eingefrorenen „Lehrer". Dieser Lehrer, der auf großskaligen ungelabelten Graphen trainiert wurde, kodiert robuste „Normalitäts-Priors" aufgrund der Dominanz normaler Knoten in realen Graphen. Ein leichtgewichtiger Adapter richtet die Repräsentationen des Lehrers mit dem Schüler-Raum aus.
Mixture-of-Students (MoS)-Architektur:
Um Ausdruckskraft und Effizienz in Einklang zu bringen, verwendet das Schüler-Modul eine MoS-Architektur, die Folgendes umfasst:
- Ein gemeinsamer Zweig: Immer aktiv, erfasst dieser Zweig globale Regularitäten und übertragbare Normalitätsmuster.
- Ein personalisierter Zweig: Beherbergt einen Pool leichtgewichtiger Schülermodelle. Ein Routing-Netzwerk berechnet sparse Aktivierungsgewichte (Top-K), um für jeden Knoten dynamisch eine Teilmenge von Schülern auszuwählen, wodurch das Modell diverse lokale Normalitätsmuster ohne Überparametrisierung erfassen kann.
Prototypengeleitete Soft-Label-Destillation:
Um die Lücke zwischen dem eingefrorenen Lehrer und dem Schüler über heterogene Graphen hinweg zu überbrücken, führt ProMoS eine prototypengetriebene Destillationsstrategie ein.
- Semantische Prototypen: Lernbare Prototyp-Codebücher (initialisiert via k-Means auf Trainingsmerkmalen) dienen als semantische Anker.
- Soft-Label-Ausrichtung: Anstatt eine Instanz-level-Merkmalsanpassung zu erzwingen, werden die Ausgaben von Lehrer und Schüler in einem gemeinsamen Prototyp-Raum ausgerichtet. Der Verlust minimiert die Kullback–Leibler-Divergenz (KL) zwischen den Wahrscheinlichkeitsverteilungen des Lehrers und des Schülers über diese Prototypen.
- Diskrepanzbewusste Commitment und Verfeinerung (DCR): Um semantische und strukturelle Heterogenität über Domänen hinweg zu handhaben, enthält das Framework eine Commitment-Loss-Funktion, um Lehrer-Repräsentationen zu stabilen Prototypen zu ziehen, sowie eine Verfeinerungs-Loss-Funktion zur Aktualisierung der Prototypen. Entscheidend ist ein diskrepanzbewusster Gewichtsmechanismus, der unzuverlässige Knoten (potenzielle Anomalien) während der Prototyp-Aktualisierung adaptiv heruntergewichtet, um eine Verzerrung des semantischen Raums zu verhindern.

Inferenzmechanismus
Während der Inferenz auf nicht gesehenen Graphen erfordert ProMoS kein Neu-Training oder Fine-Tuning (Zero-Shot). Anomalie-Scores werden durch die Fusion zweier komplementärer Signale abgeleitet:

Destillations-Bias: Die semantische Diskrepanz (KL-Divergenz) zwischen den Soft-Labels des Lehrers und den Vorhersagen des Schülers.
Geometrische Abweichung: Die geometrische Inkonsistenz zwischen Embeddings und ihren quantisierten Prototypen.
Knoten, die hohe Werte in beiden Metriken aufweisen, werden als Anomalien identifiziert.

Hauptbeiträge

Erstes unüberwachtes generalistisches GAD: ProMoS ist das erste Framework, das eine Graph-übergreifende Generalisierung für GAD ohne jegliche gelabelte Daten erreicht und damit die Abhängigkeit von knappen Anomalie-Annotationen eliminiert.
Neuartiges unüberwachtes KD-Framework: Es überträgt Priors von einem vortrainierten SSL-Lehrer auf ein leichtgewichtiges MoS-Modul und balanciert dabei Ausdruckskraft und Effizienz.
Verbesserte Generalisierbarkeit: Die Einführung prototypengeleiteter Soft-Label-Destillation und diskrepanzbewusster Zielsetzungen verbessert die Graph-übergreifende Übertragbarkeit, indem eine Überanpassung an datensatzspezifische feingranulare Muster vermieden wird.
Theoretische Garantie: Die Autoren liefern einen theoretischen Beweis, der zeigt, dass der erwartete Vorhersagefehler des MoS-Frameworks nicht größer ist als der eines einzelnen Schülers.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden an 15 realen Graphen aus diversen Domänen (Zitationsnetzwerke, soziale Netzwerke, Finanztransaktionen usw.) durchgeführt, wobei Modelle auf einer Teilmenge trainiert und auf nicht gesehenen Graphen getestet wurden.

Leistung: ProMoS übertraf konsistent state-of-the-art überwachte, unüberwachte und generalistische Baselines (einschließlich ARC, UNPrompt und AnomalyGFM). Es erzielte die beste AUROC auf 9 von 11 Testdatensätzen und die zweitbeste auf den verbleibenden zwei, mit einer durchschnittlichen Verbesserung von 14,12 % gegenüber der stärksten Baseline (DOMINANT).
Zero-Shot-Fähigkeit: Im Gegensatz zu überwachten generalistischen Methoden, die für die Inferenz oft Few-Shot-Stichproben erfordern, arbeitet ProMoS rein in einem Zero-Shot-Setting.
Effizienz und Skalierbarkeit: ProMoS zeigte überlegene Effizienz und war während des Trainings 4,8-mal schneller als GCN sowie während der Inferenz 1,4-mal schneller. Eine Skalierbarkeitsanalyse zeigte ein sublineares Wachstum der Inferenzzeit in Bezug auf die Anzahl der Kanten ( $T \propto |E|^{0,3}$ ), was es für großskalige Graphen geeignet macht.
Robustheit: Das Framework zeigte Robustheit gegenüber verschiedenen Lehrer-Backbones (z. B. GCA, GraphCL, BGRL) und Konfigurationen von Vortrainingsdatensätzen.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass ProMoS einen praktischen Weg hin zu label-freier, zero-shot generalistischer GAD ebnet. Durch die Nutzung reichlich vorhandener ungelabelter Daten und die Modellierung von Normalität durch ein Wissensdestillations-Paradigma etabliert die Arbeit einen neuen Pfad für skalierbare Anomalieerkennung in hochriskanten Domänen. Die Autoren betonen, dass ihr Ansatz die Abhängigkeit von kostspieligen Annotationen und wiederholtem Training reduziert und damit die Bereitstellungseffizienz verbessert. Sie räumen ein, dass die Methode zwar robust ist, potenzielle Risiken wie verzerrte Vorhersagen aufgrund von Datenverschiebungen jedoch bestehen bleiben, und empfehlen die Verwendung von Modellausgaben als zusätzliche Signale innerhalb von Entscheidungsprozessen mit menschlicher Einbindung (Human-in-the-Loop).