Generalist Graph Anomaly Detection via Prototype-Based Distillation

Riepilogo Tecnico: Rilevamento delle Anomalie nei Grafi Generalista tramite Distillazione Basata su Prototipi (ProMoS)

Enunciato del Problema
Il Rilevamento delle Anomalie nei Grafi (GAD) è fondamentale in settori ad alto rischio come la finanza, le reti sociali e la cybersecurity. Tuttavia, i metodi GAD convenzionali seguono tipicamente un protocollo "un grafo-uno modello", richiedendo il riaddestramento e un'estesa ottimizzazione degli iperparametri per ogni nuovo grafo. Questo approccio comporta costi computazionali e operativi proibitivi. Sebbene i recenti modelli GAD "generalisti" tentino di addestrare un singolo rilevatore trasferibile tra diversi grafi, le soluzioni esistenti dipendono fortemente da etichette di anomalie scarse e costose. Inoltre, questi metodi generalisti supervisionati spesso falliscono nel generalizzare a pattern di anomalie non visti o richiedono supporto few-shot durante l'inferenza, limitando la loro robustezza in scenari open-world dove le etichette di anomalie sono intrinsecamente non disponibili o insufficienti a coprire lo spazio in evoluzione dei comportamenti anomali.

Metodologia: ProMoS
Per affrontare queste limitazioni, gli autori propongono ProMoS (Mixture-of-Students guidata da Prototipi), il primo framework GAD generalista non supervisionato. ProMoS opera modellando l'abbondante normalità nei dati non etichettati piuttosto che apprendendo da zero o affidandosi a etichette di anomalie. Il framework è composto da tre componenti principali:

1. Distillazione della Conoscenza da un Insegnante Congelato:
   Invece di addestrare un GNN da zero, ProMoS utilizza un GNN pre-addestrato e auto-supervisionato (SSL) come "insegnante" congelato. Questo insegnante, addestrato su grafi non etichettati su larga scala, codifica robusti "priori di normalità" a causa del dominio dei nodi normali nei grafi del mondo reale. Un adattatore leggero allinea le rappresentazioni dell'insegnante allo spazio dello studente.

2. Architettura Mixture-of-Students (MoS):
   Per bilanciare espressività ed efficienza, il modulo studente impiega un'architettura MoS composta da:

   • Un Ramo Condiviso: Sempre attivo, questo ramo cattura regolarità globali e pattern di normalità trasferibili.
   • Un Ramo Personalizzato: Ospita un pool di modelli studenti leggeri. Una rete di routing calcola pesi di attivazione sparsi (Top-K) per selezionare dinamicamente un sottoinsieme di studenti per ogni nodo, permettendo al modello di catturare diversi pattern locali di normalità senza sovrapparametrizzazione.

3. Distillazione di Etichette Morbide Guidata da Prototipi:
   Per colmare il divario tra l'insegnante congelato e lo studente attraverso grafi eterogenei, ProMoS introduce una strategia di distillazione guidata dai prototipi.

   • Prototipi Semantici: Codici di prototipi apprendibili (inizializzati tramite k-means sulle caratteristiche di addestramento) fungono da ancoraggi semantici.
   • Allineamento delle Etichette Morbide: Invece di imporre un matching delle caratteristiche a livello di istanza, le uscite dell'insegnante e dello studente sono allineate in uno spazio di prototipi condiviso. La perdita minimizza la divergenza di Kullback–Leibler (KL) tra le distribuzioni di probabilità dell'insegnante e dello studente su questi prototipi.
   • Impegno e Raffinamento Consapevoli delle Discrepanze (DCR): Per gestire l'eterogeneità semantica e strutturale tra i domini, il framework include una perdita di impegno per attrarre le rappresentazioni dell'insegnante verso prototipi stabili e una perdita di raffinamento per aggiornare i prototipi. Crucialmente, un meccanismo di ponderazione consapevole delle discrepanze riduce adattivamente il peso dei nodi inaffidabili (potenziali anomalie) durante gli aggiornamenti dei prototipi per evitare di polarizzare lo spazio semantico.

Meccanismo di Inferenza
Durante l'inferenza su grafi non visti, ProMoS non richiede riaddestramento o fine-tuning (zero-shot). I punteggi di anomalia sono derivati fondendo due segnali complementari:

1. Bias di Distillazione: Il disallineamento semantico (divergenza KL) tra le etichette morbide dell'insegnante e le previsioni dello studente.
2. Deviazione Geometrica: L'incongruenza geometrica tra gli embedding e i loro prototipi quantizzati.
   I nodi che mostrano valori elevati in entrambe le metriche sono identificati come anomalie.

Contributi Chiave

• Primo GAD Generalista Non Supervisionato: ProMoS è il primo framework a raggiungere la generalizzazione cross-grafico per il GAD senza alcun dato etichettato, eliminando la dipendenza da annotazioni di anomalie scarse.
• Nuovo Framework KD Non Supervisionato: Trasferisce priori da un insegnante SSL pre-addestrato a un modulo MoS leggero, bilanciando espressività ed efficienza.
• Generalizzabilità Migliorata: L'introduzione della distillazione di etichette morbide guidata da prototipi e di obiettivi consapevoli delle discrepanze migliora la trasferibilità cross-grafico evitando l'overfitting su pattern fini specifici del dataset.
• Garanzia Teorica: Gli autori forniscono una dimostrazione teorica che dimostra che l'errore di previsione atteso del framework MoS non è maggiore di quello di qualsiasi singolo studente.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su 15 grafi reali di diversi domini (reti di citazioni, reti sociali, transazioni finanziarie, ecc.), con modelli addestrati su un sottoinsieme e testati su grafi non visti.

• Prestazioni: ProMoS ha costantemente superato le baseline state-of-the-art supervisionate, non supervisionate e generaliste (inclusi ARC, UNPrompt e AnomalyGFM). Ha ottenuto il miglior AUROC su 9 dataset di test su 11 e il secondo miglior sui restanti due, con un miglioramento medio del 14,12% rispetto alla baseline più forte (DOMINANT).
• Capacità Zero-Shot: A differenza dei metodi generalisti supervisionati che spesso richiedono campioni few-shot per l'inferenza, ProMoS opera puramente in un setting zero-shot.
• Efficienza e Scalabilità: ProMoS ha dimostrato un'efficienza superiore, eseguendo l'addestramento 4,8 volte più velocemente di GCN e l'inferenza 1,4 volte più velocemente. L'analisi di scalabilità ha mostrato una crescita sub-lineare del tempo di inferenza rispetto al numero di archi ($T \propto |E|^{0,3}$), rendendolo adatto a grafi su larga scala.
• Robustezza: Il framework ha mostrato robustezza rispetto a diversi backbones di insegnante (ad es. GCA, GraphCL, BGRL) e configurazioni di dataset di pre-addestramento.

Significato e Affermazioni
Il documento afferma che ProMoS traccia una via pratica verso un GAD generalista zero-shot e privo di etichette. Sfruttando dati non etichettati abbondanti e modellando la normalità attraverso un paradigma di distillazione della conoscenza, il lavoro stabilisce una nuova via per il rilevamento di anomalie scalabile in settori ad alto rischio. Gli autori sottolineano che il loro approccio riduce la dipendenza da annotazioni costose e riaddestramenti ripetuti, migliorando così l'efficienza del deployment. Riconoscono che, sebbene il metodo sia robusto, rimangono potenziali rischi come previsioni distorte a causa di cambiamenti nei dati, raccomandando l'uso degli output del modello come segnali ausiliari all'interno di processi decisionali con intervento umano (human-in-the-loop).