Generalist Graph Anomaly Detection via Prototype-Based Distillation

Resumen Técnico: Detección Generalista de Anomalías en Grafos mediante Destilación Basada en Prototipos (ProMoS)

Enunciado del Problema
La Detección de Anomalías en Grafos (GAD) es crítica en dominios de alto riesgo como las finanzas, las redes sociales y la ciberseguridad. Sin embargo, los métodos convencionales de GAD suelen seguir un protocolo de "un grafo, un modelo", que requiere reentrenamiento y un ajuste extenso de hiperparámetros para cada nuevo grafo. Este enfoque incurre en costos computacionales y operativos prohibitivos. Aunque los recientes modelos "generalistas" de GAD intentan entrenar un único detector transferible entre grafos, las soluciones existentes dependen en gran medida de etiquetas de anomalías escasas y costosas. Además, estos métodos generalistas supervisados a menudo fallan al generalizar a patrones de anomalías no vistos o requieren soporte de pocos ejemplos durante la inferencia, lo que limita su robustez en escenarios de mundo abierto donde las etiquetas de anomalías son intrínsecamente no disponibles o insuficientes para cubrir el espacio evolutivo del comportamiento anómalo.

Metodología: ProMoS
Para abordar estas limitaciones, los autores proponen ProMoS (Mezcla de Estudiantes Guiada por Prototipos), el primer marco de trabajo generalista de GAD no supervisado. ProMoS opera modelando la normalidad abundante en datos no etiquetados en lugar de aprender desde cero o depender de etiquetas de anomalías. El marco consta de tres componentes principales:

1. Destilación de Conocimiento desde un Profesor Congelado:
   En lugar de entrenar una GNN desde cero, ProMoS utiliza una GNN auto-supervisada (SSL) preentrenada como un "profesor" congelado. Este profesor, entrenado en grafos no etiquetados a gran escala, codifica "priors de normalidad" robustos debido a la dominancia de nodos normales en los grafos del mundo real. Un adaptador ligero alinea las representaciones del profesor con el espacio del estudiante.

2. Arquitectura de Mezcla de Estudiantes (MoS):
   Para equilibrar expresividad y eficiencia, el módulo de estudiante emplea una arquitectura MoS que comprende:

   • Una Rama Compartida: Siempre activa, esta rama captura regularidades globales y patrones normales transferibles.
   • Una Rama Personalizada: Alberga un conjunto de modelos de estudiantes ligeros. Una red de enrutamiento calcula pesos de activación dispersos (Top-K) para seleccionar dinámicamente un subconjunto de estudiantes para cada nodo, permitiendo que el modelo capture diversos patrones de normalidad local sin sobreparametrización.

3. Destilación de Etiquetas Suaves Guiada por Prototipos:
   Para cerrar la brecha entre el profesor congelado y el estudiante a través de grafos heterogéneos, ProMoS introduce una estrategia de destilación impulsada por prototipos.

   • Prototipos Semánticos: Libros de códigos de prototipos aprendibles (inicializados mediante k-means en las características de entrenamiento) sirven como anclas semánticas.
   • Alineación de Etiquetas Suaves: En lugar de imponer una coincidencia de características a nivel de instancia, las salidas del profesor y del estudiante se alinean en un espacio de prototipos compartido. La pérdida minimiza la divergencia de Kullback–Leibler (KL) entre las distribuciones de probabilidad del profesor y del estudiante sobre estos prototipos.
   • Compromiso y Refinamiento Conscientes de la Discrepancia (DCR): Para manejar la heterogeneidad semántica y estructural entre dominios, el marco incluye una pérdida de compromiso para acercar las representaciones del profesor a prototipos estables y una pérdida de refinamiento para actualizar los prototipos. Crucialmente, un mecanismo de ponderación consciente de la discrepancia reduce adaptativamente el peso de nodos poco fiables (potenciales anomalías) durante las actualizaciones de prototipos para evitar sesgar el espacio semántico.

Mecanismo de Inferencia
Durante la inferencia en grafos no vistos, ProMoS no requiere reentrenamiento ni ajuste fino (zero-shot). Las puntuaciones de anomalía se derivan fusionando dos señales complementarias:

1. Sesgo de Destilación: El desajuste semántico (divergencia KL) entre las etiquetas suaves del profesor y las predicciones del estudiante.
2. Desviación Geométrica: La inconsistencia geométrica entre las incrustaciones y sus prototipos cuantizados.
   Los nodos que exhiben valores altos en ambas métricas se identifican como anomalías.

Contribuciones Clave

• Primera GAD Generalista No Supervisada: ProMoS es el primer marco que logra generalización entre grafos para GAD sin datos etiquetados, eliminando la dependencia de anotaciones de anomalías escasas.
• Nuevo Marco de Destilación de Conocimiento No Supervisado: Transfiere priores desde un profesor SSL preentrenado a un módulo MoS ligero, equilibrando expresividad y eficiencia.
• Mejora de la Generalizabilidad: La introducción de destilación de etiquetas suaves guiada por prototipos y objetivos conscientes de la discrepancia mejora la transferibilidad entre grafos al evitar el sobreajuste a patrones detallados específicos del conjunto de datos.
• Garantía Teórica: Los autores proporcionan una demostración teórica que muestra que el error de predicción esperado del marco MoS no es mayor que el de cualquier estudiante individual.

Resultados Experimentales
Se realizaron experimentos extensos en 15 grafos del mundo real de diversos dominios (redes de citación, redes sociales, transacciones financieras, etc.), con modelos entrenados en un subconjunto y probados en grafos no vistos.

• Rendimiento: ProMoS superó consistentemente a las líneas base de vanguardia supervisadas, no supervisadas y generalistas (incluyendo ARC, UNPrompt y AnomalyGFM). Logró la mejor AUROC en 9 de 11 conjuntos de datos de prueba y la segunda mejor en los dos restantes, con una mejora promedio del 14,12% sobre la línea base más fuerte (DOMINANT).
• Capacidad Zero-Shot: A diferencia de los métodos generalistas supervisados que a menudo requieren muestras de pocos ejemplos para la inferencia, ProMoS opera puramente en un entorno zero-shot.
• Eficiencia y Escalabilidad: ProMoS demostró una eficiencia superior, ejecutándose 4,8 veces más rápido que GCN durante el entrenamiento y 1,4 veces más rápido durante la inferencia. El análisis de escalabilidad mostró un crecimiento sublineal en el tiempo de inferencia en relación con el número de aristas ($T \propto |E|^{0.3}$), lo que lo hace adecuado para grafos a gran escala.
• Robustez: El marco mostró robustez ante diferentes arquitecturas de profesores (por ejemplo, GCA, GraphCL, BGRL) y configuraciones de conjuntos de datos de preentrenamiento.

Significado y Afirmaciones
El artículo afirma que ProMoS traza un camino práctico hacia una GAD generalista sin etiquetas y zero-shot. Al aprovechar datos no etiquetados abundantes y modelar la normalidad a través de un paradigma de destilación de conocimiento, el trabajo establece una nueva vía para la detección de anomalías escalable en dominios de alto riesgo. Los autores enfatizan que su enfoque reduce la dependencia de anotaciones costosas y entrenamientos repetidos, mejorando así la eficiencia de implementación. Reconocen que, aunque el método es robusto, persisten riesgos potenciales como predicciones sesgadas debido a cambios en los datos, recomendando el uso de las salidas del modelo como señales auxiliares dentro de procesos de toma de decisiones con intervención humana.