\emph{DRIFT}: A Benchmark for Task-Free Continual Graph Learning with Continuous Distribution Shifts

Resumen Técnico: DRIFT: Un Benchmark para Aprendizaje Continuo de Grafos sin Tareas con Desplazamientos de Distribución Continuos

Enunciado del Problema
El Aprendizaje Continuo de Grafos (CGL) tiene como objetivo permitir que los modelos aprendan de grafos dinámicamente evolutivos mientras mitigan el olvido catastrófico. Sin embargo, la investigación existente en CGL depende predominantemente de una formulación basada en tareas, donde el flujo de datos se divide artificialmente en tareas discretas con límites conocidos y desplazamientos de distribución abruptos. Los autores argumentan que estas suposiciones rara vez se cumplen en entornos del mundo real (por ejemplo, sistemas de recomendación, redes de citación y grafos de conocimiento), donde las distribuciones de datos evolucionan continuamente, la identidad de la tarea es inobservable y las transiciones son graduales en lugar de instantáneas. En consecuencia, sigue sin estar claro si los métodos actuales de CGL pueden generalizarse a entornos de transmisión realistas y no estacionarios.

Metodología
Para abordar esta brecha, los autores proponen una perspectiva sin tareas para el aprendizaje continuo de grafos, introduciendo una formulación unificada y un nuevo benchmark, DRIFT.

1. Formulación Unificada: El flujo de datos se modela como una mezcla variable en el tiempo de distribuciones de tareas latentes en lugar de una secuencia de tareas aisladas. En cualquier paso de tiempo $t$, la distribución $D_t$ se define como:
   $$D_t = \sum_{k=1}^{K} \alpha_k(t) D_k$$
   donde $D_k$ representa una distribución de tarea latente y $\alpha_k(t)$ es un coeficiente de mezcla. A diferencia de los entornos basados en tareas donde $\alpha_k(t) \in \{0, 1\}$, el entorno sin tareas permite $\alpha_k(t) \in [0, 1]$, lo que posibilita una superposición continua.

2. Parametrización Gaussiana: Para simular dinámicas de transición realistas, los autores parametrizan los coeficientes de mezcla $\alpha_k(t)$ utilizando un kernel gaussiano centrado en $\mu_k$ (la posición temporal de la tarea $k$):
   $$\alpha_k(t) = \frac{\exp\left(-\frac{(t-\mu_k)^2}{2\sigma^2}\right)}{\sum_j \exp\left(-\frac{(t-\mu_j)^2}{2\sigma^2}\right)}$$
   El parámetro $\sigma$ controla el grado de superposición temporal. Un $\sigma$ pequeño recupera cambios de tarea duros, mientras que un $\sigma$ grande induce distribuciones suaves y globalmente mezcladas. Esto permite que el benchmark abarque un espectro que va desde transiciones duras hasta una deriva completamente continua dentro de un único marco.

3. Construcción del Benchmark (DRIFT):

   • Conjuntos de Datos: Cuatro conjuntos de datos de grafos estándar (CoraFull-CL, Arxiv-CL, Reddit-CL, RomanEmpire-CL) se descomponen en tareas latentes utilizando divisiones incrementales por clase.
   • Muestreo: Los mini-lotes se construyen muestreando instancias de todas las tareas latentes según los coeficientes de mezcla $\alpha_k(t)$, utilizando estrategias con reemplazo o sin reemplazo.
   • Evaluación: Dado que no hay límites de tarea explícitos disponibles, el benchmark utiliza el Área bajo la Curva de Precisión (AAUC) para medir el rendimiento a lo largo del flujo y una métrica modificada de Olvido Promedio (AFs) que no depende de la segmentación explícita de tareas.

Contribuciones Clave

• C1: Identificación de las limitaciones de las formulaciones existentes de CGL basadas en tareas y el argumento de que el CGL debe estudiarse bajo entornos de transmisión sin tareas.
• C2: Introducción de una formulación unificada que modela las transiciones de tareas como distribuciones de mezcla variables en el tiempo.
• C3: Propuesta del benchmark DRIFT, que cubre un espectro continuo de dinámicas de transición mediante curvas de mezcla gaussianas.
• C4: Demostración empírica de que los métodos existentes de aprendizaje continuo se degradan significativamente bajo entornos no estacionarios realistas donde la identidad de la tarea no está disponible.

Resultados Experimentales
Los autores evaluaron métodos representativos de CGL (basados en ensayo, basados en regularización y específicos de grafos) en cuatro conjuntos de datos bajo variaciones en la suavidad de la transición ($\sigma$).

• Degradación del Rendimiento: Los métodos existentes sufren caídas sustanciales en el rendimiento cuando se elimina la estructura explícita de tareas. Por ejemplo, en el conjunto de datos Arxiv-CL, el mejor método sin tareas logró solo un 34.9% de AAUC en comparación con un límite superior del 71.6% (entrenamiento conjunto), dejando una brecha de ~37 puntos porcentuales.
• Contracción de la Ventaja: La ventaja relativa de los métodos de aprendizaje continuo sobre una línea base "Bare" (entrenamiento en línea sin estrategias de CL) se reduce a medida que las transiciones se vuelven más suaves. En Arxiv-CL, la mejora sobre la línea base disminuyó de +43.3% bajo transiciones duras a apenas +5.5% bajo mezcla gaussiana de alta superposición.
• Fallo de las Suposiciones Dependientes de Tareas: Los métodos que dependen implícitamente de los límites de tareas (por ejemplo, MAS*, SSM, SEM) fallan catastróficamente bajo transiciones suaves. MAS*, que depende de la detección de desplazamientos basada en la pérdida, tiene un rendimiento competitivo bajo transiciones duras pero se degrada a niveles cercanos a la línea base bajo mezcla gaussiana porque las señales de desplazamiento se vuelven poco fiables.
• Compensación Adaptación-Olvido: Una mayor superposición (mayor $\sigma$) mejora la adaptación en línea (mayor AAUC) debido al ensayo implícito (lotes mezclados), pero simultáneamente aumenta el olvido (peor AFs) porque la señal de entrenamiento efectiva para cualquier distribución latente individual se debilita.
• Robustez: Los métodos basados en replay (por ejemplo, ER, A-GEM) y el método DMSG impulsado por la diversidad mostraron mayor estabilidad, aunque DMSG exhibió el comportamiento de olvido más estable a través de niveles variables de superposición.

Significado y Afirmaciones
El artículo afirma que la degradación del rendimiento observada indica que muchos enfoques existentes de CGL dependen implícitamente de suposiciones de límites poco realistas y no se generalizan bien a entornos de transmisión del mundo real. El trabajo destaca la importancia de estudiar el aprendizaje continuo de grafos bajo condiciones no estacionarias realistas donde la identidad de la tarea es inobservable.

Los autores posicionan modestamente a DRIFT como un paso hacia "entornos de grafos de mundo abierto", señalando que los métodos actuales están fundamentalmente ligados a estructuras particionadas por tareas. Concluyen que la investigación futura debe ir más allá de las formulaciones dependientes de límites para desarrollar técnicas que tengan en cuenta explícitamente la deriva continua de la distribución y las estructuras de tareas superpuestas. El artículo reconoce limitaciones, incluida su restricción a la clasificación de nodos, el uso de protocolos de transmisión sintéticos en conjuntos de datos estáticos y el uso específico de dinámicas gaussianas para modelar la deriva, sugiriendo que patrones de deriva más complejos del mundo real quedan por explorar.