\emph{DRIFT}: A Benchmark for Task-Free Continual Graph Learning with Continuous Distribution Shifts

Resumo Técnico: DRIFT: Um Benchmark para Aprendizado Contínuo em Grafos sem Tarefas com Deslocamentos de Distribuição Contínuos

Declaração do Problema
O Aprendizado Contínuo em Grafos (CGL) visa permitir que modelos aprendam de grafos dinamicamente evolutivos, mitigando ao mesmo tempo o esquecimento catastrófico. No entanto, a pesquisa existente em CGL depende predominantemente de uma formulação baseada em tarefas, onde o fluxo de dados é artificialmente partitionado em tarefas discretas com limites conhecidos e deslocamentos de distribuição abruptos. Os autores argumentam que essas suposições raramente se sustentam em ambientes do mundo real (por exemplo, sistemas de recomendação, redes de citação e grafos de conhecimento), onde as distribuições de dados evoluem continuamente, a identidade da tarefa é inobservável e as transições são graduais em vez de instantâneas. Consequentemente, permanece incerto se os métodos atuais de CGL podem generalizar para configurações de streaming realistas e não estacionárias.

Metodologia
Para abordar essa lacuna, os autores propõem uma perspectiva sem tarefas para o aprendizado contínuo em grafos, introduzindo uma formulação unificada e um novo benchmark, o DRIFT.

1. Formulação Unificada: O fluxo de dados é modelado como uma mistura variante no tempo de distribuições latentes de tarefas, em vez de uma sequência de tarefas isoladas. Em qualquer passo de tempo $t$, a distribuição $D_t$ é definida como:
   $$D_t = \sum_{k=1}^{K} \alpha_k(t) D_k$$
   onde $D_k$ representa uma distribuição de tarefa latente e $\alpha_k(t)$ é um coeficiente de mistura. Diferentemente das configurações baseadas em tarefas, onde $\alpha_k(t) \in \{0, 1\}$, a configuração sem tarefas permite $\alpha_k(t) \in [0, 1]$, possibilitando sobreposição contínua.

2. Parametrização Gaussiana: Para simular dinâmicas de transição realistas, os autores parametrizam os coeficientes de mistura $\alpha_k(t)$ usando um kernel Gaussiano centrado em $\mu_k$ (a posição temporal da tarefa $k$):
   $$\alpha_k(t) = \frac{\exp\left(-\frac{(t-\mu_k)^2}{2\sigma^2}\right)}{\sum_j \exp\left(-\frac{(t-\mu_j)^2}{2\sigma^2}\right)}$$
   O parâmetro $\sigma$ controla o grau de sobreposição temporal. Um $\sigma$ pequeno recupera comutações rígidas de tarefas, enquanto um $\sigma$ grande induz distribuições suaves e globalmente misturadas. Isso permite que o benchmark abranja um espectro que vai desde transições rígidas até deriva totalmente contínua dentro de um único framework.

3. Construção do Benchmark (DRIFT):

   • Conjuntos de Dados: Quatro conjuntos de dados de grafos padrão (CoraFull-CL, Arxiv-CL, Reddit-CL, RomanEmpire-CL) são decompostos em tarefas latentes usando divisões incrementais por classe.
   • Amostragem: Mini-lotes são construídos amostrando instâncias de todas as tarefas latentes de acordo com os coeficientes de mistura $\alpha_k(t)$, utilizando estratégias com reposição ou sem reposição.
   • Avaliação: Como limites explícitos de tarefas estão indisponíveis, o benchmark utiliza a Área Sob a Curva de Acurácia (AAUC) para medir o desempenho ao longo do fluxo e uma métrica modificada de Esquecimento Médio (AFs) que não depende de segmentação explícita de tarefas.

Principais Contribuições

• C1: Identificação das limitações das formulações existentes de CGL baseadas em tarefas e o argumento de que o CGL deve ser estudado em configurações de streaming sem tarefas.
• C2: Introdução de uma formulação unificada que modela transições de tarefas como distribuições de mistura variantes no tempo.
• C3: Proposta do benchmark DRIFT, que cobre um espectro contínuo de dinâmicas de transição por meio de curvas de mistura Gaussianas.
• C4: Demonstração empírica de que os métodos existentes de aprendizado contínuo degradam-se significativamente em configurações não estacionárias realistas onde a identidade da tarefa está indisponível.

Resultados Experimentais
Os autores avaliaram métodos representativos de CGL (baseados em reensaio, baseados em regularização e específicos para grafos) em quatro conjuntos de dados sob variados graus de suavidade de transição ($\sigma$).

• Degradação de Desempenho: Os métodos existentes sofrem quedas substanciais de desempenho quando a estrutura explícita de tarefas é removida. Por exemplo, no conjunto de dados Arxiv-CL, o melhor método sem tarefas alcançou apenas 34,9% de AAUC, comparado a um limite superior de 71,6% (treinamento conjunto), deixando uma lacuna de ~37 pontos percentuais.
• Contração da Vantagem: A vantagem relativa dos métodos de aprendizado contínuo sobre uma linha de base "Bare" (treinamento online sem estratégias de AC) diminui à medida que as transições se tornam mais suaves. No Arxiv-CL, a melhoria sobre a linha de base caiu de +43,3% sob transições rígidas para apenas +5,5% sob mistura Gaussiana de alta sobreposição.
• Falha de Suposições Dependentes de Tarefas: Métodos que dependem implicitamente de limites de tarefas (por exemplo, MAS*, SSM, SEM) falham catastróficamente sob transições suaves. O MAS*, que depende de detecção de deslocamento baseada em perda, performa competitivamente sob transições rígidas, mas degrada-se para níveis próximos à linha de base sob mistura Gaussiana, pois os sinais de deslocamento tornam-se não confiáveis.
• Compromisso Adaptação-Esquecimento: O aumento da sobreposição (maior $\sigma$) melhora a adaptação online (maior AAUC) devido ao reensaio implícito (lotes mistos), mas simultaneamente aumenta o esquecimento (pior AFs), pois o sinal de treinamento efetivo para qualquer distribuição latente única é enfraquecido.
• Robustez: Métodos baseados em reensaio (por exemplo, ER, A-GEM) e o método DMSG orientado à diversidade mostraram maior estabilidade, embora o DMSG tenha exibido o comportamento de esquecimento mais estável através de variados níveis de sobreposição.

Significado e Alegações
O artigo alega que a degradação de desempenho observada indica que muitas abordagens existentes de CGL dependem implicitamente de suposições irreais de limites e não generalizam bem para ambientes de streaming do mundo real. O trabalho destaca a importância de estudar o aprendizado contínuo em grafos sob condições não estacionárias realistas onde a identidade da tarefa é inobservável.

Os autores posicionam modestamente o DRIFT como um passo em direção a "configurações de grafos de mundo aberto", observando que os métodos atuais estão fundamentalmente ligados a estruturas particionadas por tarefas. Eles concluem que a pesquisa futura deve ir além de formulações dependentes de limites para desenvolver técnicas que levem explicitamente em conta a deriva contínua de distribuição e estruturas de tarefas sobrepostas. O artigo reconhece limitações, incluindo sua restrição à classificação de nós, o uso de protocolos de streaming sintéticos em conjuntos de dados estáticos e o uso específico de dinâmicas Gaussianas para modelar a deriva, sugerindo que padrões de deriva mais complexos do mundo real permanecem a serem explorados.