Resumo Técnico: SLeDGe – Aprendizado Semissupervisionado em Fluxos de Dados com Aprendizado de Estrutura de Grafo

1. Definição do Problema

O artigo aborda o desafio do Aprendizado Semissupervisionado (SSL) em fluxos de dados (data streams). Neste cenário, os dados chegam sequencialmente ($D = \{x_t\}_{t=1}^T$) em alto volume, e o aprendiz deve operar sob duas restrições rigorosas:

1. Restrições de Memória: O sistema possui uma capacidade de memória fixa e limitada ($M$) e não pode armazenar todo o histórico do fluxo.
2. Escassez de Rótulos: Apenas uma fração ínfima dos dados que chegam possui rótulos observados ($y_t$), tornando o aprendizado supervisionado tradicional inviável.

Os métodos de SSL existentes para fluxos de dados frequentemente falham porque tratam as amostras de forma independente, dependem de heurísticas de similaridade fixas (que não conseguem capturar relações em evolução) ou assumem conjuntos de dados estáticos offline. O problema central é como propagar efetivamente a supervisão de rótulos limitados para amostras não rotuladas enquanto se adapta à evolução contínua das distribuições de dados e das relações ao longo do tempo.

2. Metodologia: SLeDGe

Os autores propõem o SLeDGe (Semi-supervised Learning on Data Stream with Graph structure learning), um framework que aprende conjuntamente um modelo preditivo e uma estrutura de grafo adaptativa. O método opera em três estágios contínuos para cada amostra de entrada $x_t$:

A. Mecanismo de Atualização de Memória Dual

Para equilibrar a necessidade de rápida adaptação (plasticidade) com a retenção da consistência histórica (estabilidade), o SLeDGe mantém dois buffers de memória compactos distintos:

• Memória Rotulada ($M_L$): Otimizada para plasticidade. Ela armazena protótipos para cada classe. Quando uma nova amostra rotulada chega, ela preenche uma vaga vazia ou atualiza o protótipo existente mais similar via uma combinação ponderada. O peso de atualização $\alpha$ é dinâmico, favorecendo a nova entrada para facilitar a integração rápida de novos recursos.
• Memória Não Rotulada ($M_U$): Otimizada para estabilidade. Ela armazena protótipos não rotulados representativos. As atualizações aqui usam um peso $\beta$ que favorece o protótipo existente, refletindo a incerteza dos dados não rotulados e garantindo um acúmulo gradual de informações.

B. Aprendizado de Estrutura de Grafo Dinâmico (GSL)

Em vez de usar um grafo fixo ou métricas de similaridade estáticas, o SLeDGe constrói um grafo dinamicamente em cada passo de tempo sobre a memória combinada ($M_L \cup M_U$) e a amostra atual $x_t$.

1. Embedding ($f_E$): Um Perceptron Multicamadas (MLP) mapeia as características de entrada para um espaço latente.
2. Pontuação ($f_S$): Uma função de pontuação (similaridade de cosseno) calcula pesos relacionais par a par entre todos os nós na memória e a amostra atual, gerando uma matriz de adjacência densa.
3. Poda ($f_P$): Para garantir a eficiência, a matriz densa é podada para reter apenas as conexões top-$k$ por nó, resultando em uma matriz de adjacência esparsa $A_t$.
4. Classificação ($f_B$): Um backbone do tipo Redes Neurais Convolucionais em Grafos (GCN) propaga a supervisão através da estrutura de grafo aprendida $A_t$ para gerar previsões.

C. Otimização do Modelo

O modelo é atualizado usando uma função de perda composta:

• Perda Supervisionada ($L_L$): Perda de entropia cruzada calculada na memória rotulada, ponderada por um fator de decaimento temporal para priorizar amostras recentes.
• Regularização Estrutural ($L_{reg}$): Um termo que incentiva a consistência entre as similaridades par a par no espaço de entrada e no espaço latente. Isso estabiliza a inferência do grafo dinâmico, evitando que a estrutura do grafo se torne errática.

D. Variante Leve: SLeDGe-L

Para lidar com a complexidade de tempo quadrática ($O(M^2)$) da construção do grafo completo quando o tamanho da memória $M$ é grande, os autores propõem o SLeDGe-L. Esta variante restringe a pontuação do grafo a uma abordagem centrada na classe, computando similaridades apenas entre os protótipos rotulados e todas as amostras da memória. Isso reduz a complexidade para linear em relação a $M$ ($O(c \cdot M)$), onde $c$ é o número de classes.

3. Principais Contribuições

1. Estrutura de Grafo Adaptativa: Ao contrário dos métodos anteriores de SSL em fluxos, o SLeDGe aprende uma topologia de grafo dinâmica que evolui com o fluxo de dados, capturando dependências inter-amostras variantes no tempo.
2. Gestão de Memória de Estratégia Dual: A introdução de estratégias de atualização distintas para memórias rotuladas (focadas em plasticidade) e não rotuladas (focadas em estabilidade) permite que o modelo equilibre a adaptação a novos recursos com a preservação do conhecimento histórico.
3. Eficiência sob Restrições: O framework é projetado para operar sob orçamentos de memória rigorosos e escassez extrema de rótulos (tão baixa quanto 0,1% de rótulos) enquanto mantém a eficiência computacional através da poda de grafos esparsos e de uma variante leve (SLeDGe-L).
4. Regularização Estrutural: A inclusão de um termo de regularização de consistência garante que a estrutura de grafo aprendida permaneça estável e significativa durante o processo de streaming.

4. Resultados Experimentais

Os autores avaliaram o SLeDGe em 12 conjuntos de dados abrangendo domínios web, de imagem e tabulares.

• Desempenho: O SLeDGe superou os concorrentes de estado da arte (TLP, ReSSL, HDSSL) em todos os conjuntos de dados.
  • Com 0,1% de rótulos, alcançou um ganho médio de acurácia relativa de 31,7% sobre o baseline mais forte.
  • Com 1,0% de rótulos, alcançou um ganho médio de acurácia relativa de 14,8%.
• Estudos de Ablação: Experimentos confirmaram que tanto o módulo de memória quanto a estrutura de grafo dinâmica são críticos. Remover o grafo dinâmico (revertendo para um grafo k-NN estático) resultou em desempenho significativamente inferior, validando a necessidade de aprender relações em evolução.
• Escalabilidade: O método demonstra escalonamento linear em relação ao tamanho do fluxo de dados (tempo constante por amostra). O SLeDGe-L mostrou escalabilidade superior em relação ao tamanho do buffer de memória comparado à versão completa, confirmando a análise de complexidade teórica.
• Velocidade: Apesar de ser um modelo de deep learning, o SLeDGe foi competitivo em tempo de execução contra métodos baseados em clusters, particularmente em dados de alta dimensão onde aproveitou computações de nível de embedding.

5. Significância e Alegações

O artigo afirma que o SLeDGe preenche uma lacuna crítica na literatura ao permitir o Aprendizado de Estrutura de Grafo (GSL) em ambientes de streaming onde a memória e os rótulos são severamente restritos. Os autores argumentam que os métodos existentes falham porque não conseguem modelar como as relações entre as amostras evoluem ao longo do tempo. Ao aprender conjuntamente o modelo preditivo e a estrutura do grafo, o SLeDGe propaga efetivamente a supervisão limitada para dados não rotulados, alcançando melhorias substanciais de acurácia sem exigir o armazenamento de todo o histórico de dados. O trabalho enfatiza que a inferência de grafo dinâmica é superior às medidas de similaridade estáticas em ambientes de fluxos de dados não estacionários.