Resumo Técnico: Agendamento Negativo Adaptativo para Aprendizado Contrastivo em Grafos (AdNGCL)

1. Declaração do Problema

O Aprendizado Contrastivo em Grafos (GCL) emergiu como um paradigma dominante para aprendizado de representações auto-supervisionado, contudo, os métodos existentes sofrem de uma limitação crítica: a dependência de amostragem negativa estática. Abordagens atuais tipicamente empregam amostragem uniforme ou heurísticas fixas para selecionar amostras negativas, falhando em considerar a informatividade dinâmica e os custos computacionais dessas amostras durante o treinamento.

Essa abordagem estática leva a vários problemas:

• Ineficiência: Negativos não informativos ou redundantes são super-representados, enquanto negativos "difíceis" mas válidos (aqueles mais similares à âncora) são subutilizados ou introduzidos tardiamente demais.
• Convergência Subótima: Políticas de amostragem fixas ignoram características do conjunto de dados (por exemplo, densidade, homofilia) e dinâmicas de treinamento, levando a uma convergência mais lenta e potencial colapso de representações.
• Restrições de Recursos: Muitos métodos adaptativos que tentam minerar negativos difíceis dependem de limiares estáticos ou incorrem em altos custos computacionais e de memória, tornando-os inadequados para aplicações de Eletrônicos de Consumo (CE) com restrições de recursos, como sistemas de recomendação em dispositivos ou detecção de anomalias em IoT.
• Falsos Negativos: A mineração agressiva de difíceis sem agendamento dinâmico aumenta o risco de tratar entidades semanticamente similares, mas distintas, como negativas, enfraquecendo o sinal contrastivo.

2. Metodologia: O Framework AdNGCL

Os autores propõem o AdNGCL (Agendamento Negativo Adaptativo para Aprendizado Contrastivo em Grafos), um framework centrado em um novo algoritmo de Agendamento Negativo Consciente de Dificuldade (HANS). O framework trata a seleção de amostras negativas não como uma regra estática, mas como um problema de agendamento com portão de perda e orçamento restrito.

Componentes Principais

1. Aumento de Dados em Grafos:

   • Remoção de Arestas: Remove aleatoriamente arestas da matriz de adjacência para forçar o modelo a aprender representações estruturais robustas.
   • Mascaramento de Características: Emprega duas estratégias: (a) mascaramento binário padrão para características densas, e (b) uma abordagem híbrida para características esparsas onde 50% das características são fixas e 50% são mascaradas para preservar informações essenciais enquanto introduz ruído.

2. Codificador e Projeção:

   • Utiliza uma Rede de Convolução em Grafos (GCN) de duas camadas para codificar visualizações aumentadas em embeddings de nós.
   • Uma cabeça de projeção mapeia esses embeddings em um espaço latente de dimensão inferior para aprendizado contrastivo.

3. Agendamento Negativo Consciente de Dificuldade (HANS):
   O HANS é a inovação central, operando através de quatro mecanismos distintos:

   • Estratificação: Candidatos negativos para cada âncora são ordenados por similaridade (similaridade de cosseno) e particionados em três estratos: Difíceis (mais similares), Intermediários e Fáceis (menos similares).
   • Orçamentação: O número total de negativos é limitado por um orçamento global ($\theta_{max}$) e limites por categoria ($\theta_{cat}^{max}$). Diferentemente de métodos estáticos que dividem orçamentos arbitrariamente (por exemplo, 25/25/50), o HANS adapta essas proporções com base na densidade do conjunto de dados (por exemplo, sugerindo orçamentos de 70–90% para conjuntos de dados esparsos versus 40–60% para conjuntos densos).
   • Agendamento de Bootstrap e Portão de Perda:
     • Aquecimento (Warm-up): Inicialmente, todas as categorias são introduzidas em uma fração baixa (5%) para estabilizar o treinamento inicial.
     • Incremento com Portão de Perda: A alocação para uma categoria específica só é aumentada se sua perda suavizada não tiver diminuído por um fator $\gamma$ (por exemplo, 1%) ao longo de uma janela recente. Isso previne a exposição prematura a amostras excessivamente difíceis que poderiam causar instabilidade.
   • Alocação Adaptativa e Troca:
     • Tamanho do Passo Consciente de Perda: O tamanho do incremento para cada categoria é calculado dinamicamente com base em sua contribuição proporcional para a perda total. Negativos difíceis são priorizados (com um tamanho de passo o dobro daquele de negativos fáceis) para garantir que sejam totalmente utilizados antes que os negativos fáceis atinjam seus limites.
     • Troca Estocástica: Uma vez que o orçamento global está saturado, as amostras negativas específicas dentro de cada estrato são periodicamente atualizadas (troca) para manter a diversidade sem aumentar a carga computacional total.

3. Contribuições Principais

• Formulação de Agendamento Inovadora: O artigo introduz o primeiro framework a formular a seleção negativa como um problema de agendamento dinâmico e com portão de perda, em vez de uma regra de amostragem estática.
• Algoritmo HANS: Um algoritmo específico que estratifica negativos, impõe orçamentos globais e por categoria, e utiliza tendências de perda para ajustar dinamicamente o "tamanho do passo" da inclusão de amostras.
• Priorização de Dificuldade: O método prioriza explicitamente negativos difíceis no início do treinamento, mantendo uma base de negativos fáceis para prevenir overfitting e garantir diversidade.
• Eficiência de Recursos: Ao limitar orçamentos e utilizar troca, o AdNGCL oferece controle explícito sobre o custo computacional, abordando as restrições específicas de aplicações de CE e em dispositivos.

4. Resultados Experimentais

Os autores avaliaram o AdNGCL em nove conjuntos de dados de referência em grafos (incluindo Cora, CiteSeer, PubMed, DBLP, WikiCS, Amazon Computers, Amazon Photo, Coauthor-CS e Actor).

• Desempenho: O AdNGCL alcançou acurácia state-of-the-art (SOTA) em sete conjuntos de dados e o segundo melhor desempenho nos dois restantes.
  • Melhorias notáveis incluem 88,05% em Cora (superando o NegAmplify) e 87,81% em PubMed.
  • Em grafos de co-compra em grande escala (Amazon Computers/Foto), superou todos os modelos concorrentes, atingindo 91,76% e 95,11%, respectivamente.
• Estudos de Ablação:
  • Proporções de Dificuldade: A configuração ótima envolveu consistentemente a alocação de 20–40% para negativos difíceis, 50–60% para intermediários e apenas 10–20% para negativos fáceis. Configurações com baixas proporções de negativos difíceis consistentemente tiveram desempenho inferior.
  • Sensibilidade ao Orçamento ($\theta_{max}$): O orçamento ótimo de amostragem negativa é dependente do conjunto de dados. Grafos esparsos ou de baixa homofilia (por exemplo, DBLP, CiteSeer) beneficiaram-se de orçamentos mais altos (70–100%), enquanto grafos densos ou com redundância de características (por exemplo, WikiCS, Amazon) saturaram em 40–60%.
  • Eficiência: Aumentar o orçamento negativo além do ponto de saturação (por exemplo, >60% para grafos densos) produziu retornos decrescentes em acurácia enquanto aumentava significativamente o tempo de treinamento (até 50% mais longo), destacando o trade-off gerenciado pelo HANS.

5. Significado e Alegações

O artigo alega que o AdNGCL fornece uma estratégia geral para melhorar a robustez e a eficiência do aprendizado de representações em aplicações emergentes de inteligência computacional.

• Adaptação Dinâmica: Ao afastar-se de heurísticas estáticas, o framework adapta-se à densidade e aos níveis de dificuldade específicos de um conjunto de dados, garantindo que o modelo aprenda das amostras mais informativas no momento certo.
• Relevância para CE: O controle explícito sobre orçamentos computacionais e a capacidade de produzir embeddings compactos e discriminativos tornam o framework particularmente valioso para aplicações de Eletrônicos de Consumo (CE), como sistemas de recomendação personalizados, detecção de anomalias em redes IoT e segurança de casas inteligentes, onde os recursos são limitados e os dados rotulados são escassos.
• Estabilidade: O método reduz a variância nos resultados de treinamento, oferecendo desempenho mais confiável para implantação no mundo real, onde orçamentos de retreinamento são restritos.

Os autores concluem que sua abordagem equilibra com sucesso a necessidade de sinais contrastivos fortes (via negativos difíceis) com a necessidade de eficiência computacional, oferecendo uma receita prática para aprendizado em grafos de alto desempenho sem a sobrecarga da mineração exaustiva de negativos.