GDGB: A Benchmark for Generative Dynamic Text-Attributed Graph Learning

Título: GDGB: Um Benchmark para Aprendizado de Grafos Dinâmicos Atribuídos por Texto Generativo

1. Problema e Motivação

Os Grafos Dinâmicos Atribuídos por Texto (DyTAGs) são estruturas de dados que integram complexamente atributos estruturais, temporais e textuais, sendo essenciais para modelar sistemas do mundo real como redes sociais, sistemas de recomendação e redes de citações.

No entanto, a pesquisa atual enfrenta duas limitações críticas que impedem o avanço em tarefas generativas para DyTAGs:

1. Qualidade Pobre dos Dados Existentes: Benchmarks anteriores, como o DTGB, possuem atributos textuais de baixa qualidade (ex: nomes de usuário ou e-mails curtos e sem riqueza semântica). Isso limita a utilidade desses dados para modelos generativos que dependem de entradas semanticamente ricas.
2. Falta de Padronização em Tarefas Generativas: A maioria dos trabalhos foca em tarefas discriminativas (como previsão de links). Não existem formulações de tarefas padronizadas nem protocolos de avaliação holísticos específicos para a geração de DyTAGs, especialmente considerando a expansão dinâmica de novos nós e arestas.

2. Metodologia e Proposta

Os autores propõem o GDGB (Generative DyTAG Benchmark), uma solução abrangente que aborda o problema em três pilares: construção de dados, definição de tarefas/métricas e design de framework.

A. Construção de Dados (GDGB)
O benchmark consiste em 8 conjuntos de dados DyTAGs meticulosamente curados e processados, cobrindo domínios variados (e-commerce, redes sociais, biografias, citações, colaboração cinematográfica).

• Diferencial: Diferente do DTGB, todos os nós e arestas nos dados do GDGB possuem atributos textuais ricos e semânticos (ex: resenhas detalhadas de produtos, perfis de usuários com descrições, textos de revisão de páginas).
• Estatísticas: Os dados incluem tanto grafos bipartidos (ex: Sephora, Dianping) quanto não bipartidos (ex: IMDB, Cora), com milhões de arestas e timestamps evolutivos.

B. Definição de Novas Tarefas Generativas
O GDGB introduz duas tarefas fundamentais para modelar a evolução de grafos:

1. Geração Transdutiva de Grafos Dinâmicos (TDGG): Gera um DyTAG alvo baseado em conjuntos de nós de origem e destino já conhecidos. O objetivo é selecionar destinos e gerar arestas/textos, mantendo a suposição transdutiva (todos os nós são conhecidos previamente).
2. Geração Indutiva de Grafos Dinâmicos (IDGG): Uma tarefa mais desafiadora que estende a TDGG introduzindo a geração de novos nós durante a evolução do grafo. Isso modela a expansão dinâmica do mundo real (ex: novos usuários ou produtos surgindo), exigindo que o modelo gere tanto a estrutura quanto os atributos textuais semânticos coerentes para entidades nunca vistas.

C. Métricas de Avaliação Holísticas
Para avaliar a qualidade gerada, o GDGB propõe um protocolo multifacetado:

• Métrica Estrutural: Discrepância de Média Máxima (MMD) para graus e espectros, e análise de lei de potência (validade da distribuição).
• Métrica de Qualidade Textual: Uso de um framework LLM-as-Evaluator (com GPT como avaliador) que pontua os textos gerados em 5 dimensões: Fidelidade Contextual, Profundidade de Personalidade, Adaptabilidade Dinâmica, Qualidade Imersiva e Riqueza de Conteúdo.
• Métrica de Embedding de Grafo: Uma extensão da métrica JL-Metric, integrando características textuais de nós/arestas para calcular a similaridade global entre o grafo gerado e o real.

D. Framework Generativo: GAG-General
Para validar o benchmark, os autores propõem o GAG-General, um framework baseado em Agentes Multi-LLM.

• Arquitetura: Estende o framework GAG anterior, removendo restrições a grafos bipartidos e tornando-se agnóstico a domínios.
• Mecanismo: Utiliza agentes de LLM para nós, equipados com módulos de memória (para registrar interações históricas) e um mecanismo opcional de reflexão (para resumir memórias, similar à agregação em GNNs).
• Processo: Opera em iterações onde agentes de nós de origem selecionam destinos (ou geram novos nós no IDGG) e geram arestas com textos e rótulos coerentes.

3. Resultados Experimentais

Os experimentos foram conduzidos utilizando vários LLMs de base (DeepSeek, Llama, Qwen, GPT-4o) e comparados com modelos de estado da arte (DGNNs discriminativos e modelos generativos como VRDAG, DG-Gen).

• Superioridade dos Dados GDGB: Experimentos mostraram que modelos generativos falham ou têm desempenho degradado no DTGB devido à pobreza semântica dos textos. No GDGB, a incorporação de textos ricos melhora significativamente a fidelidade estrutural (redução do MMD).
• Desempenho do GAG-General:
  • TDGG: O framework alcançou alta fidelidade estrutural (MMD baixo) e qualidade textual superior, superando modelos discriminativos tradicionais (DGNNs) em tarefas de recuperação de nós e classificação de arestas, especialmente em cenários com poucos dados de treinamento.
  • IDGG: O GAG-General conseguiu gerar novos nós e arestas mantendo propriedades estruturais (como validade de lei de potência) e coerência semântica, algo que modelos existentes (VRDAG, DG-Gen) não conseguiram fazer adequadamente nos dados do GDGB.
• Ablação: A adição de módulos de memória e reflexão nos agentes melhorou consistentemente a qualidade textual e a fidelidade do embedding, destacando a importância de integrar informações estruturais e textuais históricas.
• Aplicabilidade: Grafos gerados via IDGG demonstraram ser úteis para aumento de dados (data augmentation), melhorando o desempenho de modelos em tarefas de aprendizado indutivo (cold-start).

4. Contribuições Principais

1. Primeiro Benchmark Generativo para DyTAGs: O GDGB é o primeiro recurso a fornecer 8 conjuntos de dados de alta qualidade com atributos textuais ricos, projetados especificamente para tarefas generativas.
2. Novas Tarefas e Métricas: Introdução formal das tarefas TDGG e IDGG, juntamente com um protocolo de avaliação que combina métricas estruturais, textuais (via LLM) e de embedding.
3. Framework GAG-General: Um framework de agentes multi-LLM generalizável que demonstra a viabilidade de gerar DyTAGs complexos e dinâmicos, servindo como baseline robusta.
4. Insights Empíricos: Evidência de que a interação entre características estruturais e textuais é crítica para a geração de grafos dinâmicos de alta qualidade.

5. Significado e Impacto

Este trabalho preenche uma lacuna fundamental na interseção entre Grafos Dinâmicos e Geração de Linguagem Natural. Ao fornecer dados de alta qualidade e tarefas padronizadas, o GDGB permite o desenvolvimento de modelos generativos mais robustos.

As implicações práticas são vastas:

• Simulação e Previsão: Possibilita a simulação de cenários futuros em e-commerce (ex: prever produtos virais) ou redes sociais (ex: propagação de desinformação).
• Aumento de Dados: Oferece uma ferramenta para gerar dados sintéticos realistas para treinar modelos em cenários de dados escassos (cold-start).
• Privacidade: Potencial para gerar grafos sintéticos que preservam a estrutura e a utilidade estatística sem expor dados reais sensíveis.

Em suma, o GDGB estabelece a base para a próxima geração de pesquisa em modelagem generativa de grafos dinâmicos ricos em texto.