GDGB: A Benchmark for Generative Dynamic Text-Attributed Graph Learning

1. Il Problema

I Grafici Dinamici Attribuiti da Testo (DyTAGs) integrano strutture, dinamiche temporali e attributi testuali, rendendoli fondamentali per modellare sistemi reali complessi come reti sociali, sistemi di raccomandazione e reti di citazioni. Tuttavia, la ricerca sulla generazione di DyTAGs è rimasta indietro rispetto ai compiti discriminativi a causa di due ostacoli principali:

1. Qualità dei Dati Insufficiente: I dataset esistenti (come DTGB) soffrono di attributi testuali poveri. Spesso i testi dei nodi sono semplici identificatori (es. email, nomi utente) privi di ricchezza semantica, mentre i testi degli archi sono troppo brevi. Questo limita drasticamente l'addestramento di modelli generativi che necessitano di input semantici ricchi.
2. Mancanza di Standardizzazione: Non esistono formulazioni di task standardizzate o protocolli di valutazione olistici specifici per la generazione di DyTAGs. La maggior parte dei lavori precedenti si concentra sulla generazione diretta del grafo finale, ignorando i pattern di crescita incrementale ed espansiva osservati nel mondo reale. Inoltre, le metriche attuali spesso trascurano la coerenza semantica del testo generato.

2. Metodologia e Proposte

Gli autori propongono GDGB (Generative DyTAG Benchmark), un ecosistema completo composto da dataset, task, metriche e un framework generativo.

A. Costruzione del Dataset (GDGB)

GDGB introduce 8 dataset DyTAG curati con attenzione, provenienti da domini diversificati:

• E-commerce: Sephora, Dianping.
• Interazioni Web: WikiRevision, WikiLife.
• Social Network: WeiboTech, WeiboDaily.
• Collaborazione/Citazione: IMDB, Cora.

Caratteristiche chiave:

• Ricchezza Testuale: A differenza dei dataset precedenti, ogni nodo e arco è arricchito con testi semantici densi (es. recensioni dettagliate, biografie, descrizioni di prodotti, abstract di paper).
• Struttura: Include sia grafi bipartiti (es. Utenti-Prodotti) che non bipartiti.
• Qualità: I testi hanno una lunghezza media maggiore, una perplexità (PPL) inferiore e un punteggio di valutazione basato su LLM significativamente superiore rispetto a DTGB.

B. Definizione dei Task Generativi

Vengono introdotti due nuovi task di generazione:

1. TDGG (Transductive Dynamic Graph Generation): Genera un DyTAG target basandosi su insiemi di nodi sorgente e destinazione già noti (ipotesi transduttiva). Il modello deve selezionare i nodi destinazione e generare gli archi (etichette e testi) che li collegano. Questo integra compiti discriminativi (retrieval, classificazione) in un paradigma generativo.
2. IDGG (Inductive Dynamic Graph Generation): Una sfida più complessa che estende il setting transduttivo introducendo la generazione di nuovi nodi durante l'evoluzione del grafo. Il modello deve generare sia nuovi nodi (con attributi testuali coerenti) che nuovi archi, simulando l'espansione dinamica reale di un sistema (es. nuovi utenti o nuovi prodotti).

C. Metriche di Valutazione Olistiche

Per valutare la qualità della generazione, GDGB propone tre categorie di metriche:

1. Metriche Strutturali: MMD (Maximum Mean Discrepancy) per grado e spettri, e analisi della legge di potenza (Power-law) per verificare la validità topologica.
2. Metriche di Qualità Testuale: Utilizza un framework LLM-as-Evaluator (con GPT come valutatore) che assegna punteggi su 5 dimensioni: fedeltà contestuale, profondità della personalità, adattabilità dinamica, qualità immersiva e ricchezza dei contenuti. Questo supera i limiti delle metriche basate su embedding (come BERTScore) che comprimono l'informazione semantica.
3. Metriche di Embedding del Grafo: Estensione della JL-Metric che integra attributi testuali nodali e di arco in uno spazio di embedding unificato per misurare la fedeltà globale strutturale, temporale e semantica.

D. Framework Generativo: GAG-General

Per dimostrare l'efficacia del benchmark, gli autori propongono GAG-General, un framework multi-agente basato su LLM.

• Architettura: Utilizza agenti LLM specializzati per i nodi sorgente e destinazione, dotati di moduli di memoria (per tracciare le interazioni storiche) e un meccanismo di riflessione (per riassumere le memorie, simile all'aggregazione nei GNN).
• Generalizzazione: A differenza del precedente GAG (limitato a grafi bipartiti sociali), GAG-General supporta sia grafi bipartiti che non bipartiti e si adatta a diversi domini senza personalizzazioni specifiche.
• Processo: Iterativo e espansivo. In ogni passo, gli agenti selezionano i nodi destinazione (o ne generano di nuovi nel caso IDGG) e generano le interazioni testuali, simulando l'evoluzione temporale del grafo.

3. Risultati Sperimentali

Gli esperimenti su GDGB con GAG-General (utilizzando diversi backbones LLM come GPT-4o, Llama, Qwen) mostrano risultati promettenti:

• Qualità Strutturale: I grafi generati rispettano le distribuzioni di grado reali (legge di potenza) e mostrano bassi valori di MMD, indicando alta fedeltà strutturale.
• Qualità Testuale: L'uso di memoria e riflessione migliora significativamente la qualità semantica del testo generato. I punteggi degli LLM evaluator sono costantemente alti (spesso >4.0 su 5).
• Confronto con Baseline:
  • GAG-General supera i modelli DGNN tradizionali (come TGN, DyGFormer) nei task discriminativi quando addestrati su dati limitati, dimostrando una migliore capacità di generalizzazione grazie all'uso del testo.
  • Rispetto ai modelli di generazione dinamica esistenti (VRDAG, DG-Gen, TIGGER-I), GAG-General ottiene prestazioni nettamente superiori sia nella struttura che nella ricchezza degli attributi, mentre i modelli precedenti falliscono spesso nel generare testi coerenti o strutture valide su dataset ricchi di testo.
• Utilità Pratica (Data Augmentation): I grafi generati tramite IDGG sono stati utilizzati per l'aumento dei dati in scenari di apprendimento induttivo (cold-start), migliorando le prestazioni dei modelli DGNN nel predire link per nodi mai visti.
• Analisi dei Nodi Hub: Il framework è capace di generare nodi "hub" nuovi con attributi testuali realistici (es. nuovi prodotti di tendenza), simulando l'evoluzione del mercato.

4. Contributi Chiave

1. Primo Benchmark Generativo per DyTAG: GDGB è la prima risorsa che offre 8 dataset di alta qualità, specificamente progettati per la generazione, superando le limitazioni semantiche dei dataset precedenti.
2. Nuovi Task e Metriche: Introduzione di TDGG e IDGG, accompagnati da un protocollo di valutazione olistico che considera struttura, tempo e semantica in modo integrato.
3. Framework GAG-General: Un framework multi-agente scalabile e generalizzabile che dimostra la fattibilità della generazione di DyTAGs complessi basata su LLM.
4. Insight Empirici: Dimostrazione che la combinazione di caratteristiche strutturali e testuali è cruciale per la generazione efficace, e che i modelli basati su LLM possono superare i metodi tradizionali in scenari con dati limitati o in crescita.

5. Significato e Impatto

GDGB colma un divario critico nella ricerca sui grafi dinamici, spostando l'attenzione dalla semplice classificazione alla generazione di scenari realistici.

• Per la Ricerca: Fornisce una base solida per lo sviluppo di modelli generativi fondazionali per grafi (Graph Foundation Models).
• Per le Applicazioni: Abilita scenari pratici avanzati come:
  • E-commerce: Simulazione di trend futuri e identificazione proattiva di prodotti "virali".
  • Sicurezza e Social Network: Generazione di dati sintetici per testare la diffusione di disinformazione o per la privacy-preserving data augmentation.
  • Pianificazione Urbana: Previsione dell'uso delle infrastrutture basata su dinamiche sociali simulate.

In sintesi, il lavoro stabilisce che la generazione di DyTAGs di alta qualità è possibile e necessaria, fornendo gli strumenti (dataset, task, metriche, framework) per avanzare in questo campo emergente.