Riepilogo Tecnico: RELBENCH V2

Enunciato del Problema

I database relazionali costituiscono l'astrazione di archiviazione primaria per i dati strutturati nei sistemi aziendali, scientifici e sanitari, organizzando le informazioni tramite relazioni chiave primaria-chiave esterna che catturano dipendenze strutturali e temporali ricche. Sebbene l'Apprendimento Profondo Relazionale (RDL) sia emerso come paradigma per l'apprendimento diretto su tali database, trattandoli come grafi eterogenei per evitare l'ingegneria manuale delle caratteristiche e l'appiattimento, permane un bisogno critico di benchmark scalabili e realistici per valutare i progressi, specialmente mentre il campo si sposta verso modelli fondazionali relazionali. I benchmark esistenti spesso mancano di scala, diversità nei domini o della capacità di valutare compiti oltre la previsione tradizionale costruita tramite query SQL.

Metodologia e Framework

RELBENCH v2 espande il framework RELBENCH originale (Robinson et al., 2024) introducendo nuovi dataset, nuovi tipi di compiti e un'integrazione unificata di benchmark esterni. La metodologia di base si basa su:

1. Vincoli Temporali e Prevenzione della Perdita di Dati: Tutti i dataset utilizzano cutoff fissi VAL_TIMESTAMP e TEST_TIMESTAMP. I modelli sono addestrati su dati fino a VAL_TIMESTAMP, validati su righe tra i cutoff e testati su righe successive a TEST_TIMESTAMP. I dati oltre il cutoff di test sono nascosti durante l'inferenza per prevenire la perdita di dati al momento del test, utilizzando strategie di campionamento di vicini temporali (Fey et al., 2024).
2. Architettura RDL: Il benchmark utilizza una pipeline RDL standard:
   • Codifica: I dati grezzi a livello di riga sono codificati in embedding nodali iniziali utilizzando PyTorch Frame con un modello tabulare ResNet.
   • Campionamento: Viene eseguito un campionamento di sottografi consapevole del tempo attorno a ciascun nodo entità a un tempo di seme dato.
   • Aggregazione: Gli embedding sono passati attraverso un modello GraphSAGE eterogeneo con aggregazione dei vicini basata sulla somma per aggiornare iterativamente gli embedding dei nodi.
   • Predizione: Teste specifiche per il compito generano le previsioni finali.
3. Confronti con Baseline: Le prestazioni sono confrontate con baseline robuste, principalmente LightGBM (applicato alle caratteristiche grezze della tabella entità o alle caratteristiche unite) e varie strategie di aggregazione (media/mediana globale, media/mediana entità).

Contributi Chiave

1. Espansione dei Dataset

RELBENCH v2 introduce quattro nuovi dataset relazionali su larga scala, portando il totale a 11 dataset che coprono domini diversificati:

• rel-arxiv: Un database di pubblicazioni accademiche con 222.000 articoli, 1,5 milioni di link di citazione e relazioni autore-categoria.
• rel-salt: Un dataset di pianificazione delle risorse aziendali (ERP) da SAP AI Research che modella ordini di vendita, flussi di lavoro e transazioni commerciali.
• rel-ratebeer: Un dataset di piattaforma consumer con oltre due decenni di interazioni utente, valutazioni di birre e recensioni.
• rel-mimic: Un dataset clinico derivato dai registri sanitari elettronici MIMIC-IV, caratterizzato da uno spostamento delle date per la privacy.
• Scala: I nuovi dataset contribuiscono con oltre 22 milioni di righe su 29 tabelle.

2. Introduzione di Compiti di Completamento Automatico

Un contributo metodologico significativo è l'introduzione di compiti di completamento automatico. A differenza dei compiti di previsione tradizionali che prevedono esiti futuri tramite query SQL, i compiti di completamento automatico richiedono ai modelli di inferire valori di attributi mancanti all'interno di tabelle relazionali esistenti a un dato timestamp.

• Meccanismo: I modelli ricevono valori osservati per una riga a un tempo di seme e devono prevedere colonne target utilizzando solo il contesto relazionale e temporale disponibile fino a quel momento.
• Controllo della Perdita di Dati: Per prevenire la perdita di informazioni, le colonne altamente correlate con l'obiettivo (ad esempio, review_text per review-rating) sono identificate manualmente e rimosse in base alla conoscenza del dominio.
• Tipi: Include sia compiti di classificazione (binaria e multiclasse) che di regressione.

3. Integrazione di Benchmark Esterni

RELBENCH v2 unifica la valutazione integrando framework esterni:

• Temporal Graph Benchmark (TGB): I flussi di eventi da TGB sono tradotti in schemi relazionali (normalizzando nodi e spigoli in tabelle) per consentire il confronto diretto tra GNN temporali e modelli di apprendimento profondo relazionale.
• ReDeLEx: L'integrazione fornisce un accesso uniforme a oltre 70 database reali adatti al pre-addestramento.
• 4DBInfer: Incorporazione di dataset e compiti 4DBInfer per ampliare la copertura della valutazione multi-tabella ed esplorare lo spazio di progettazione 4D (dataset, compiti, costruzione del grafo, modelli).

Risultati Sperimentali

I risultati sperimentali sui nuovi dataset e compiti dimostrano che i modelli RDL superano costantemente le baseline a tabella singola (in particolare LightGBM e baseline di aggregazione):

• Compiti di Completamento Automatico: I modelli RDL hanno superato significativamente LightGBM sia nella classificazione binaria che multiclasse (ad esempio, raggiungendo circa il 98% di accuratezza su item-shippoint in rel-salt contro circa il 5% per LightGBM) e nei compiti di regressione (valori $R^2$ più alti). I risultati evidenziano che il contesto relazionale fornisce segnali informativi per la previsione di attributi mancanti, anche in presenza di squilibrio di classe.
• Compiti di Previsione: I modelli RDL hanno ottenuto prestazioni superiori nella classificazione delle entità (ad esempio, previsione author-category in rel-arxiv) e nella regressione. Il compito multiclasse author-category ha mostrato un divario massiccio, con RDL che ha raggiunto circa il 50% di accuratezza rispetto a circa il 2% per LightGBM, suggerendo che i segnali relazionali (co-autorialità, citazioni) sono cruciali per la classificazione complessa.
• Compiti di Raccomandazione: I modelli basati su GNN (GraphSAGE e ID-GNN) hanno generalmente superato baseline come Past Visit e Global Popularity. ID-GNN, che incorpora esplicitamente l'identità del nodo, ha eccelluto in contesti specifici per l'entità, mentre modelli GraphSAGE più profondi (4 livelli) hanno mostrato prestazioni migliorate nei compiti di ragionamento multi-hop, sebbene limitati dai vincoli di memoria GPU.
• Integrazione TGB: Nei dataset TGB tradotti, i modelli GraphSAGE relazionali "event-as-node" hanno performato in modo competitivo contro GraphSAGE nativo del grafo "projected-edge" e baseline temporali (TGN), con prestazioni che variavano in base alla ricchezza delle semantica degli eventi e alla struttura dello schema.

Significato

Il paper afferma che RELBENCH v2 fornisce un benchmark scalabile e realistico essenziale per lo sviluppo e la valutazione di sistemi RDL e modelli fondazionali relazionali. Espandendo la scala a oltre 22 milioni di righe, introducendo il nuovo paradigma di completamento automatico e unificando benchmark esterni, affronta le limitazioni delle precedenti valutazioni a tabella singola o su piccola scala. Il superamento costante dei modelli RDL rispetto alle baseline in domini diversificati (accademico, aziendale, consumer, clinico) sottolinea l'importanza di modellare esplicitamente la struttura relazionale e le dipendenze temporali per i compiti predittivi. Il benchmark funge da strumento fondamentale per avanzare il campo verso modelli fondazionali capaci di ragionare su dati complessi e multi-tabella.