Riepilogo Tecnico: Incorporazione del Design del Deep Learning nelle Query di Database

Enunciato del Problema

L'integrazione tra deep learning (DL) e database relazionali è stata tradizionalmente ostacolata da un sovraccarico ingegneristico di tipo "round-trip". Gli approcci convenzionali richiedono la traduzione dei dati relazionali in rappresentazioni a grafo (dove i record diventano nodi e le chiavi esterne diventano archi) e successivamente l'esportazione di questi dati in framework di machine learning esterni (ad esempio PyTorch Geometric, DGL) per addestrare le Reti Neurali su Grafi (GNN). Questo processo costringe gli sviluppatori a operare su paradigmi disparati: utilizzando linguaggi di query dichiarativi per la gestione dei dati e codice imperativo per la progettazione del modello. Inoltre, i framework ML esistenti all'interno del database spesso colmano queste lacune integrando tipi tensoriali e operatori di algebra lineare direttamente nel motore di query, richiedendo agli utenti di mantenere esplicitamente la connessione tra dati logici e rappresentazioni vettoriali. Gli autori sostengono che questa separazione è artificiale e che specificare una rete neurale su dati relazionali dovrebbe essere naturale quanto interrogare i dati stessi.

Metodologia: Algebra Neuro-Relazionale (NRA) e RelaNN

Il documento propone RelaNN, un sistema concettuale che integra il deep learning direttamente nelle query di database estendendo il modello relazionale. La metodologia fondamentale si basa sull'Algebra Neuro-Relazionale (NRA), un quadro formale che associa ogni tupla di database a un embedding vettoriale apprendibile.

1. Modello di Dati Neuro-Relazionale (NRM)

Il modello di dati estende il classico modello relazionale definendo una relazione incorporata $(r, \eta)$, dove $r$ è la relazione di contenuto standard e $\eta$ è un'annotazione che mappa ogni tupla in un embedding in $\mathbb{R}^d$. Ciò consente al sistema di operare simultaneamente sul dominio logico (contenuto) e sul dominio numerico (embedding).

2. Operatori Neuro-Relazionali

La NRA estende l'algebra relazionale standard con operatori che manipolano sia il contenuto che gli embedding:

• Join ($\bowtie$): Esegue un join naturale standard sul contenuto. Per gli embedding, concatena gli embedding delle tuple contribuenti dalle relazioni di input.
• Unione Proiettata ($\cup_{\alpha, A}$): Un operatore unificato che combina proiezione e unione. Proietta le tuple su una sequenza di attributi comune e aggrega gli embedding delle tuple con contenuto identico utilizzando un aggregatore di multinsieme $\alpha$ (ad esempio somma, media, massimo). Questo gestisce l'aggregazione degli embedding necessaria quando più tuple di input mappano sulla stessa tupla di output.
• Trasformazione ($T_\tau$): Applica una trasformazione differenziabile $\tau$ (ad esempio una rete feed-forward, ReLU o un layer lineare) agli embedding di una relazione. Questo è il meccanismo principale per introdurre parametri apprendibili.
• Selezione, Differenza, Rinominazione: Questi operatori trasmettono gli embedding invariati, analogamente all'algebra classica.

3. Il Linguaggio RelaNN

RelaNN è un linguaggio dichiarativo costruito sopra la NRA. I programmi consistono in istruzioni di regola che definiscono come derivare nuove relazioni incorporate:

• Regole di Join: Combinano relazioni tramite join, applicano una trasformazione agli embedding concatenati e aggregano tramite un'unione proiettata.
• Regole di Unione: Unificano relazioni con schemi identici, filtrano e trasformano gli embedding.
• Istruzioni Fit: Una costruttura linguistica (?fit) che minimizza una funzione di perdita definita su una relazione di output, aggiornando l'assegnazione globale dei parametri (inclusi sia gli embedding delle tuple che i pesi di trasformazione).
• Istruzioni Predict: Valutano il programma con i parametri correnti per materializzare i risultati.
• Estensioni: Il linguaggio supporta alias per la condivisione dei parametri, definizioni di funzioni per il riutilizzo del codice, codifica/decodifica per spostare dati tra colonne di contenuto e embedding, e template per generare regole ripetitive (ad esempio per l'attenzione multi-testa).

4. Pipeline di Implementazione

RelaNN compila un programma in un Grafo di Termini (un DAG di operatori NRA). Quando eseguito, questo grafo viene tradotto in un Piano Fisico che viene eseguito su SQL, cuDF e PyTorch:

• Caricamento Dati: Le query SQL recuperano il contenuto dal database.
• Join/Selezione: Implementati tramite operazioni DataFrame di cuDF (merge, index_select) che emettono tensori di indice di riga.
• Manipolazione degli Embedding: Operazioni PyTorch (ad esempio torch.index_select, scatter_add) recuperano e aggregano gli embedding in base agli indici di contenuto, mantenendo la piena differenziabilità per l'addestramento end-to-end.
• Trasformazione: I layer personalizzati nn.Module vengono applicati direttamente tramite PyTorch.

Contributi Chiave

1. Quadro Formale (NRA): L'introduzione dell'Algebra Neuro-Relazionale, che unifica l'elaborazione delle query relazionali e la progettazione di modelli neurali estendendo il modello relazionale con embedding di tuple apprendibili.
2. Sistema Dichiarativo (RelaNN): Un sistema open-source che consente agli utenti di implementare architetture di apprendimento su grafi all'avanguardia utilizzando costrutti familiari simili a SQL/Datalog.
3. Espressività: Capacità dimostrata di esprimere architetture complesse, inclusi Graph Convolutional Networks (GCN), Relational GCN (R-GCN), Heterogeneous Graph Transformers (HGT), Hypergraph Neural Networks (HyGNN) e Deep Homomorphism Networks (DHN), con significativamente meno righe di codice rispetto alle basi di riferimento imperative.
4. Prestazioni: Un'implementazione concettuale che raggiunge accuratezza predittiva e prestazioni di runtime competitive rispetto a librerie specializzate come PyTorch Geometric.

Risultati Sperimentali

Gli autori hanno valutato RelaNN rispetto a implementazioni di riferimento (PyTorch, PyG) su cinque architetture attraverso più dataset (Cora, DBLP, AIFB, CSL, EXP, DrugBank, ecc.).

• Concisione del Codice: I programmi RelaNN erano circa 4 volte più brevi delle implementazioni di base. Ad esempio, un'implementazione di una Deep Homomorphism Network (DHN) richiedeva 76 righe in RelaNN contro 259 righe nella base di riferimento.
• Accuratezza: RelaNN ha riprodotto l'accuratezza di riferimento per GCN e HGT. Per altri modelli (R-GCN, HyGNN, DHN), i risultati erano entro una deviazione standard delle basi di riferimento o corrispondevano esattamente (ad esempio, 100% di accuratezza sul dataset CSL per DHN).
• Runtime:
  • Per GCN e HGT, il runtime di RelaNN era entro un fattore di 2 rispetto alla base di riferimento.
  • Per DHN, RelaNN era 2-14 volte più veloce della base di riferimento, attribuito all'efficienza della compilazione dichiarativa ed all'evitamento di codice tensoriale personalizzato complesso.
  • Per R-GCN sul dataset AIFB, RelaNN era circa 30 volte più lento della base di riferimento altamente ottimizzata torch-rgcn. Gli autori attribuiscono ciò al fatto che l'implementazione attuale è una prova di concetto non ottimizzata e alla natura specializzata della base di riferimento.

Significato e Affermazioni

Il documento afferma che RelaNN fornisce una base dichiarativa per il deep learning relazionale, dimostrando che è possibile progettare e addestrare reti neurali all'avanguardia direttamente su database relazionali senza rappresentazioni intermedie a grafo.

• Semplicità: Il sistema rende l'implementazione di architetture complesse semplice come scrivere una query, eliminando il sovraccarico ingegneristico della traduzione dei dati e della costruzione del grafo.
• Integrazione: Trattando gli embedding come cittadini di prima classe all'interno del modello relazionale, l'approccio fonde naturalmente il ragionamento logico con il ragionamento numerico.
• Potenziale Futuro: Sebbene l'implementazione attuale sia un prototipo, gli autori sostengono che rappresenti una "via concreta" verso la resa del deep learning sui database accessibile quanto l'interrogazione standard. Identificano lavori futuri nel scalare a dataset più grandi della memoria GPU (tramite campionamento e streaming) e nell'ottimizzare l'esecuzione delle query (spingendo giù le trasformazioni, fondendo i kernel) per colmare il divario di prestazioni con le librerie specializzate.

Gli autori dichiarano esplicitamente che il loro lavoro non intende sostituire i sistemi aziendali, ma piuttosto dimostrare la fattibilità e la semplicità di un approccio unificato, aprendo la strada a future ottimizzazioni e alla potenziale implementazione di modelli fondazionali relazionali.