🤖 AI

PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models

Il documento introduce PLuRel, un framework leggero per la sintesi di database relazionali multi-tabella diversificati che dimostra, per la prima volta, come la scalabilità dei dati sintetici porti a miglioramenti delle prestazioni prevedibili e a una forte capacità di generalizzazione per i Modelli Fondazionali Relazionali.

Autori originali: Vignesh Kothapalli, Rishabh Ranjan, Valter Hudovernik, Vijay Prakash Dwivedi, Johannes Hoffart, Carlos Guestrin, Jure Leskovec

Pubblicato 2026-07-15

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Vignesh Kothapalli, Rishabh Ranjan, Valter Hudovernik, Vijay Prakash Dwivedi, Johannes Hoffart, Carlos Guestrin, Jure Leskovec

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super-intelligente come comprendere il mondo disordinato e interconnesso dei dati aziendali. Nel mondo reale, le aziende conservano i loro segreti in enormi "database relazionali" — pensa a loro come a gigantesche biblioteche con molte stanze (ogni tabella è un libro) collegate tra loro da fili specifici (come l'ID di un cliente che collega il suo nome alla sua cronologia ordini). Per rendere un robot davvero intelligente nella lettura di queste biblioteche, dobbiamo mostrargli milioni di esempi differenti. Ma c'è un problema: i dati reali delle aziende sono privati. Sono protetti da muri di leggi sulla privacy e segreti commerciali, quindi non possiamo semplicemente consegnarli al nostro robot.

È qui che entra in gioco l'idea dei "dati sintetici". È come costruire una perfetta replica finta di una biblioteca partendo da zero, usando la matematica per indovinare come dovrebbero apparire i libri e i fili senza aver mai visto uno di quelli reali. Gli scienziati si sono occupati di questo per singole tabelle (come un semplice elenco di nomi), ma creare una biblioteca finta multi-stanza dove le connessioni tra le stanze abbiano senso è stato incredibilmente difficile. Se il robot impara da una biblioteca finta dove le connessioni sono interrotte o strane, non sarà in grado di risolvere problemi reali in seguito. Questo articolo affronta esattamente questo enigma: come possiamo costruire una fabbrica che possa produrre infiniti, diversificati e perfettamente connessi database falsi, in modo che la nostra IA possa imparare le regole del gioco prima ancora di vedere uno vero?

La Fabbrica PLUREL: Costruire Mondi Finti per l'IA

Incontra PLUREL, un nuovo framework che agisce sia come un maestro architetto che come uno scrittore creativo. Il suo compito è costruire database relazionali sintetici partendo da zero, creando "mondi finti" su cui i modelli di IA possano fare pratica. I ricercatori dietro PLUREL volevano vedere se potessero sbloccare un potere segreto per questi modelli di IA: la capacità di diventare più intelligenti semplicemente vedendo più e più diversificati esempi, un concetto noto come "leggi di scala" (scaling laws).

Pensa all'addestramento di un'IA come all'insegnamento della guida a un adolescente. Se lo lasci praticare solo in un parcheggio vuoto (un database singolo e piccolo), potrebbe diventare bravo in quel parcheggio specifico, ma si schianterà non appena imboccherà una strada cittadina trafficata (un database del mondo reale). PLUREL risolve questo problema generando migliaia di diversi "percorsi di guida": alcuni con strade strette, altri con rotatorie, altri con traffico intenso e altri ancora con nebbia. Ogni percorso è un database unico con il proprio set di tabelle (come "Utenti", "Articoli" e "Transazioni") e la complessa rete di connessioni tra di esse.

Come PLUREL Costruisce Questi Mondi Finti

PLUREL non si limita a fare copia-incolla di dati esistenti; costruisce tutto da zero in tre fasi creative:

Il Progetto (Schema): Per prima cosa, disegna la mappa della biblioteca. Decide quante stanze (tabelle) ci sono e come si connettono. Utilizza un "grafo diretto" (un termine tecnico per una mappa con frecce) per decidere quale stanza conduce a quale altra. Ad esempio, potrebbe decidere che la stanza "Utenti" si connette alla stanza "Ordini", ma non direttamente alla stanza "Spedizioni".
I Fili (Connettività): Successivamente, tesse i fili che legano le stanze tra loro. In un database reale, un ordine specifico appartiene a un utente specifico. PLUREL utilizza un ingegnoso "grafo bipartito" (un modo per far corrispondere due gruppi) per decidere quale utente riceve quale ordine. Non sceglie a caso; utilizza un modello "gerarchico", come un albero genealogico, per garantire che le connessioni sembrino naturali. Magari un utente "VIP" riceve più ordini, o gli ordini di una specifica regione tendono a raggrupparsi insieme.
Il Contenuto (Caratteristiche): Infine, riempie le stanze con i dati. Utilizza i "Modelli Causali Strutturali" (pensa a loro come a motori logici) per decidere cosa inserire nelle celle. Se un utente acquista un cappotto invernale, il sistema sa che la "data" dovrebbe essere in inverno e che il "prezzo" potrebbe essere più alto. Aggiunge persino "modelli temporali", il che significa che i dati cambiano nel tempo proprio come nella vita reale (ad esempio, le vendite aumentano durante il Black Friday).

La Grande Scoperta: Più Varietà = IA Più Intelligente

La parte più eccitante dell'articolo è ciò che è accaduto quando hanno iniziato ad addestrare un modello chiamato Relational Transformer (RT) sui database generati da PLUREL.

I ricercatori hanno testato due cose:

Dimensione: Quanti dati ha visto il modello? (Numero totale di token, o "parole" di dati).
Diversità: Quanti diversi database falsi ha visto il modello? (Il numero di "mondi" unici).

Hanno scoperto un pattern bellissimo e prevedibile: Più la diversità dei dati di addestramento, più il modello diventava bravo.

Immagina di imparare una lingua. Se leggi 10.000 pagine dello stesso libro, memorizzerai quel libro alla perfezione ma non saprai come parlare con uno sconosciuto. Ma se leggi 10.000 pagine distribuite su 1.000 libri diversi (generi diversi, autori diversi, stili diversi), imparerai le regole della lingua. PLUREL ha dimostrato che quando l'IA vedeva più database unici (aumentando la diversità), la sua capacità di prevedere cose su dati reali migliorava secondo una curva fluida e prevedibile. Questa è una "legge di potenza" (power law), il che significa che il miglioramento segue una regola matematica costante piuttosto che essere casuale.

Funziona Nella Vita Reale?

Il test finale era: "Questo addestramento finto può aiutare con problemi reali?"

I ricercatori hanno preso la loro IA, che era stata addestrata su miliardi di token di dati falsi di PLUREL, e le hanno dato una rapida "scuola superiore" su una piccola quantità di dati reali (da un benchmark chiamato RelBench). I risultati sono stati impressionanti:

L'approccio Ibrido ha vinto: Un'IA che ha imparato sui dati falsi di PLUREL e poi è stata perfezionata (fine-tuning) sui dati reali ha ottenuto prestazioni significativamente migliori rispetto a un'IA che ha imparato solo su dati reali.
I Guadagni: In media, questo approccio "Sintetico + Reale" ha migliorato l'accuratezza del modello del 1,2% per i compiti di classificazione (come indovinare se un utente abbandonerà il servizio) e del 3,0% per i compiti di regressione (come prevedere un numero di vendite).
I Picchi: In alcuni compiti specifici, il miglioramento è stato enorme, con un incremento fino al 7,4% nella previsione del coinvolgimento degli utenti e del 5,2% nel valore del tempo di vita del cliente (customer lifetime value).

Tuttavia, l'articolo nota con cautela che i dati sintetici da soli non sono una bacchetta magica. Se avessero provato a usare solo i dati falsi senza mai vedere dati reali, il modello avrebbe incontrato difficoltà. I dati falsi sono ottimi per imparare le regole generali, ma i dati reali sono necessari per allinearsi alle specifiche peculiarità del mondo reale.

Cosa Significa Questo

PLUREL suggerisce che non abbiamo bisogno di aspettare che le aziende condividano i loro segreti dati privati per costruire un'IA migliore. Inveve, possiamo costruire le nostre "palestre di addestramento" usando dati sintetici. Generando migliaia di database falsi diversi e matematicamente solidi, possiamo insegnare ai modelli di IA le regole fondamentali di come i dati si connettono. Ciò consente ai modelli di generalizzare — ovvero, possono prendere ciò che hanno imparato nel mondo finto e applicarlo con successo al mondo reale, che è disordinato.

L'articolo conclude che questa è una nuova strada promettente. Non si tratta solo di creare più dati; si tratta di creare dati migliori e più vari. Sbloccando la capacità di scalare la diversità dei dati di addestramento, PLUREL ci aiuta a costruire Modelli Fondamentali Relazionali che sono pronti ad affrontare le complesse sfide dei dati interconnessi del futuro, mantenendo al contempo al sicuro la privacy del mondo reale.

Riepilogo Tecnico: PLUREL – I dati sintetici sbloccano le leggi di scala per i modelli fondativi relazionali

1. Definizione del problema

I Modelli Fondativi Relazionali (RFM) mirano a facilitare il processo decisionale basato sui dati apprendendo da database multi-tabella complessi. Mentre i Modelli Fondativi (FM) per testo, immagini e video hanno ottenuto un successo straordinario attraverso il pre-addestramento su larga scala, gli RFM affrontano un collo di bottiglia critico: la scarsità di database relazionali diversificati e pubblici. I dati aziendali reali sono tipicamente inaccessibili a causa dei vincoli di privacy e della riservatezza commerciale.

I metodi esistenti di generazione di dati sintetici per i dati tabulari si concentrano principalmente sulla generazione di tabelle singole utilizzando Modelli Causali Strutturali (SCM). Tuttavia, questi approcci non riescono a catturare le complessità essenziali dei database relazionali, specificamente la connettività tra chiave primaria e chiave esterna (P→F) tra le righe di tabelle diverse. Questa connettività determina la località dell'informazione e modella le distribuzioni congiunte dei dati che gli RFM devono apprendere. Inoltre, le tecniche di generazione di dati relazionali esistenti (ad esempio, GAN o modelli di diffusione) spesso si affidano a esempi reali esistenti per riprodurre le proprietà statistiche, piuttosto che generare nuovi schemi e strutture partendo da zero. Di conseguenza, gli attuali RFM vengono addestrati su dataset limitati e non diversificati (ad esempio, solo pochi database da RelBench), ostacolando la realizzazione delle leggi di scala e della generalizzazione robusta.

2. Metodologia: Il framework PLUREL

Gli autori introducono PLUREL, un framework leggero progettato per sintetizzare database relazionali multi-tabella partendo da zero. PLUREL opera attraverso tre distinti stadi di astrazione per modellare le proprietà strutturali e statistiche dei dati relazionali:

Stadio 1: Generazione dello schema tramite grafi diretti

Lo schema del database è modellato come un grafo aciclico diretto (DAG), $G$ , dove i nodi rappresentano le tabelle e gli archi diretti rappresentano la connettività inter-tabella.

Campionamento del grafo: $G$ è campionato da una famiglia di DAG casuali, inclusi Barabasi-Albert (per modellare tabelle hub), Reverse Random-Tree (per modellare gerarchie rigide) e Watts-Strogatz (per modellare il clustering locale).
Classificazione delle tabelle: Le tabelle sono partizionate in tabelle di entità (nodi con out-degree $\ge 1$ ) e tabelle di attività (i nodi rimanenti).
Metadati: Il numero di righe e di colonne di feature per ogni tabella è campionato indipendentemente da distribuzioni specifiche. Un ordinamento topologico di $G$ detta la sequenza di generazione, garantendo che le tabelle genitore siano sintetizzate prima delle loro figlie.

Stadio 2: Generazione delle chiavi esterne tramite grafi bipartiti

Questa fase popola le colonne delle chiavi esterne modellando la connettività a livello di riga tra le tabelle genitore e figlie.

Clustering gerarchico: Le righe sia nella tabella genitore ( $\tilde{T}$ ) che nella tabella figlia ( $T$ ) sono raggruppate in una gerarchia di blocchi utilizzando un Modello a Blocchi Stocastici Gerarchico (HSBM).
Probabilità di connettività: Una matrice di probabilità per livello $P^{[l]}$ determina la probabilità che una riga in $\tilde{T}$ si colleghi a una riga in $T$ . Ciò consente pattern di connettività flessibili, che vanno dalla distribuzione uniforme ai cluster altamente localizzati, imitando le relazioni gerarchiche dei dati reali.

Stadio 3: Generazione delle feature tramite Modelli Causali Strutturali (SCM)

Una volta stabiliti lo schema e la connettività, i valori delle celle vengono generati utilizzando gli SCM.

Grafi causali: Ogni tabella è associata a un SCM definito da un grafo causale $C_T$ . I nodi rappresentano le variabili e gli archi codificano le relazioni di causa-effetto.
Generazione condizionale: I valori delle feature vengono generati propagando i valori attraverso il grafo causale. Per le tabelle con chiavi esterne, il meccanismo SCM incorpora i nodi delle feature dalle tabelle genitorie, permettendo alle righe figlie di dipendere da specifiche righe genitorie.
Pattern temporali: Per catturare le correlazioni temporali, gli input esogeni per i nodi sorgente sono modellati come una combinazione di componenti di trend (legge di potenza), ciclo (sinusoidale) e fluttuazione (rumore Gaussiano). Ciò evita l'assunzione irrealistica che le righe che condividono chiavi esterne siano indipendenti e identicamente distribuite (i.i.d.).
Tipi di dati: Il framework supporta feature numeriche e categoriche, con meccanismi per proiettare e ricostruire i valori in spazi latenti condivisi utilizzando Percettri Multistrato (MLP).

3. Contributi chiave

Un nuovo framework di dati sintetici: PLUREL è il primo framework in grado di sintetizzare database relazionali multi-tabella partendo da zero, modellando esplicitamente la struttura dello schema, la connettività tra chiave primaria e chiave esterna e le distribuzioni condizionali delle feature.
Scoperta delle leggi di scala per gli RFM: Rimuovendo i colli di bottiglia dei dati, gli autori conducono la prima analisi di scaling per gli RFM su due assi: diversità (numero di database sintetici, $N$ ) e dimensione (totale di token di pre-addestramento, $S$ ).
Validazione della scalabilità della legge di potenza: Lo studio dimostra che la perdita di pre-addestramento (pretraining loss) mostra una dipendenza di tipo power-law sia rispetto a $N$ che rispetto a $S$ , a condizione che nessuno dei due assi agisca da collo di bottiglia.
Generalizzazione migliorata: Lo studio mostra che il pre-addestramento sintetico migliora la generalizzazione zero-shot su database del mondo reale e funge da solida base per il successivo pre-addestramento continuo su dati reali.

4. Risultati sperimentali

Gli autori pre-addestrano un Relational Transformer (RT) su miliardi di token generati da PLUREL e ne valutano le prestazioni sul benchmark RelBench (6 dataset reali, 18 task).

Leggi di scala (Scaling Laws):
- Scaling della perdita: La validation loss segue una legge di potenza rispetto al numero di database sintetici ( $N$ ) e alla dimensione del dataset ( $S$ ).
- Interazione tra gli assi: Scalare $N$ con un $S$ fisso porta al sottoutilizzo (underfitting), mentre scalare $S$ con un $N$ fisso porta al sovrautilizzo (overfitting). L'ottimale richiede di scalare entrambi gli assi in tandem.
Generalizzazione Zero-Shot:
- I modelli pre-addestrati su dataset sintetici più grandi e diversificati mostrano prestazioni zero-shot migliori su task del mondo reale non visti, rispetto a modelli addestrati su set sintetici più piccoli o solo su dati reali.
Pre-addestramento continuo (Continued Pretraining):
- Sintetico + Reale: Il pre-addestramento su PLUREL seguito dal pre-addestramento continuo su dati reali produce i risultati migliori.
- Guadagni di performance: Questo approccio ottiene un guadagno assoluto medio di +1,2% in AUROC (classificazione) e +3,0% in R² (regressione) rispetto ai modelli addestrati solo su dati reali.
- Miglioramenti specifici per task: Si osservano guadagni significativi nei task di regressione (ad esempio, +5,2% su item-LTV) e nei task di classificazione guidati dal comportamento (ad esempio, +7,4% su user-engage).
- Limitazioni: Il pre-addestramento "solo sintetico" è generalmente inferiore rispetto a quello "solo reale" o "sintetico + reale", indicando che, sebbene i dati sintetici forniscano una base forte, il pre-addestramento continuo su dati reali è critico per l'allineamento della distribuzione, specialmente per task che richiedono semantiche di colonna specifiche.

5. Significatività e affermazioni

Il paper posiziona PLUREL come un cambio di paradigma per lo sviluppo dei Modelli Fondativi Relazionali. La sua importanza primaria risiede nello sbloccare la scalabilità dei dati per gli RFM, un campo precedentemente limitato dalla mancanza di dati relazionali pubblici e diversificati.

Sviluppo preservante la privacy: PLUREL consente la creazione di database relazionali illimitati e diversificati senza fare affidamento su dati reali sensibili, affrontando le barriere della privacy e della riservatezza.
Fondamenta per le leggi di scala: Il lavoro stabilisce che gli RFM, proprio come i modelli di linguaggio e visione, seguono leggi di scala in cui le prestazioni migliorano in modo prevedibile con l'aumento della diversità e della dimensione dei dati.
Pre-addestramento sinergico: I risultati suggeriscono una relazione sinergica in cui il pre-addestramento sintetico agisce come un potente inizializzatore, migliorando la capacità del modello di apprendere dai successivi dati reali, accelerando così lo sviluppo di prossimi RFM per applicazioni aziendali.

Gli autori concludono che, sebbene i dati sintetici da soli non siano sufficienti per un robusto trasferimento zero-shot a causa della mancanza di specifiche semantiche delle colonne, essi sono un componente necessario e potente per costruire modelli fondativi relazionali scalabili e generalizzabili.