Autoregressive Synthesis of Sparse and Semi-Structured Mixed-Type Data

Il paper presenta Origami, un'architettura autoregressiva basata su transformer che genera nativamente dati sintetici di alta qualità per formati semi-strutturati e sparsi come JSON, superando i limiti dei metodi esistenti che richiedono l'appiattimento dei dati.

L'essenziale

Immagina di dover creare un nuovo set di dati per testare un software o per addestrare un'intelligenza artificiale, ma senza rivelare i dati reali delle persone (per privacy). È come dover ricreare un'intera libreria di libri, scrivendo nuove storie che sembrano vere, ma che in realtà sono inventate.

Fino a poco tempo fa, gli strumenti per fare questo erano come stampanti 3D molto rigide: funzionavano benissimo se i dati erano organizzati in tabelle perfette, come un foglio Excel (righe e colonne fisse). Ma il mondo reale dei dati oggi è molto più caotico: i dati sono spesso "semi-strutturati", come i file JSON usati dalle app moderne.

Pensa a un file JSON come a una valigia piena di oggetti diversi:

• Alcuni oggetti sono fissi (il nome, l'età).
• Altri sono scatole dentro scatole (l'indirizzo: via, città, codice postale).
• Altri sono liste di lunghezza variabile (una lista di amici, una lista di recensioni).
• E spesso, alcune tasche della valigia sono vuote perché non tutti hanno quegli oggetti (sparsità).

Il Problema: Il "Trucco" del Piatto

I vecchi metodi per generare dati sintetici non sapevano gestire questa valigia disordinata. Per usarli, dovevano prima schiacciare tutto il contenuto della valigia su un unico tavolo piatto.

• Se avevi una lista di 5 amici, il sistema creava 5 colonne vuote per chi ne aveva solo 1.
• Se un dato mancava, lo riempivano a caso (come dire "non so, metti zero").

Questo processo di "schiacciamento" (chiamato flattening) era come cercare di mettere un puzzle tridimensionale in un foglio di carta: perdeva la struttura, diventava enorme, lento e pieno di buchi. Il risultato finale era spesso una copia brutta e facile da riconoscere come falsa.

La Soluzione: Origami

Gli autori di questo paper hanno creato Origami (un nome che gioca sul fatto che si piega e si adatta, come la carta).

Come funziona Origami?
Invece di schiacciare i dati, Origami impara a parlare la lingua della valigia.

1. Legge come un libro: Trasforma ogni record (ogni "valigia") in una sequenza di parole (token). Non importa se c'è una scatola dentro un'altra scatola; Origami legge: "Apri scatola, leggi nome, chiudi scatola, apri lista, leggi elemento 1...".
2. Non perde la forma: Capisce che alcune cose sono opzionali. Se un utente non ha un numero di telefono, Origami non inventa un numero a caso, ma sa che quella parte della struttura può semplicemente non esserci.
3. È un architetto intelligente: Usa una tecnica speciale (chiamata Key-Value Position Encoding) per capire che l'ordine in cui scrivi le cose non conta (in una valigia, puoi mettere le scarpe prima o dopo i vestiti, è lo stesso). Questo impedisce al sistema di imparare "a memoria" l'ordine sbagliato e lo costringe a capire le vere relazioni tra i dati.

Perché è così speciale?

Immagina di dover copiare un quadro di un maestro.

• I vecchi metodi (GAN, Diffusion) provavano a copiare i colori e le forme, ma se il quadro aveva dettagli complessi e irregolari, finivano per fare un pasticcio o si bloccavano.
• Origami invece studia la tecnica del pennello e la struttura del quadro. Riesce a ricreare quadri con dettagli complessi (liste lunghe, oggetti annidati, dati mancanti) che sembrano indistinguibili dall'originale.

I Risultati

Gli autori hanno fatto delle prove su dati reali, inclusi:

• Dati medici complessi (milioni di diagnosi).
• Recensioni di ristoranti (con orari, categorie, recensioni variabili).
• Dati su veicoli elettrici (con molte caratteristiche opzionali).

In tutti questi casi, Origami ha vinto:

1. Qualità: I dati creati sono così realistici che nemmeno un computer esperto riesce a dire se sono veri o finti.
2. Privacy: Non copia i dati originali (non "memorizza" i nomi delle persone), ma ne impara solo lo stile.
3. Efficienza: Funziona anche quando i dati sono molto "sparsi" (pieni di buchi), dove gli altri metodi falliscono o richiedono computer enormi.

In sintesi

Origami è come un chef che non segue una ricetta rigida. Se gli dai gli ingredienti (i dati reali), capisce come sono organizzati, quali sono opzionali e quali vanno insieme, e prepara un nuovo piatto (dati sintetici) che ha lo stesso sapore e la stessa consistenza, senza mai aver usato gli ingredienti originali. È il primo sistema capace di gestire la complessità del mondo reale dei dati moderni senza doverli "schiacciare" in una forma che non gli appartiene.

Sommario tecnico

1. Il Problema

La generazione di dati sintetici è fondamentale per la condivisione dei dati, la conformità alla privacy, il testing dei sistemi e il benchmarking. Tuttavia, le metodologie esistenti si basano su un'assunzione limitante: i dati sono organizzati in tabelle dense con schema fisso e tipi omogenei.

Questa assunzione è in conflitto con i moderni sistemi di dati (database documentali, API REST, data lake) che utilizzano formati semi-strutturati e sparsi (come JSON). Questi dati presentano:

• Nesting gerarchico: Oggetti nidificati e array di lunghezza variabile.
• Sparsità strutturale: Chiavi opzionali che possono essere assenti in alcuni record.
• Polimorfismo dei tipi: La stessa chiave può contenere tipi di dati diversi (es. un intero in un record e una stringa in un altro).

Applicare i metodi tabulari esistenti a questi dati richiede una fase di "appiattimento" (flattening) che converte la struttura nidificata in tabelle larghe e sparse. Questo processo:

1. Distrugge le proprietà strutturali e gerarchiche dei dati.
2. Porta a un'esplosione del numero di colonne (centinaia o migliaia).
3. Richiede imputazione o eliminazione di dati, degradando la qualità.
4. Causa problemi di scalabilità e memoria per molti modelli (GAN, VAE, Diffusion).

2. Metodologia: Origami

Gli autori presentano Origami (Object Representa-Ition via Generative Autoregressive ModelIng), un'architettura basata su Transformer autoregressivi progettata per generare dati semi-strutturati end-to-end senza appiattimento.

Componenti Chiave dell'Architettura:

• Tokenizzazione Nativa: I record JSON vengono serializzati in sequenze di token tramite una traversata in profondità (DFS). Il vocabolario include:
  • Token strutturali (obj_start, arr_end, ecc.) per delimitare oggetti e array.
  • Token chiave (ogni chiave distinta).
  • Token valore (valori categorici, stringhe, booleani).
  • Un token speciale num per i valori numerici ad alta cardinalità.
• Key-Value Position Encoding (KVPE): Invece di usare indici posizionali sequenziali (che imporrebbero un ordine arbitrario tra chiavi sibling), KVPE codifica la posizione strutturale nel tree del documento. Questo rende il modello invariante all'ordine delle chiavi.
• Shuffling delle Chiavi: Durante l'addestramento, l'ordine delle chiavi a ogni livello di nidificazione viene mescolato casualmente. Questo agisce come regolarizzazione, costringendo il modello a imparare le relazioni causali reali invece di memorizzare un ordine canonico.
• Architettura Dual-Head:
  • Testa Discreta: Predice i token strutturali, le chiavi e i valori categorici tramite next-token prediction.
  • Testa Continua (Mixture of Gaussians - MoG): I valori numerici ad alta cardinalità non vengono discretizzati. Vengono modellati come una miscela di Gaussiane, permettendo di catturare distribuzioni complesse e multimodali mantenendo la precisione numerica.
• Vincoli di Grammatica e Schema:
  • Un Automata a Pila (PDA) garantisce che l'output sia JSON sintatticamente valido.
  • Uno Schema JSON derivato dai dati di addestramento viene compilato in una maschera che vincola i token possibili a ogni passo, assicurando che i tipi, le chiavi obbligatorie e i limiti degli array rispettino lo schema appreso.
• Post-Processing: I valori numerici generati vengono clipati ai limiti osservati e arrotondati o adattati agli enum per garantire la conformità al dominio originale.

3. Contributi Chiave

1. Prima Architettura End-to-End: Origami è il primo modello capace di sintetizzare dati semi-strutturati nativamente, gestendo nesting, array variabili, sparsità e polimorfismo senza imputazione.
2. KVPE e Shuffling: Introduzione di un meccanismo di encoding posizionale invariante all'ordine e una strategia di augmentazione dati che previene la memorizzazione e migliora la generalizzazione.
3. Metodologia di Valutazione: Sviluppo di una pipeline di "appiattimento" e separazione dei tipi per confrontare equamente Origami con i baselines tabulari, estendendo le metriche standard per gestire la sparsità strutturale e il polimorfismo.
4. Risultati SOTA: Dimostrazione che Origami supera i baselines (GAN, VAE, Diffusion, Autoregressivi) su fedeltà, utilità e rilevamento, specialmente su dataset sparsi e su larga scala.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 5 dataset: due benchmark tabulari densi (Adult, Diabetes) e tre dataset semi-strutturati (Electric Vehicles, Yelp, DDXPlus con oltre 1 milione di record e sparsità fino al 38%).

• Fedeltà e Utilità: Origami ottiene i punteggi più alti su quasi tutti i dataset. Su dataset densi, è competitivo con lo stato dell'arte; su dataset sparsi, i baselines falliscono o degradano drasticamente (es. TabDiff scende da 0.986 a 0.799 su DDXPlus).
• Rilevamento (Detection): Origami è il più difficile da distinguere dai dati reali. I baselines su dati sparsi producono output facilmente rilevabili (ROC AUC vicino a 1.0), mentre Origami mantiene un AUC vicino a 0.5 (casuale).
• Privacy: Origami mantiene punteggi di privacy elevati (>0.97) e un basso tasso di memorizzazione (DCR vicino al 50%), dimostrando di non copiare i record di addestramento.
• Efficienza: Nonostante l'uso di Transformer, Origami è il modello più piccolo (1.7M parametri) e più veloce da addestrare rispetto a REaLTabFormer (59.4M) e TabDiff, che spesso superano i limiti di memoria o tempo su dataset grandi.
• Ablazione: L'uso dello shuffling delle chiavi e del KVPE è cruciale: senza shuffling, il modello tende a memorizzare i dati (DCR alto) e perde utilità, pur avendo una fedeltà leggermente superiore.

5. Significato e Implicazioni

Il lavoro di Origami segna un cambio di paradigma nella generazione di dati sintetici:

• Superamento del paradigma "Flatten-then-Synthesize": Dimostra che l'appiattimento è dannoso per dati semi-strutturati e che l'elaborazione nativa della struttura è superiore.
• Scalabilità: Offre una soluzione praticabile per la generazione di dati su larga scala in ambienti moderni (NoSQL, API), dove i dati sono intrinsecamente sparsi e gerarchici.
• Versatilità: Oltre alla generazione, l'architettura autoregressiva permette stime di densità, campionamento condizionale, imputazione e rilevamento di outlier.
• Disponibilità: Il codice è open-source (licenza MIT) e disponibile come pacchetto Python (origami-ml), rendendo la tecnologia accessibile alla comunità.

In sintesi, Origami risolve il problema fondamentale di generare dati sintetici di alta qualità per l'era dei dati semi-strutturati, superando i limiti delle tecniche tabulari tradizionali sia in termini di qualità dei dati generati che di efficienza computazionale.