Statistical Embeddings for Similarity, Retrieval, and Interpretable Alignment of Numeric Tabular Datasets

Riepilogo Tecnico: Embedding Statistici per la Similarità, il Recupero e l'Allineamento Interpretabile di Dataset Tabulari Numerici

Enunciato del Problema
I dataset tabulari numerici sono il formato dati dominante nella pratica scientifica, tuttavia organizzare e confrontarli attraverso spazi di caratteristiche eterogenei rimane una sfida significativa. Gli strumenti esistenti di ricerca di dataset si basano tipicamente sul matching degli schemi (nomi di variabili condivisi) o producono riepiloghi leggibili dall'uomo che mancano delle rappresentazioni vettoriali necessarie per i sistemi di recupero moderni. I Large Language Models (LLM) e i loro spazi di embedding offrono una via per la similarità cross-dominio, ma mancano di meccanismi nativi per rappresentare in modo significativo i dataset numerici senza definizioni di variabili condivise. Gli approcci attuali si concentrano o sulla modellazione predittiva all'interno di un singolo dataset o non riescono a fornire un allineamento interpretabile tra dataset con spazi di caratteristiche disgiunti.

Metodologia
Il framework proposto affronta queste limitazioni attraverso una pipeline a tre stadi: Impronta Digitale Statistica, Embedding Semantico e Allineamento Interpretabile.

1. Impronta Digitale Statistica tramite EDA:
   La metodologia inizia caratterizzando un dataset tabulare numerico $D$ attraverso una pipeline strutturata di Analisi Esplorativa dei Dati (EDA). Questo processo genera un set completo di descrittori senza richiedere l'accesso alle osservazioni grezze al momento del confronto, supportando il recupero che preserva la privacy.

   • Preprocessing: I valori mancanti vengono imputati utilizzando la soglia morbida sulla Decomposizione ai Valori Singoli (SVD) per preservare la struttura del rango.
   • Privacy Differenziale (Opzionale): Per proteggere i dati sensibili, viene aggiunto rumore di Laplace ai descrittori scalari in base alla loro sensibilità globale prima della serializzazione.
   • Calcolo dei Descrittori: La pipeline calcola:
     • Descrittori multivariati: Norme di matrice, quantità spettrali (valori singolari) e importanza delle variabili tramite regressione penalizzata SCAD (Smoothly Clipped Absolute Deviation).
     • Descrittori univariati: Limiti, momenti centrali, quantili, entropia e statistiche robuste (mediana, MAD).
     • Analisi strutturale: Rilevamento dei punti di cambiamento (tramite PELT) per identificare la non stazionarietà e analisi della frequenza tramite FFT.
     • Gestione delle variabili categoriali: Distribuzioni di frequenza e analisi a livello di partizione per le colonne categoriali.
   • Serializzazione: Ogni descrittore numerico è accoppiato a un modello di frase in linguaggio naturale (ad esempio, "La curtosi è 2,4103; la distribuzione è platikurtica..."). I nomi delle variabili o il token "matrice" sono anteposti per fornire contesto, risultando in una collezione ordinata di frasi $S$.

2. Embedding Semantico:
   La collezione di frasi descrittive $S$ viene codificata in uno spazio vettoriale a lunghezza fissa utilizzando un sentence transformer preaddestrato (nello specifico all-MiniLM-L6-v2). Per un dataset $D_i$, ciò produce una matrice di embedding $V_i \in \mathbb{R}^{d_E \times M_i}$, dove $M_i$ è il numero di frasi descrittive. Questo trasforma il dataset in un insieme di vettori compatibili con gli spazi semantici degli LLM.

3. Similarità e Interpretabilità tramite CCA:
   La similarità cross-dataset è quantificata utilizzando l'Analisi delle Correlazioni Canoniche (CCA) tra le matrici di embedding di due dataset.

   • Metrica di Similarità: Il punteggio di similarità $s_{ij}$ è definito come la media delle correlazioni canoniche tra i due spazi di embedding.
   • Recupero e Clustering: Le distanze pairwise ($1 - s_{ij}$) sono utilizzate per costruire una matrice di distanza per il clustering gerarchico (linkage Ward $D^2$) e il recupero per il vicino più prossimo.
   • Allineamento Interpretabile: Per identificare quali descrittori specifici guidano la similarità, viene impiegata una formulazione CCA penalizzata. Imponendo una penalità di norma $\ell_1$ sui vettori di peso canonici, il metodo produce soluzioni sparse. Le voci non nulle in questi vettori sparsi mappano direttamente su specifiche frasi descrittive e quantità a livello di variabile, rivelando le proprietà statistiche responsabili dell'allineamento cross-dataset senza richiedere nomi di variabili condivisi.

Contributi Chiave

• Pipeline EDA Strutturata: Una mappatura formalizzata dai dati tabulari grezzi a una collezione di vettori di embedding tramite descrittori statistici serializzati in frasi, con integrazione opzionale della privacy differenziale.
• Framework di Similarità Cross-Dataset: Un sistema di recupero basato sulla correlazione canonica media che opera efficacemente attraverso dataset con spazi di caratteristiche eterogenei e disgiunti.
• CCA Penalizzata Interpretabile: Una nuova applicazione della decomposizione di matrice penalizzata alla CCA, che produce carichi canonici sparsi che identificano i descrittori statistici specifici che guidano l'allineamento, una capacità assente nella CCA standard.
• Validazione Empirica: Valutazione su 15 dataset che coprono benchmark a scopo generale (UCI), informatica dei materiali e caratterizzazione della grafite di grado nucleare.

Risultati
Il framework è stato valutato su 15 dataset con domini e spazi di caratteristiche variabili.

• Accuratezza del Recupero: Il sistema ha raggiunto un punteggio totale $P@1$ (Precisione al 1) di 0,9 per il recupero del vicino più prossimo. Questa alta accuratezza è stata mantenuta attraverso varie condizioni di embedding, comprese ablazioni solo multivariata e embedding con privacy differenziale con budget di privacy $\epsilon \in \{0,1, 1, 10\}$.
• Robustezza: I risultati del clustering gerarchico hanno dimostrato che la struttura del cluster ampia è rimasta robusta anche sotto alta iniezione di rumore o quando i dettagli univariati sono stati rimossi, sebbene i nomi delle variabili e i valori statistici abbiano migliorato la risoluzione del cluster.
• Interpretabilità: La CCA penalizzata ha recuperato con successo corrispondenze fisicamente significative. Ad esempio, ha allineato gli elementi di lega attraverso dataset che utilizzavano unità diverse (percentuale atomica vs. percentuale in peso) e ha abbinato misure di resistenza meccanica (ad esempio, resistenza alla fatica vs. carico di snervamento) tra dataset di acciaio indipendenti, nonostante l'assenza di nomi di variabili condivisi.

Significato
Il documento sostiene che questo framework fornisce una via principiale per integrare dati numerici eterogenei nelle pipeline di Generazione Aumentata dal Recupero (RAG) preservando il contesto statistico. Convertendo i dati tabulari in embedding fondati statisticamente e semanticamente interpretabili, il metodo abilita:

1. Selezione di Algoritmi Guidata dai Dati: Identificare approcci di modellazione candidati per dataset sconosciuti basandosi sulla loro similarità statistica con dataset catalogati con esiti noti (collegandosi all'apprendimento meta e all'AutoML).
2. Inizializzazione della Simulazione: Informare la selezione di modelli costitutivi o parametri di simulazione basandosi sulle caratteristiche statistiche dei dati di calibrazione empirici.
3. Scoperta che Preserva la Privacy: Abilitare confronti di similarità su dati sensibili senza esporre osservazioni grezze, poiché il confronto si basa esclusivamente su descrittori statistici con privacy differenziale.

Gli autori concludono che le impronte digitali statistiche derivate dall'EDA offrono una base compatta e semanticamente interpretabile per organizzare dati numerici eterogenei all'interno di spazi compatibili con gli LLM, colmando un divario critico nella gestione dei dati scientifici dove le definizioni delle variabili e gli schemi sono spesso incompatibili.