📊 statistics

Missing Data Imputation under Manifold Hypothesis

Questo articolo propone un metodo di imputazione dei dati mancanti basato su modelli che sfrutta variational autoencoders a miscela e la diffusione nello spazio latente per campionare dalla distribuzione condizionata dei valori mancanti, rispettando così la geometria della varietà sottostante dei dati e fornendo al contempo quantificazione dell'incertezza e un'imputazione efficiente on-the-fly.

Autori originali: Zelong Bi, Amuchechukwu Ibenegbu

Pubblicato 2026-07-20

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zelong Bi, Amuchechukwu Ibenegbu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di stare cercando di finire un mosaico gigante e intricato, ma qualcuno ha rimosso centinaia di minuscole tessere. Riesci a vedere i pezzi circostanti e sai che l'immagine dovrebbe essere un paesaggio fluido e armonioso, non un ammasso disordinato di colori casuali. Questa è la lotta quotidiana dei data scientist che si trovano ad affrontare i "dati mancanti". Nel mondo reale, i sensori si rompono, i sondaggi vengono saltati e i record vanno perduti, lasciando buchi nelle nostre mappe digitali. Per decenni, il modo standard per colmare questi vuoti è stato indovinare basandosi su ciò che si trova nelle vicinanze, come un vicino che riempie una parete vuota con i mattoni rimasti nel vialetto. Ma cosa succede se la parete non è piatta? E se l'immagine fosse in realtà una scultura curva e contorta, come la pista di un ottovolante o un nastro intrecciato? Se provi a colmare le lacune su una pista curva usando ipotesi basate su linee rette e piatte, finirai con un pezzo che sembra decente da vicino, ma che cade via dalla pista quando fai un passo indietro.

Questo articolo esplora un angolo specifico della matematica chiamato "ipotesi del manifold". Pensa a questo come all'idea che, anche se i nostri dati possono sembrare una nuvola caotica di punti in una stanza enorme e ad alta dimensionalità (immagina una stanza con centinaia di direzioni in cui puoi muoverti), i punti vivono in realtà su una superficie molto più piccola e liscia nascosta all'interno di quella stanza. È come rendersi conto che tutte le formiche in un mucchio caotico stanno in realtà marciando in una singola linea sinuosa su un foglio di carta. Il documento utilizza anche i "Variational Autoencoders" (VAE), che sono come telecamere intelligenti e flessibili capaci di apprendere come trasformare un oggetto 3D complesso in un semplice disegno 2D e poi ricostruire perfettamente l'oggetto 3D partendo da quel disegno. La grande domanda è: se perdiamo alcune parti di un oggetto 3D, possiamo usare quel disegno 2D per capire esattamente come dovrebbero apparire i pezzi mancanti, rispettando la curva della pista invece di limitarci a indovinare?

Gli autori, Zelong Bi e Amuchechukwu Ibenegbu, propongono un nuovo modo per riparare questi mosaici rotti, trattando i dati come una superficie curva piuttosto che come un foglio piatto. Sostengono che i metodi più popolari attualmente in uso, come uno strumento chiamato MissForest, sono bravi a trovare schemi ma spesso falliscono nel rispettare la "geometria" dei dati. Per visualizzare questo, immagina che MissForest cerchi di colmare un punto mancante su un cerchio disegnando una linea retta attraverso il vuoto; il risultato potrebbe essere matematicamente vicino ai vicini, ma rompe il cerchio. Il metodo degli autori, invece, comprende che i dati vivono su una curva, quindi colma la lacuna seguendo l'arco, mantenendo intatta la forma.

Per fare ciò, utilizzano un trucco magico in due fasi. Prima, utilizzano un "Mixture di VAE" per apprendere la forma della superficie nascosta. Immagina questo come avere un team di artisti, ognuno responsabile di una diversa sezione della curva (come un artista per la cima della collina, un altro per la base). Mappano i dati disordinati e ad alta dimensionalità in uno spazio "latente" semplice e a bassa dimensionalità, dove le curve sono facili da vedere. Poi, quando un pezzo è mancante, non si limitano a indovinare; utilizzano una procedura statistica chiamata "Sampling-Importance-Resampling" (SIR). Pensa a SIR come a un gioco di "passa la patata bollente" in cui generano migliaia di possibili ipotesi per il pezzo mancante, ma tengono solo quelle che si adattano perfettamente alle parti note della curva, scartando quelle che sembrano strane o fuori posto. Questo permette loro di non fornire solo una risposta, ma di mostrare un intervallo di possibili risposte, quantificando efficacemente quanto sono incerti sulla compilazione.

Ma non si sono fermati qui. Si sono resi conto che a volte gli artisti (i VAE) non hanno abbastanza esempi per apprendere ogni torsione e curva della superficie perfettamente. Così, hanno aggiunto un "processo di diffusione congiunta". Immagina questo come una nebbia magica che si dirada lentamente. Parti da un ipotetico pezzo mancante e dalla forma della curva completamente sfocati e rumorosi, e il modello "denoisa" (riduce il rumore) lentamente, affinando l'ipotesi passo dopo passo finché non si incastra in un adattamento nitido e perfetto che rispetta sia i dettagli locali che la forma globale. Questo avviene nello spazio a bassa dimensionalità, rendendo il processo molto più veloce ed efficiente rispetto al tentativo di pulire il rumore nella stanza enorme e ad alta dimensionalità.

I risultati dei loro esperimenti sono piuttosto convincenti. Quando hanno testato il loro metodo su dati sintetici con la forma di cerchi, sfere e ciambelle (torus), il loro approccio ha prodotto imputazioni molto migliori nel preservare la vera forma dei dati rispetto ai metodi principali. Mentre il metodo standard (MissForest) a volte otteneva un "punteggio di errore" (RMSE) più basso semplicemente indovinando numeri vicini ai vicini, spesso rompeva la forma geometrica. Il metodo degli autori, tuttavia, ha ottenuto la "distanza di Wasserstein" più bassa, un modo elaborato per dire che la forma complessiva e la distribuzione dei loro dati completati somigliavano molto di più all'originale immagine integra.

Su dataset del mondo reale, come i record dei superconduttori (materiali che conducono elettricità con resistenza zero) e il consumo di energia, gli autori hanno scoperto che il loro metodo è un forte concorrente. Ha performato quasi quanto MissForest quando i dati erano mancanti in modo casuale, ma ha brillato quando i dati mancanti erano complicati o quando una grande quantità di essi era assente. In questi scenari difficili, il loro metodo è rimasto robusto, mentre gli altri hanno iniziato a crollare. Ad esempio, sul dataset della superconduttività, il loro metodo ha mantenuto i tassi di errore più bassi anche quando la mancanza di dati non era casuale, suggerendo che comprendere la geometria sottostante aiuta il modello a indovinare correttamente anche quando i dati si stanno "nascondendo" in modo non casuale.

Tuttavia, l'articolo nota con cura che questo non è un bacchetta magica per ogni problema. Il metodo si basa fortemente sull'assunzione che i dati seguano effettivamente una curva fluida e a bassa dimensionalità (l'ipotesi del manifold). Se i dati sono solo rumore casuale o non hanno una forma chiara, il metodo potrebbe faticare. Hanno anche scoperto che su un dataset piccolo come i dati sulla qualità del vino, il metodo non è stato altrettanto efficace, probabilmente perché non c'erano abbastanza dati per insegnare agli artisti come disegnare la curva. In quei casi, metodi più semplici che guardano solo ai vicini più prossimi funzionavano meglio.

In definitiva, questo articolo suggerisce che combinando la comprensione geometrica dell'apprendimento del manifold con il potere generativo dei modelli di diffusione, possiamo colmare i dati mancanti in un modo che sembra "giusto" per la forma dell'universo da cui i dati provengono. È un passaggio dal semplice tappare i buchi con il mattone più vicino al scolpire il pezzo mancante in modo che si adatti perfettamente alla curva della parete. Sebbene richieda più potenza di calcolo e un tipo specifico di struttura dei dati per funzionare, offre una strada promettente verso un recupero dei dati più accurato e affidabile, specialmente in campi dove la forma dei dati conta tanto quanto i numeri stessi.

Riepilogo Tecnico: Imputazione di Dati Mancanti Sotto l'Ipotesi del Manifold

Definizione del Problema

L'imputazione di dati mancanti mira a stimare e sostituire sistematicamente i valori mancanti in un dataset. Mentre l'ipotesi del manifold (ipotesi della varietà) postula che i dati ad alta dimensione si concentrino vicino a un manifold incapsulato a bassa dimensione, i metodi di imputazione mainstream hanno ampiamente fallito nel sfruttare questa struttura geometrica. Gli attuali metodi allo stato dell'arte, come MissForest, spesso non riescono a rispettare la geometria sottostante quando essa esiste, portando a imputazioni che possono essere accuratamente puntuali (basso RMSE) ma geometricamente incoerenti con la distribuzione dei dati. Inoltre, molti approcci attuali sono transduttivi, il che significa che ottimizzano le imputazioni per un dataset specifico senza apprendere un modello riutilizzabile, rendendoli inefficienti per la gestione di nuovi dati o per l'imputazione online.

Metodologia

Il framework proposto affronta queste limitazioni combinando l'apprendimento del manifold con il campionamento probabilistico e i modelli di diffusione. La metodologia procede in tre fasi principali:

1. Apprendimento del Manifold tramite Mixture VAE

L'approccio assume che i dati giacciano su un manifold a bassa dimensione di dimensione intrinseca $d \ll p$ . Per catturare questa struttura, gli autori utilizzano una miscela di Autoencoder Variazionali (VAE). In questa formulazione:

Il manifold è coperto da molteplici "chart" (mappe) sovrapposte.
Ogni chart $c \in \{1, \dots, C\}$ è associata a un sistema di coordinate locali $z \in \mathbb{R}^d$ .
Il modello apprende un encoder $E_c$ e un decoder $D_c$ per ogni chart, approssimando le distribuzioni condizionali $p(z|x, c)$ e $p(x|z, c)$ come Gaussiane.
Questa formulazione multi-chart permette al modello di recuperare fedelmente la geometria sottostante, cosa che i VAE a singola chart spesso non riescono a fare.

2. Imputazione tramite Sampling-Importance-Resampling (SIR)

Il compito centrale dell'imputazione è campionare dalla distribuzione condizionale $p(x_{mis} | x_{obs})$ . Poiché la distribuzione congiunta a posteriori $p(z, c | x_{obs})$ è intrattabile, gli autori impiegano una procedura di Sampling-Importance-Resampling (SIR):

Campionamento (Sampling): Campioni latenti congiunti $(z_k, c_k)$ vengono estratti dai dati di addestramento utilizzando il modello del manifold appreso.
Pesatura (Weighting): Per un vettore osservato $x_{obs}$ specifico, i pesi sono calcolati come $w_k = p(x_{obs} | z_k, c_k)$ .
Ricampionamento (Resampling): Una nuova coppia latente $(z^*, c^*)$ viene campionata dall'insieme delle coppie di addestramento secondo i pesi normalizzati.
Generazione (Generation): I valori mancanti sono generati campionando da $p(x_{mis} | z^*, c^*)$ , che è Gaussiana grazie alla struttura del modello.
Questo processo produce un'imputazione induttiva basata sul modello che rispetta sia i vincoli geometrici che quelli distribuzionali e consente la quantificazione dell'incertezza.

3. Processo di Diffusione Latente Congiunto

Per superare il limite di essere vincolati dal supporto dei campioni di addestramento osservati, gli autori introducono un processo di diffusione congiunto nello spazio latente $(z, c)$ .

Processo Forward: Il rumore viene aggiunto indipendentemente alle coordinate latenti continue $z_t$ e alle etichette delle chart discrete $c_t$ .
Processo Reverse: Una rete neurale viene addestrata per predire le variabili latenti pulite $(z_0, c_0)$ dallo stato rumoroso $(z_t, c_t)$ e dal passo temporale $t$ .
Campionamento (Sampling): Il processo inverso permette di generare campioni latenti di alta qualità a una scala arbitraria, che vengono poi decodificati per produrre le imputazioni. Ciò migliora la qualità dell'imputazione, in particolare nelle regioni dello spazio dei dati non densamente coperte dal set di addestramento originale.

Contributi Chiave

Imputazione Basata sul Modello tramite SIR: Gli autori propongono una procedura che campiona direttamente da $p(x_{mis} | x_{obs})$ utilizzando SIR, sfruttando le strutture del manifold apprese. Questo approccio è induttivo, supporta l'imputazione "on-the-fly" senza necessità di riaddestramento e fornisce la quantificazione dell'incertezza.
Diffusione Latente Congiunta: È sviluppato un nuovo processo di diffusione congiunta per lo spazio latente che aggiorna simultaneamente le coordinate continue e le etichette di appartenenza alle chart discrete. Ciò migliora la generazione di campioni di alta qualità che preservano la geometria e la distribuzione sottostante.
Performance Consapevole della Geometria: Il metodo è progettato per rispettare la geometria intrinseca dei dati, affrontando il fallimento dei metodi tradizionali nel mantenere la coerenza strutturale.

Risultati Sperimentali

Il metodo proposto è stato valutato su dataset sintetici (cerchi, sfere, tori) e sei dataset reali (superconduttività, energia, finanza, centrale elettrica, vino, espressione facciale) sotto meccanismi di dati mancanti completamente casuali (MCAR), casuali (MAR) e non completamente casuali (MNAR).

Metriche: La valutazione ha utilizzato l'Errore Quadratico Medio (RMSE) e la distanza di Wasserstein. Gli autori notano che mentre l'RMSE misura l'accuratezza puntuale, la distanza di Wasserstein cattura meglio l'allineamento con la geometria e la distribuzione sottostante.
Dati Sintetici: Il metodo proposto ha ottenuto la distanza di Wasserstein più bassa su tutti i dataset sintetici, indicando una superiore preservazione della struttura geometrica rispetto ai baseline come MissForest, MICE e GAIN.
Dati Reali:
- Il metodo ha ottenuto prestazioni competitive con MissForest, superandolo spesso all'aumentare dei tassi di mancanza o in presenza di meccanismi di mancanza complessi (MAR/MNAR).
- Sul dataset della superconduttività, il metodo ha dimostrato robustezza, mantenendo l'RMSE medio e la distanza di Wasserstein più bassi attraverso i meccanismi di mancanza.
- Nei compiti di predizione a valle (regressione lineare sui dati di superconduttività), il metodo proposto ha ottenuto la migliore performance predittiva in contesti MNAR e la seconda migliore in contesti MCAR/MAR.
- Il metodo ha mostrato limitazioni sul dataset del vino (piccola dimensione del campione), dove KNN ha performato meglio, suggerendo che un apprendimento del manifold affidabile richiede casi completamente osservati sufficienti.

Significato e Rivendicazioni

L'articolo sostiene che la sua importanza primaria risieda nel colmare il divario tra l'apprendimento del manifold e l'imputazione dei dati mancanti. Trattando l'imputazione come un problema di campionamento da una struttura geometrica appresa, il metodo fornisce un modo sistematico per riempire i valori mancanti che siano coerenti con il manifold intrinseco dei dati.

Gli autori sottolineano che il loro approccio è induttivo, consentendo l'imputazione di nuovi punti dati senza dover riottimizzare l'intera procedura, un vantaggio distinto rispetto ai metodi transduttivi. Inoltre, la natura probabilistica del campionamento consente la quantificazione dell'incertezza delle imputazioni, una caratteristica spesso assente nei metodi deterministici.

Il documento riconosce con modestia alcuni limiti: il metodo si basa sull'assunzione che i dati soddisfino l'ipotesi del manifold, il che può essere difficile da verificare nella pratica. Inoltre, a causa della dipendenza da strutture lisce, il metodo è principalmente adatto a variabili continue e potrebbe non essere direttamente applicabile a dati discreti senza modifiche. Infine, gli autori osservano che lo sviluppo di metriche che catturino simultaneamente la fedeltà geometrica e la coerenza distributiva rimane una direzione aperta per il lavoro futuro.