🤖 machine learning

FloDR: An invertible dimensionality reduction method based on a normalising flow

FloDR è un metodo di riduzione della dimensionalità invertibile basato su flussi normalizzanti che preserva l'informazione ad alta dimensione mantenendo le coordinate non utilizzate, consentendo la generazione di visualizzazioni diagnostiche come lo spread condizionale e il contrasto nascosto per quantificare l'affidabilità e la perdita di informazione degli embedding 2D.

Autori originali: Abdallah Baraka, Daniel Probst

Pubblicato 2026-07-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Abdallah Baraka, Daniel Probst

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di far entrare una gigantesca scultura tridimensionale in una fotografia piatta, bidimensionale. Non importa come giri la scultura, alcune parti si sovrapporranno, alcune distanze si allungheranno e alcuni dettagli verranno schiacciati fino a scomparire. Questa è la lotta quotidiana dei data scientist che lavorano con i "dati ad alta dimensionalità". Che si tratti di milioni di pixel in un'immagine, di migliaia di reazioni chimiche o del complesso codice genetico di una singola cellula, queste informazioni vivono in un mondo con centinaia o anche migliaia di direzioni. Per dare un senso a tutto ciò, utilizziamo la "riduzione della dimensionalità" per schiacciare i dati su una mappa piatta che possiamo effettivamente vedere.

Ma ecco il problema: quando schiacci un oggetto 3D in 2D, perdi informazioni. Gli strumenti tradizionali come t-SNE o UMAP sono come fotografi esperti che scattano una bellissima foto, ma che però buttano via i dati sulla "profondità". Una volta scattata la foto, non puoi più sapere se due punti che appaiono vicini siano effettivamente vicini nel mondo reale, o se siano solo finiti uno sopra l'altro per caso. Inoltre, non puoi sapere quanto della forma originale dell'oggetto sia nascosto dietro la superficie piatta. Gli scienziati si preoccupano da tempo che le persone attribuiscano troppo significato a queste mappe piatte, ipotizzando distanze e raggruppamenti che la mappa semplicemente non può supportare. La grande domanda è stata: possiamo creare una mappa che sia esteticamente valida, che preservi la visione d'insieme e che ci dica anche esattamente cosa non sappiamo?

Entra in scena FloDR, un nuovo metodo che agisce meno come una fotocamera e più come un magico proiettore reversibile. Invece di limitarsi a scattare un'istantanea e buttare via il resto dei dati, FloDR utilizza un tipo speciale di motore matematico chiamato "normalizing flow" (flusso normalizzante). Pensa a questo motore come a un foglio speciale, trasparente e deformabile, che può essere piegato e torcitato per appiattire i dati, ma con un superpotere: non si lacera e non perde mai la struttura del tessuto. Conserva l'informazione sulla "profondità" al sicuro in una tasca nascosta.

Il paper presenta FloDR come un modo per creare queste mappe 2D mantenendo una copia di riserva segreta di tutte le informazioni perse. Quando guardi la mappa, vedi le prime due coordinate, proprio come in una foto normale. Ma sotto il cofano, FloDR ricorda le altre $D-2$ dimensioni (i "residui"). Poiché la matematica è perfettamente reversibile, gli autori possono far girare la mappa al contrario per porre domande come: "Se scelgo questo punto sulla mappa, quanto del dato originale è ancora un mistero?" oppure "Quanta informazione su un'etichetta specifica (come un tipo di cellula) abbiamo accidentalmente buttato via?".

I ricercatori hanno scoperto che FloDR è un forte concorrente dei metodi più popolari attualmente in circolazione. Su quattro diversi dataset di riferimento — inclusi i disegni di cifre scritte a mano e i dati sulle reazioni chimiche — FloDR è riuscito a preservare i vicinati locali (i piccoli gruppi di cose simili) quasi quanto i migliori metodi esistenti, pur facendo un lavoro molto migliore nel preservare la struttura globale (ovvero come i grandi gruppi si relazionano tra loro). Infatti, sui dataset testati, FloDR è stato migliore di UMAP nel bilanciare simultaneamente sia la struttura locale che quella globale.

Tuttavia, il paper è attento a non sostenere che FloDR sia perfetto in tutto. Nota esplicitamente che se il tuo unico obiettivo è mantenere perfetti i minuscoli vicinati locali, un altro strumento chiamato openTSNE è ancora leggermente migliore. FloDR ammette anche che, sebbene possa proiettare nuovi punti di dati non ancora visti sulla mappa in un istante, questi punti potrebbero non atterrare nell'esatto vicinato locale corretto a meno che non si esegua un rapido passaggio di ottimizzazione extra. Ma per la maggior parte, FloDR offre uno scenario "del meglio dei due mondi": una mappa che appare corretta, sembra corretta e arriva con un "metro della verità" integrato.

Questo metro della verità è la caratteristica più giocosa e potente di FloDR. FloDR genera due speciali "campi diagnostici" che puoi dipingere sopra la mappa:

Spread Condizionale: Immagina una nebbia che si fa più fitta in certe aree. Questa nebbia ti dice quanto variano i dati originali in quel punto. Se la nebbia è densa, significa che la mappa ha schiacciato insieme cose che erano in realtà molto diverse nel mondo reale.
Contrasto Nascosto: Questo è come un "anello decifratore segreto". Ti dice quanta informazione su un'etichetta specifica (come "è una cellula tumorale?") è nascosta nelle parti dei dati che non puoi vedere. Se il contrasto nascosto è alto in un punto, significa che la mappa 2D sta nascondendo una grande differenza tra i gruppi che si trovano lì.

Fondamentalmente, gli autori non si sono limitati a indovinare questi valori; li hanno testati rigorosamente. Hanno diviso i loro dati, addestrato la mappa su una parte e poi hanno cercato di predire l'altra parte per vedere se i campi diagnostici dicevano davvero la verità. Hanno scoperto che, per la maggior parte dei dataset, questi campi superavano il test con un'alta confidenza. Ad esempio, su un dataset di cellule del midollo osseo fetale umano, il contrasto nascosto è stato certificato con un p-value di 0,01, il che significa che il segnale era molto forte e non semplice rumore casuale.

In definitiva, FloDR non ti dà solo una bella immagine; ti dà un'immagine con un manuale che spiega i propri limiti. Ti mostra dove la mappa è affidabile e dove è solo un'illusione. Mantenendo al sicuro il dato "residuo" e utilizzando un trucco matematico reversibile, permette agli scienziati di vedere non solo la forma dei loro dati, ma anche le ombre che proiettano, assicurando che non traggano conclusioni che la proiezione non era in grado di supportare.

Sintesi Tecnica: FloDR – Un metodo di riduzione della dimensionalità invertibile basato su un Normalising Flow

1. Definizione del Problema

I dati ad alta dimensionalità vengono frequentemente visualizzati tramite embedding bidimensionali (ad es. t-SNE, UMAP). Tuttavia, questi metodi spesso costringono i lettori a interpretare le mappe risultanti oltre il loro supporto statistico. Le distanze tra i cluster, la significatività degli spazi vuoti e la quantità di struttura nascosta in punti specifici sono generalmente invisibili perché i processi di ottimizzazione dei metodi standard scartano l'informazione necessaria per supportare tali interpretazioni. Inoltre, i metodi esistenti affrontano un compromesso: gli embedding dei vicini preservano la struttura locale ma distorcono la geometria globale, mentre i metodi lineari (come PCA) preservano la struttura globale ma sfocano i vicini locali. Addizionalmente, gli approcci parametrici che permettono l'embedding out-of-sample si affidano spesso a coppie encoder-decoder separate e approssimative che non sono veri inversi, mescolando gli errori del modello nelle spiegazioni.

2. Metodologia

FloDR (Flow-based Dimensionality Reduction) affronta questi problemi attraverso l'embedding dei dati mediante un normalising flow invertibile (una bijezione $f_\theta: \mathbb{R}^D \to \mathbb{R}^D$ ) anziché una proiezione non invertibile.

Architettura

Mappatura: Il nucleo è una composizione di $L=4$ strati di accoppiamento affine (stile RealNVP) senza strati di mixing. L'input viene prima sbiancato (whitened) e ruotato tramite una trasformazione lineare fissa per inizializzare il layout sui primi due componenti principali.
Embedding vs. Residuo: Il modello produce $D$ coordinate. Le prime due coordinate ( $y \in \mathbb{R}^2$ ) fungono da embedding 2D. Le restanti $D-2$ coordinate ( $r \in \mathbb{R}^{D-2}$ ) sono mantenute come residuo invece di essere scartate.
Invertibilità: Poiché la mappa è una bijezione, ogni coppia $(y, r)$ mappa nuovamente un input $x$ (fino all'errore di virgola mobile) tramite l'esatta inversa $f^{-1}_\theta$ . Ciò consente una stima esatta della densità tramite la formula del cambiamento di variabili.

Obiettivo di Addestramento

Il layout è addestrato utilizzando una funzione di perdita composita applicata solo alle coordinate 2D $y$ :

Struttura Locale: Segue UMAP costruendo un grafo fuzzy $k$ -nearest-neighbor ( $k=15$ ) con termini di attrazione e repulsione.
Struttura Globale:
- Un termine di attrazione mid-range limitato per contrastare la repulsione.
- Termine Ordinale: Un termine MDS non metrico che ottimizza il segno dei confronti di distanza tra coppie di punti nello spazio di input rispetto allo spazio di embedding. Questo termine è controllato da un peso $w$ regolabile dall'utente.
Termine di Densità: Un termine di log-likelihood negativa è opzionalmente introdotto durante l'addestramento per evitare che la mappa inversa sovra-estenda le coordinate residue.

Posizionamento Out-of-Sample

Nuovi punti dati vengono embeddati tramite un singolo passaggio in avanti ( $y' = f_\theta(x')_{1:2}$ ). Sebbene ciò preservi la struttura globale, potrebbe non preservare i vicini locali. Per affrontare questo, FloDR offre un passaggio di posizionamento opzionale (simile al transform di UMAP) dove la posizione di un nuovo punto viene ottimizzata per 200 passi contro il termine di attrazione dei vicini di addestramento, mentre la mappa addestrata rimane congelata.

3. Contributi Chiave: Diagnostica Certificata

L'innovazione primaria di FloDR è la capacità di generare campi diagnostici che sono proprietà della distribuzione degli input proiettati in una data posizione 2D, piuttosto che artefatti di un modello ausiliario. Questi campi sono derivati dall'esatta inversa e dalla distribuzione del residuo $p(r|y)$ .

Due Campi Diagnostici

Spread Condizionale ( $\sigma(y)$ ):
- Definizione: $\sigma(y) = \sqrt{\text{trace}(\text{Cov}(x | y))}$ .
- Significato: Misura quanto dell'input originale rimane indeterminato in una specifica posizione di embedding $y$ . Valori elevati indicano che il layout ha unito input che erano distinti nello spazio ad alta dimensione originale.
- Stima: Calcolato campionando i residui dalla $p(r|y)$ stimata e mappandoli nuovamente attraverso l'esatta inversa.
Contrasto Nascosto ( $h(y)$ ):
- Definizione: $h(y) = I(G; R | Y=y)$ , l'informazione mutua tra un contrasto etichettato $G$ (ad es. tipo cellulare) e il residuo $R$ , dato il posizionamento di embedding $Y$ .
- Significato: Misura quanta informazione su un gruppo etichettato viene scartata dalle due coordinate tracciate. Valori elevati indicano che punti disegnati vicini appartengono a gruppi diversi che il residuo può ancora distinguere.
- Stima: Calcolato utilizzando classificatori con capacità accoppiata per stimare $p(G|y)$ e $p(G|y, r)$ .

Processo di Certificazione

Per prevenire la sovra-interpretazione, ogni campo subisce un processo di certificazione su dati tenuti in riserva (held-out):

I campi sono adattati su un set di addestramento e validati su un set tenuto in riserva.
La validazione prevede il raggruppamento (binning) dello spazio di embedding e la regressione della previsione del campo contro la misurazione reale del set tenuto in riserva.
Criteri: Un campo è "certificato" se segue il target di validazione con una pendenza $b \in [0.7, 1.3]$ e $R^2 \geq 0.6$ .
Test Null: Per il contrasto nascosto, il campo è confrontato con un'ipotesi nulla in cui le etichette sono rimescolate all'interno dei bin.
Esito: I campi che falliscono questi test sono esplicitamente contrassegnati come "rifiutati" nella visualizzazione, garantendo che gli utenti non si affidino a diagnostiche inattendibili.

4. Risultati

Gli autori hanno valutato FloDR su quattro dataset benchmark (MNIST, Fashion-MNIST, Paul15 myeloid progenitors, Schneider reaction data) e tre atlanti single-cell (human fetal bone marrow, mouse cerebellum, Arabidopsis seed).

Compromesso Globale vs. Locale: FloDR raggiunge una curva di trade-off quasi verticale. Regolando il peso ordinale $w$ , la preservazione della struttura globale (misurata tramite la correlazione di Spearman delle distanze a coppie, CPD) aumenta sostanzialmente (ad es. da 0.337 a 0.562 su MNIST) con una perdita trascurabile nel richiamo dei vicini locali.
Confronto con i Baseline:
- vs. UMAP: FloDR supera UMAP sia sull'asse globale che su quello locale in tutti e quattro i benchmark.
- vs. openTSNE: openTSNE mantiene una struttura locale leggermente migliore ma a un costo significativo per la struttura globale.
- vs. PCA: PCA preserva bene la struttura globale ma fallisce con i vicini locali. FloDR eguaglia o supera le prestazioni globali di PCA mantenendo la struttura locale.
- vs. SQuadMDS: Sebbene SQuadMDS raggiunga un CPD globale più alto sugli atlanti single-cell, non mantiene quasi nessuna informazione sui vicini locali (richiamo $\approx 0$ ).
Performance Out-of-Sample: Il passaggio in avanti di FloDR preserva efficacementamente la struttura globale. Quando viene utilizzato il passaggio di posizionamento opzionale, la fedeltà locale viene recuperata a livelli comparabili a openTSNE sui benchmark.
Efficienza: FloDR è computazionalmente efficiente, completando gli embedding di $10^6$ punti in 222 secondi su una GPU, più velocemente di UMAP (403s) e t-SNE (273s).

5. Significato e Rivendicazioni

L'articolo sostiene che FloDR rappresenti un cambiamento nel modo in cui viene interpretata la riduzione della dimensionalità:

Coerenza del Singolo Oggetto: A differenza dei metodi che utilizzano encoder e decoder separati, l'estetica, l'inversa e la densità di FloDR sono proprietà di una singola bijezione addestrata. Ciò assicura che le visualizzazioni diagnostiche siano derivate dall'esatta inversa del modello che ha generato il layout, non da una rete ausiliaria approssimativa.
Rivendicazioni Misurabili: Il metodo va oltre la semplice "lettura" di una mappa, rendendo possibili rivendicazioni misurabili su di essa. Introducendo i campi di spread condizionale e contrasto nascosto, FloDR quantifica ciò che è nascosto nella proiezione 2D.
Falsificabilità: L'inclusione di un processo di certificazione significa che i campi diagnostici non sono solo overlay visivi, ma sono empiricamente validati. Se un campo fallisce il test held-out, viene rifiutato, impedendo all'utente di trarre conclusioni non supportate.
Ambito Modesto: Gli autori dichiarano esplicitamente di non rivendicare una qualità di ricostruzione superiore (i decoder supererebbero l'inversa) né di pretendere di dominare un singolo asse (locale o globale) rispetto ad altri metodi. Inveve, FloDR è presentato come un metodo che è altamente competitivo su entrambi gli assi simultaneamente e fornisce un quadro rigoroso per interpretare i limiti della mappa 2D risultante.