Riepilogo Tecnico: Diff-Joint – Un Framework di Diffusione Consapevole dell'Incertezza per la Mancanza Significativa

1. Definizione del Problema

I metodi standard di imputazione dei valori mancanti operano sotto l'assunto che tutte le voci mancanti in un dataset corrispondano a valori regolari non osservati che devono essere recuperati. Tuttavia, in molti scenari reali, la mancanza di dati deriva da due fonti distinte:

1. Mancanza Significativa (Meaningfully Missing - MM): Voci che sono intrinsecamente assenti e semanticamente valide (ad es., "N/A" per il reddito in un sondaggio per un rispondente disoccupato, o un test di laboratorio non ordinato nelle cartelle cliniche). Imputare questi dati con valori regolari distorce la distribuzione dei dati e rimuove informazioni semantiche.
2. Mancanza Indotta dall'Osservazione: Voci che sono mancanti a causa del processo di osservazione (ad es., errori di registrazione, fallimenti nel trasferimento dei dati) e che dovrebbero essere imputate.

La sfida centrale è che queste due fonti non sono etichettate direttamente nei dati osservati; entrambe appaiono come lo stesso token mancante (ad es., NA). I metodi esistenti trattano tipicamente tutte le voci mancanti come recuperabili, fallendo nel distinguere tra le voci che dovrebbero essere preservate come NA e quelle che richiedono l'imputazione. Questo articolo formalizza tale sfida come un problema di imputazione selettiva: l'obiettivo è inferire congiuntamente quali voci mancanti siano significativamente mancanti (e debbano essere preservate) e quali siano indotte dall'osservazione (e debbano essere imputate).

2. Metodologia: Diff-Joint

Gli autori propongono Diff-Joint, un framework basato sulla diffusione progettato per eseguire un'imputazione selettiva modellando congiuntamente i dati tabulari e una maschera di mancanza latente.

2.1 Stato di Diffusione Congiunto

Il metodo definisce uno stato di diffusione congiunto $s = (x, c)$, dove:

• $x$ rappresenta i valori tabulari completati.
• $c$ è una maschera binaria che indica quali voci sono significativamente mancanti ($c_j=1$) rispetto a quelle indotte dall'osservazione ($c_j=0$).

2.2 Framework di Raffinamento Iterativo

Diff-Joint opera come uno schema iterativo che alterna l'addestramento del modello e l'aggiornamento dello stato latente:

1. Inizializzazione: I valori mancanti osservati vengono riempiti casualmente per creare uno stato congiunto iniziale, trattando tutte le voci mancanti come indotte dall'osservazione ($c=0$).
2. Aggiornamento del Modello: Un modello di diffusione viene addestrato sullo stato congiunto corrente $\{(\hat{x}^{(t)}, \hat{c}^{(t)})\}$ per catturare le dipendenze tra i valori dei dati e i pattern di mancanza significativa.
3. Aggiornamento dello Stato Latente (Campionamento Condizionale e Aggregazione):
   • Campionamento: Dato il dato osservato, il modello estrae $K$ campioni condizionali dello stato congiunto $(x, c)$.
   • Aggiornamento dell'Imputazione: Per le voci mancanti, il valore imputato viene aggiornato utilizzando la moda (discreto) o la media (continuo) dei $K$ campioni.
   • Aggregazione Consapevole dell'Incertezza: Per distinguere la mancanza significativa dalla mancanza indotta dall'osservazione, il metodo calcola un punteggio di incertezza per ogni voce mancante basato sulla varianza (continuo) o l'entropia (discreto) dei $K$ campioni.
     • Ipotesi: Le voci mancanti indotte dall'osservazione corrispondono a valori regolari recuperabili e quindi mostrano una bassa incertezza (distribuzioni predittive concentrate). Le voci significativamente mancanti non sono ben spiegate da un singolo stato regolare, portando a un'incertezza maggiore.
   • Aggiornamento della Maschera: Il metodo combina due segnali per aggiornare la maschera $\hat{c}$:
     1. Segnale di Incertezza: Le voci con punteggi di incertezza elevati vengono raggruppate (tramite k-means) e segnalate come potenziali MM.
     2. Segnale della Maschera Campionata: Il voto di maggioranza delle maschere campionate $c^{(k)}$.
     3. Regola di Fusione: La maschera finale viene aggiornata utilizzando un'operazione logica OR: una voce è classificata come MM se entrambi il pattern di incertezza o la maschera campionata supportano l'interpretazione MM.

2.3 Identificabilità

L'articolo fornisce approfondimenti teorici (Proposizione 3.1) stabilendo le condizioni sotto le quali la mancanza significativa è identificabile dai dati osservati. Nello specifico, l'identificabilità sussiste se il meccanismo di mancanza indotta dall'osservazione è noto (ad es., MCAR con probabilità note) o se i vincoli strutturali dei dati consentono la separazione dei due meccanismi.

3. Contributi Chiave

1. Formalizzazione del Problema: Gli autori formalizzano il problema dell'imputazione selettiva per i dati tabulari, distinguendo tra voci significativamente mancanti (da preservare) e voci indotte dall'osservazione (da imputare).
2. Framework Diff-Joint: Introducono un framework basato sulla diffusione che modella congiuntamente i valori completati e una maschera di mancanza significativa. Il metodo affina iterativamente sia i valori imputati che le etichette MM attraverso il campionamento condizionale e l'aggregazione consapevole dell'incertezza.
3. Validazione Empirica: Il metodo è valutato su un dataset sintetico di reti bayesiane e su un dataset reale MIMIC-IV-ED. I risultati dimostrano che Diff-Joint identifica efficacemente le voci significativamente mancanti mantenendo al contempo un'accuratezza di imputazione competitiva e migliorando le prestazioni dei task a valle.

4. Risultati Sperimentali

Gli autori hanno valutato Diff-Joint rispetto ai baseline, inclusi l'imputazione statistica semplice (Media/Moda), i metodi iterativi classici (missForest), gli autoencoder mascherati (CACTI/CMAE) e l'imputazione basata sulla diffusione (DiffPuter).

• Dataset Sintetico (Rete Bayesiana):

  • Identificazione MM: Diff-Joint è l'unico metodo che identifica esplicitamente la MM. Ha raggiunto un'alta recall (76,99%–92,02%) attraverso diversi rapporti di mancanza (10%–40%).
  • Accuratezza dell'Imputazione: Diff-Joint ha ottenuto la migliore accuratezza di recupero a livello di token per le variabili discrete in tutti i rapporti. Per le variabili continue, è rimasto competitivo, bilanciando i doppi obiettivi di identificazione MM e recupero del valore.
  • Performance a Valle: In compiti di classificazione multi-classe, Diff-Joint ha superato significativamente tutti i baseline (ad es., Macro-F1 di 75,54% rispetto a circa il 46% del secondo miglior metodo), dimostrando che preservare gli stati MM migliora l'utilità predittiva.

• Dataset Reale (MIMIC-IV-ED):

  • Identificazione MM: Diff-Joint ha identificato con successo le etichette MM sintetiche introdotte sulle variabili degli esiti clinici.
  • Imputazione: Ha ottenuto la migliore accuratezza per il recupero del token a livello discreto a bassi rapporti di mancanza e rimane competitivo per l'imputazione continua (spesso secondo il migliore con una differenza trascurabile dal primo).
  • Performance a Valle: Diff-жно mostra guadagni costanti in Macro-F1 e ROC-AUC per la previsione degli esiti clinici (ad es., stato critico, trasferimento in terapia intensiva), in particolare per gli esiti gravi dove preservare il segnale di "mancanza significativa" era cruciale.

5. Significato e Rivendicazioni

L L'articolo sostiene che Diff-Joint affronta una lacuna critica nella gestione dei dati mancanti: l'incapacità degli attuali metodi di distinguere tra "mancante perché non si applica" e "mancante perché non è stato registrato".

• Preservazione Semantica: Modellando esplicitamente lo stato di "mancanza significativa", il framework evita la distorsione delle distribuzioni dei dati che si verifica quando un NA viene ingenuamente imputato con un valore regolare.
• Utilità a Valle: Gli autori sostengono che trattare l' NA come uno stato semantico valido, piuttosto che come un errore da correggere, fornisce segnali predittivi che migliorano il processo decisionale a valle, particolarmente in domini ad alto rischio come quello sanitario.
• Robustezza: Il metodo rimane robusto attraverso diversi meccanismi di mancanza (MCAR, MAR, MNAR) e non richiede etichette di verità fondamentale (ground-truth) per il tipo di mancanza durante l'addestramento.

Gli autori riconoscono i limiti, notando che il framework assume la conoscenza delle colonne candidate per la MM e si basa su un gap di incertezza rilevabile. Notano inoltre che la procedura di diffusione iterativa è computazionalmente più costosa rispetto ai baseline non iterativi, sebbene tale costo possa essere controllato dal numero di iterazioni. Si suggerisce come lavoro futuro l'allentamento delle condizioni di identificabilità e il miglioramento della scalabilità.