Handling Missingness and Censoring in Dirichlet Models

Sintesi Tecnica: Gestione della Mancanza di Dati e del Censuramento nei Modelli Dirichlet

Definizione del Problema
I dati composizionali, che rappresentano proporzioni relative di parti di un tutto e risiedono su un simplesso unitario, si riscontrano frequentemente in campi che spaziano dalla microbiologia alla scienza ambientale. La distribuzione di Dirichlet è il modello probabilistico canonico per tali dati, analogamente alla distribuzione normale multivariata per i dati non vincolati. Tuttavia, un limite significativo nella pratica attuale è che l'inferenza basata sulla verosimiglianza per i parametri di Dirichlet richiede tipicamente composizioni completamente osservate. Negli scenari reali, i dati contengono spesso componenti mancanti o valori censurati (ad esempio, a causa di limiti di rilevamento o di una specie incompleta).

Gli approcci esistenti per gestire questa incompletezza rientrano generalmente in tre categorie: l'eliminazione delle righe incomplete (che scarta informazioni), la sostituzione con valori fissi (ad esempio, zeri) o l'imputazione. I metodi di imputazione spesso si affidano alla trasformazione dei dati in uno spazio non vincolato (ad esempio, tramite trasformazioni log-ratio), all'adattamento di un modello e alla successiva mappatura dei risultati sul simplesso. Questo approccio basato sulla trasformazione presenta diversi svantaggi: può rendere irrecuperabili le interpretazioni delle variabili originali, non fornire mappature iniettive verso il simplesso e faticare ad accomodare naturalmente i meccanismi di censuramento. Inoltre, i metodi di imputazione non parametrici spesso ignorano la specifica struttura di censuramento, portando a potenziali bias e a distribuzioni sottostanti distorte.

Metodologia
Gli autori propongono un quadro unificato che tratta sia i componenti mancanti che quelli censurati come forme di "indebolimento" (coarsening) nel senso di Heitjan & Rubin (1991). Questo quadro comprende i casi di Dati Mancanti Completamente Casuali (MCAR), Dati Mancanti Casuali (MAR) e Dati Mancanti Non Casuali (MNAR) come casi speciali di Indebolimento Completamente Casuale (CCAR), Indebolimento Casuale (CAR) e Indebolimento Non Casuale (CNAR). L'articolo si concentra sul meccanismo CAR, in cui l'indebolimento dipende dai dati osservati ma non dai valori esatti non osservati, rendendo il meccanismo ignorabile per l'inferenza basata sulla verosimiglianza.

Il nucleo della metodologia è un algoritmo di tipo Esperanza–Massimizzazione (EM) progettato per eseguire la stima di Massima Verosimiglianza (ML) dei parametri di Dirichlet direttamente sul simplesso senza trasformazione dei dati. L'algoritmo procede come segue:

1. Fondamento Teorico: Gli autori derivano la densità marginale dei componenti osservati e la distribuzione condizionata dei componenti non osservati dati i componenti osservati. Stabiliscono che la distribuzione condizionata dei componenti non osservati, dati i componenti osservati e la regione ammissibile definita dai limiti di censuramento, segue una distribuzione di Dirichlet troncata.
2. E-Step: L'algoritmo calcola l'aspettativa della log-verosimiglianza dei dati completi. Ciò comporta il calcolo del valore atteso del logaritmo dei componenti non osservati. Utilizzando le proprietà della distribuzione di Dirichlet troncata, gli autori derivano un'espressione in forma chiusa per queste aspettative coinvolgendo la funzione digamma e la derivata della costante di normalizzazione della distribuzione troncata.
3. M-Step: L'algoritmo massimizza la log-verosimiglianza attesa dei dati completi rispetto al vettore dei parametri $\alpha$. Per garantire la positività dei parametri di Dirichlet durante l'ottimizzazione, gli autori impiegano una riparametrizzazione ($\alpha_k = e^{\beta_k}$) e utilizzano un algoritmo Newton–Raphson (NR) annidato nelle iterazioni EM. La matrice Hessiana viene invertita efficientemente utilizzando la formula di Sherman–Morrison.
4. Convergenza: L'algoritmo impiega regole di arresto specifiche: una regola interna basata sulla convergenza di Newton–Raphson e una regola esterna basata sul criterio di accelerazione di Aitken applicato alla log-verosimiglianza dei dati osservati.

Contributi Chiave
L'articolo apporta diversi contributi tecnici specifici:

• Quadro Unificato: Sviluppa un unico framework basato sulla verosimiglianza che gestisce simultaneamente componenti mancanti e censurate sul simplesso, evitando la necessità di trasformazione dei dati.
• Algoritmo EM per Dirichlet: Deriva un algoritmo di tipo EM computazionalmente efficiente per la stima ML dei parametri di Dirichlet in presenza di dati incompleti, inclusa la derivazione delle necessarie aspettative condizionate riguardanti le distribuzioni di Dirichlet troncate.
• Requisiti Minimi di Dati: Il metodo consente l'adattamento di una distribuzione di Dirichlet anche quando un dataset presenta righe con un singolo componente osservato, uno scenario in cui molti metodi esistenti basati sulla trasformazione falliscono.
• Stima Congiunta e Imputazione: L'approccio esegue congiuntamente la stima dei parametri e l'imputazione del modello, preservando la struttura composizionale ed evitando gli errori associati alla retro-trasformazione.

Risultati e Valutazione
Le prestazioni del metodo proposto sono state valutate attraverso due percorsi primari:

1. Studio di Simulazione: Uno studio di simulazione esteso (dettagliato nel Materiale Supplementare) ha valutato il metodo sotto meccanismi di indelebilimento (coarsening) via via più complessi. I risultati hanno indicato che il stimatore proposto migliora sostanzialmente il recupero dei parametri rispetto alla stima ML basata solo sui casi completi. Inoltre, le imputazioni generate dal proposto algoritmo hanno mostrato errori minori rispetto a quelle prodotte da un approccio di modello esistente (ALR-EM) e da un'alternativa non parametrica (imputazione della media geometrica). Il metodo ha dimostrato affidabilità anche in condizioni estreme, come dataset con fino al 90% di valori non osservati.

2. Applicazione su Dati Reali: La metodologia è stata applicata ai dati sulla speciazione del mercurio provenienti dalla National Health and Nutrition Examination Survey (NHANES). Questo dataset conteneva 3.872 osservazioni con circa il 72% di celle non osservate a causa dei limiti di rilevamento e della speciazione incompleta.

   • Il modello di Dirichlet ha fornito un adattamento migliore ai dati osservati rispetto al modello log-normale multivariato (usato nell'approccio ALR-EM), come evidenziato da valori di log-verosimiglianza osservata, AIC e BIC più elevati.
   • I calcoli della distanza di Wasserstein hanno confermato che le distribuzioni di Dirichlet e log-normale adattate modellano i dati in modo differente, con la distribuzione di Dirichlet che fornisce una rappresentazione più plausibile.
   • Il metodo ha stimato con successo le proporzioni di tipi di mercurio sconosciuti e ha fornito imputazioni che preservavano meglio la struttura composizionale osservata rispetto agli approcci concorrenti.

Significatività e Rivendicazioni
Gli autori sostengono che questo lavoro affronti una lacuna fondamentale nell'analisi dei dati composizionali: la mancanza di un metodo di stima basato sulla verosimiglianza che accolga direttamente le proporzioni incomplete su un simplesso unitario. Invertendo la prospettiva tradizionale di adattare i dati a modelli non vincolati, il metodo proposto sviluppa strumenti di stima che rispettano la geometria e i vincoli dei dati composizionali.

La significatività del lavoro risiede nella sua capacità di abilitare l'inferenza basata sulla verosimiglianza e il clustering direttamente sul simplesso in presenza di valori non osservati. Gli autori suggeriscono che ciò apra la porta a ulteriori sviluppi nella modellazione su simplesso, inclusi modelli di miscela più ricchi e procedure inferenziali più flessibili. Il metodo è presentato come un'alternativa robusta che evita i limiti interpretativi e i potenziali bias introdotti dagli approcci basati sulla trasformazione, particolarmente in scenari che coinvolgono alti livelli di mancanza di dati o censuramento.