Generation of Multivariate Discrete Data with Generalized Poisson, Negative Binomial and Binomial Marginal Distributions

Riassunto Tecnico: Generazione di Dati Discreti Multivariati con Distribuzioni Marginali di Poisson Generalizzata, Binomiale Negativa e Binomiale

Autori: Chak Kwong (Tommy) Cheng e Hakan Demirtas (University of Illinois at Chicago).

---

1. Il Problema (Problem Statement)

L'analisi di dati discreti multivariati è fondamentale in campi come l'epidemiologia, la genomica e le scienze sociali. Spesso, i ricercatori hanno la necessità di generare dati sintetici che mantengano due proprietà cruciali:

1. Distribuzioni marginali specifiche: I singoli dati devono seguire modelli probabilistici precisi (es. Poisson generalizzata per gestire la sovra o sottodispersione, Binomiale Negativa o Binomiale).
2. Strutture di correlazione complesse: I dati devono riflettere le relazioni (sia positive che negative) tra le variabili, mimando la complessità del mondo reale.

I metodi esistenti presentano limiti significativi: alcuni sono limitati a un unico tipo di distribuzione, altri richiedono distribuzioni congiunte complesse, altri ancora possono gestire solo correlazioni positive o strutture di scambio (exchangeable) limitate.

2. Metodologia (Methodology)

Il paper propone un algoritmo innovativo basato sull'estensione del framework di Demirtas (2006) per i dati ordinali. L'approccio non richiede la specifica di una distribuzione congiunta, ma solo delle distribuzioni marginali e di una matrice di correlazione fattibile.

Il processo si articola in cinque fasi principali:

1. Collapsing (Collasso): Ogni variabile discreta viene trasformata in una variabile binaria. Per farlo, si utilizza la mediana della distribuzione marginale come soglia di dicotomizzazione, assicurando che la probabilità della variabile binaria risultante sia il più vicino possibile a 0,5 (ottimizzando le prestazioni numeriche).
2. Calcolo della Correlazione Binaria Intermedia: Poiché la correlazione tra variabili discrete non è la stessa della correlazione tra le loro versioni binarie, l'algoritmo utilizza un procedimento iterativo. Si parte dalla correlazione target e si simula un numero elevato di campioni per trovare la correlazione binaria ($\delta^b_{ij}$) che, una volta riconvertita nella scala originale, produca la correlazione desiderata ($\delta^*_{ij}$).
3. Costruzione della Matrice: Si assembla la matrice di correlazione binaria e, se necessario, si applica una correzione (metodo nearPD di Higham) per garantire che la matrice sia definita positiva.
4. Generazione Binaria: Si generano dati binari multivariati utilizzando l'approccio di Emrich e Piedmonte (1991), che sfrutta variabili normali latenti.
5. Reverse-Collapsing (Riconversione): I dati binari vengono mappati nuovamente sulle scale discrete originali (Poisson, Binomiale o Negativa) utilizzando le probabilità di massa (PMF) calcolate inizialmente.

3. Contributi Chiave (Key Contributions)

• Flessibilità Distribuzionale: È il primo framework unificato che permette di combinare diverse famiglie di distribuzioni discrete (anche in modo misto) in un unico modello multivariato.
• Flessibilità di Correlazione: A differenza di altri metodi, supporta sia correlazioni positive che negative e strutture di correlazione non strutturate (es. Toeplitz o exchangeable).
• Indipendenza dalla Distribuzione Congiunta: Il metodo richiede solo le marginali, rendendolo molto più versatile rispetto ai modelli che impongono una forma specifica alla distribuzione congiunta.
• Strumento Software: Il rilascio del pacchetto R MultiDiscreteRNG, che implementa l'intero algoritmo in modo accessibile.

4. Risultati (Results)

L'efficacia del metodo è stata testata attraverso quattro scenari di simulazione e tre applicazioni su dati reali:

• Simulazioni: Sono stati testati scenari con distribuzioni di Poisson generalizzata, Binomiale Negativa, Binomiale e modelli misti. I risultati mostrano che, sia con campioni piccoli ($N=200$) che grandi ($N=2000$), l'errore relativo (RB) è generalmente inferiore al 5%, il bias standardizzato (SB) è contenuto e i tassi di copertura (CR) rimangono vicini al livello nominale del 95%.
• Dati Reali:
  • NMES (Spesa Medica USA): Ha replicato con successo variabili di conteggio medico (visite, malattie croniche).
  • AHS (Salute Australia): Ha dimostrato precisione nella generazione di dati sulla frequenza di utilizzo dei servizi sanitari.
  • LA Crime Data: Ha validato il modello misto applicandolo a diverse categorie di reati (furti, estorsioni, ecc.).

5. Significato e Conclusioni (Significance)

Il lavoro fornisce uno strumento potente per i ricercatori che devono condurre studi di potenza (power analysis), validare modelli statistici o creare dataset sintetici per la privacy. Sebbene esistano limiti numerici (la correlazione scelta deve rientrare nei limiti di Hoeffding-Fréchet dettati dalle marginali), il metodo rappresenta un avanzamento significativo nella simulazione di dati discreti complessi, offrendo un equilibrio tra rigore statistico e flessibilità computazionale.