Tree-Embedded Bayesian Factor Models for Multidimensional Categorical Distributions

1. Il Problema

L'articolo affronta la sfida statistica di analizzare dati in cui ogni unità osservativa non è un singolo scalare o vettore, ma una distribuzione di probabilità (dati categorici o compositi). Esempi tipici includono la composizione demografica (età e genere) in diverse località geografiche o distribuzioni di reddito regionali.
L'obiettivo principale non è stimare ogni distribuzione singolarmente, ma comprendere come queste variano tra le unità e se tale variazione può essere riassunta attraverso una struttura a bassa dimensionalità.

I metodi standard presentano due limiti principali in questo contesto:

• Modelli di Mischela (es. Dirichlet Mixture): Spesso inefficienti quando i dati non mostrano strutture di clustering chiare. Invece di variare gradualmente, le distribuzioni cambiano in modo continuo nello spazio delle località, portando i modelli di miscela a generare un numero eccessivo di cluster.
• Modelli Parametrici: Impongono assunzioni rigide sulla forma delle distribuzioni sottostanti, che potrebbero non riflettere la realtà complessa dei dati osservati.

2. Metodologia Proposta

Gli autori propongono un nuovo modello a fattori latenti bayesiano per distribuzioni, basato su una trasformazione gerarchica che mappa le distribuzioni discrete in uno spazio euclideo.

A. Decomposizione Logistic-Tree

Il cuore della metodologia è una trasformazione basata su un albero binario:

1. Partizionamento: Le categorie (es. combinazioni di età e genere) sono organizzate in una struttura ad albero dyadico.
2. Probabilità Condizionate: Una distribuzione discreta è univocamente caratterizzata dalle probabilità condizionate definite sui nodi interni dell'albero ($\theta(A) = P(Al | A)$).
3. Trasformazione Logit: Viene applicata una trasformazione logit a queste probabilità per ottenere un vettore euclideo $\psi(A) = \log(\theta(A) / (1-\theta(A)))$. Questo crea una biiezione tra il semplice di probabilità e lo spazio euclideo $\mathbb{R}^N$, permettendo l'uso di modelli gaussiani standard.

B. Modello a Fattori Latenti

Una volta mappate in vettori euclidei, le $M$ distribuzioni osservate sono modellate come combinazioni lineari di $K$ fattori latenti:
$$\psi_i = \mu + \sum_{k=1}^K \lambda_{ik} \eta_k$$
Dove:

• $\psi_i$ è il vettore trasformato per la località $i$.
• $\eta_k$ sono i fattori latenti (distribuzioni di base).
• $\lambda_{ik}$ sono i carichi fattoriali (scalars), che possono essere valori reali qualsiasi (non vincolati a sommare a 1 come nelle miscele), permettendo una copertura densa del semplice.

C. Specifica delle Prior e Spazialità

• Modello a Fattori Infiniti: Per evitare di fissare a priori il numero di fattori e gestire l'identificabilità, viene utilizzato il modello a fattori infiniti di Bhattacharya e Dunson (2011).
• Prior Spaziale (SAR): Per catturare la dipendenza spaziale, viene introdotto un prior autoregressivo simultaneo (SAR) sui vettori di carico $\Lambda$, permettendo di "prendere forza" (borrow strength) dalle regioni vicine.
• Costruzione dell'Albero: L'albero non è fissato a priori ma costruito adattivamente utilizzando l'algoritmo Maximum Explained Variance (MV) basato sulla geometria di Aitchison, per massimizzare la varianza spiegata dalle partizioni.

D. Inferenza

L'inferenza è resa computazionalmente efficiente attraverso l'uso dell'augmentazione Polya-Gamma (Polson et al., 2013). Questa tecnica trasforma la verosimiglianza binomiale (derivata dai conteggi nell'albero) in una forma pseudo-lineare gaussiana, permettendo l'uso di campionatori Gibbs standard.

3. Contributi Chiave

1. Rappresentazione Non Parametrica: Il modello non impone assunzioni parametriche sulla forma delle distribuzioni osservate, offrendo flessibilità superiore rispetto ai modelli basati su miscele o distribuzioni parametriche.
2. Efficienza Strutturale: A differenza dei modelli di miscela che tracciano traiettorie unidimensionali tra i componenti, il modello a fattori logit-albero può rappresentare una famiglia ricca di distribuzioni su tutto il semplice, anche con un numero ridotto di fattori.
3. Integrazione Spaziale: La capacità di incorporare facilmente strutture gerarchiche complesse (come la dipendenza spaziale SAR) direttamente nello spazio dei fattori trasformati.
4. Post-Processing per l'Identificabilità: Viene proposta una procedura di post-processing basata su rotazioni ortogonali (Aßmann et al., 2016) per determinare il numero effettivo di fattori ($K^*$) e risolvere i problemi di non identificabilità (rotazione e cambio di segno).

4. Risultati Sperimentali

Il modello è stato testato su dati reali di popolazione ("stay-population") raccolti da NTT Docomo in 452 località dei 5 quartieri speciali di Tokyo, analizzando la distribuzione per genere e 8 fasce d'età.

• Confronto di Performance: Il modello proposto è stato confrontato con un Modello a Mischela di Dirichlet (DPM) e un Modello Log-Normale con prior di differenza pairwise (Log-normal PWD).
• Metrica: La valutazione è stata effettuata tramite la Perdita Predittiva Posteriore (PPL).
• Risultati:
  • Il modello proposto ha ottenuto valori di PPL significativamente inferiori rispetto a entrambi i modelli concorrenti in tutti i momenti temporali testati (giorni feriali, weekend, festivi).
  • Il modello DPM ha fallito nel trovare una struttura parsimoniosa, generando un numero eccessivo di cluster (es. >100 cluster per 452 località), indicando l'assenza di clustering netto nei dati.
  • Il modello Log-normal PWD ha mostrato bias sistematici e varianze predittive elevate, fallendo nel catturare la forma complessa e multimodale delle distribuzioni demografiche reali.
• Interpretabilità: L'analisi dei fattori ha rivelato pattern demografici interpretabili. Ad esempio, il primo fattore ha distinto le aree commerciali/direzionali (alta presenza di maschi 20-40enni) dalle aree residenziali o di svago, con carichi spaziali coerenti con la geografia di Tokyo.

5. Significato e Implicazioni

Questo lavoro fornisce un ponte fondamentale tra l'analisi di dati compositi e il moderno modellamento fattoriale bayesiano.

• Superamento dei Limiti delle Miscele: Dimostra che per dati che variano in modo continuo (come le distribuzioni demografiche spaziali), i modelli a fattori sono superiori ai modelli di clustering.
• Flessibilità Computazionale: La combinazione di trasformazioni logit-albero e augmentazione Polya-Gamma rende l'inferenza scalabile e gestibile anche per dati multidimensionali complessi.
• Applicabilità: Il framework è versatile e può essere esteso a modelli dinamici spazio-temporali, aprendo la strada a previsioni sequenziali di conteggi demografici specifici per località e categorie.

In sintesi, il paper introduce uno strumento statistico robusto per l'analisi di distribuzioni eterogenee, offrendo una soluzione parsimoniosa e interpretabile dove i metodi tradizionali falliscono.