The Marginal Likelihood of two-way tables and Ecological Inference

Sintesi Tecnica: La Verosimiglianza Marginale delle Tabelle a Due Vie e l'Inferenza Ecologica

Enunciato del Problema
Il documento affronta la fondamentale sfida statistica di inferire la struttura di associazione (specificamente, le distribuzioni condizionate delle righe) di una tabella di contingenza a due vie quando sono osservati solo i totali marginali di riga e colonna. Questo problema è centrale nell'Inferenza Ecologica, una metodologia utilizzata per stimare i comportamenti a livello individuale (ad esempio, le transizioni elettorali tra due elezioni) partendo da dati aggregati (ad esempio, i risultati dei seggi elettorali) dove le decisioni congiunte individuali sono inosservabili a causa della segretezza del voto.

Il documento investiga due distinti scenari:

1. Tabella Singola: Inferire le probabilità condizionate dai margini di una singola tabella $R \times C$.
2. Collezione di Tabelle: Inferire un insieme comune di distribuzioni condizionate di riga attraverso una collezione di $s$ tabelle (unità locali) che condividono la stessa struttura di associazione ma hanno diversi totali marginali.

Metodologia e Quadro Teorico

1. Il Caso della Tabella Singola ($R \times C$)
L'autore generalizza il lavoro di Plackett (1977) sulle tabelle $2 \times 2$ per tabelle $R \times C$ generali. L'analisi si concentra sulla verosimiglianza marginale sotto campionamento multinomiale.

• Parametrizzazione: Le probabilità condizionate di riga sono parametrizzate utilizzando i logit ($\phi_j$) e i log-odds ratio ($\lambda_{ij}$) rispetto a una categoria di base.
• Equazioni di Verosimiglianza: Il documento deriva le equazioni di verosimiglianza, dimostrando che le stime non vincolate standard ($\hat{p}_{j|i} = n_{ij}/n_{i0}$) soddisfano i vincoli marginali ma non soddisfano i vincoli di aspettativa condizionata ($M_{ij} = n_{i0}p_{j|i}$) per la tabella osservata.
• Tabelle Estreme: Il contributo teorico centrale riguarda il concetto di Tabelle Estreme. Queste sono tabelle di frequenza costruite tramite specifiche permutazioni delle categorie di riga e colonna (Algoritmo 1) che rappresentano i limiti superiori della classe di Fréchet delle distribuzioni con dati marginali dati.
  • Il documento definisce una sequenza di distribuzioni di probabilità $P(Z, \epsilon)$ che si avvicina a una tabella estrema $Z$ quando $\epsilon \to 0$.
  • In questo limite, i log-odds ratio non nulli divergono a $+\infty$ (o $2\xi$), creando la più forte possibile associazione positiva all'interno della classe di Fréchet.
• Massimi Locali: Viene dimostrato che queste distribuzioni limite soddisfano le equazioni di verosimiglianza, il che significa che la verosimiglianza marginale possiede una collezione di massimi locali raggiunti in queste tabelle estreme.

2. Il Caso della Collezione di Tabelle
Riconoscendo che l'inferenza da una singola tabella è essenzialmente impossibile (poiché la verosimiglianza è massimizzata in tabelle estreme patologiche), il documento si sposta su una collezione di $s$ tabelle che condividono le stesse probabilità condizionate di riga.

• Costruzione della Verosimiglianza: La verosimiglianza marginale multinomiale esatta è formulata per la collezione, richiedendo la sommatoria su tutte le possibili tabelle $N_h$ compatibili con i margini osservati di ciascuna unità $h$.
• Algoritmo di Fisher Scoring: Per massimizzare questa complessa verosimiglianza, l'autore propone un efficiente algoritmo di Fisher scoring.
  • Inveve della matrice di informazione attesa (che è difficile da calcolare), il metodo utilizza una matrice di informazione empirica derivata dai vettori di punteggio (score vectors).
  • I vettori di punteggio sono calcolati utilizzando le aspettative condizionate ($M_{hij}$) sotto la distribuzione ipergeometrica estesa.
  • Viene stabilita una condizione necessaria per l'identificabilità: il numero di unità locali $s$ deve essere almeno $R(C-1)$ (assumendo dati non degeneri).

Risultati Chiave

1. Inconsistenza dello stimatore MLE per la Tabella Singola
Il documento dimostra che gli stimatori di massima verosimiglianza (MLE) per una singola tabella sono inconsistenti.

• All'aumentare della dimensione del campione, il massimo globale della verosimiglianza viene raggiunto in una delle tabelle estreme.
• Queste tabelle estreme corrispondono a distribuzioni con la più forte possibile associazione positiva (dopo una appropriata permutazione), che generalmente non riflettono la vera struttura di associazione sottostante.
• Di conseguenza, l'inferenza basata sulla verosimiglianza su una singola tabella produce risultati "inconcludenti" o fuorvianti, confermando le precedenti scoperte di Plackett per i casi $2 \times 2$.

2. Prestazioni dell'Algoritmo Proposto
È stato condotto uno studio di simulazione con $s=60$ unità locali, $R=C=3$, e $n=40$ osservazioni per unità. L'algoritmo di Fisher scoring proposto (Verosimiglianza Esatta) è stato confrontato con:

• Il metodo di regressione lineare di Goodman (1953).
• Il metodo modificato di Brown e Payne (2009).

Risultati:

• Il metodo della Verosimiglianza Esatta ha prodotto stime ($\hat{\Pi}$) più vicine al meccanismo generatore reale ($\Pi$), con un errore quadratico medio ($M_e$) di 0,0537.
• Il metodo modificato di Brown e Payne ha prodotto un $M_e = 0,0549$.
• Il metodo di Goodman ha prodotto un $M_e = 0,0551$.
• I risultati indicano che, sebbene il metodo proposto sia teoricamente superiore, il divario di prestazioni con i metodi stabiliti in questa specifica simulazione è modesto. L'autore nota che il metodo di Goodman, nonostante i suoi limiti (ad esempio, la potenziale presenza di probabilità al di fuori dell'intervallo $[0,1]$), performa sorprendentemente bene.

3. Complessità Computazionale
Il documento evidenzia un significativo collo di bottiglia computazionale: la costruzione e l'archiviazione della collezione di tutte le tabelle compatibili ($N_h$) per ogni unità locale.

• Per una tabella $3 \times 3$, la dimensione di $N_h$ cresce rapidamente con la dimensione del campione $n$ (circa $10^5$ tabelle per $n=100$, $>10^6$ per $n=200$).
• L'autore osserva che l'applicazione di questo metodo ai dati elettorali del mondo reale (dove i seggi elettorali hanno spesso $n \approx 800$) è attualmente impraticabile senza strategie di approssimazione o di selezione di sottoinsiemi.

Significato e Rivendicazioni
Il documento sostiene di fornire:

1. Intuizione Geometrica: Una chiarificazione della geometria della collezione di tabelle con margini fissi, identificando specificamente che i massimi locali della verosimiglianza marginale corrispondono a tabelle estreme con log-odds ratio divergenti.
2. Risoluzione Teorica: Una prova che l'MLE per una singola tabella è inconsistente, spiegando perché l'inferenza standard basata sulla verosimiglianza fallisce nei contesti di inferenza ecologica senza ulteriori assunzioni o dati.
3. Contributo Algoritmico: Un efficiente algoritmo di Fisher scoring per massimizzare la verosimiglianza multinomiale esatta quando sono disponibili dati da molteplici unità locali.
4. Validazione Empirica: Evidenza che l'approccio della verosimiglianza esatta produce stime più vicine alla realtà rispetto ai metodi esistenti, sebbene il vantaggio pratico in piccole simulazioni sia marginale.

L'autore conclude che, sebbene il metodo esatto sia teoricamente robusto, la sua applicazione a dati su larga scala del mondo reale è attualmente limitata dai vincoli computazionali, suggerendo la necessità di futuri lavori su sottoinsiemi significativi della collezione di tabelle per approssimare i vettori di punteggio e le matrici di informazione.