The Marginal Likelihood of two-way tables and Ecological Inference

Resumen Técnico: La Verosimilitud Marginal de Tablas de Dos Vías e Inferencia Ecológica

Planteamiento del Problema
El artículo aborda el desafío estadístico fundamental de inferir la estructura de asociación (específicamente, las distribuciones condicionales de filas) de una tabla de contingencia de dos vías cuando solo se observan los totales marginales de filas y columnas. Este problema es central para la Inferencia Ecológica, una metodología utilizada para estimar comportamientos a nivel individual (por ejemplo, transiciones de votantes entre elecciones) a partir de datos agregados (por ejemplo, resultados de centros de votación) donde las decisiones conjuntas individuales son inobservables debido al secreto del voto.

El artículo investiga dos escenarios distintos:

1. Tabla Única: Inferir probabilidades condicionales a partir de los márgenes de una única tabla de $R \times C$.
2. Colección de Tablas: Inferir un conjunto común de distribuciones condicionales de filas a través de una colección de $s$ tablas (unidades locales) que comparten la misma estructura de asociación pero tienen diferentes totales marginales.

Metodología y Marco Teórico

1. El Caso de la Tabla Única ($R \times C$)
El autor generaliza el trabajo de Plackett (1977) sobre tablas de $2 \times 2$ para tablas generales de $R \times C$. El análisis se centra en la verosimilitud marginal bajo un muestreo multinomial.

• Parametrización: Las probabilidades condicionales de fila se parametrizan utilizando logitos ($\phi_j$) y razones de log-odds ($\lambda_{ij}$) respecto a una categoría de referencia.
• Ecuaciones de Verosimilitud: El artículo deriva las ecuaciones de verosimilitud, mostrando que las estimaciones no restringidas estándar ($\hat{p}_{j|i} = n_{ij}/n_{i0}$) satisfacen los márgenes, pero fallan en satisfacer las restricciones de la esperanza condicional ($M_{ij} = n_{i0}p_{j|i}$) para la tabla observada.
• Tablas Extremas: La contribución teórica central involucra el concepto de Tablas Extremas. Estas son tablas de frecuencias construidas mediante permutaciones específicas de las categorías de filas y columnas (Algoritmo 1) que representan los límites superiores de la clase de Fréchet de distribuciones con dados márgenes.
  • El artículo define una secuencia de distribuciones de probabilidad $P(Z, \epsilon)$ que se aproximan a una tabla extrema $Z$ a medida que $\epsilon \to 0$.
  • En este límite, las razones de log-odds no nulas divergen hacia $+\infty$ (o $2\xi$), creando la asociación positiva más fuerte posible dentro de la clase de Fréchet.
• Máximos Locales: Se demuestra que estas distribuciones límite satisfacen las ecuaciones de verosimilitud, lo que significa que la verosimilitud marginal posee una colección de máximos locales alcanzados en estas tablas extremas.

2. El Caso de la Colección de Tablas
Reconociendo que la inferencia a partir de una sola tabla es esencialmente imposible (ya que la verosimilitud se maximiza en asociaciones extremas patológicas), el artículo cambia hacia una colección de $s$ tablas que comparten las mismas probabilidades condicionales de fila.

• Construcción de la Verosimilitud: Se formula la verosimilitud marginal multinomial exacta para la colección, lo que requiere la sumatoria sobre todas las tablas posibles $N_h$ compatibles con los márgenes observados de cada unidad $h$.
• Algoritmo de Puntuación de Fisher (Fisher Scoring): Para maximizar esta compleja verosimilitud, el autor propone un algoritmo de puntuación de Fisher eficiente.
  • En lugar de la matriz de información esperada (que es difícil de computar), el método utiliza una matriz de información empírica derivada de vectores de puntuación (score vectors).
  • Los vectores de puntuación se computan utilizando esperanzas condicionales ($M_{hij}$) bajo la distribución hipergeométrica extendida.
  • Se establece una condición necesaria para la identificabilidad: el número de unidades locales $s$ debe ser al menos $R(C-1)$ (asumiendo datos no degenerados).

Resultados Clave

1. Inconsistencia del MLE de Tabla Única
El artículo demuestra que las Estimaciones de Máxima Verosimilitud (MLE) para una sola tabla son inconsistentes.

• A medida que el tamaño de la muestra aumenta, el máximo global de la verosimilitud se alcanza en una de las tablas extremas.
• Estas tablas extremas corresponden a distribuciones con la asociación positiva más fuerte posible (tras una permutación adecuada), las cuales generalmente no reflejan la verdadera estructura de asociación subyacente.
• Consecuentemente, la inferencia basada en la verosimilitud sobre una sola tabla produce resultados "inconclusos" o engañosos, confirmando los hallazgos previos de Plackett para casos de $2 \times 2$.

2. Desempeño del Algoritmo Propuesto
Se realizó un estudio de simulación con $s=60$ unidades locales, $R=C=3$, y $n=40$ observaciones por unidad. El algoritmo de puntuación de Fisher (Verosimilitud Exacta) propuesto se comparó contra:

• El método de regresión lineal de Goodman (1953).
• El método modificado de Brown y Payne (2009).

Hallazgos:

• El método de Verosimilitud Exacta produjo estimaciones ($\hat{\Pi}$) más cercanas al mecanismo generador real ($\Pi$), con un error cuadrático medio ($M_e$) de 0.0537.
• El método modificado de Brown y Payne arrojó un $M_e = 0.0549$.
• El método de Goodman arrojó un $M_e = 0.0551$.
• Los resultados indican que, si bien el método propuesto es teóricamente superior, la brecha de desempeño con los métodos establecidos en esta simulación específica fue modesta. El autor señala que el método de Goodman, a pesar de sus limitaciones (por ejemplo, la posibilidad de obtener probabilidades fuera del intervalo $[0,1]$), funciona sorprendentemente bien.

3. Complejidad Computacional
El artículo destaca un cuello de botella significativo: la construcción y el almacenamiento de la colección de todas las tablas compatibles ($N_h$) para cada unidad local.

• Para una tabla de $3 \times 3$, el tamaño de $N_h$ crece rápidamente con el tamaño de la muestra $n$ (aproximadamente $10^5$ tablas para $n=100$, $>10^6$ para $n=200$).
• El autor señala que aplicar este método a datos electorales del mundo real (donde los centros de votación suelen tener $n \approx 800$) es actualmente inviable sin estrategias de aproximación o de selección de subconjuntos.

Significado y Reivindicaciones
El artículo afirma proporcionar:

1. Perspectiva Geométrica: Una clarificación de la geometría de la colección de tablas con márgenes fijos, identificando específicamente que los máximos locales de la verosimilitud marginal corresponden a tablas extremas con razones de log-odds divergentes.
2. Resolución Teórica: Una prueba de que el MLE para una sola tabla es inconsistente, explicando por qué la inferencia de verosimilitud estándar falla en contextos de inferencia ecológica sin supuestos o datos adicionales.
3. Contribución Algorítmica: Un algoritmo de puntuación de Fisher eficiente para maximizar la verosimilitud multinomial exacta cuando se dispone de datos de múltiples unidades locales.
4. Validación Empírica: Evidencia de que el enfoque de verosimilitud exacta produce estimaciones más cercanas a la verdad que los métodos existentes, aunque la ventaja práctica en simulaciones pequeñas es marginal.

El autor concluye que, si bien el método exacto es teóricamente robusto, su aplicación a datos del mundo real a gran escala está actualmente limitada por las restricciones computacionales, lo que sugiere la necesidad de trabajos futuros sobre subconjuntos significativos de la colección de tablas para aproximar las matrices de puntuación e información.