The Marginal Likelihood of two-way tables and Ecological Inference

Resumo Técnico: A Verossimilhança Marginal de Tabelas de Duas Vias e Inferência Ecológica

Definição do Problema

O artigo aborda o desafio estatístico fundamental de inferir a estrutura de associação (especificamente, as distribuições condicionais das linhas) de uma tabela de contingência de duas vias quando apenas os totais marginais de linhas e colunas são observados. Este problema é central para a Inferência Ecológica, uma metodologia utilizada para estimar comportamentos em nível individual (por exemplo, transições de eleitores entre eleições) a partir de dados agregados (por exemplo, resultados de seções de votação), onde as decisões conjuntas individuais são inobserváveis devido ao sigilo do voto.

O artigo investiga dois cenários distintos:

1. Tabela Única: Inferir probabilidades condicionais a partir das margens de uma única tabela $R \times C$.
2. Coleção de Tabelas: Inferir um conjunto comum de distribuições condicionais de linhas através de uma coleção de $s$ tabelas (unidades locais) que compartilham a mesma estrutura de associação, mas possuem diferentes totais marginais.

Metodologia e Estrutura Teórica

1. O Caso da Tabela Única ($R \times C$)
O autor generaliza o trabalho de Plackett (1977) sobre tabelas $2 \times 2$ para tabelas $R \times C$ gerais. A análise foca na verossimilhança marginal sob amostragem multinomial.

• Parametrização: As probabilidades condicionais das linhas são parametrizadas usando logits ($\phi_j$) e razões de chances (log-odds ratios) ($\lambda_{ij}$) em relação a uma categoria de referência.
• Equações de Verossimilhança: O artigo deriva as equações de verossimilhança, mostrando que as estimativas não restritas padrão ($\hat{p}_{j|i} = n_{ij}/n_{i0}$) satisfazem as restrições marginais, mas falham em satisfazer as restrições de expectativa condicional ($M_{ij} = n_{i0}p_{j|i}$) para a tabela observada.
• Tabelas Extremas: A principal contribuição teórica envolve o conceito de Tabelas Extremas. Estas são tabelas de frequências construídas via permutações específicas de categorias de linhas e colunas (Algoritmo 1) que representam os limites superiores da classe de Fréchet de distribuições com as margens dadas.
  • O artigo define uma sequência de distribuições de probabilidade $P(Z, \epsilon)$ aproximando-se de uma tabela extrema $Z$ conforme $\epsilon \to 0$.
  • Neste limite, as razões de chances não nulas divergem para $+\infty$ (ou $2\xi$), criando a associação positiva mais forte possível dentro da classe de Fréchet.
• Máximos Locais: É provado que essas distribuições limites satisfazem as equações de verossimilhança, o que significa que a verossimilhança marginal possui uma coleção de máximos locais alcançados nestas tabelas extremas.

2. O Caso da Coleção de Tabelas
Reconhecendo que a inferência a partir de uma única tabela é essencialmente impossível (pois a verossimilhança é maximizada em associações extremas patológicas), o artigo desloca o foco para uma coleção de $s$ tabelas que compartilham as mesmas probabilidades condicionais das linhas.

• Construção da Verossimilhança: A verossimilhança marginal multinomial exata é formulada para a coleção, exigindo a soma sobre todas as tabelas $N_h$ compatíveis com as margens observadas de cada unidade $h$.
• Algoritmo de Fisher Scoring: Para maximizar esta verossimilhança complexa, o autor propõe um algoritmo de Fisher scoring eficiente.
  • Em vez da matriz de informação esperada (que é difícil de computar), o método utiliza uma matriz de informação empírica derivada de vetores de score.
  • Os vetores de score são computados usando expectativas condicionais ($M_{hij}$) sob a distribuição hipergeométrica estendida.
  • Uma condição necessária para identificabilidade é estabelecida: o número de unidades locais $s$ deve ser pelo menos $R(C-1)$ (assumindo dados não degenerados).

Principais Resultados

1. Inconsistência do MLE de Tabela Única
O artigo demonstra que as Estimativas de Máxima Verossimilhança (MLE) para uma única tabela são inconsistentes.

• À medida que o tamanho da amostra aumenta, o máximo global da verossimilhança é atingido em uma das tabelas extremas.
• Estas tabelas extremas correspondem a distribuições com as associações positivas mais fortes possíveis (após a devida permutação), que geralmente não refletem a verdadeira estrutura de associação subjacente.
• Consequentemente, a inferência baseada em verossimilhança em uma única tabela produz resultados "inconclusivos" ou enganosos, confirmando os achados anteriores de Plackett para casos $2 \times 2$.

2. Desempenho do Algoritmo Proposto
Um estudo de simulação foi realizado com $s=60$ unidades locais, $R=C=3$, e $n=40$ observações por unidade. O algoritmo de Fisher scoring proposto (Verossimilhança Exata) foi comparado com:

• O método de regressão linear de Goodman (1953).
• O método modificado de Brown e Payne (2009).

Achados:

• O método de Verossimilhança Exata produziu estimativas ($\hat{\Pi}$) mais próximas do mecanismo gerador verdadeiro ($\Pi$), com um erro quadrático médio ($M_e$) de 0,0537.
• O método modificado de Brown e Payne apresentou $M_e = 0,0549$.
• O método de Goodman apresentou $M_e = 0,0551$.
• Os resultados indicam que, embora o método proposto seja teoricamente superior, a diferença de desempenho com métodos estabelecidos nesta simulação específica foi modesta. O autor observa que o método de Goodman, apesar de suas limitações (ex: potencial para probabilidades fora do intervalo $[0,1]$), desempenha-mente surpreendentemente bem.

3. Complexidade Computacional
O artigo destaca um gargalo computacional significativo: construir e armazenar a coleção de todas as tabelas compatíveis ($N_h$) para cada unidade local.

• Para uma tabela $3 \times 3$, o tamanho de $N_h$ cresce rapidamente com o tamanho da amostra $n$ (aprox. $10^5$ tabelas para $n=100$, $>10^6$ para $n=200$).
• O autor nota que aplicar este método a dados eleitorais do mundo real (onde as seções de votação frequentemente possuem $n \approx 800$) é atualmente inviável sem estratégias de aproximação ou seleção de subconjuntos.

Significância e Alegações

O artigo alega fornecer:

1. Insight Geométrico: Uma clarificação da geometria da coleção de tabelas com margens fixas, especificamente identificando que os máximos locais da verossimilhança marginal correspondem a tabelas extremas com razões de chances divergentes.
2. Resolução Teórica: Uma prova de que o MLE para uma única tabela é inconsistente, explicando por que a inferência de verossimilhança padrão falha em contextos de inferência ecológica sem suposições ou dados adicionais.
3. Contribuição Algorítmica: Um algoritmo de Fisher scoring eficiente para maximizar a verossimilhança multinomial exata quando dados de múltiplas unidades locais estão disponíveis.
4. Validação Empírica: Evidência de que a abordagem de verossimilhança exata produz estimativas mais próximas da verdade do que os métodos existentes, embora a vantagem prática em pequenas simulações seja marginal.

O autor conclui que, embora o método exato seja teoricamente robusto, sua aplicação a dados de grande escala do mundo real é atualmente limitada por restrições computacionais, sugerindo a necessidade de trabalhos futuros sobre subconjuntos significativos da coleção de tabelas para aproximar os vetores de score e as matrizes de informação.