The Marginal Likelihood of two-way tables and Ecological Inference

Résumé Technique : La Vraisemblance Marginale des Tableaux à Deux Voies et l'Inférence Écologique

Énoncé du Problème
L'article traite du défi statistique fondamental de l'inférence de la structure d'association (spécifiquement les distributions de lignes conditionnelles) d'un tableau de contingence à deux voies lorsque seules les totaux marginaux de lignes et de colonnes sont observés. Ce problème est central à l'Inférence Écologique, une méthodologie utilisée pour estimer les comportements au niveau individuel (par exemple, les transitions de vote entre deux élections) à partir de données agrégées (par exemple, les résultats par bureau de vote) où les décisions conjointes individuelles sont inobservables en raison du secret du vote.

L'article étudie deux scénarios distincts :

1. Tableau Unique : Inférer les probabilités conditionnelles à partir des marges d'un seul tableau $R \times C$.
2. Collection de Tableaux : Inférer un ensemble commun de distributions de lignes conditionnelles à travers une collection de $s$ tableaux (unités locales) qui partagent la même structure d'association mais possèdent des totaux marginaux différents.

Méthodologie et Cadre Théorique

1. Le Cas du Tableau Unique ($R \times C$)
L'auteur généralise les travaux de Plackett (1977) sur les tableaux $2 \times 2$ aux tableaux $R \times C$ généraux. L'analyse se concentre sur la vraisemblance marginale sous échantillonnage multinomial.

• Paramétrage : Les probabilités de lignes conditionnelles sont paramétrées à l'aide de logits ($\phi_j$) et de rapports de cotes ($\lambda_{ij}$) par rapport à une catégorie de référence.
• Équations de Vraisemblance : L'article dérive les équations de vraisemblance, montrant que les estimations non contraintes standard ($\hat{p}_{j|i} = n_{ij}/n_{i0}$) satisfont les contraintes marginales mais ne satisfont pas les contraintes d'espérance conditionnelle ($M_{ij} = n_{i0}p_{j|i}$) pour le tableau observé.
• Tableaux Extrêmes : La contribution théorique centrale concerne le concept de Tableaux Extrêmes. Il s'agit de tableaux de fréquences construits via des permutations spécifiques des catégories de lignes et de colonnes (Algorithme 1) qui représentent les bornes supérieures de la classe de Fréchet des distributions ayant données marges.
  • L'article définit une séquence de distributions de probabilité $P(Z, \epsilon)$ approchant un tableau extrême $Z$ lorsque $\epsilon \to 0$.
  • Dans cette limite, les rapports de cotes non nuls divergent vers $+\infty$ (ou $2\xi$), créant l'association positive la plus forte possible au sein de la classe de Fréchet.
• Maxima Locaux : Il est prouvé que ces distributions limites satisfont les équations de vraisemblance, ce qui signifie que la vraisemblance marginale possède une collection de maxima locaux atteints à ces tableaux extrêmes.

2. Le Cas de la Collection de Tableaux
Reconnaissant que l'inférence à partir d'un tableau unique est essentiellement impossible (car la vraisemblance est maximisée par des associations extrêmes pathologiques), l'article se tourne vers une collection de $s$ tableaux partageant les mêmes probabilités de lignes conditionnelles.

• Construction de la Vraisemblance : La vraisemblance marginale multinomiale exacte est formulée pour la collection, nécessitant la sommation sur tous les tableaux possibles $N_h$ compatibles avec les marges observées de chaque unité $h$.
• Algorithme de Scoring de Fisher : Pour maximiser cette vraisemblance complexe, l'auteur propose un algorithme de scoring de Fisher efficace.
  • Au lieu de la matrice d'information attendue (qui est difficile à calculer), la méthode utilise une matrice d'information empirique dérivée de vecteurs de score.
  • Les vecteurs de score sont calculés à l'aide d'espérances conditionnelles ($M_{hij}$) sous la distribution hypergéométrique étendue.
  • Une condition nécessaire d'identifiabilité est établie : le nombre d'unités locales $s$ doit être au moins égal à $R(C-1)$ (en supposant des données non dégénérées).

Résultats Clés

1. Incohérence de l'EMV du Tableau Unique
L'article démontre que les Estimations du Maximum de Vraisemblance (EMV) pour un tableau unique sont incohérentes.

• À mesure que la taille de l'échantillon augmente, le maximum global de la vraisemblance est atteint à l'un des tableaux extrêmes.
• Ces tableaux extrêmes correspondent à des distributions présentant les associations positives les plus fortes (après permutation appropriée), lesquelles ne reflètent généralement pas la structure d'association réelle sous-jacente.
• Par conséquent, l'inférence basée sur la vraisemblance sur un tableau unique produit des résultats « inconcluants » ou trompeurs, confirmant les conclusions antérieures de Plackett pour les cas $2 \times 2$.

2. Performance de l'Algorithme Proposé
Une étude de simulation a été menée avec $s=60$ unités locales, $R=C=3$, et $n=40$ observations par unité. L'algorithme de scoring de Fisher (Vraisemblance Exacte) a été comparé à :

• La méthode de régression linéaire de Goodman (1953).
• La méthode modifiée de Brown et Payne (2009).

Constats :

• La méthode de Vraisemblance Exacte a produit des estimations ($\hat{\Pi}$) les plus proches du mécanisme générateur réel ($\Pi$), avec une erreur quadratique moyenne ($M_e$) de 0,0537.
• La méthode modifiée de Brown et Payne a produit une $M_e = 0,0549$.
• La méthode de Goodman a produit une $M_e = 0,0551$.
• Les résultats indiquent que bien que la méthode proposée soit théoriquement supérieure, l'écart de performance avec les méthodes établies dans cette simulation spécifique est modeste. L'auteur note que la méthode de Goodman, malgré ses limites (ex: probabilités hors de l'intervalle $[0,1]$), fonctionne de manière étonnamment satisfaisante.

3. Complexité Computationnelle
L'article souligne un goulot d'étranglement computationnel important : la construction et le stockage de la collection de tous les tableaux compatibles ($N_h$) pour chaque unité locale.

• Pour un tableau $3 \times 3$, la taille de $N_h$ croît rapidement avec la taille de l'échantillon $n$ (environ $10^5$ tableaux pour $n=100$, $>10^6$ pour $n=200$).
• L'auteur note que l'application de cette méthode aux données électorales réelles (où les bureaux de vote ont souvent $n \approx 800$) est actuellement irréalisable sans stratégies d'approximation ou de sélection de sous-ensembles.

Signification et Revendications
L'article affirme fournir :

1. Perspective Géométrique : Une clarification de la géométrie de la collection de tableaux à marges fixes, identifiant spécifiquement que les maxima locaux de la vraisemblance marginale correspondent à des tableaux extrêmes avec des rapports de cotes divergeant.
2. Résolution Théorique : Une preuve que l'EMV pour un tableau unique est incohérent, expliquant pourquoi l'inférence de vraisemblance standard échoue dans les contextes d'inférence écologique sans hypothèses ou données supplémentaires.
3. Contribution Algorithmique : Un algorithme de scoring de Fisher efficace pour maximiser la vraisemblance multinomiale exacte lorsqu'on dispose de données provenant de multiples unités locales.
4. Validation Empirique : La preuve que l'approche de vraisemblance exacte produit des estimations plus proches de la vérité que les méthodes existantes, bien que l'avantage pratique dans les petites simulations soit marginal.

L'auteur conclut que bien que la méthode exacte soit théoriquement robuste, son application à des données réelles à grande échelle est actuellement limitée par des contraintes de calcul, suggérant la nécessité de travaux futurs sur des sous-ensembles significatifs de la collection de tableaux pour approximer les matrices de score et d'information.