Distributional Change in Ordinal Data with Missing Observations: Minimal Mobility and Partial Identification

Ce papier propose un cadre de partial identification pour mesurer et interpréter les changements distributionnels dans des données ordinales avec observations manquantes, en utilisant une représentation du transport optimal pour définir des configurations de mobilité minimale et des bornes précises robustes au non-respons.

L'essentiel

Imaginez que vous essayez de comprendre comment les opinions des gens ont changé entre deux années, par exemple sur leur confiance envers un gouvernement. Vous avez deux listes de résultats : une liste de 2023 et une liste de 2024. Ces listes vous disent combien de personnes ont répondu "Très favorable", "Plutôt favorable", "Plutôt défavorable" et "Très défavorable".

Le problème ? Vous n'avez pas la liste des mêmes personnes dans les deux années. Vous ne savez pas qui a changé d'avis, ni dans quel sens. C'est comme si vous aviez deux photos de foule, mais sans pouvoir suivre les individus d'une photo à l'autre. De plus, certaines personnes n'ont pas répondu à la question (données manquantes).

Voici ce que l'auteur de cet article, Rami Tabri, propose de faire, expliqué simplement :

1. Le problème : Le mystère des "chaises musicales"

Imaginez que vous avez deux salles de concert remplies de gens assis sur des chaises numérotées de 1 à 4 (1 = très content, 4 = très mécontent).

• Salle A (2023) : Il y a beaucoup de gens sur la chaise 1 et peu sur la 4.
• Salle B (2024) : Il y a moins de gens sur la 1 et plus sur la 4.

Vous savez que la répartition a changé, mais vous ne savez pas qui est allé où. Est-ce que tout le monde est resté assis et le public a changé ? Ou est-ce que les mêmes personnes ont bougé ? Sans savoir qui est qui, il est impossible de dire exactement comment la foule s'est déplacée.

2. La solution : Le "Déménagement Minimal"

L'auteur pose une question intelligente : "Quelle est la façon la plus économe de déplacer les gens pour transformer la Salle A en Salle B ?"

Au lieu de supposer n'importe quel scénario, il cherche le scénario où les gens bougent le moins possible.

• Si quelqu'un passe de la chaise 1 à la chaise 2, c'est un petit pas (peu coûteux).
• Si quelqu'un passe de la chaise 1 à la chaise 4, c'est un grand saut (très coûteux).

L'auteur utilise une méthode mathématique appelée transport optimal (comme un déménageur très intelligent) pour calculer le nombre minimal de "pas" nécessaires pour faire correspondre les deux salles.

• Le résultat (Estimation) :
  • Si vous avez toutes les données (personnes suivies ou pas de données manquantes), le résultat est un chiffre précis (un point) qui représente le nombre exact minimal de changements d'opinion qui ont dû avoir lieu.
  • Si vous avez des données manquantes (des gens qui n'ont pas répondu), il est impossible d'avoir un chiffre unique. À la place, le cadre fournit une fourchette (un intervalle). Cela signifie que le vrai changement se situe quelque part entre un minimum et un maximum, en fonction de ce que les "silencieux" auraient pu répondre.
• La carte (Configuration) : Au lieu de donner une seule "carte de déménagement" unique, l'auteur décrit ce que n'importe quelle explication minimale doit ressembler. Il existe plusieurs façons de déplacer les gens pour atteindre ce minimum, mais toutes ces façons partagent une structure commune : elles montrent que, pour être le plus efficace possible, les gens ont dû bouger principalement vers les chaises voisines (de 1 à 2, ou de 2 à 3), plutôt que de faire de grands sauts. C'est une référence interprétative (ou "extremale") : cela définit la limite logique du changement nécessaire, sans imposer de jugement sur ce qui est "normal".

3. Le problème des "silences" (Données manquantes)

Dans la vraie vie, certaines personnes disent "Je ne sais pas" ou refusent de répondre. C'est comme si certains sièges étaient vides ou cachés dans nos photos. On ne sait pas si ces personnes silencieuses étaient contentes ou en colère.

L'auteur dit : "Ne paniquez pas. Même avec ces trous, on peut faire des bornes."

• Il imagine le pire des cas : "Et si tous les silencieux étaient très en colère ?" et "Et si tous étaient très contents ?".
• Cela crée une fourchette de résultats (un intervalle). Au lieu de dire "10% des gens ont changé d'avis", il dit : "Entre 4% et 12% des gens ont dû changer d'avis".
• Cela rend l'analyse robuste : peu importe comment on imagine les silencieux, on sait que le changement a été significatif.
• Note importante : Ces bornes ne mesurent pas une dépendance statistique extrême (comme dans les bornes de Fréchet), mais plutôt le mouvement extrême nécessaire entre les catégories d'opinion pour expliquer les différences observées.

4. L'exemple concret : L'Arab Barometer

L'auteur teste sa méthode sur des sondages réels en Irak et au Maroc concernant l'opinion sur les États-Unis.

• Ce qu'il découvre : Même en cherchant le scénario où les gens bougent le moins possible, il faut que 4% à 12% de la population ait changé d'avis pour expliquer la différence entre les deux années.
• La structure du changement : Ce changement ne ressemble pas à une révolution où tout le monde saute d'un extrême à l'autre. C'est plutôt un glissement progressif : les gens sont passés de "Très favorable" à "Plutôt favorable", etc. C'est un changement doux, pas un tremblement de terre.
• La robustesse : Même en tenant compte des gens qui n'ont pas répondu, cette conclusion (un glissement progressif) reste vraie. La structure du changement est solide.

En résumé

Cet article nous donne un outil pour dire : "Même si nous ne savons pas exactement qui a changé d'avis, et même si certaines personnes n'ont pas répondu, nous savons mathématiquement qu'un certain nombre de personnes ont dû bouger."

• Si les données sont complètes, nous avons un chiffre précis de ce mouvement minimal.
• Si les données sont incomplètes, nous avons une fourchette qui garantit que le mouvement est réel.

De plus, nous savons que n'importe quelle explication économique de ce changement implique un déplacement progressif vers les opinions voisines, et non des sauts brutaux. C'est comme si on regardait deux photos de foule floues et qu'on pouvait dire avec certitude : "Pour passer de la photo 1 à la photo 2, il a fallu que tout le monde bouge un peu, et pas du tout." C'est une façon intelligente de mesurer le changement social sans avoir besoin de suivre chaque individu.

Résumé technique

1. Problématique et Contexte

L'article aborde un défi majeur en économétrie et en analyse des données : la mesure et l'interprétation des changements de distribution de variables ordinales (ex. : échelles de satisfaction, niveaux de confiance) lorsque seules des données de coupes transversales répétées sont disponibles.

• Le problème de l'identification : Dans ce contexte, seules les distributions marginales (les proportions de chaque catégorie à chaque période) sont observées. La distribution conjointe, qui relierait les individus d'une période à l'autre, n'est pas identifiée. Par conséquent, il est impossible de connaître les transitions individuelles réelles.
• Le problème des données manquantes : De plus, les données sont souvent entachées de valeurs manquantes (non-réponse), ce qui rend même les distributions marginales partiellement non identifiées.
• La question centrale : Comment mesurer l'ampleur du changement distributionnel et comprendre sa structure (comment la masse de probabilité se déplace d'une catégorie à l'autre) sans hypothèses fortes sur la distribution conjointe inobservée et en présence de données manquantes ?

2. Méthodologie

L'auteur propose un cadre basé sur le transport optimal et l'identification partielle.

A. Mesure du changement distributionnel (Transport Optimal)

L'article définit la mesure de changement $D(\mu, \nu)$ entre deux distributions marginales $\mu$ et $\nu$ sur un espace ordonné $\{1, \dots, K\}$ comme la distance $L_1$ entre leurs fonctions de répartition cumulées (CDF) :
$$D(\mu, \nu) = \sum_{k=1}^{K-1} |F_\mu(k) - F_\nu(k)|$$

Grâce au Proposition 1, l'auteur démontre que cette mesure est équivalente à la distance de Wasserstein-1 ($W_1$) entre les deux distributions, où le coût de déplacement entre les catégories $i$ et $j$ est $|i-j|$.

• Interprétation : $D(\mu, \nu)$ représente le coût minimal (ou le nombre minimal de franchissements de seuils par habitant) nécessaire pour transformer la distribution $\mu$ en $\nu$.
• Point estimate vs. Interval : Lorsque les distributions marginales sont totalement observées (pas de données manquantes), cette mesure fournit un point estimate unique du changement minimal. En revanche, en présence de données manquantes, la contribution principale de l'article réside dans l'utilisation de la représentation du transport optimal pour caractériser l'ensemble des réallocations minimales faisables (feasible set) compatibles avec les marginales partiellement identifiées.
• Ensemble de configurations : L'ensemble des couplages $\Pi^*(\mu, \nu)$ qui minimisent ce coût ne constitue pas une configuration unique, mais un ensemble de configurations faisables. Ces matrices de transition ne décrivent pas la réalité observée, mais constituent un benchmark interprétatif : elles montrent comment la masse de probabilité peut se réallouer de la manière la plus économique pour expliquer les différences observées, sans impliquer de jugement normatif.

B. Identification Partielle (Données Manquantes)

Pour gérer les données manquantes, l'auteur adopte une approche de pire cas (worst-case), similaire aux travaux de Horowitz et Manski (1995).

• Ensembles identifiés : En supposant que les mécanismes de non-réponse sont non observés, l'auteur construit des bornes serrées (sharp bounds) sur les distributions marginales possibles. Cela définit un ensemble identifié $\mathcal{M}_\mu$ pour chaque distribution.
• Bornes sur le changement : Le théorème 1 établit que l'ensemble identifié pour la mesure de changement $D(\mu, \nu)$ est un intervalle $[\underline{D}, \overline{D}]$.
  • $\underline{D}$ : Le changement minimal possible compatible avec les données observées.
  • $\overline{D}$ : Le changement maximal possible compatible avec les données.
• Couplages aux extrémités : L'article caractérise également les ensembles de couplages optimaux associés aux bornes inférieure et supérieure ($\Pi^*_L$ et $\Pi^*_U$), fournissant des bornes sur les flux de masse entre catégories pour chaque scénario extrême.

C. Inférence Statistique

L'auteur propose une procédure d'inférence utilisant le bootstrap non-paramétrique (méthode de Horowitz et Manski, 2000) pour construire des intervalles de confiance qui tiennent compte à la fois de la variabilité d'échantillonnage et de l'incertitude d'identification due aux données manquantes.

3. Résultats Clés

1. Représentation structurée du changement : Contrairement aux méthodes descriptives classiques (comparaison de parts de marché ou dominance stochastique), cette approche fournit une décomposition structurée du changement. Elle distingue ce qui est nécessaire (le mouvement minimal) de ce qui est possible mais non identifié.
2. Robustesse aux données manquantes : L'approche fournit des bornes serrées qui ne nécessitent aucune hypothèse sur le mécanisme de non-réponse (Missing At Random ou non). L'incertitude est quantifiée par la largeur de l'intervalle $[\underline{D}, \overline{D}]$.
3. Benchmark de mobilité minimale : Les couplages optimaux servent de référence. Si une explication théorique du changement (ex. : polarisation massive) implique un coût de transport supérieur à $\underline{D}$, elle est incompatible avec le principe de mobilité minimale déduit des marginales.
4. Illustration empirique (Arab Barometer) :
   • L'application sur les données de l'Arab Barometer (Irak et Maroc, vagues 7 et 8) concernant l'opinion sur les États-Unis montre que même sous l'hypothèse de mobilité minimale, une fraction non négligeable de la population (entre 4 % et 12 %) doit changer de catégorie de réponse pour réconcilier les distributions.
   • La structure du changement est principalement locale (transitions entre catégories adjacentes), suggérant des glissements graduels plutôt qu'une polarisation à grande échelle.
   • L'incertitude liée aux données manquantes affecte l'ampleur du changement, mais pas sa structure qualitative, rendant les conclusions robustes.

4. Contributions Principales

• Utilisation du transport optimal pour l'identification partielle : L'article n'introduit pas une nouvelle représentation du transport optimal en soi. Sa contribution réside dans l'utilisation de ce cadre pour caractériser l'ensemble des réallocations minimales faisables compatibles avec les informations marginales, en particulier sous la contrainte de données manquantes.
• Lien entre identification partielle et transport : Il intègre l'identification partielle (bornes de Manski) dans le cadre du transport optimal, permettant de dériver des ensembles identifiés pour les couplages eux-mêmes, et pas seulement pour la distance scalaire.
• Distinction entre mouvement nécessaire et mouvement réel : Il clarifie que les couplages optimaux ne sont pas des estimateurs de la distribution conjointe vraie, mais définissent les bornes inférieures sur la mobilité nécessaire au sein d'un ensemble de configurations possibles.
• Relation avec les inégalités de Fréchet : L'auteur situe son approche dans la littérature de l'identification partielle, montrant une analogie avec les inégalités de Fréchet. Cependant, il précise que ces bornes caractérisent le mouvement extrême (extremal movement) des masses de probabilité entre les catégories, et non l'extrême dépendance (extremal dependence) entre les variables.

5. Signification et Implications

Ce travail offre un outil rigoureux pour les chercheurs travaillant avec des données d'enquêtes répétées où les données appariées (panel) sont absentes et les données manquantes fréquentes.

• Pour la politique publique et la recherche sociale : Il permet de quantifier la "résistance" d'une distribution au changement. Si le coût minimal est élevé, cela indique un changement structurel profond dans l'opinion publique, même sans connaître les trajectoires individuelles.
• Rigueur méthodologique : En évitant d'imposer des hypothèses sur la distribution conjointe (qui sont souvent arbitraires), l'article fournit des conclusions qui sont valides pour toutes les distributions conjointes compatibles avec les données observées.
• Diagnostic de sensibilité : La comparaison des couplages aux bornes inférieure et supérieure permet de tester la robustesse des conclusions face à l'hypothèse de non-réponse.

En résumé, Tabri propose un cadre qui transforme une limitation fondamentale (l'absence de données conjointes) en une opportunité d'analyse : identifier la structure minimale de changement imposée par les données, offrant ainsi une base solide pour l'interprétation économique et sociale des évolutions de distributions ordinales.