Distributional Change in Ordinal Data with Missing Observations: Minimal Mobility and Partial Identification

Dit artikel introduceert een methode voor het kwantificeren en interpreteren van verdelingsveranderingen in ordinale data met ontbrekende waarnemingen door gebruik te maken van optimale transporttheorie voor minimale mobiliteit en partiële identificatie om scherpe grenzen te stellen aan de onzekerheid.

De kern

Titel: Hoe verandert de mening van een groep? Een reis door de onzekerheid

Stel je voor dat je twee foto's maakt van een drukke menigte op een plein. De eerste foto is van vandaag, de tweede van morgen. Je ziet niet wie er precies van plek is veranderd, omdat je geen individuen kunt volgen (misschien zijn er geen gezichten te zien, of de mensen dragen maskers). Je ziet alleen de verdeling: hoeveel mensen staan er links, hoeveel in het midden en hoeveel rechts?

Deze vraag is wat econoom Rami Tabri in zijn paper onderzoekt. Hij wil weten: hoeveel mensen moeten er eigenlijk van plek zijn veranderd om de verdeling van vandaag om te zetten in die van morgen? En wat als sommige mensen in de foto's ontbreken (misschien omdat ze niet wilden meedoen aan de enquête)?

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Zwarte Doos" van de Menigte

In veel onderzoeken hebben we alleen de "randen" van het verhaal. We weten dat er gisteren 40% tevreden was en vandaag 30%. Maar we weten niet of die 10% die wegviel, nu ontevreden is, of dat ze de enquête hebben genegeerd.

Zonder de "joint distribution" (wie is wie en wat is hun verhaal) is het alsof je twee puzzels hebt, maar je mist de randstukken die laten zien hoe de stukjes precies passen. Normaal gesproken zou je zeggen: "Weet ik niet." Maar Tabri zegt: "Laten we kijken naar het minimale aantal veranderingen dat nodig is."

2. De Oplossing: De "Minimale Verhuizing" (Optimal Transport)

Tabri gebruikt een wiskundig concept dat hij "Optimal Transport" noemt. Laten we dit vergelijken met een verhuisbedrijf.

• De situatie: Je hebt een huis (de verdeling van gisteren) vol met meubels (mensen) en een nieuw huis (de verdeling van vandaag).
• De vraag: Hoeveel meubels moeten er verplaatst worden om het nieuwe huis in te richten?
• De slimme aanpak: Je wilt niet dat de verhuizers onnodig heen en weer rennen. Je zoekt de minimale route. Als een meubel van de woonkamer naar de slaapkamer moet, is dat minder werk dan als het naar de zolder moet.

In de paper noemt hij dit de "Minimale Mobiliteit". Het is het kleinste aantal mensen dat noodzakelijkerwijs van mening moet veranderen om de statistieken te verklaren.

• De uitkomst hangt af van de data: Als we alle data hebben (volledig zichtbaar), krijgen we één specifiek getal: een puntsschatting van het minimale aantal verhuizingen.
• Met ontbrekende data: Als er mensen ontbreken, is het antwoord niet één getal, maar een bereik (een interval). We kunnen dan alleen zeggen dat het aantal verhuizingen ergens tussen een onder- en bovengrens ligt. Het framework levert dus een punt of een bereik, afhankelijk van hoe compleet de data is.

Het is belangrijk om te weten dat er niet één enkel "blauwdruk" of plan is dat deze verhuizingen beschrijft. Er bestaat een set van mogelijke scenario's die allemaal voldoen aan de minimale mobiliteit. De paper beschrijft niet één specifieke route, maar wat elk minimaal-mobiel scenario gemeen moet hebben.

3. Het Moeilijke Deel: De Ontbrekende Mensen (Missing Data)

In de echte wereld zijn er vaak mensen die niet meedoen aan enquêtes (misschien zeggen ze "Ik weet het niet" of weigeren ze). Dit maakt de foto's onvolledig.

Tabri gebruikt een "Worst-Case Scenario" aanpak (een beetje zoals een verzekeraar die rekening houdt met het ergste mogelijke ongeluk).

• Hij zegt: "Oké, we weten niet precies wie er ontbreekt. Laten we aannemen dat de ontbrekende mensen alles kunnen zijn."
• Hierdoor krijgt hij geen één antwoord, maar een bereik (een bandbreedte).
  • Ondergrens: Het allerminst dat er gebeurd kan zijn (als de ontbrekende mensen precies zo denken als degenen die wel meededen).
  • Bovengrens: Het allermeest dat er gebeurd kan zijn (als de ontbrekende mensen het tegenovergestelde denken).

Dit geeft een eerlijk antwoord: "We weten niet precies hoeveel, maar het ligt ergens tussen X en Y."

Deze grenzen karakteriseren de extreme beweging tussen categorieën (hoeveel mensen moeten er minimaal van categorie zijn veranderd), en niet de extreme afhankelijkheid tussen variabelen (zoals bij Fréchet-bounds). Het gaat puur om de logische beweging die noodzakelijk is om de veranderingen in de verdeling te verklaren.

4. De Empirische Voorbeelden: Irak en Marokko

Tabri test zijn theorie op data uit de Arabische Barometer over de mening van mensen in Irak en Marokko over de Verenigde Staten (van "zeer gunstig" tot "zeer ongunstig").

• Wat vonden ze? Zelfs als we het "minimale scenario" nemen, moet een aanzienlijk deel van de bevolking (ongeveer 4% tot 12%) van mening zijn veranderd. Het is niet alleen een klein ruisje; er is echt iets gebeurd.
• Hoe veranderden ze? De "verhuisroute" was meestal kort. Mensen schoven één stap op in hun mening (bijvoorbeeld van "wat gunstig" naar "niet zo gunstig"). Er was geen bewijs voor enorme schokken waarbij mensen van "zeer gunstig" direct naar "zeer ongunstig" sprongen. Het was een geleidelijke verschuiving, geen explosie.
• De onzekerheid: Zelfs met de ontbrekende antwoorden, bleef dit patroon (geleidelijke verschuiving) stabiel. Of de ontbrekende mensen nu wel of niet meededen, de conclusie over hoe de verandering plaatsvond, bleef hetzelfde.

Samenvatting in één zin

Deze paper geeft ons een slimme manier om te zeggen: "Zelfs als we niet weten wie precies wat heeft gezegd, weten we zeker dat er minimaal zoveel mensen hun mening hebben gewijzigd (een exact getal bij volledige data, of een bereik bij ontbrekende data), en die verandering verliep waarschijnlijk op een rustige, stap-voor-stap manier in plaats van in grote sprongen."

Het is alsof je op basis van de restanten van een feestje (de lege flessen en de rommel) kunt afleiden hoeveel mensen er minstens hebben gedanst, zelfs zonder de video-opname te hebben.

Technische samenvatting

Titel: Distributie-verandering in Ordinale Data met Ontbrekende Observaties: Minimale Mobiliteit en Partiële Identificatie

Auteur: Rami V. Tabri (Monash University)
JEL-codes: C14; C18; C21
Trefwoorden: Optimal transport, ordinaire data, distributie-verandering, partiële identificatie, ontbrekende data, minimale mobiliteit, Wasserstein-afstand.

---

1. Probleemstelling

Empirische analyses vergelijken vaak de verdelingen van ordinale variabelen (bijv. op schaal 1 tot K) tussen groepen of over tijd, gebruikmakend van herhaalde dwarsdoorsnede-data (repeated cross-sections). In dergelijke scenario's zijn alleen de marginaalverdelingen waarneembaar; de gezamenlijke verdeling (joint distribution) die deze marginaalverdelingen met elkaar verbindt, is niet geïdentificeerd.

Dit leidt tot twee fundamentele problemen:

1. Ontbrekende gezamenlijke informatie: Zonder individuele paneldata is het onmogelijk om te weten hoe individuen tussen categorieën bewegen. Standaard methoden die op individuele overgangen vertrouwen, zijn niet toepasbaar.
2. Ontbrekende data (Non-response): In de praktijk zijn de marginaalverdelingen zelf vaak niet volledig waargenomen vanwege ontbrekende waarden (bijv. "weet ik niet" of weigering). Dit introduceert onzekerheid over de ware populatieverdelingen.

De kernvraag van het artikel is: Wat is de kleinste herschikking van waarschijnlijkheidsmassa die nodig is om één verdeling in een andere om te zetten, en welke vorm moet deze minimale verandering aannemen, gegeven dat we alleen marginaalverdelingen hebben en mogelijk ontbrekende data?

2. Methodologie

Het artikel combineert twee theoretische raamwerken: Optimal Transport en Partiële Identificatie.

A. Optimal Transport en Minimale Mobiliteit

De auteur definieert een maat voor distributie-verandering $D(\mu, \nu)$ als de $L_1$-afstand tussen de cumulatieve verdelingsfuncties (CDF's) van twee verdelingen $\mu$ en $\nu$:
$$D(\mu, \nu) = \sum_{k=1}^{K-1} |F_\mu(k) - F_\nu(k)|$$

Propositie 1 toont aan dat deze maat equivalent is aan de Wasserstein-1 afstand (of Earth Mover's Distance) tussen $\mu$ en $\nu$, waarbij de kosten om massa te verplaatsen van categorie $i$ naar $j$ gelijk zijn aan $|i-j|$.

• Interpretatie: $D(\mu, \nu)$ vertegenwoordigt de minimale hoeveelheid "mobiliteit" (het aantal drempeloverschrijdingen per hoofd) die nodig is om de ene verdeling in de andere te transformeren.
• Van punt naar interval: Wanneer de marginaalverdelingen volledig zijn waargenomen, levert deze methode een punt-schatting (point estimate) op voor de minimale mobiliteit. Echter, wanneer er sprake is van ontbrekende data, worden de marginaalverdelingen partiële geïdentificeerd. In dit geval wordt de maat voor distributie-verandering eveneens partiële geïdentificeerd, resulterend in een interval $[\underline{D}, \overline{D}]$ in plaats van een enkel punt.
• Feasible Set van Configuraties: De oplossingen van dit optimalisatieprobleem vormen een set van haalbare koppelingen (feasible set of couplings) $\Pi^*$, en niet noodzakelijk een unieke configuratie. Deze matrices beschrijven de verzameling van alle mogelijke manieren waarop massa minimaal kan worden verplaatst tussen categorieën om de waargenomen marginaalverdelingen te verklaren. Ze fungeren als een interpretatieve benchmark: ze beschrijven de structuur van verandering die noodzakelijk is binnen de constraints van de data, zonder aannames te doen over de onderliggende gezamenlijke verdeling.

B. Partiële Identificatie bij Ontbrekende Data

Om rekening te houden met ontbrekende data, wordt een "worst-case" benadering gebruikt (gebaseerd op Horowitz en Manski, 1995).

• Er worden scherpe grenzen (bounds) afgeleid voor de ware populatiemarginaalverdelingen $\mu$ en $\nu$ op basis van de geobserveerde verdelingen en de responspercentages.
• Dit resulteert in een geïdentificeerde set (identified set) $\mathcal{M}_\mu$ en $\mathcal{M}_\nu$ van mogelijke verdelingen.
• De maat voor distributie-verandering $D(\mu, \nu)$ is hierdoor slechts partiële geïdentificeerd. De auteur leidt een geïdentificeerde set voor de maat af: het interval $[\underline{D}, \overline{D}]$, waarbij $\underline{D}$ de minimale en $\overline{D}$ de maximale mogelijke verandering is binnen de geïdentificeerde sets.

C. Endpunt-geconditioneerde Koppelingen

Naast de grenzen voor de grootte van de verandering, analyseert de auteur de structuur van de mobiliteit bij de uiterste punten van het interval:

• $\Pi^*_L$: De set van optimale koppelingen die corresponderen met de ondergrens $\underline{D}$ (minimale mobiliteit).
• $\Pi^*_U$: De set van optimale koppelingen die corresponderen met de bovengrens $\overline{D}$ (maximale mobiliteit binnen de constraints).
• Hieruit worden scherpe grenzen afgeleid voor de massa die van categorie $i$ naar $j$ kan stromen onder deze extremale scenario's.

D. Inferentie

Voor de statistische inferentie wordt een non-parametrische bootstrap procedure gebruikt (gebaseerd op Horowitz en Manski, 2000). Dit houdt rekening met zowel steekproeffouten als de identificatieonzekerheid veroorzaakt door ontbrekende data, en levert betrouwbaarheidsintervallen op voor de grenzen en de koppelingen.

3. Belangrijkste Resultaten en Bijdragen

1. Van Punt naar Interval en Gestructureerde Beschrijving: De paper levert niet alleen een scalar getal voor distributie-verandering, maar ook een gestructureerde beschrijving (via de koppelingen) van hoe deze verandering moet plaatsvinden. Cruciaal is dat de output verschuift van een punt-schatting bij volledige data naar een interval bij partiële identificatie. Dit vult bestaande methoden (zoals stochastische dominantie) aan door inzicht te geven in de mobiliteitsstructuur zonder aannames over de gezamenlijke verdeling.
2. Rol van Optimal Transport: De bijdrage van dit artikel ligt niet in het introduceren van de optimal transport-representatie zelf, maar in het gebruik ervan om de set van haalbare minimale herschikkingen te karakteriseren die consistent zijn met de marginale informatie, met name onder de complicatie van ontbrekende data. Het verschuift de rol van optimal transport van louter een computermiddel naar een object van interpretatie voor partiële identificatie.
3. Robuustheid tegen Ontbrekende Data: De methode biedt een manier om conclusies te trekken over distributie-verandering die robuust zijn tegen non-response. Door het interval $[\underline{D}, \overline{D}]$ en de bijbehorende koppelingen te analyseren, kan men beoordelen of de conclusies over de structuur van verandering gevoelig zijn voor de onzekerheid rondom de ontbrekende data.
4. Extremale Interpretatie en Fréchet-ongelijkheden: De auteur plaatst de methode in de context van partiële identificatie door een analogie te trekken met klassieke Fréchet-ongelijkheden. Waar Fréchet-ongelijkheden de grenzen van gezamenlijke kansen bepalen, bepaalt deze methode de grenzen van extremale beweging (extremal movement) over categorieën. Het is belangrijk op te merken dat deze grenzen de uiterste mogelijke herschikkingen van massa beschrijven, en niet de extremale afhankelijkheid (dependence) tussen variabelen. De term "normatieve benchmark" wordt vervangen door extremale of interpretatieve benchmark, aangezien deze de grenzen van wat mogelijk is binnen de data definieert, niet wat moreel of normatief wenselijk is.

4. Empirische Illustratie

De methode wordt toegepast op data van de Arab Barometer (golf 7 en 8) voor Irak en Marokko, met als variabele de houding ten opzichte van de Verenigde Staten (4-puntsschaal).

• Vindst 1 (Grootte van verandering): Zelfs onder de meest optimistische aanname (minimale mobiliteit), moet een niet-triviale fractie van de bevolking (ongeveer 4% tot 12%) van antwoordcategorie veranderen om de verschillen tussen de golven te verklaren.
• Vindst 2 (Structuur van verandering): De minimale mobiliteitsconfiguraties zijn geconcentreerd rond de diagonaal. Dit betekent dat veranderingen voornamelijk plaatsvinden via lokale overgangen (naastliggende categorieën) en niet via grote sprongen (bijv. van "zeer gunstig" naar "zeer ongunstig"). Dit suggereert een geleidelijke verschuiving in attitudes in plaats van extreme polarisatie.
• Vindst 3 (Robuustheid): Hoewel de grootte van de verandering deels onzeker is door ontbrekende data, is de structuur van de minimale mobiliteit (lokale overgangen) stabiel over het hele geïdentificeerde interval. Dit betekent dat de conclusie over de aard van de verandering robuust is ten opzichte van non-response.

5. Significatie en Conclusie

Dit artikel biedt een krachtig nieuw instrument voor econometristen en sociaalwetenschappers die werken met ordinale data uit herhaalde dwarsdoorsneden.

• Theoretische bijdrage: Het koppelt optimal transport-theorie direct aan empirische interpretatie in een setting met partiële identificatie. Het benadrukt dat de representatie van transportkosten een middel is om de set van haalbare minimale herschikkingen te karakteriseren, waarbij de output een punt is bij volledige data en een interval bij ontbrekende data.
• Praktische toepasbaarheid: De methode is implementeerbaar met standaard software (lineaire programmering en bootstrap) en vereist geen paneldata.
• Beperkingen: De methode kan geen bewegingen detecteren die de marginaalverdeling niet veranderen (bijv. compenserende bewegingen die elkaar opheffen). Het beschrijft wat noodzakelijk is om de waargenomen verschillen te verklaren, niet wat er daadwerkelijk is gebeurd.

Kortom, de paper biedt een gestructureerde, interpreteerbare en robuuste manier om distributie-verandering te analyseren wanneer de gezamenlijke verdeling onbekend is en data onvolledig is, door de grenzen van extremale beweging in plaats van afhankelijkheid te definiëren.