Distributional Change in Ordinal Data with Missing Observations: Minimal Mobility and Partial Identification

Diese Arbeit entwickelt ein Rahmenwerk zur Messung und Interpretation von Verteilungsveränderungen bei ordinalen Daten mit fehlenden Beobachtungen, indem sie eine optimale Transportdarstellung für die minimale Massenumverteilung nutzt und scharfe Partial-Identification-Grenzen für robuste Inferenz konstruiert.

Das Wesentliche

Die große Frage: Wie viel hat sich wirklich geändert?

Stellen Sie sich vor, Sie haben zwei Fotos von einer Menschenmenge, die an zwei verschiedenen Tagen gemacht wurden.

• Foto 1 (Vergangenheit): 40% der Leute tragen rote Hemden, 30% blaue, 20% grüne und 10% gelbe.
• Foto 2 (Gegenwart): 20% rot, 30% blau, 30% grün, 20% gelb.

Sie sehen die Verteilung der Farben (die „Randverteilungen"). Aber Sie haben keine Liste, die sagt, wer von der Person A vom roten zum gelben Hemd gewechselt ist. Vielleicht ist Person A rot geblieben und Person B hat gewechselt. Oder alle haben gewechselt. Das wissen Sie nicht, weil Sie nur die Gesamtzahlen haben, nicht die individuellen Bewegungen.

Die übliche Statistik sagt Ihnen nur: „Die Verteilung hat sich geändert." Aber sie kann nicht sagen: Wie viel Arbeit (oder wie viele Umzüge) waren mindestens nötig, um von Foto 1 zu Foto 2 zu kommen?

Das Problem mit den fehlenden Daten

In der echten Welt ist es noch schlimmer. Nicht jeder auf dem Foto hat seine Farbe genannt. Manche haben gesagt: „Ich weiß es nicht" oder „Ich möchte nicht antworten".
Das bedeutet: Wir kennen die genauen Prozentzahlen für Foto 1 und Foto 2 gar nicht genau. Wir wissen nur: „Es liegt irgendwo zwischen X und Y".

Die meisten Forscher würden hier aufhören oder Annahmen treffen („Ich nehme an, die Nicht-Antwortenden sehen genauso aus wie die Antwortenden"). Tabri sagt: Nein, machen wir keine Annahmen. Wir wollen wissen, was wir sicher wissen können, auch wenn Daten fehlen.

Die Lösung: Der „Minimal-Umzug" (Minimal Mobility)

Tabri nutzt ein mathematisches Werkzeug namens Optimaler Transport. Stellen Sie sich das wie einen Umzug vor:

1. Die Aufgabe: Sie müssen die Leute aus der Verteilung von Foto 1 so umsortieren, dass sie genau wie Foto 2 aussehen.
2. Die Regel: Jeder Umzug kostet etwas. Wenn jemand von „Rot" zu „Blau" wechselt, kostet das wenig (da die Farben nah beieinander liegen). Wenn jemand von „Rot" direkt zu „Gelb" springt, kostet das viel mehr.
3. Die Frage: Wie können wir die Leute umsortieren, damit die Gesamtkosten (die Bewegung) so gering wie möglich sind?

Das Ergebnis dieser Rechnung nennt Tabri die „Minimal-Mobilität".

• Die Zahl (oder der Bereich):

  • Wenn wir die Daten von Foto 1 und Foto 2 vollständig kennen (keine fehlenden Antworten), liefert die Methode eine genaue Zahl (Punktschätzung). Sie sagt: „Genau so viel Prozent mussten sich bewegen."
  • Wenn jedoch Daten fehlen (wie in unserem Beispiel mit den Nicht-Antwortenden), können wir keine einzige Zahl nennen. Stattdessen berechnen wir einen Bereich (Intervall). Die wahre Antwort liegt irgendwo zwischen einer unteren und einer oberen Grenze. Das Framework liefert also je nach Datenlage entweder eine exakte Zahl oder einen sicheren Korridor.

• Die Karte (Menge möglicher Szenarien):
  Das Ergebnis zeigt nicht nur eine Zahl, sondern beschreibt eine Menge möglicher Bewegungspläne. Es gibt nicht einen einzigen Weg, wie die Leute gewechselt sein müssen. Stattdessen zeigt die Methode: „Hier ist die Menge aller Szenarien, die mit den geringstmöglichen Kosten vereinbar sind."
  Statt zu sagen: „Niemand musste zwingend von Rot zu Gelb wechseln", sagt es: „In jedem Szenario, das die geringstmögliche Bewegung erklärt, muss diese spezifische Bewegung (z. B. von Rot zu Blau) mindestens so oft vorkommen." Es beschreibt also, was jeder minimal-mobilen Erklärung gemeinsam sein muss, ohne einen einzigen, starren Plan vorzugeben.

Was passiert, wenn Daten fehlen? (Der Schatten-Bereich)

Da wir wegen der fehlenden Antworten die genauen Start- und Zielzahlen nicht kennen, können wir keine einzige Zahl berechnen. Stattdessen berechnen wir einen Bereich (Schatten).

• Das Worst-Case-Szenario (Untere Grenze): Was ist die absolut kleinste Bewegung, die noch mit unseren ungenauen Daten vereinbar ist?
• Das Worst-Case-Szenario (Obere Grenze): Was ist die größte Bewegung, die noch möglich wäre?

Die wahre Antwort liegt irgendwo dazwischen. Tabris Methode gibt uns also nicht eine exakte Zahl, sondern einen sicheren Korridor. Wichtig ist dabei: Diese Grenzen charakterisieren die extremale Bewegung über die Kategorien hinweg (wie viel muss sich mindestens ändern), nicht die extremale Abhängigkeit im statistischen Sinne (wie bei Fréchet-Bounden). Es geht um die logisch notwendige Menge an Veränderung, nicht um die stärkste mögliche statistische Verknüpfung.

Ein Beispiel aus der echten Welt: Die Arab Barometer-Studie

Tabri hat dies mit Umfragedaten aus dem Irak und Marokko getestet. Die Frage war: „Wie stehen Sie zu den USA?" (Von „Sehr positiv" bis „Sehr negativ").

• Ergebnis: Um die Veränderungen zwischen zwei Umfragen zu erklären, mussten mindestens 4% bis 10% der Menschen ihre Antwortkategorie ändern. (Dies ist der Bereich, da Daten unvollständig waren).
• Die Struktur: Die Analyse der „minimalen Bewegung" zeigte, dass diese Änderungen meist „kleine Schritte" waren. Leute sind von „Sehr positiv" zu „Eher positiv" gewechselt, nicht von „Sehr positiv" direkt zu „Sehr negativ".
• Die Bedeutung: Das bedeutet, die Stimmung hat sich nicht durch eine plötzliche, extreme Polarisierung geändert, sondern durch viele kleine, schrittweise Verschiebungen.

Warum ist das wichtig?

Stellen Sie sich vor, Sie sind ein Richter.

• Die alte Methode: Sagt nur: „Der Angeklagte hat sich verändert." (Unspezifisch).
• Tabris Methode: Sagt: „Basierend auf den Beweisen, die wir haben, muss der Angeklagte mindestens 5 Schritte gemacht haben (oder liegt im Bereich 5 bis 20). Er könnte 20 Schritte gemacht haben, aber er kann nicht nur 1 Schritt gemacht haben. Und er musste dabei von links nach rechts gehen, nicht von oben nach unten."

Das ist mächtig, weil es:

1. Keine falschen Annahmen trifft: Wir wissen nicht, was die Leute gedacht haben, die nicht geantwortet haben. Wir sagen einfach: „Es könnte alles sein, was in diesem Bereich liegt."
2. Robust ist: Selbst wenn die Daten lückenhaft sind, können wir sagen: „Egal wie die Lücken gefüllt sind, diese minimale Bewegung ist auf jeden Fall passiert."
3. Struktur zeigt: Es zeigt uns nicht nur dass sich etwas geändert hat, sondern wie es sich am wahrscheinlichsten geändert hat (schrittweise vs. sprunghaft), basierend auf einem interpretativen Benchmark (extremal benchmark), der die logisch notwendige Bewegung aus den Daten ableitet, statt eine normative Vorgabe zu machen.

Zusammenfassung in einem Satz

Diese Forschung gibt uns ein Werkzeug, um mit unvollständigen Daten zu sagen: „Wir wissen nicht genau, wer sich wie bewegt hat, aber wir wissen mit Sicherheit, dass sich mindestens so viel bewegt haben muss (oder innerhalb dieses Bereichs liegt), und zwar auf eine Art und Weise, die in jedem denkbaren minimalen Szenario diese spezifischen, schrittweisen Merkmale aufweist."

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert ein häufiges Problem in der empirischen Ökonometrie und Statistik: den Vergleich von Verteilungen ordinärer Variablen (z. B. Umfragewerte auf einer Skala von „sehr zufrieden" bis „sehr unzufrieden") über verschiedene Gruppen oder Zeitpunkte hinweg.

• Datenlage: Oft liegen nur wiederholte Querschnittsdaten (repeated cross-sections) vor, bei denen nur die Randverteilungen (marginal distributions) beobachtet werden können. Die gemeinsame Verteilung (joint distribution), die beschreibt, wie Individuen zwischen den Kategorien wechseln, ist nicht identifiziert.
• Herausforderung 1 (Fehlende Joint-Information): Ohne Joint-Information ist es schwierig zu beurteilen, wie sich beobachtete Unterschiede in den Randverteilungen ergeben. Standardmethoden, die individuelle Übergänge verfolgen, sind nicht anwendbar.
• Herausforderung 2 (Fehlende Daten): In vielen Datensätzen sind die Randverteilungen selbst aufgrund von Nichtantwort (Missing Data) nur teilweise beobachtbar. Dies führt zu Unsicherheit bezüglich der wahren Verteilungen.

Das Ziel des Papers ist es, ein Maß für den Verteilungswandel zu entwickeln und zu interpretieren, das nur auf Randinformationen basiert, und dies unter Berücksichtigung von fehlenden Daten durch Partial Identification (teilweise Identifikation) zu robustifizieren.

2. Methodik

Der Autor kombiniert Konzepte aus dem Optimalen Transport (Optimal Transport) und der Partial Identification (teilweisen Identifikation).

A. Optimaler Transport und Minimal Mobility

Anstatt nur die Distanz zwischen Verteilungen zu messen, fragt das Paper: Was ist die geringste Umverteilung von Wahrscheinlichkeitsmasse, die erforderlich ist, um eine Verteilung $\mu$ in eine andere $\nu$ zu transformieren?

• Maß für Verteilungsänderung: Es wird die $L_1$-Distanz zwischen den kumulativen Verteilungsfunktionen (CDFs) verwendet:
  $$D(\mu, \nu) := \sum_{k=1}^{K-1} |F_\mu(k) - F_\nu(k)|$$
• Optimal-Transport-Darstellung: Es wird gezeigt, dass $D(\mu, \nu)$ äquivalent zur Wasserstein-1-Distanz (auch Earth Mover's Distance) ist, wenn die Kosten für den Transport von Kategorie $i$ nach $j$ durch $|i-j|$ definiert sind.
  $$D(\mu, \nu) = \min_{\pi \in \Pi(\mu, \nu)} \sum_{i=1}^K \sum_{j=1}^K |i-j| \pi_{ij}$$
  wobei $\Pi(\mu, \nu)$ die Menge aller gemeinsamen Verteilungen mit den gegebenen Randverteilungen ist.
• Minimal-Mobility-Konfigurationen: Die Minimierer dieser Optimierung ($\pi^*$) bilden eine Menge zulässiger Konfigurationen (feasible set), nicht eine einzige eindeutige Konfiguration. Diese Menge repräsentiert alle möglichen Übergangsmatrizen, die die beobachteten Randverteilungen mit minimalem „Aufwand" (geringster Sprungweite über die Ordinalskala) erklären.
  • Ergebnis bei vollständigen Daten: Wenn die Randverteilungen vollständig beobachtet sind, liefert die Methode einen Punktschätzer für die minimale Mobilität (die Distanz selbst), während die zugehörigen Kopplungen eine Menge möglicher Reallokationen darstellen.
  • Ergebnis bei fehlenden Daten: Unter Missing Data wird die Menge der möglichen Randverteilungen durch Partial Identification bestimmt. Dies führt dazu, dass das Ergebnis für die minimale Mobilität von einem Punkt zu einem Intervall (einem Bereich identifizierbarer Werte) wird. Die zugehörigen Minimal-Mobility-Konfigurationen bilden dann eine erweiterte Menge, die über alle möglichen Randverteilungen innerhalb der identifizierten Menge konsistent ist.
• Rolle des Optimalen Transports: Die Darstellung mittels Optimaler Transport ist an sich nicht neu; der wesentliche Beitrag des Papers liegt in der Nutzung dieser Darstellung, um die Menge der zulässigen minimalen Umverteilungen zu charakterisieren, die mit den Randinformationen (insbesondere unter Unsicherheit durch fehlende Daten) konsistent sind.

B. Partial Identification bei fehlenden Daten

Da die Randverteilungen $\mu$ und $\nu$ oft nur teilweise beobachtet sind (z. B. durch Item-Nonresponse), werden scharfe Bounds (Grenzen) für die identifizierbaren Mengen konstruiert.

• Identifizierte Mengen: Unter der Annahme, dass die Antwortwahrscheinlichkeiten ($p$ und $q$) bekannt oder konsistent schätzbar sind, werden Intervalle für die wahren kumulativen Verteilungsfunktionen $F_\mu(k)$ und $F_\nu(k)$ definiert.
• Bounds für die Diskrepanz: Der Bereich der möglichen Verteilungsänderungen $[ \underline{D}, \overline{D} ]$ wird durch Minimierung und Maximierung der Distanzfunktion über die identifizierten Mengen der Randverteilungen bestimmt.
• Endpoint-Conditioned Couplings: Für die untere und obere Grenze der Diskrepanz ($\underline{D}$ und $\overline{D}$) werden die zugehörigen Mengen optimaler Kopplungen ($\Pi^*_L$ und $\Pi^*_U$) analysiert. Dies liefert scharfe Bounds für den Transportfluss zwischen spezifischen Kategorien ($\pi_{ij}$) unter den extremen Szenarien der identifizierten Menge.

C. Inferenz

Für die statistische Inferenz wird ein nichtparametrischer Bootstrap (nach Horowitz und Manski, 2000) verwendet, um sowohl Stichprobenvariabilität als auch die durch fehlende Daten verursachte Identifikationsunsicherheit zu berücksichtigen.

3. Wichtige Beiträge

1. Neue Interpretation von Verteilungsvergleichen: Das Paper verschiebt den Fokus von rein deskriptiven Vergleichen (z. B. Stochastic Dominance) hin zu einer strukturellen Interpretation des minimalen notwendigen Wandels. Es liefert nicht nur einen skalaren Wert, sondern eine Menge von Kopplungen, die zeigt, wie der Wandel organisiert sein muss, um die beobachteten Randverteilungen zu erklären.
2. Integration von Optimal Transport und Partial Identification: Während Optimal Transport in der Ökonometrie oft zur Identifikation in strukturellen Modellen genutzt wird, nutzt Tabri es hier als Interpretationswerkzeug für rein marginale Daten. Die Methode liefert robuste Intervalle für Verteilungsänderungen in Anwesenheit von Missing Data. Der Kernbeitrag ist die Charakterisierung der Menge der zulässigen minimalen Reallokationen, die mit den Randdaten konsistent sind.
3. Benchmarking und Sensitivitätsanalyse: Die „Minimal-Mobility"-Konfigurationen dienen als interpretativer Benchmark (oder Extremal-Benchmark). Jede andere Erklärung für den Verteilungswandel (z. B. große Polarisierung) müsste einen höheren Transportkostenwert implizieren. Der Vergleich der Konfigurationen an den Endpunkten der identifizierten Menge erlaubt eine Sensitivitätsanalyse gegenüber den Annahmen über die fehlenden Daten.
4. Bezug zu Fréchet-Ungleichungen: Das Paper stellt eine Verbindung zu klassischen Fréchet-Ungleichungen her. Es ist wichtig zu betonen, dass diese Bounds die extremalen Bewegungen über Kategorien charakterisieren (d.h. wie viel Masse mindestens bewegt werden muss), und nicht die extremale Abhängigkeit (extremal dependence) im statistischen Sinne. Sie begrenzen die Struktur der Umverteilungen, nicht die Korrelationsstruktur der latenten Variablen.

4. Ergebnisse und Empirische Illustration

Die Methode wird mit Daten aus dem Arab Barometer (Wellen 7 und 8) für den Irak und Marokko illustriert, wobei die Einstellung zur USA (von „sehr günstig" bis „sehr ungünstig") analysiert wird.

• Quantifizierung des Wandels: Selbst unter der Annahme des minimalen notwendigen Wandels muss ein signifikanter Teil der Bevölkerung (ca. 4–12% der maximal möglichen Bewegung) seine Antwortkategorie geändert haben, um die Unterschiede zwischen den Wellen zu erklären.
• Struktur des Wandels: Die Analyse der Minimal-Mobility-Kopplungen zeigt, dass der Wandel primär durch lokale Übergänge zwischen benachbarten Kategorien (z. B. von „ziemlich günstig" zu „eher ungünstig") erfolgt. Es gibt wenig Evidenz für große Sprünge über die gesamte Skala (Polarisierung) als notwendige Erklärung.
• Robustheit: Obwohl die Größe des Wandels durch fehlende Daten teilweise identifiziert ist (Intervallschätzung), bleibt die Struktur der Minimal-Mobility-Kopplungen über den gesamten Bereich der identifizierten Mengen hinweg stabil. Das bedeutet, dass die Schlussfolgerung, der Wandel erfolge lokal, robust gegenüber Item-Nonresponse ist.
• Vergleich der Länder: Marokko zeigt einen etwas größeren minimalen Verteilungswandel als der Irak, was auf eine substanziellere Umverteilung der Antworten hindeutet.

5. Signifikanz und Fazit

Das Paper bietet ein robustes, interpretierbares Framework für die Analyse von Verteilungsänderungen in ordinalen Daten, wenn keine Panel-Daten vorliegen und Missing Data existieren.

• Praktische Relevanz: Es ermöglicht Forschern, zwischen Veränderungen zu unterscheiden, die notwendig sind, um die beobachteten Randverteilungen zu erklären, und solchen, die nur möglich sind. Bei vollständigen Daten liefert es einen präzisen Punktwert für den minimalen Wandel; bei fehlenden Daten liefert es einen robusten Intervallbereich.
• Methodische Stärke: Durch die Kombination von Optimal Transport und Partial Identification werden Schlussfolgerungen getroffen, die keine Annahmen über die nicht beobachtete gemeinsame Verteilung treffen, aber dennoch strukturelle Einsichten in die Menge der zulässigen minimalen Umverteilungen liefern.
• Erweiterbarkeit: Das Framework kann auf maximale Mobilitätsbenchmarks erweitert werden, um den gesamten Bereich möglicher Umverteilungen abzudecken, und dient als diagnostisches Werkzeug für die Sensitivität von Ergebnissen gegenüber fehlenden Daten.

Zusammenfassend liefert das Paper ein Werkzeug, um „was geschehen muss" (minimal required movement) von „was geschehen könnte" zu trennen, und quantifiziert die Unsicherheit, die durch fehlende Daten in solchen Analysen entsteht.