Distributional Change in Ordinal Data with Missing Observations: Minimal Mobility and Partial Identification

Questo articolo propone un approccio di identificazione parziale per misurare e interpretare i cambiamenti distribuzionali in dati ordinali con osservazioni mancanti, utilizzando una rappresentazione del trasporto ottimo per definire configurazioni di mobilità minima e costruire intervalli di identificazione robusti.

L'essenziale

Il Titolo in Pochi Parole

Immagina di voler capire come è cambiata la "mappa" delle opinioni di un paese nel tempo (ad esempio, quanto la gente si fida delle istituzioni). Il problema è che non abbiamo un filmato che ci mostra cosa ha fatto ogni singola persona nel tempo (i dati longitudinali), ma solo due "fotografie" scattate a distanza di anni (i dati trasversali). Inoltre, in queste foto, alcune persone hanno chiuso gli occhi o non hanno risposto (dati mancanti).

L'autore, Rami Tabri, ci dice: "Non preoccuparti se non vedi il filmato completo. Possiamo ancora calcolare la minima quantità di movimento necessaria per trasformare la prima foto nella seconda, anche se non sappiamo chi si è mosso esattamente."

---

1. Il Problema: Due Foto, Nessun Filmato

Immagina di avere due classi di studenti.

• Foto A (Anno 1): Vedi quanti studenti hanno il voto 1, quanti il voto 2, ecc.
• Foto B (Anno 2): Vedi di nuovo quanti studenti hanno il voto 1, 2, ecc.

Ma non sai chi è passato dal voto 1 al voto 2. Forse è lo stesso studente? O forse uno è andato via e ne è arrivato un altro? Senza sapere chi è chi, non puoi ricostruire il "film" dei singoli spostamenti.

Inoltre, in entrambe le foto, alcuni studenti hanno detto "Non lo so" o non hanno risposto. Questo rende le foto un po' sfocate: non sappiamo esattamente quanti voti ci sono in totale, solo una stima basata su chi ha risposto.

2. La Soluzione: Il "Trasloco Minimo" (Minimal Mobility)

L'autore si chiede: "Qual è il modo più economico e semplice per trasformare la Foto A nella Foto B?"

Pensa a questo come a un trasloco di mobili.

• Hai una stanza piena di scatole (la distribuzione delle opinioni nell'anno 1).
• Devi riorganizzarle per farle combaciare con la forma di una nuova stanza (la distribuzione nell'anno 2).
• Non sai chi ha spostato cosa, ma vuoi sapere: qual è la minima quantità di fatica (movimento) necessaria per riuscirci?

L'autore usa un concetto matematico chiamato Trasporto Ottimale (o Wasserstein distance). In parole povere, calcola la distanza minima che i "mobili" (le persone) devono fare per passare dalla configurazione A alla B.

• Se qualcuno passa dal voto "Molto favorevole" a "Favorevole", è un piccolo passo (costa poco).
• Se qualcuno passa da "Molto favorevole" a "Molto sfavorevole", è un salto enorme (costa molto).

L'articolo calcola il costo minimo necessario per spiegare la differenza tra le due foto.

• Se i dati sono completi: Otteniamo un numero preciso (un punto stimato) che ci dice esattamente quanto è cambiato il minimo indispensabile.
• Se ci sono dati mancanti: Non possiamo dare un numero unico. Invece, calcoliamo un intervallo (una forbice). Sappiamo che il movimento reale è almeno X e al massimo Y. Questo perché, senza sapere chi ha risposto, il movimento potrebbe essere stato minimo o massimo, ma non può uscire da questo range.

3. La Magia: Le "Mappe del Movimento" (Minimal-Mobility Configurations)

Non ci dice solo quanto è costato il trasloco, ma ci disegna anche come è stato fatto nel modo più efficiente.
Immagina una mappa che ti dice: "Per trasformare la Foto A nella B con il minimo sforzo, dobbiamo spostare il 10% delle persone dal voto 1 al voto 2, e il 5% dal voto 2 al voto 3".

Questa mappa non è necessariamente la verità storica (non sappiamo chi si è mosso davvero), e non è un unico piano specifico. In realtà, esistono molte configurazioni diverse che raggiungono lo stesso costo minimo.
Piuttosto che un'unica "blueprint", l'articolo ci mostra l'insieme di tutte le spiegazioni possibili che rispettano il vincolo del minimo sforzo. Ci dice: "Qualsiasi spiegazione logica di come la società sia cambiata, se vuole essere efficiente, deve necessariamente assomigliare a questo tipo di spostamenti".
È un benchmark interpretativo: ci dice qual è il minimo indispensabile di movimento che deve esserci stato. Se qualcuno sostiene che la società è cambiata in modo caotico (tutti saltano da un estremo all'altro), questa analisi ci dice: "Aspetta, per ottenere quei risultati con il minimo sforzo, non serve quel caos. Serve solo un piccolo spostamento locale."

4. Gestire i "Dati Mancanti" (Partial Identification)

Ecco la parte più intelligente: cosa succede se nella foto mancano dei pezzi (chi non ha risposto)?
L'autore non inventa dati a caso. Usa un approccio "nel caso peggiore".

• Immagina che i dati mancanti possano essere qualsiasi cosa compatibile con quello che vediamo.
• Calcola il minimo possibile di movimento (se i dati mancanti fossero stati favorevoli al minimo sforzo).
• Calcola il massimo possibile di movimento (se i dati mancanti fossero stati favorevoli al massimo sforzo).

Il risultato non è un numero singolo, ma un intervallo (una forbice).

• Esempio: "Sappiamo con certezza che almeno il 4% della popolazione ha cambiato opinione, e al massimo il 12%."
• Questo intervallo è robusto: anche se non sappiamo chi ha risposto, la nostra conclusione è solida perché copre tutte le possibilità.

È importante notare che questi limiti caratterizzano l'estremo movimento tra le categorie (quanto è dovuto spostarsi la gente per far combaciare le foto), non la dipendenza statistica estrema tra le variabili (come nei classici limiti di Fréchet). Si tratta di una distinzione concettuale fondamentale: stiamo misurando la fatica del trasloco, non la correlazione statistica.

5. L'Esempio Reale: L'Arab Barometer

L'autore ha testato questo metodo su dati reali riguardanti l'opinione pubblica su gli Stati Uniti in Iraq e Marocco.

• Risultato: Ha scoperto che, anche nel caso migliore (movimento minimo), una parte significativa della popolazione (tra il 4% e il 12%) ha dovuto cambiare la sua risposta per spiegare le differenze tra le due ondate di sondaggi.
• Come si è mosso? L'analisi delle configurazioni minime mostra che la gente si è spostata principalmente tra categorie vicine (es. da "favorevole" a "piuttosto favorevole"), non facendo salti giganteschi. Questo suggerisce un cambiamento graduale, non una polarizzazione violenta.
• Robustezza: Anche variando le ipotesi sui dati mancanti, la struttura del cambiamento (spostamenti graduali) rimaneva la stessa. Quindi, la conclusione è affidabile.

In Sintesi: Perché è utile?

Questo articolo ci insegna che anche quando abbiamo informazioni incomplete (solo le "foto" e non il "film", e con alcuni buchi), possiamo ancora dire cose molto precise:

1. Quanto è cambiato il minimo indispensabile per spiegare le differenze (fornendo un numero preciso se i dati sono completi, o un intervallo se mancano).
2. Come è probabile che sia cambiato (localmente o globalmente), identificando l'insieme di tutti gli scenari minimi possibili.
3. Quanto possiamo fidarci di queste conclusioni, anche con dati mancanti.

È come se, guardando due foto di una stanza disordinata e poi riordinata, potessimo dire: "Anche se non ho visto chi ha spostato i libri, so per certo che qualcuno ha dovuto muovere almeno 10 libri (e al massimo 15), e probabilmente li ha spostati solo sullo scaffale accanto, non dall'altra parte della casa."

Sommario tecnico

1. Il Problema di Ricerca

Il lavoro affronta una sfida fondamentale nell'analisi empirica: la misurazione e l'interpretazione dei cambiamenti distribuzionali di variabili ordinali quando si dispone solo di dati trasversali ripetuti (repeated cross-sections).
In tali contesti, sono osservabili solo le distribuzioni marginali (le distribuzioni di frequenza per ciascun periodo o gruppo), mentre la distribuzione congiunta che collega le osservazioni nel tempo o tra i gruppi non è identificata. Di conseguenza, è impossibile tracciare le transizioni individuali (chi è passato da una categoria all'altra).
Un ulteriore ostacolo è la pervasività dei dati mancanti (missing data), che impedisce l'identificazione puntuale delle distribuzioni marginali stesse. La domanda centrale è: come possiamo misurare il cambiamento distribuzionale e comprendere la struttura di tale cambiamento (mobilità) basandoci esclusivamente sulle informazioni marginali parziali e in presenza di dati mancanti?

2. Metodologia e Quadro Teorico

A. Misura del Cambiamento Distribuzionale e Trasporto Ottimo

L'autore propone di misurare il cambiamento distribuzionale attraverso la distanza $L_1$ tra le funzioni di distribuzione cumulativa (CDF). Per due distribuzioni marginali $\mu$ e $\nu$ su un supporto ordinato $\{1, \dots, K\}$, la discrepanza è definita come:
$$D(\mu, \nu) := \sum_{k=1}^{K-1} |F_\mu(k) - F_\nu(k)|$$
Il contributo teorico principale non risiede nella definizione della distanza di trasporto ottimo (Wasserstein-1) in sé, la quale è già nota in letteratura, ma nell'utilizzo di tale rappresentazione per caratterizzare l'insieme delle riallocazioni di massa minime compatibili con le informazioni marginali, specialmente in presenza di dati mancanti.

• Identificazione Puntuale vs. Parziale: Se le distribuzioni marginali sono completamente osservate (nessun dato mancante), la misura di discrepanza è un punto singolo (stima puntuale). Tuttavia, in presenza di dati mancanti, le marginali vere sono solo parzialmente identificabili. Di conseguenza, la misura di discrepanza e le configurazioni di mobilità non sono punti unici, ma formano un intervallo e un insieme di funzioni.
• Insiemi di Configurazioni: L'insieme delle configurazioni di mobilità minima non è una configurazione unica, ma un insieme ammissibile (feasible set) di accoppiamenti ottimali. Questi accoppiamenti rappresentano le diverse modalità in cui la massa di probabilità può essere riallocata per minimizzare il movimento totale, date le vincoli marginali osservati (o i loro limiti).
• Benchmark Interpretativo: Queste configurazioni fungono da benchmark estremali o interpretativi. Descrivono come la massa di probabilità deve essere riallocata per minimizzare il movimento totale all'interno dei limiti identificati, fornendo una struttura ordinata del cambiamento distribuzionale senza assumere una specifica struttura di dipendenza non osservata.

B. Identificazione Parziale e Dati Mancanti

Per gestire i dati mancanti, l'articolo adotta un approccio di identificazione parziale (alla Horowitz e Manski, 1995).

• Si costruiscono limiti sharp (angoli) per le distribuzioni marginali vere ($\mu$ e $\nu$) basati sulle distribuzioni osservate e sui tassi di risposta noti.
• Questo definisce un insieme identificato di distribuzioni possibili.
• Di conseguenza, la misura di discrepanza $D(\mu, \nu)$ e le configurazioni di mobilità minima non sono punti singoli, ma intervalli e insiemi di funzioni.
• Teorema 1: L'insieme identificato per la discrepanza è un intervallo $[\underline{D}, \overline{D}]$, calcolabile risolvendo problemi di ottimizzazione unidimensionale per ogni soglia cumulativa.
• Teorema 2: Si caratterizzano anche gli insiemi di accoppiamenti ottimali condizionati agli estremi dell'intervallo ($\Pi^*_L$ per il limite inferiore e $\Pi^*_U$ per quello superiore), fornendo limiti sharp sui flussi di massa tra categorie specifiche.

C. Inferenza Statistica

L'articolo propone una procedura di inferenza basata sul bootstrap non parametrico (adattando il metodo di Horowitz e Manski, 2000). Questo permette di costruire intervalli di confidenza che tengono conto sia della variabilità campionaria sia dell'incertezza di identificazione dovuta ai dati mancanti.

3. Risultati Chiave

1. Misura Scalare e Strutturata: Il framework fornisce non solo una misura scalare della discrepanza (il costo di trasporto minimo), ma anche una descrizione strutturata di come tale cambiamento deve realizzarsi attraverso le categorie ordinate. Quando i dati sono completi, la misura è puntuale; con dati mancanti, diventa un intervallo.
2. Robustezza ai Dati Mancanti: L'approccio di identificazione parziale genera intervalli di discrepanza che catturano l'incertezza derivante dai dati mancanti. Se l'intervallo è stretto, le conclusioni sono robuste; se è ampio, la struttura del cambiamento dipende criticamente dalle distribuzioni ammissibili.
3. Benchmark di Mobilità: Le "tabelle di mobilità minima" (minimal-mobility tables) rappresentano un insieme ammissibile di configurazioni, non una singola tabella. Qualsiasi spiegazione del cambiamento distribuzionale che implichi movimenti su larga scala (es. polarizzazione estrema) deve avere un costo di trasporto superiore a questo limite inferiore. Se i dati osservati sono compatibili con un cambiamento minimo e locale, le spiegazioni basate su grandi salti categoriali sono meno plausibili come "movimenti necessari".
4. Relazione con i Limiti di Fréchet: Il lavoro collega i benchmark di mobilità minima/massima alle classiche disuguaglianze di Fréchet. È cruciale notare che questi limiti caratterizzano i movimenti estremi tra le categorie (estremal movement across categories) necessari per spiegare il cambiamento marginale, e non si riferiscono a estremi di dipendenza statistica (extremal dependence) tra le variabili.

4. Illustrazione Empirica

L'autore applica il framework ai dati dell'Arab Barometer (Ondate 7 e 8) riguardanti l'opinione favorevole verso gli Stati Uniti in Iraq e Marocco.

• Dati: Variabile ordinale a 4 punti con tassi di non risposta per item (item nonresponse) bassi ma presenti.
• Risultati:
  • Per entrambi i paesi, è necessario che una frazione non trascurabile della popolazione (tra il 4% e il 12% a seconda del paese e dell'intervallo di confidenza) cambi categoria per spiegare le differenze osservate.
  • La struttura della mobilità minima è locale: la maggior parte del riallocamento avviene tra categorie adiacenti (transizioni a un passo), suggerendo cambiamenti graduali piuttosto che una polarizzazione massiccia.
  • Robustezza: Sebbene l'entità esatta del cambiamento sia parzialmente identificata (a causa dei dati mancanti), la struttura delle configurazioni di mobilità minima (concentrata sulla diagonale) rimane stabile tra i limiti inferiore e superiore, indicando che le conclusioni qualitative sono robuste alla non risposta.

5. Significato e Contributi

Questo articolo offre un contributo significativo alla letteratura econometrica e statistica in diversi modi:

• Interpretazione Economica: Trasforma il trasporto ottimo da strumento computazionale a oggetto di interpretazione economica, permettendo di distinguere tra movimenti "necessari" (identificati dai margini) e movimenti "possibili ma non identificati". Il contributo chiave è l'uso del trasporto ottimo per delimitare l'insieme delle riallocazioni minime fattibili in assenza di dati congiunti.
• Gestione dei Dati Mancanti: Fornisce un metodo rigoroso per quantificare l'incertezza nelle analisi distribuzionali quando i dati congiunti sono assenti e i dati marginali sono incompleti, passando da stime puntuali a intervalli di identificazione.
• Alternativa alla Dominanza Stocastica: Mentre la dominanza stocastica confronta le distribuzioni in modo ordinale ma non quantifica il "costo" del cambiamento, questo approccio quantifica la minima mobilità necessaria, offrendo una metrica più informativa per le analisi di policy.
• Applicabilità Pratica: La metodologia è implementabile con procedure standard (bootstrap) e non richiede assunzioni strutturali forti sulla distribuzione congiunta non osservata, rendendola ideale per l'analisi di sondaggi internazionali e dati di panel non disponibili.

In sintesi, Tabri dimostra che anche in assenza di dati congiunti e in presenza di dati mancanti, è possibile derivare affermazioni robuste e strutturate sulla natura del cambiamento distribuzionale, utilizzando la geometria del trasporto ottimo per caratterizzare l'insieme delle soluzioni minime compatibili con i vincoli marginali parziali.