Distributional Change in Ordinal Data with Missing Observations: Minimal Mobility and Partial Identification

Este artigo propõe uma abordagem de identificação parcial para medir e interpretar mudanças distribucionais em dados ordinais com observações ausentes, utilizando uma representação de transporte ótimo baseada na distância $L_1$ para definir configurações de mobilidade mínima e construir limites precisos que garantem inferências robustas à não resposta.

O essencial

Imagine que você tem duas fotos de uma multidão em momentos diferentes: uma tirada em 2020 e outra em 2024. Em ambas as fotos, você consegue contar quantas pessoas estão vestindo roupas azuis, verdes, amarelas e vermelhas.

No entanto, há um problema: você não sabe quem mudou de cor de roupa. Você não tem uma lista de nomes que diga "João trocou o azul pelo verde" ou "Maria manteve o amarelo". Você só tem a contagem final de cada cor.

Além disso, em algumas fotos, algumas pessoas não responderam à pergunta sobre a cor da roupa (dados faltantes).

O artigo de Rami Tabri resolve exatamente esse quebra-cabeça. Ele nos diz: "Qual é a quantidade mínima de pessoas que precisaram trocar de cor para que a foto de 2024 ficasse diferente da de 2020? E como essa troca aconteceu da forma mais 'econômica' possível?"

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: As Sombras e as Sombras

Imagine que você está tentando entender como a opinião das pessoas sobre um tema (como "confiança no governo") mudou de um ano para o outro. As pessoas respondem em uma escala:

1. Muito Confiança
2. Pouca Confiança
3. Pouca Desconfiança
4. Muita Desconfiança

Você vê que, no ano 1, havia muita gente no "2" e pouca no "3". No ano 2, a coisa inverteu: pouca no "2" e muita no "3".

• A pergunta difícil: As pessoas que estavam no "2" mudaram para o "3"? Ou alguém do "1" pulou direto para o "4"? Ou talvez ninguém tenha mudado, e apenas pessoas novas entraram na sala?
• A limitação: Como você só tem as fotos (os totais), e não o vídeo (quem mudou com quem), você não sabe a verdade exata.

2. A Solução: O "Caminho Mais Curto" (Transporte Ótimo)

O autor usa uma ideia matemática chamada Transporte Ótimo, que podemos imaginar como uma empresa de mudança de casa.

Imagine que você tem caixas de "Opinião 2" e precisa transformá-las em caixas de "Opinião 3".

• Custo: Mover uma caixa de "Opinião 2" para "Opinião 3" custa pouco (é um passo). Mover de "Opinião 2" para "Opinião 4" custa mais (são dois passos).
• A descoberta: O autor calcula qual é o custo mínimo necessário para transformar a primeira foto na segunda.
  • Se todos os dados estiverem completos (sem "sombras"), o resultado é um número único (uma estimativa pontual) que diz: "Para que os números batam, exatamente X% das pessoas tiveram que dar um passo para o lado."
  • Se houver dados faltantes, o resultado não é um número único, mas sim um intervalo (uma faixa). O autor diz: "Dada a incerteza dos dados faltantes, a mudança real está entre Y% e Z%. Não importa o que realmente aconteceu, é impossível que menos do que Y% ou mais do que Z% tenha acontecido."

Isso é chamado de Medida de Discrepância. É como dizer: "A mudança foi pequena (apenas um passo) ou grande (pessoas pulando de um lado para o outro)?"

3. A Analogia do "Mapa de Tráfego Mínimo"

O autor não só diz quanto mudou, mas desenha o conjunto de cenários de tráfego mínimo.

• Ele mostra que, para explicar a mudança observada da forma mais "preguiçosa" possível (o menor esforço), as pessoas tendem a mudar apenas para a categoria vizinha (de 2 para 3, ou de 3 para 4).
• Isso cria um Ponto de Referência Interpretativo (Interpretive Benchmark): Se alguém disser "A sociedade mudou radicalmente, todo mundo pulou de 1 para 4!", o autor pode dizer: "Isso é possível, mas não é o mínimo necessário. O mínimo necessário é que a maioria só deu um passo. Se a realidade foi um salto gigante, então houve muito mais movimento do que o mínimo exigido pelos dados."
• Importante: Não existe um único "plano" ou "blueprint" de como isso aconteceu. Existem múltiplas configurações de realocação que são igualmente eficientes. O método define o que qualquer explicação de movimento mínimo deve parecer, sem afirmar que existe apenas uma maneira específica de isso ter ocorrido.

4. O Problema dos Dados Faltantes (As Sombras)

Agora, imagine que em algumas fotos, 10% das pessoas não responderam. Elas estão "sombras".

• Como isso afeta nossa conta? Bem, essas sombras poderiam ter sido de qualquer cor.
• O autor cria Limites (Boundaries). Ele diz:
  • Cenário Mais Otimista: As pessoas que não responderam eram todas iguais às que responderam. A mudança foi mínima.
  • Cenário Mais Pessimista: As pessoas que não responderam eram todas as que mudaram de opinião. A mudança foi máxima.
• Em vez de dar um número único, ele dá um intervalo (uma faixa). "A mudança real está entre 5% e 15%". Isso é chamado de Identificação Parcial. É honesto: ele admite que não sabe o exato, mas sabe onde o exato pode estar.
• Distinção Conceitual: Esses limites caracterizam o movimento extremo entre categorias (o quanto as pessoas tiveram que se deslocar na escala de opinião), e não uma dependência estatística extrema (como nos limites de Fréchet). O foco é na magnitude da mudança necessária, não na correlação entre variáveis.

5. O Exemplo Real: O Barômetro Árabe

O autor aplicou isso em dados reais sobre a opinião das pessoas no Iraque e no Marrocos em relação aos EUA.

• O que ele descobriu: Para explicar a mudança de opinião entre as duas ondas de pesquisa, pelo menos 4% a 10% da população teve que mudar sua resposta (o intervalo reflete a incerteza dos dados faltantes).
• O padrão: A mudança não foi um "salto de pular corda" (de muito favorável para muito desfavorável de uma vez). Foi mais como uma "marcha lenta". As pessoas mudaram um degrau de cada vez (de favorável para "um pouco" favorável).
• A lição: Mesmo sem saber quem mudou, sabemos que a mudança foi gradual e local, não uma revolução radical de opinião de um dia para o outro.

Resumo em uma frase

Este artigo nos ensina que, mesmo quando não temos o "vídeo" completo de quem mudou de ideia, podemos usar a matemática para desenhar o conjunto de cenários de mudança mais simples e econômica possível, e saber exatamente o quanto de "movimento" é obrigatório para explicar o que vemos nas estatísticas — seja como um número exato (se os dados estiverem completos) ou como uma faixa de possibilidades (se houver dados faltantes).

É como se, ao ver uma sala bagunçada, você pudesse dizer: "Para chegar a esse estado, pelo menos 3 pessoas tiveram que se levantar e andar 2 metros. Pode ter sido mais, mas não pode ter sido menos."

Resumo técnico

Resumo Técnico: Mudança Distribucional em Dados Ordinais com Observações Faltantes

1. O Problema

A análise empírica frequentemente compara distribuições de variáveis ordinais (ex: níveis de confiança, satisfação) entre grupos ou ao longo do tempo utilizando dados de cortes transversais repetidos. Nestes cenários, apenas as distribuições marginais são observadas; a distribuição conjunta (que liga as marginais e descreve as transições individuais) não é identificada.

Além disso, a presença pervasiva de dados faltantes (não resposta) impede a identificação pontual das próprias distribuições marginais. A literatura padrão foca em comparações de marginais (ex: diferenças em shares de categorias ou dominância estocástica), mas não consegue responder a uma questão fundamental: qual é a menor realocação de massa de probabilidade necessária para transformar uma distribuição na outra e como essa mudança deve ocorrer estruturalmente? Sem informações conjuntas, é difícil discernir se as diferenças observadas resultam de pequenos ajustes locais ou de grandes movimentos de mobilidade.

2. Metodologia

O autor propõe um framework que combina Transporte Ótimo (Optimal Transport) e Identificação Parcial (Partial Identification).

• Medida de Mudança Distribucional (Distância L1):
  A mudança distribucional é definida como a distância $L_1$ entre as funções de distribuição acumulada (CDFs) das duas distribuições marginais ($\mu$ e $\nu$):
  $$D(\mu, \nu) = \sum_{k=1}^{K-1} |F_\mu(k) - F_\nu(k)|$$
  Onde $K$ é o número de categorias ordenadas.

• Representação de Transporte Ótimo (Wasserstein-1):
  O artigo utiliza a representação de Transporte Ótimo (distância Wasserstein-1 ou Earth Mover's Distance) para caracterizar a mudança. O custo de mover massa entre categorias $i$ e $j$ é definido como $|i - j|$.

  • Interpretação: $D(\mu, \nu)$ representa o número mínimo de cruzamentos de limiares ordinais per capita necessários para transformar $\mu$ em $\nu$.
  • Contribuição Metodológica: Embora a representação de transporte ótimo em si não seja nova, a contribuição deste trabalho reside em utilizá-la para caracterizar o conjunto de realocações mínimas viáveis consistentes com as informações marginais, especialmente sob a condição de dados faltantes.
  • Conjunto de Configurações: O conjunto de acoplamentos ótimos ($\Pi^*$) que minimizam o custo de transporte não define uma configuração única, mas sim um conjunto viável de estruturas de mobilidade mínima. Qualquer acoplamento dentro deste conjunto é consistente com a mudança observada com o menor esforço agregado possível.

• Identificação Parcial com Dados Faltantes:
  Para lidar com dados faltantes, o autor adota uma abordagem de "pior caso" (worst-case).

  • Define-se um conjunto identificado ($\mathcal{M}_\mu, \mathcal{M}_\nu$) de distribuições marginais possíveis, consistentes com os dados observados e as taxas de resposta conhecidas.
  • Estimativa Pontual vs. Intervalar: Quando as marginais são totalmente observadas (sem dados faltantes), a medida de discrepância $D(\mu, \nu)$ é um estimador pontual. No entanto, na presença de dados faltantes, a medida é identificada apenas como um intervalo $[\underline{D}, \overline{D}]$, onde:
    • $\underline{D}$: A menor mudança possível (pior caso de semelhança).
    • $\overline{D}$: A maior mudança possível (pior caso de diferença).
  • O Teorema 1 mostra que esses limites podem ser calculados resolvendo problemas de otimização unidimensionais para cada limiar da CDF.

• Acoplamentos Condicionados aos Extremos:
  O autor deriva limites para os acoplamentos ótimos associados aos extremos do intervalo de identificação ($\underline{D}$ e $\overline{D}$). Isso permite analisar a estrutura de mobilidade (quem se move para onde) sob as condições de menor e maior discrepância possíveis, fornecendo limites agudos para o fluxo de massa entre categorias.

• Inferência:
  Utiliza-se um procedimento de bootstrap não paramétrico (adaptado de Horowitz e Manski, 2000) para construir intervalos de confiança que cobrem tanto a incerteza de amostragem quanto a incerteza de identificação decorrente dos dados faltantes.

3. Principais Contribuições

1. Interpretação Estruturada da Mudança: Vai além de estatísticas descritivas unidimensionais, fornecendo uma representação estruturada (tabelas de mobilidade mínima) de como a mudança distribucional deve ocorrer, baseada apenas em informações marginais.
2. Benchmarks Extremais: Os acoplamentos ótimos não são estimativas da distribuição conjunta real (que não é identificada), mas servem como benchmarks extremais (ou interpretativos). Eles isolam a quantidade mínima de movimento necessária para reconciliar as distribuições observadas, distinguindo o que é obrigatório pelos dados do que é apenas possível.
3. Robustez a Dados Faltantes: Estende a análise de transporte ótimo para o domínio da identificação parcial, permitindo inferências robustas a não-respostas sem impor suposições sobre o mecanismo de falta de dados (Missing at Random, etc.).
4. Conexão com Limites de Deslocamento (não Dependência): O trabalho conecta os benchmarks de mobilidade mínima e máxima às clássicas desigualdades de Fréchet, mostrando que eles delimitam o espaço de estruturas de dependência conjuntas consistentes com as marginais. No entanto, é crucial notar que, neste contexto, esses limites caracterizam o movimento extremo através das categorias (mudança distribucional), e não a dependência estatística extrema no sentido tradicional.

4. Resultados Empíricos (Ilustração)

O framework foi aplicado a dados do Arab Barometer (Onda 7 e 8) sobre a favorabilidade em relação aos EUA no Iraque e no Marrocos.

• Magnitude da Mudança: Mesmo sob a hipótese de mobilidade mínima, uma fração não trivial da população (entre 4% e 12% dependendo do país) deve ter mudado sua categoria de resposta para reconciliar as distribuições entre as ondas.
• Estrutura da Mobilidade: As configurações de mobilidade mínima indicam que a mudança ocorre predominantemente através de transições locais (entre categorias adjacentes), sugerindo mudanças graduais de atitude em vez de polarização em massa (saltos grandes entre categorias extremas).
• Robustez: Embora a magnitude exata da mudança seja parcialmente identificada (devido aos dados faltantes), a estrutura qualitativa das configurações de mobilidade mínima é estável. As conclusões sobre como a mudança ocorre (local vs. global) são robustas à incerteza dos dados faltantes.

5. Significância e Implicações

• Para Economistas e Estatísticos: Oferece uma ferramenta poderosa para analisar dados de cortes transversais repetidos onde painéis de dados (que permitiriam observar transições individuais) não estão disponíveis.
• Interpretação Econômica: Permite fazer afirmações econômicas significativas sobre a "mobilidade" ou "rigidez" de distribuições ordinais sem assumir um modelo estrutural para a distribuição conjunta não observada.
• Análise de Sensibilidade: A comparação entre os acoplamentos nos limites inferior e superior do conjunto identificado fornece um teste transparente de sensibilidade para conclusões políticas ou econômicas baseadas em dados incompletos.
• Limitação Reconhecida: O framework identifica o movimento necessário para explicar diferenças marginais, mas não pode detectar movimentos que deixam as marginais inalteradas (ex: trocas compensatórias entre categorias).

Em suma, o artigo transforma o problema de comparação de distribuições ordinais incompletas em um problema de otimização de transporte, fornecendo limites agudos e interpretações estruturais que são robustas à falta de dados, distinguindo claramente entre estimativas pontuais (quando dados completos) e intervalos de identificação (quando dados faltantes).