Estimated Ranking Tables and Uncertainty

Resumo Técnico: Tabelas de Classificação Estimada e Incerteza

Definição do Problema
Agências nacionais de estatística frequentemente publicam tabelas contendo estimativas amostrais para $K$ populações (ex: estados, países ou distritos). Tradicionalmente, essas tabelas são ordenadas alfabeticamente ou por algum critério não quantitativo, com linhas contendo estimativas primárias e medidas de incerteza associadas (ex: erros padrão). O autor argumenta que essa apresentação cria "classificações estimadas implícitas", forçando os usuários a buscar manualmente as menores ou maiores estimativas para determinar posições relativas. Esse processo é ineficiente, particularmente quando $K$ é grande (ex: 51 estados dos EUA), e falha em comunicar explicitamente a incerteza inerente à própria ordenação. Embora os usuários frequentemente reordenem os dados para criar classificações "explícitas", essas tabelas geradas pelo usuário tipicamente carecem de declarações estatísticas sobre a incerteza da nova ordenação. O artigo postula que as tabelas produzidas por agências estatísticas devem ser apresentadas explicitamente como tabelas de classificação estimada, onde as linhas são ordenadas pela magnitude das estimativas, e a tabela inclui medidas de incerteza para a classificação geral.

Metodologia
O artigo propõe uma estrutura para construir e visualizar uma Tabela de Classificação Estimada acompanhada por uma Região de Confiança Conjunta DIFF para a classificação verdadeira de $K$ populações.

1. Definições e Premissas:

   • Classificação (Rank): A classificação verdadeira $r_k$ de uma população $k$ é definida como 1 mais o número de outras populações com médias menores ou iguais a $\bar{Y}_k$.
   • Estimativas: O artigo assume $K$ amostras probabilísticas independentes que geram estimativas $\bar{y}_k$ com erros padrão conhecidos $SE(\bar{y}_k)$.
   • Normalidade: Assume-se que $\bar{y}_k \sim N(\bar{Y}_k, SD(\bar{y}_k))$.
   • Princípio de Ordenação: O artigo defende o "Princípio do Primeiro Quadrante", onde estimativas mais altas são colocadas visualmente mais alto (ou mais baixo, dependendo da orientação do eixo, mas consistentemente correlacionadas) para garantir harmonia entre a magnitude da estimativa e a ordem de classificação atribuída.

2. A Região de Confiança Conjunta DIFF:
   A metodologia central baseia-se na construção de uma região de confiança conjunta para o vetor de classificações verdadeiras $(r_1, \dots, r_K)$ usando diferenças entre parâmetros populacionais.

   • Intervalos Pareados: O método constrói $\binom{K}{2}$ intervalos de confiança conjuntos para as diferenças $\bar{Y}_k - \bar{Y}_{k'}$.
   • Correção de Bonferroni: Para alcançar um nível de confiança conjunto global de $100(1-\alpha)\%$, aplica-se uma correção de Bonferroni. O nível de confiança individual é ajustado para $1 - \gamma^*$, onde $\gamma^* = \alpha / \binom{K}{2}$. Os intervalos são:
     $$(\bar{y}_k - \bar{y}_{k'}) \pm z_{\gamma^*/2} \sqrt{SE(\bar{y}_k)^2 + SE(\bar{y}_{k'})^2}$$
   • Classificação de Diferenças: Para cada população $k$, os intervalos para $\bar{Y}_k - \bar{Y}_{k'}$ são classificados em três conjuntos com base em sua posição relativa a 0:
     • $AR_k$: Intervalos situados inteiramente à direita de 0 (implicando $\bar{Y}_k > \bar{Y}_{k'}$).
     • $AL_k$: Intervalos situados inteiramente à esquerda de 0 (implicando $\bar{Y}_k < \bar{Y}_{k'}$).
     • $AO_k$: Intervalos que sobrepõem o 0 (implicando que a ordem é indeterminada).
   • Conjuntos de Classificação: Com base no Teorema 1, o conjunto de possíveis classificações verdadeiras para a população $k$ é:
     $$\{ |AR_k| + 1, |AR_k| + 2, \dots, |AR_k| + |AO_k| + 1 \}$$
   • Região Conjunta: A região de confiança conjunta é o produto cartesiano desses conjuntos de classificação individuais, restrito pela exigência de que as classificações sejam únicas (uma permutação). A representação visual é uma grade onde as colunas representam as populações (ordenadas por tamanho estimado) e as linhas representam as classificações; as células contêm a abreviação da população se aquela população puder ocupar tal classificação dentro da região de confiança.

3. Visualização:
   O artigo introduz um visual baseado em teoria (um gráfico de dispersão em formato de grade) que exibe simultaneamente:

   • A classificação estimada (entradas em negrito).
   • A incerteza na classificação (entradas não negritadas).
   • Conjuntos de confiança marginais para a classificação verdadeira de cada população.
   • Conjuntos de confiança marginais para cada classificação (quais populações poderiam ocupar tal posição).
   • A "estreiteza" da região, definida como $T^* = (K^2 - OP) / (K^2 - K)$, onde $OP$ é o número de células ocupadas.

Principais Resultados e Exemplos
O artigo ilustra a metodologia usando três conjuntos de dados do mundo real:

1. Estados dos EUA (K=51): Utilizando dados de 2011 do American Community Survey sobre o tempo médio de deslocamento para o trabalho. A região de confiança conjunta DIFF de 90% revela que a incerteza é menor nos extremos (topo e base da classificação) e maior nas classificações intermediárias. Estados com características altamente urbanizadas e de alta população (Grupo 1) mostraram a menor incerteza, enquanto estados com características mistas de urbano/rural (Grupo 3) mostraram a maior incerteza.
2. Estados Indianos (K=18): Utilizando dados do National Sample Survey de 2022-23 sobre o Gasto Mensal Per Capita em Consumo (MPCE). O visual demonstra como o método lida com variâncias de erros padrão e distribuições de estimativas distintas entre 18 principais estados indianos.
3. Países da OCDE (K=37): Utilizando pontuações de matemática do PISA de 2022; a região visualiza a incerteza na classificação global dos sistemas de educação, mostrando quais países poderiam plausivelmente trocar de posição devido ao erro de amostragem.

Em todos os casos, o artigo contrasta a "Tabela de Classificação Estimada" proposta (ordenada por magnitude) com as "Tabelas Alfabéticas" tradicionais, argumentando que a primeira permite a comparação visual imediata de posições relativas.

Significância e Alegações
O artigo afirma que apresentar dados como tabelas de classificação estimada explícitas, com suas respectivas regiões de confiança conjunta, oferece diversas vantagens:

• Eficiência: Reduz a carga cognitiva dos usuários ao eliminar a necessidade de ordenar manualmente os dados para encontrar posições relativas.
• Transparência: Comunica explicitamente a incerteza da classificação, evitando a interpretação errônea de pequenas diferenças nas estimativas como diferenças definitivas de classificação.
• Incerteza Abrangente: Ao contrário de métodos que fornecem apenas intervalos de confiança para classificações individuais, a região de confiança conjunta DIFF fornece uma visão coerente de toda a estrutura de classificação, revelando possíveis classificações verdadeiras alternativas.
• Clareza Visual: A visualização proposta permite que os usuários vejam, num relance, quais populações são estatisticamente indistinguíveis em classificação e quais são distintas.

O autor observa que, embora esforços anteriores (como o método INDI/KWW) tenham fornecido insights semelhantes, o método DIFF oferece uma região de confiança conjunta mais "estreita", fornecendo limites mais precisos para as possíveis classificações verdadeiras. O artigo conclui que as agências estatísticas devem maximizar o uso de tabelas de classificação estimada explícitas e minimizar o uso de tabelas ordenadas alfabeticamente para melhor atender aos usuários de dados.