Estimated Ranking Tables and Uncertainty

Resumen Técnico: Tablas de Clasificación Estimada e Incertidumbre

Planteamiento del Problema
Las agencias estadísticas nacionales publican frecuentemente tablas que contienen estimaciones muestrales para $K$ poblaciones (por ejemplo, estados, países o distritos). Tradicionalmente, estas tablas se ordenan alfabéticamente o mediante algún criterio no cuantitativo, con filas que contienen estimaciones primarias y sus medidas asociadas de incertidumbre (por ejemplo, errores estándar). El autor argumenta que esta presentación crea "clasificaciones estimadas implícitas", obligando a los usuarios a buscar manualmente las estimaciones más pequeñas o más grandes para determinar las posiciones relativas. Este proceso es ineficiente, particularmente cuando $K$ es grande (por ejemplo, 51 estados de EE. UU.), y no comunica explícitamente la incertidumbre inherente a la propia ordenación. Si bien los usuarios suelen reordenar los datos para crear tablas "explícitas", estas tablas generadas por el usuario suelen carecer de declaraciones estadísticas respecto a la incertidumbre de la nueva ordenación. El artículo postula que las tablas producidas por las agencias estadísticas deben presentarse explícitamente como tablas de clasificación estimada, donde las filas se ordenan por la magnitud de las estimaciones, e incluir medidas de incertidumbre para la clasificación general.

Metodología
El artículo propone un marco para construir y visualizar una Tabla de Clasificación Estimada acompañada de una Región de Confianza Conjunta DIFF para la clasificación verdadera de $K$ poblaciones.

1. Definiciones y Supuestos:

   • Clasificación (Rank): La clasificación verdadera $r_k$ de la población $k$ se define como $1$ más el número de otras poblaciones con medias menores o iguales a $\bar{Y}_k$.
   • Estimaciones: El artículo asume $K$ muestras probabilísticas independientes que producen estimaciones $\bar{y}_k$ con errores estándar conocidos $SE(\bar{y}_k)$.
   • Normalidad: Asume que $\bar{y}_k \sim N(\bar{Y}_k, SD(\bar{y}_k))$.
   • Principio de Ordenación: El artículo aboga por el "Principio del Primer Cuadrante", donde las estimaciones más altas se colocan visualmente más arriba (o más abajo, dependiendo de la orientación del eje, pero consistentemente correlacionadas) para asegurar la armonía entre la magnitud de la estimación y el orden de clasificación asignado.

2. La Región de Confianza Conjunta DIFF:
   La metodología central se basa en la construcción de una región de confianza conjunta para el vector de clasificaciones verdaderas $(r_1, \dots, r_K)$ utilizando diferencias entre los parámetros de las poblaciones.

   • Intervalos Pareados: El método construye $\binom{K}{2}$ intervalos de confianza conjuntos para las diferencias $\bar{Y}_k - \bar{Y}_{k'}$.
   • Corrección de Bonferroni: Para lograr un nivel de confianza conjunto global de $100(1-\alpha)\%$, se aplica una corrección de Bonferroni. El nivel de confianza individual se ajusta a $1 - \gamma^*$, donde $\gamma^* = \alpha / \binom{K}{2}$. Los intervalos son:
     $$(\bar{y}_k - \bar{y}_{k'}) \pm z_{\gamma^*/2} \sqrt{SE(\bar{y}_k)^2 + SE(\bar{y}_{k'})^2}$$
   • Clasificación de Diferencias: Para cada población $k$, los intervalos para $\bar{Y}_k - \bar{Y}_{k'}$ se clasifican en tres conjuntos basados en su posición relativa a 0:
     • $AR_k$: Intervalos situados enteramente a la derecha de 0 (lo que implica $\bar{Y}_k > \bar{Y}_{k'}$).
     • $AL_k$: Intervalos situados enteramente a la izquierda de 0 (lo que implica $\bar{Y}_k < \bar{Y}_{k'}$).
     • $AO_k$: Intervalos que solapan el 0 (lo que implica que el orden es indeterminado).
   • Conjuntos de Clasificación: Basado en el Teorema 1, el conjunto de posibles clasificaciones verdaderas para la población $k$ es:
     $$\{ |AR_k| + 1, |AR_k| + 2, \dots, |AR_k| + |AO_k| + 1 \}$$
   • Región Conjunta: La región de confianza conjunta es el producto cartesiano de estos conjuntos de clasificación individuales, restringido por el requisito de que las clasificaciones deben ser únicas (una permutación). La representación visual es una cuadrícula donde las columnas representan las poblaciones (ordenadas por tamaño estimado) y las filas representan las clasificaciones; las celdas contienen la abreviatura de la población si dicha población puede ocupar esa clasificación dentro de la región de confianza.

3. Visualización:
   El artículo introduce un visual basado en la teoría (una cuadrícula tipo diagrama de dispersión) que muestra simultáneamente:

   • La clasificación estimada (entradas en negrita).
   • La incertidumbre en la clasificación (entrías no resaltadas en negrita).
   • Los conjuntos de confianza marginales para la clasificación verdadera de cada población.
   • Los conjuntos de confianza marginales para cada clasificación (qué poblaciones podrían ocuparla).
   • La "estrechez" de la región, definida como $T^* = (K^2 - OP) / (K^2 - K)$, donde $OP$ es el número de celdas ocupadas.

Resultados Clave y Ejemplos
El artículo ilustra la metodología utilizando tres conjuntos de datos del mundo real:

1. Estados de EE. UU. (K=51): Utilizando datos de la Encuesta sobre la Comunidad Estadounidense de 2011 sobre el tiempo medio de desplazamiento al trabajo. La región de confianza conjunta DIFF del 90% revela que la incertidumbre es menor en los extremos (primeras y últimas clasificaciones) y mayor en las clasificaciones intermedias. Los estados con características altamente urbanizadas y de alta población (Grupo 1) mostraron la menor incertidumbre, mientras que los estados con características mixtas urbanas/rurales (Grupo 3) mostraron la mayor.
2. Estados de la India (K=18): Utilizando datos de la Encuesta Nacional de Muestreo 2022-23 sobre el Gasto Mensual en Consumo por Persona (MPCE). El visual demuestra cómo el método maneja la variabilidad de los errores estándar y las distribuciones de las estimaciones a través de 18 estados principales de la India.
3. Países de la OCDE (K=37): Utilizando las puntuaciones de matemáticas PISA de 2022. La región visualiza la incertidumbre en la clasificación global de los sistemas educativos, mostrando qué países podrían intercambiar puestos de manera plausible dado el error de muestreo.

En todos los casos, el artículo contrasta la "Tabla de Clasificación Estimada" propuesta (ordenada por magnitud) con las "Tablas Alfabéticas" tradicionales, argumentando que la primera permite una comparación visual inmediata de las posiciones relativas.

Significancia y Reivindicaciones
El artículo afirma que presentar los datos como tablas de clasificación estimada explícitas con regiones de confianza conjunta asociadas ofrece varias ventajas:

• Eficiencia: Reduce la carga cognitiva de los usuarios al eliminar la necesidad de ordenar manualmente los datos para encontrar las posiciones relativas.
• Transparencia: Comunica explícitamente la incertidumbre de la clasificación, evitando la interpretación errónea de pequeñas diferencias en las estimaciones como diferencias definitivas en la clasificación.
• Incertidumbre Integral: A diferencia de los métodos que solo proporcionan intervalos de confianza para clasificaciones individuales, la región de confianza conjunta DIFF proporciona una visión coherente de toda la estructura de clasificación, revelando posibles clasificaciones verdaderas alternativas.
• Claridad Visual: La visualización propuesta permite a los usuarios ver de un vistazo qué poblaciones son estadísticamente indistinguibles en su clasificación y cuáles son distintas.

El autor señala que, si bien esfuerzos previos (como el método INDI/KWW) proporcionaron conocimientos similares, el método DIFF ofrece una región de confianza conjunta más "estrecha", proporcionando límites más precisos para las posibles clasificaciones verdaderas. El artículo concluye que las agencias estadísticas deben maximizar el uso de tablas de clasificación estimada explícitas y minimizar el uso de tablas ordenadas alfabéticamente para servir mejor a los usuarios de los datos.