Finite Population Sampling as n to N: Empirical Evidence for the Transition from Inference to Accuracy

Resumen Técnico: Muestreo de Población Finita cuando $n \to N$

Enunciado del Problema
El artículo aborda una desconexión fundamental entre la estadística inferencial clásica y la realidad de los sistemas modernos de datos a gran escala. El Teorema del Límite Central (CLT) y los marcos inferenciales estándar se basan en la suposición de que las muestras se extraen de poblaciones efectivamente infinitas o de que la fracción de muestreo ($f = n/N$) es pequeña. Bajo estas condiciones, la variabilidad de muestreo es la fuente principal de incertidumbre, y las distribuciones de aleatorización se aproximan a la normalidad.

Sin embargo, las corrientes de datos modernas (registros administrativos, registros de transacciones, datos de sensores) a menudo capturan grandes fracciones de poblaciones finitas, acercándose al censo completo ($n/N \to 1$). En este régimen de "casi-censo", el factor de corrección de población finita (FPC) $(1 - n/N)$ impulsa la varianza teórica de los estimadores hacia cero. El artículo investiga el comportamiento de los estimadores a medida que la fracción de muestreo se aproxima a la unidad, cuestionando si las herramientas inferenciales clásicas (errores estándar, intervalos de confianza, aproximaciones normales) siguen siendo significativas cuando la variabilidad de muestreo colapsa mecánicamente debido al agotamiento de la población en lugar de a una mejora en la ganancia de información.

Metodología
El estudio emplea un enfoque de simulación computacional utilizando una plataforma basada en GPU para observar empíricamente la transición desde el muestreo clásico hasta el casi-censo. La metodología se estructura en cuatro fases:

1. Construcción de la Población: Se generaron dos poblaciones finitas explícitas ($N = 10^7$) con parámetros conocidos (media $\mu$ y varianza $\sigma^2$). Una siguió una distribución uniforme discreta y la otra una distribución empírica sintética. Estos parámetros sirvieron como verdad fundamental fija, eliminando la necesidad de inferencia sobre parámetros desconocidos.
2. Diseño de Muestreo: Los investigadores realizaron muestreos repetidos sin reemplazo a través de una amplia gama de fracciones de muestreo ($f$), desde pequeñas ($0.01$) hasta el censo completo ($1.00$).
3. Análisis de la Distribución de Aleatorización (Fases 1–3): Para fracciones de muestreo fijas, el equipo generó distribuciones empíricas de aleatorización de la media muestral. Compararon la varianza observada con las predicciones teóricas derivadas de la teoría de muestreo de población finita (específicamente la fórmula del FPC).
4. Análisis de Precisión Numérica (Fase 4): Una vez que la variabilidad de muestreo fue efectivamente eliminada (cerca de $n=N$), el estudio aisló la desviación restante de la media muestral respecto a la media poblacional conocida. Esta fase probó diversas vías computacionales, incluyendo:
   • Hardware: Implementaciones de CPU vs. GPU.
   • Precisión: Aritmética de doble precisión (FP64) vs. simple precisión (FP32).
   • Algoritmos: Suma ingenua, suma compensada, reducciones basadas en árboles y suma con orden aleatorizado.

Resultados Clave
Los experimentos identificaron tres regímenes distintos de comportamiento del estimador:

1. Régimen de Muestreo Clásico ($n/N \ll 1$): La varianza empírica coincidió estrechamente con la aproximación de población infinita ($\sigma^2/n$).
2. Régimen de Población Finita ($n/N$ moderado a grande): A medida que aumentaba la fracción de muestreo, la varianza empírica disminuía rápidamente, alineándose con precisión con la teoría de la Corrección de Población Finita. La distribución de aleatorización se estrechó significativamente antes de alcanzar el censo completo.
3. Régimen de Casi-Censo ($n/N \to 1$):
   • Colapso de la Variabilidad de Muestreo: A medida que $n$ se aproximaba a $N$, la variabilidad de muestreo desapareció. En $n=N$, la media muestral fue igual a la media poblacional exactamente, y la distribución de aleatorización colapsó a un solo punto.
   • Emergencia de la Dominancia Numérica: En ausencia de aleatoriedad de muestreo, la desviación restante del estimador fue impulsada enteramente por efectos numéricos.
   • Sensibilidad a la Precisión: Bajo censo completo, la varianza observada fue no nula únicamente debido a errores de acumulación de punto flotante. La suma compensada en FP64 redujo la varianza a casi cero ($< 10^{-15}$), mientras que la suma ingenua en FP32 exhibió varianza residual ($\approx 10^{-7}$).

Contribuciones Clave

• Validación Empírica del Colapso de la Varianza: El estudio proporciona evidencia empírica de alta resolución de que la variabilidad de muestreo disminuye estructuralmente a medida que se agota la población, confirmando que la "curva de campana" de la distribución de aleatorización se estrecha hasta convertirse en una línea vertical mucho antes de que $n=N$.
• Distinción entre Inferencia y Precisión: El artículo delimita el punto en el que el análisis estadístico cambia de la inferencia probabilística (incertidumbre sobre parámetros desconocidos) al análisis de precisión (error determinista debido al cálculo).
• Identificación de Fuentes de Error: Demuestra que en entornos de casi-censo, la fuente dominante de error no es la aleatoriedad de muestreo, sino la interacción entre la representación de punto flotante, el orden de suma y la arquitectura computacional.

Significado y Afirmaciones
El artículo argumenta que el razonamiento inferencial clásico está estructuralmente desalineado con los entornos de datos de alta cobertura. Cuando la fracción de muestreo es grande, la suposición de observaciones independientes e idénticamente distribuidas (i.i.d.) se rompe, y la distribución de aleatorización ya no representa incertidumbre sobre una verdad desconocida, sino la reducción mecánica de la población restante por muestrear.

Los autores afirman que en estos regímenes:

• Los errores estándar y los intervalos de confianza pierden su valor interpretativo porque la incertidumbre que cuantifican (variabilidad de muestreo) ha desaparecido efectivamente.
• La práctica estadística debe cambiar el enfoque desde la cuantificación de la incertidumbre basada en remuestreo hacia la validación de la estabilidad numérica, las elecciones de precisión y la arquitectura computacional.
• La transición de la inferencia a la precisión es una consecuencia natural de la teoría de población finita, no un fallo patológico de la estadística.

El estudio concluye que, aunque los tamaños de muestra grandes generalmente mejoran la inferencia en entornos clásicos, son insuficientes para garantizar una inferencia fiable en contextos de casi-censo. En su lugar, la práctica estadística responsable en estos entornos requiere una evaluación rigurosa de la precisión numérica y el sesgo algorítmico, ya que estos se convierten en los factores limitantes de la precisión del estimador.