Distributionally balanced sampling designs

Este artículo propone los Diseños Muestreales Balanceados Distribucionalmente (DBD), una nueva clase de diseños de muestreo probabilístico que maximizan la representatividad al minimizar la discrepancia entre las distribuciones auxiliares de la muestra y la población, logrando así una mejor precisión en estimaciones que métodos existentes, especialmente en aplicaciones de ciencias ambientales con datos costosos.

Lo esencial

Imagina que eres un chef famoso que tiene que preparar un banquete para 10.000 personas (la población total). Tienes una lista de ingredientes con todo tipo de sabores, texturas y colores (las variables auxiliares: altitud, tipo de suelo, temperatura, etc.).

Tu problema es que no puedes probar los 10.000 platos individuales; es demasiado caro y lento. Solo tienes tiempo y dinero para probar 50 platos (la muestra).

El objetivo es que esos 50 platos que pruebas sean un reflejo perfecto de los 10.000. Si los 10.000 platos tienen un 20% de picantes, un 30% de dulces y un 50% de salados, tus 50 platos deben tener exactamente esa misma proporción. Si no, tu predicción sobre el sabor del banquete completo será un desastre.

El problema de los métodos antiguos

Antes, los chefs (los estadísticos) usaban dos estrategias principales:

1. El método del "Promedio": Se aseguraban de que el promedio de sal en sus 50 platos fuera igual al promedio de los 10.000. Pero, ¿y si en tus 50 platos todos son "muy salados" y en los otros 10.000 hay muchos "poco salados"? El promedio cuadra, pero la experiencia no.
2. El método de "Esparcir": Se aseguraban de que los 50 platos estuvieran repartidos por toda la cocina (espacio) para no aglomerarse en una sola esquina. Esto es bueno, pero no garantiza que tengas la mezcla exacta de sabores.

La nueva solución: "Diseños Equilibrados Distribucionalmente" (DBD)

Los autores de este artículo, Anton y Wilmer, proponen una nueva forma de pensar. En lugar de solo mirar promedios o solo mirar la distancia física, quieren que tu muestra de 50 platos sea un microcosmos (un pequeño universo) que copie la forma exacta de la distribución de los 10.000 platos.

Para lograrlo, usan una idea genial llamada "Distancia Energética".

• La analogía de la energía: Imagina que cada plato es una partícula con energía. Si agrupas tus 50 platos y se parecen mucho a los 10.000, la "energía" de la diferencia es casi cero. Si tus platos son muy diferentes, la energía es alta. El objetivo es minimizar esa energía.

¿Cómo lo hacen? (El truco del círculo mágico)

Aquí viene la parte creativa. Ordenar 10.000 platos para que cualquier grupo de 50 sea perfecto es como intentar resolver un rompecabezas de un millón de piezas. Es imposible hacerlo a mano.

Ellos usan un truco matemático:

1. El Círculo: Imagina que pones los 10.000 platos en un círculo gigante.
2. El Corte: Para tomar tu muestra, simplemente giras el círculo en una posición aleatoria y cortas un trozo continuo de 50 platos.
3. La Optimización: El secreto no es dónde cortas, sino cómo ordenas los platos en el círculo antes de empezar. Usan una técnica de computadora llamada "Recocido Simulado" (como enfriar metal lentamente para que quede fuerte) para reordenar los platos en el círculo.

El resultado: Después de miles de reordenamientos, logran un círculo donde cualquier trozo de 50 platos que cortes (sin importar dónde empieces) se parece increíblemente a la mezcla total de los 10.000.

¿Por qué es importante esto?

• Precisión: Si tu muestra es un reflejo exacto de la realidad, tus predicciones serán mucho más precisas, incluso si la relación entre los ingredientes es compleja (no lineal).
• Ahorro: En campos como la ecología o la silvicultura, medir un árbol o un animal es caro. Con este método, obtienes más información con menos dinero.
• Robustez: Funciona bien incluso si no sabes exactamente qué estás buscando, porque asegura que tienes "de todo un poco" en la proporción correcta.

En resumen

Este papel presenta una nueva forma de tomar muestras que deja atrás los métodos antiguos de "promedios" o "esparcimiento simple". Es como si, en lugar de intentar adivinar la receta de un pastel gigante probando trozos al azar, ordenaras los ingredientes en un círculo perfecto de modo que cualquier pedazo que cortes te dé la receta exacta del pastel completo.

Es una herramienta poderosa para científicos, ecologistas y analistas de datos que necesitan tomar decisiones basadas en datos costosos de obtener, asegurándose de que su pequeña muestra cuente la historia completa de la población.

Resumen técnico

Resumen Técnico: Diseños de Muestreo Equilibrados Distribucionalmente (DBD)

1. Planteamiento del Problema

En el muestreo de encuestas moderno, la disponibilidad de información auxiliar para toda la población antes del muestreo es común. El desafío fundamental es utilizar esta información para diseñar un esquema de muestreo probabilístico que minimice la variabilidad de las estimaciones entre diferentes muestras.

• Limitaciones de los métodos actuales:
  • Muestreo equilibrado (ej. Método del Cubo): Asegura que las estimaciones de totales auxiliares coincidan con los totales poblacionales. Sin embargo, solo garantiza reducción de varianza si la relación entre la variable objetivo y las auxiliares es lineal. Para relaciones no lineales, equilibrar solo las medias es subóptimo.
  • Muestreo espacialmente balanceado (ej. LPM, GRTS, BAS): Buscan una buena dispersión espacial de la muestra, capturando tendencias locales, pero no garantizan necesariamente el mejor ajuste distribucional global.
• La necesidad: Existe una falta de un enfoque unificado que asegure que la muestra sea un "microcosmo distribucional" de la población, capturando no solo las medias, sino toda la estructura de la distribución (momentos superiores, formas geométricas, etc.).

2. Metodología Propuesta

Los autores proponen los Diseños de Muestreo Equilibrados Distribucionalmente (DBD). La idea central es construir muestras cuya distribución empírica de variables auxiliares coincida lo más estrechamente posible con la distribución poblacional.

A. Definición Formal y Métrica de Discrepancia

• Objetivo: Minimizar la discrepancia esperada entre la distribución de la muestra ($F_S$) y la de la población ($F_U$).
• Métrica: Se utiliza la Distancia de Energía (Energy Distance), una medida estadística basada en la teoría de estadística de energía (Székely & Rizzo, 2013) y la Discrepancia Máxima de la Media (MMD).
  • La distancia de energía $E(F_{sj}, F_U)$ es cero si y solo si las distribuciones son idénticas.
  • Captura diferencias en todos los momentos de la distribución, no solo en las medias.
  • La fórmula se basa en las distancias euclidianas esperadas entre pares de puntos dentro de la muestra, dentro de la población y entre muestra y población.

B. Estructura del Diseño: Muestreo Sistemático Circular Optimizado
Para hacer el problema de optimización combinatoria computacionalmente viable, se restringe la búsqueda a diseños generados por permutaciones circulares:

1. Ordenamiento: La población se ordena en una secuencia circular $u$.
2. Selección: Se elige un punto de inicio aleatorio $j$ y se selecciona un bloque contiguo de $n$ unidades.
3. Optimización: El objetivo es encontrar la permutación óptima $u^*$ que minimice la distancia de energía esperada sobre todos los posibles bloques contiguos.

C. Algoritmo de Optimización
Dado que el espacio de búsqueda ($N!$ permutaciones) es factorialmente grande, se emplea Recocido Simulado (Simulated Annealing):

• Estado inicial: Una secuencia aleatoria.
• Movimiento: Intercambio (swap) de dos unidades en la secuencia circular.
• Eficiencia: Se utiliza una estrategia de actualización eficiente (derivada en el Apéndice B) que permite calcular el cambio en la función objetivo en tiempo $O(n)$ en lugar de recalcular todo.
• Resultado: Una secuencia optimizada donde cualquier bloque contiguo de tamaño $n$ representa bien la distribución poblacional.

D. Estimación de Varianza
Debido a que el diseño fuerza una fuerte dispersión, las probabilidades de inclusión de segundo orden pueden ser muy pequeñas o cero, haciendo inestables los estimadores de varianza estándar.

• Solución: Se recomienda un estimador de varianza de media local, que aproxima la estructura de varianza local utilizando los $k$ vecinos más cercanos en el espacio auxiliar. Este estimador se adapta automáticamente a la suavidad de la variable objetivo.

3. Contribuciones Clave

1. Introducción de la Distancia de Energía: Se aplica por primera vez en el contexto de diseño de muestreo probabilístico como criterio riguroso para comparar el ajuste distribucional.
2. Control del Error de Estimación: Se demuestra teóricamente (Proposición 1) que el error cuadrático medio (MSE) del estimador de Horvitz-Thompson para variables que varían suavemente con las auxiliares está acotado superiormente por la distancia de energía esperada.
3. Algoritmo de Optimización Escalable: Desarrollo de un algoritmo basado en recocido simulado con actualizaciones eficientes ($O(n)$) que organiza la población en una secuencia donde cada bloque contiguo es una muestra representativa.
4. Validación Empírica: Demostración mediante simulaciones de que DBD supera a los métodos de vanguardia (Método Pivotal Local, Método del Cubo Local) en ajuste distribucional y reducción de varianza.

4. Resultados de las Simulaciones

Los autores evaluaron DBD frente a Muestreo Aleatorio Simple (SRS), Método Pivotal Local (LPM) y Método del Cubo Local (LCube) en poblaciones sintéticas y reales (conjunto de datos Meuse).

• Ajuste Distribucional (Distancia de Energía): DBD consistentemente logró la menor distancia de energía esperada en todas las dimensiones probadas ($p=2, 5, 10, 20$).
• Equilibrio y Dispersión: DBD logró un equilibrio local y una dispersión espacial superiores o comparables a los mejores métodos existentes.
• Reducción de Varianza:
  • En el conjunto de datos Meuse, DBD proporcionó las estimaciones más precisas (menor RRMSE) para todas las variables objetivo (Zn, Pb, Cd) y auxiliares.
  • La desviación de equilibrio (Balance Deviation) disminuyó a una tasa cercana a $1/n$para DBD, mientras que para SRS fue cercana a$1/\sqrt{n}$.
• Cobertura de Intervalos de Confianza: DBD mantuvo coberturas conservadoras y seguras (generalmente $\geq 95\%$), evitando la subcobertura observada en SRS.

5. Significado y Aplicabilidad

• Unificación de Conceptos: DBD unifica la "equilibrio" (balance) y la "dispersión" (spread) bajo un único principio: el ajuste distribucional.
• Robustez: Al no asumir una relación lineal específica entre variables, es ideal para aplicaciones en ecología, silvicultura y ciencias ambientales donde las relaciones son complejas o desconocidas.
• Escalabilidad:
  • Es factible para poblaciones de hasta $N \approx 20,000$ en CPUs estándar.
  • Para poblaciones masivas, se propone un enfoque estratificado ("Block-DBD") que mantiene la escalabilidad lineal.
• Impacto más allá del muestreo: Los autores sugieren que esta metodología es aplicable en el aprendizaje automático para la selección de subconjuntos de entrenamiento representativos (coresets) que preserven la distribución multivariada de las características.

Conclusión:
Los Diseños de Muestreo Equilibrados Distribucionalmente (DBD) representan un cambio de paradigma hacia el diseño de encuestas que priorizan la fidelidad distribucional global. Al minimizar la distancia de energía entre la muestra y la población, se obtienen estimadores más precisos y robustos, especialmente en contextos de datos costosos y relaciones no lineales. La implementación está disponible en el paquete R rsamplr.