weightflow: declarative, recipe-aware survey weighting in R

Resumen Técnico de weightflow: ponderación de encuestas declarativa y consciente de la receta en R

Planteamiento del Problema
La producción de pesos de análisis para encuestas complejas requiere una cascada jerárquica de ajustes: resolución de la elegibilidad desconocida, descarte de unidades fuera de alcance, restauración de las probabilidades de selección dentro del hogar, corrección por falta de respuesta y calibración a totales poblacionales conocidos. Un desafío crítico en la práctica actual es que, si bien los estimadores puntuales (los pesos finales) están bien comprendidos, la estimación de la varianza a menudo no tiene en cuenta el hecho de que las etapas intermedias del proceso de ponderación (por ejemplo, modelos de falta de respuesta, redistribución de elegibilidad) son en sí mismas estimadas a partir de la muestra. Las herramientas existentes en R (como survey, sampling, icarus, surveysd y svrep) abordan partes específicas de este flujo de trabajo, pero carecen de un objeto unificado que trate todo el proceso como una entidad única y auditable. En consecuencia, los pesos de réplica suelen reflejar solo la incertidumbre del paso final de calibración, ignorando la variabilidad introducida por las etapas estimadas anteriores. Además, la metodología se implementa frecuentemente como una secuencia de scripts desconectados, lo que hace que el proceso sea difícil de auditar, reproducir o mantener.

Metodología
El artículo presenta weightflow, un paquete sin dependencias (base R) que implementa una API declarativa y encadenable inspirada en el marco de trabajo tidymodels. La metodología central separa la definición de la estrategia de ponderación de su aplicación:

1. API de Receta Declarativa: Los usuarios definen un flujo de trabajo de ponderación como un objeto inerte utilizando weighting_spec() seguido de una cadena de funciones step_*(). Esta "receta" puede incluir:

   • Manejo de disposición: step_unknown_eligibility() (redistribución de peso entre casos resueltos), step_drop_ineligible() (eliminación de unidades fuera de alcance) y step_select_within() (restauración de las probabilidades de selección dentro del hogar).
   • Ajuste por falta de respuesta: Implementado mediante step_nonresponse() utilizando clases de ponderación o modelos de propensión de respuesta (regresión logística, CART, bosques aleatorios, gradient boosting). El paquete admite el cross-fitting para evitar el sobreajuste, asegurando que los puntajes de propensión se estimen a partir de modelos entrenados en diferentes pliegues (folds) de los datos.
   • Calibración: step_calibrate() admite raking (ajuste proporcional iterativo), post-estratificación y calibración lineal/GREG. Ofrece diversas funciones de distancia (lineal, exponencial), límites (Deville–Särndal), penalización de tipo ridge para auxiliares colineales y variantes particionadas por dominio o integrativas (un peso por hogar).
   • Pasos de finalización: Recorte opcional (por ejemplo, el punto de corte óptimo de MSE de Potter) y redondeo.

2. Estimación de Varianza Consciente de la Receta: La principal innovación metodológica del paquete es la reejecución de toda la receta en cada réplica. En lugar de tratar los pesos finales como fijos, weightflow aplica un bootstrap de reescalado o un jackknife de eliminación de PSU (delete-a-PSU) donde la cascada completa de ponderación (incluyendo el modelado de la falta de respuesta y la calibración) se reestima para cada réplica. Esto asegura que la varianza del estimador final capture la incertidencia de cada etapa estimada, no solo la del paso final de calibración.

3. Diagnósticos: El paquete calcula automáticamente el efecto de diseño de Kish y los indicadores de representatividad (R-) para diagnosticar la dispersión de los pesos y los riesgos de sesgo por falta de respuesta.

Contribuciones Clave
El artículo identifica cuatro contribaciones principales:

1. Una API de Receta Declarativa: Al separar la definición perezosa (lazy definition) de la receta del flujo de trabajo de su ejecución, el paquete convierte la estrategia de ponderación en un objeto reproducible, auditable y transparente. La receta en sí misma sirve como un registro permanente de las decisiones metodológicas.
2. Varianza Consciente de la Receta: La implementación de métodos de bootstrap de reescalado y jackknife de eliminación de PSU que reaplican la receta completa en cada réplica. Esto propaga la variabilidad de las etapas intermedias (elegibilidad desconocida, falta de respuesta, calibración) hacia los pesos de réplica.
3. Implementación Integral y Sin Dependencias: El paquete proporciona un conjunto completo de métodos de calibración (raking, post-estratificación, GREG con diversas distancias y penalizaciones) y ajustes de falta de respuesta (clases de ponderación y aprendizaje automático con cross-fitting) sin depender de dependencias externas pesadas.
4. Diagnósticos Automáticos: Integración de los indicadores de la representatividad (R-) y el efecto de diseño de Kish para evaluar automáticamente la calidad del proceso de ponderación.

Resultados y Validación
El artículo valida el paquete a través de dos vías principales:

• Consistencia Metodológica: En métodos compartidos, weightflow reproduce los resultados del paquete establecido survey. La post-estratificación, el raking y la calibración lineal producen pesos idénticos (dentro de la tolerancia numérica), y el jackknife de eliminación de PSU coincide con el jackknife de réplicas de survey para totales.
• Aplicación en Datos Reales (ECH uruguayo): Los autores aplicaron el flujo de trabajo completo a la Encuesta Continua de Hogares (ECH) de Uruguay de 2019, simulando inelegibilidad y falta de respuesta en 79,000 registros.
  • El estimador ponderado base de la tasa de pobreza estaba fuertemente sesgado a la baja (0.059 frente al verdadero 0.0876) debido a la falta de respuesta entre los estratos más pobres.
  • El ajuste por falta de respuesta recuperó parte del sesgo (0.068), y la calibración posterior a los márgenes de edad, sexo y región recuperó el resto (0.084), acercándose significativamente a la verdad.
  • El bootstrap consciente de la receta (1,000 réplicas) produjo un intervalo de confianza del 95% que cubrió con éxito la verdadera tasa de pobreza, demostrando que el flujo de trabajo recupera los parámetros con una incertidumbre "honesta".
  • Las pruebas de rendimiento mostraron que la preparación de la receta para 79,000 registros toma 0.45 segundos, mientras que el bootstrap (reaplicando la receta completa 1,000 veces) toma aproximadamente 344 segundos en una computadora portátil estándar, haciendo que la inferencia basada en el diseño completo sea factible en una sola máquina.

Significancia
El artículo afirma que weightflow llena un vacío crítico en el ecosistema de R para la estadística oficial y la práctica de encuestas. Su importancia no radica en proponer nuevos estimadores puntuales, sino en proporcionar un marco de varianza consciente de la receta que ningún otro paquete ofrece. Al tratar la cascada de ponderación como un objeto único y explícito, el paquete garantiza:

• Auditabilidad y Reproducibilidad: La metodología ya no es implícita en el orden de los archivos o en ajustes no documentados, sino que está codificada en un objeto único e inspeccionable.
• Cuantificación Precisa de la Incertidumbre: Los errores estándar reflejan la incertidumbre de todo el proceso de estimación, incluyendo los ajustes de falta de respuesta y elegibilidad, en lugar de solo la calibración final.
• Activo Institucional: La receta misma se convierte en un activo institucional duradero que sobrevive a los cambios de personal, asegurando la continuidad metodológica.

El paquete está diseñado específicamente para Oficinas Nacionales de Estadística (ONE) y profesionales que requieren procedimientos de ponderación transparentes, reproducibles y estadísticamente rigurosos. Se integra perfectamente con los paquetes survey y srvyr para la inferencia descendente basada en el diseño.