Selection on the Outcome: The Fraction of Nonresponse Bias That Survey Weighting Removes, with an Application to Subjective Well-Being

Resumen Técnico: Selección sobre el Resultado y los Límites de la Ponderación de Encuestas

Planteamiento del Problema
La falta de respuesta de las unidades es una amenaza primaria para la inferencia en las encuestas sociales, con tasas de respuesta en declive durante décadas. El remedio estándar es la ponderación basada en auxiliares sociodemográficos (por ejemplo, edad, sexo, educación) para restaurar la representatividad. Este procedimiento depende del supuesto de que la falta de respuesta depende de las covariables observadas. Sin embargo, en muchos campos, la participación depende directamente del propio resultado de la encuesta (selección sobre el resultado), un mecanismo conocido como "falta de datos no aleatoria" (MNAR, por sus siglas en inglés). Si bien está establecido que la ponderación no puede resolver completamente el MNAR, la literatura carece de una magnitud cuantitativa de cuánto sesgo permanece. Este artículo aborda el caso específico donde la probabilidad de participación depende directamente de la variable de resultado ($Y$), además de depender de las variables auxiliares ($X$).

Metodología y Derivación
El artículo deriva una expresión de forma cerrada para la fracción del sesgo por falta de respuesta que sobrevive a la ponderación estándar bajo un mecanismo de respuesta específico.

1. Configuración: Sea $Y$ el resultado de interés con media $\mu$ y varianza $\sigma_Y^2$. Sea $R$ un indicador de respuesta con propensión $\rho$. El sesgo de no respuesta en la media de los respondedores se define como $B = E[Y|R=1] - \mu = \text{Cov}(\rho, Y) / \bar{\rho}$.
2. Mecanismo de Respuesta: El artículo plantea un modelo de probabilidad lineal para la propensión de respuesta: $\rho = \alpha + \beta Y + \gamma'X$, donde $\beta > 0$ representa la dependencia directa de la participación en el bienestar, y $\gamma'X$ representa la dependencia en los auxiliares.
3. Efecto de la Ponderación: La ponderación en $X$ (mediante post-estratificación o ajuste de propensión) elimina el componente de la covarianza entre la propensión y el resultado que opera entre las celdas de $X$, pero retiene el componente que opera dentro de las celdas.
4. El Resultado: Condicionar sobre $X$ elimina el término $\gamma'X$. El sesgo residual es impulsado únicamente por la dependencia directa de $Y$. El artículo deriva que la proporción del sesgo dependiente del resultado que permanece tras la ponderación es:
   $$\frac{B_W}{B_{direct}} = 1 - R^2_{Y \cdot X}$$
   donde $R^2_{Y \cdot X}$ es el coeficiente de determinación de una regresión del resultado $Y$ sobre los auxiliares de ponderación $X$.

Contribuciones Clave

1. Cuantificación del Sesgo Residual: El artículo proporciona una magnitud específica y estimable para el fallo de la ponderación estándar bajo la selección sobre el resultado. Demuestra que la tasa de reparación está gobernada por una única cantidad: la proporción de la varianza en el resultado explicada por las variables de ponderación.
2. Generalización: Aunque se deriva en un modelo lineal de referencia, el resultado se generaliza (Proposición 2) a mecanismos de respuesta no lineales, mostrando que la fracción residual está gobernada por la razón entre la covarianza intra-celda y la covarianza incondicional.
3. Identificación del Parámetro Gobernante: El artículo identifica que el campo del bienestar subjetivo ya estima este parámetro gobernante ($R^2_{Y \cdot X}$) por razones sustantivas (para determinar cuánto predicen las circunstancias vitales los sentimientos), pero no lo ha conectado con la eficacia de las correcciones de las encuestas.
4. Estimación Empírica: Utilizando 69,719 encuestados de la General Social Survey (1972–2024), el artículo estima que las variables de ponderación estándar explican solo el 1.7% de la varianza en la felicidad reportada. En consecuencia, la ponderación elimina menos del 2% de cualquier sesgo dependiente del resultado, dejando más del 98% sin abordar.
5. Caso de Contraste: El artículo valida el mecanismo examinando una encuesta de salud danesa donde los registros nacionales proporcionaron auxiliares (incluyendo el uso de servicios de salud) que predecían fuertemente el resultado (trastorno mental). En ese caso, donde $R^2$ era alto, la ponderación recuperó con éxito la mayor parte del sesgo de selección, confirmando que el poder explicativo de los auxiliares para el resultado es el factor crítico, no solo su poder para predecir la respuesta.
6. Auditoría de la Práctica de Investigación: Una auditoría sistemática de 1,618 artículos en cinco revistas de bienestar (2023–2026) encontró que, si bien el 72% depende de muestras de encuestas, solo el 1.1% menciona la falta de respuesta, la atrición o la cobertura en sus resúmenes. Esto resalta la brecha entre la gravedad del problema y su reconocimiento en la literatura.

Resultos e Implicaciones para la Inferencia
El artículo argumenta que la gravedad del problema varía según el campo, dependiendo de qué tan fuertemente esté el resultado patronado demográficamente.

• Bienestar Subjetivo: Se sitúa en el "extremo desfavorable" porque la demografía explica muy poca varianza en la felicidad. La ponderación estándar es en gran medida ineficaz contra la selección sobre el bienestar.
• Consecuencias para la Inferencia Estándar: El artículo describe cómo este sesgo residual afecta a inferencias específicas:
  • Comparaciones transnacionales: Las diferencias en las tasas de respuesta entre países conducen a diferentes sesgos residuales, lo que significa que la invarianza escalar por sí sola no garantiza medias comparables.
  • Estimaciones nacionales: Las medias nacionales anomalamente bajas pueden ser parcialmente artefactual debido a la falta de respuesta dependiente del resultado.
  • Tendencias y Diferencias de Grupo: Los cambios en la composición de los encuestados (por ejemplo, la participación diferencial por bienestar) pueden imitar cambios en el bienestar.
  • Perfiles de Edad: La atrición y la mortalidad seleccionan a los supervivientes con mayor bienestar, lo que puede sobreestimar la felicidad en la edad tardía.
  • Adaptación: Quienes no logran adaptarse a eventos adversos tienen más probabilidades de abandonar el estudio, lo que lleva a sobreestimaciones de la adaptación.
  • Desigualdad: La selección que adelgaza la cola inferior de la distribución conduce a subestimaciones de la desigualdad en el bienestar.

Significancia y Reclamaciones
El artículo no afirma que deban descartarse las estimaciones de bienestar, ni argumenta que la ponderación sea inútil para la selección sobre observables. En su lugar, afirma que:

1. La ponderación no resuelve la selección sobre el resultado: Una media ponderada no debe interpretarse como que haya corregido la selección sobre el resultado.
2. La tasa de reparación es baja y predecible: La fracción de sesgo eliminado es exactamente el $R^2$ del resultado sobre los auxiliares. Para el bienestar, esto es insignificante (~1.7%).
3. El remedio reside en la medición de auxiliares, no en mejores modelos de ponderación: Mejorar el modelo de propensión para la participación no ayuda. La única forma de aumentar la tasa de reparación es utilizar auxiliares que predigan el resultado (por ejemplo, registros administrativos de salud o breves pantallas de bienestar durante el reclutamiento), como se demostró en el caso danés.
4. Los estándares de reporte deben cambiar: Los investigadores deben reportar el $R^2$ de sus variables de ponderación sobre el resultado, proporcionar límites para el sesgo potencial (usando análisis de sensibilidad o acotación de caso peor) y reportar patrones de atrición por bienestar basal.

El artículo concluye que el campo ha auditado rigurosamente sus escalas de medición, pero ha ignorado en gran medida sus marcos de muestreo. El mismo estadístico utilizado para argumentar que las circunstancias determinan débilmente los sentimientos también cuantifica la incapacidad de las correcciones estándar para arreglar el sesgo de selección en esos mismos sentimientos.